⚛️ quantum physics

MQSS-Selector: RL-Guided Pass Selection for an MLIR Compilation Pipeline

이 논문은 NISQ 시대에 충실도(fidelity)를 극대화하는 동시에 컴파일 시간과 지연 시간을 최소화하는 것을 목표로, 강화 학습과 딥러닝을 활용하여 HPC-양자 컴퓨팅 워크플로우의 장치 선택, 컴파일러 패스 순서 및 작업 스케줄링을 동적으로 최적화하는 통합 학습 기반 프레임워크인 MQSS-Selector를 소개한다.

원저자: Andre Youssefi (Leibniz Supercomputing Centre), Ercüment Kaya (Leibniz Supercomputing Centre, Technical University of Munich), Minh Chung (Leibniz Supercomputing Centre), Jorge Echavarria (Munich Quan

게시일 2026-09-25

📖 4 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Andre Youssefi (Leibniz Supercomputing Centre), Ercüment Kaya (Leibniz Supercomputing Centre, Technical University of Munich), Minh Chung (Leibniz Supercomputing Centre), Jorge Echavarria (Munich Quantum Valley), Laura B. Schulz (Argonne National Laboratory), Martin Schulz (Leibniz Supercomputing Centre, Technical University of Munich)

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

현대 컴퓨팅의 부상하는 지형 속에서, 두 개의 강력한 세계가 결합하기 시작하고 있습니다. 바로 기후 변화를 모델링하고 새로운 재료를 설계하는 거대한 고전적 슈퍼컴퓨터와, 현재 우리의 능력을 넘어서는 문제들을 해결할 것을 약속하는 취약하고 실험적인 양자 기계입니다. 이러한 수렴은 고전 컴퓨터가 '두뇌' 역할을 하며 특정 작업을 특화된 가속기로서 양자 프로세서에 보내는 일종의 새로운 하이브리드 시스템을 만들어냅니다. 그러나 현재 이 양자 기계들은 개발의 어려운 단계에 놓여 있습니다. 이들은 노이즈가 많아 계산 시 오류가 발생하기 쉽고, 사용할 수 있는 양자 비트가 몇 개 되지 않을 정도로 규모가 제한적입니다. 이 때문에 단순히 양자 컴퓨터에 프로그램을 보내는 것만으로는 충분하지 않습니다. 프로그램은 실행될 기계의 특정한 까다로운 점들에 맞춰 정교하게 준비되고, 재구성되며, 매칭되어야 합니다. 만약 준비가 잘못된다면, 그 결과는 쓰레기가 될 것입니다. 과제는 정확히 어떤 기계를 사용할지, 그리고 코드를 그 기계에 어떻게 변환할지를 결정하는 것이며, 이는 방대하고 변화무쌍한 가능성의 미로를 헤쳐 나가는 작업입니다.

독일 라이프니츠 슈퍼컴퓨팅 센터(Leibniz Supercomputing Centre)의 연구진은 뮌헨 공과대학교 및 아르곤 국립 연구소(Argonne National Laboratory)의 파트너들과 협력하여 이 퍼즐을 풀기 위한 새로운 방법을 제안했습니다. 그들은 자신들의 시스템을 MQSS-Selector라고 부르며, 이는 전체 과정을 위한 통합된 가이드 역할을 하도록 설계된 도구입니다. 하드웨어의 선택과 소프트웨어의 준비를 별개의 단계로 취급하는 대신, 이 시스템은 두 가지 결정을 동시에 내리는 법을 학습합니다. 연구팀은 강화 학습(reinforcement learning)이라는 방법을 사용하여 이 도구를 구축했는데, 이는 아이가 자전거 타기를 배우는 것과 유사하게 컴퓨터 프로그램이 시행착오를 통해 학습하는 일종의 인공지능입니다. 프로그램은 다양한 양자 장치와 코드 변환의 조합을 시도하고, 그 결과가 얼마나 잘 작동했는지에 대한 피드백을 받으며, 점진적으로 최선의 경로를 선택하는 법을 배웁니다.

연구진이 다룬 핵심적인 어려움은 장치를 선택하는 문제와 코드 단계를 정렬하는 문제가 믿기 힘들 정도로 복잡하다는 것입니다. 실제로 옵션의 수가 증가함에 따라 모든 경우에 대해 완벽한 해답을 빠르게 찾아내는 것은 수학적으로 불가능합니다. 전통적인 방식은 고정된 규칙이나 추측에 의존하는데, 이는 양자 기계의 동작이 변하거나 새로운 유형의 코드가 도입될 때 종종 실패하곤 합니다. 연구진은 자신들의 학습 기반 접근 방식이 이러한 복잡성을 헤쳐 나갈 수 있음을 입증했습니다. 그들은 양자 프로그램의 특정 특징을 살펴보고, 사용 가능한 기계의 현재 상태를 확인한 다음, 가장 적합한 장치를 선택하는 시스템을 만들었습니다. 동시에, 해당 프로그램이 특정 기계에서 효율적으로 실행되도록 어떤 순서로 코드 최적화를 적용할지를 결정합니다.

그들의 아이디어를 테스트하기 위해, 연구팀은 화학 분자를 시뮬레이션하도록 설계된 프로그램을 포함한 대규모 양자 프로그램 모음으로 시스템을 훈련시켰습니다. 그들은 학습 기반 선택기를 표준 방식과 비교하였으며, 가이드가 있는 모델이 언제 최적화를 멈출 것인지에 대해 매우 보수적인 전략을 채택했다는 것을 발견했습니다. 가이드가 없는 모델은 거의 모든 경우에서 '종료' 동작을 호출하는 데 실패한 반면, 가이드가 있는 모델은 대다수의 시도에서 성공적으로 프로세스를 종료했습니다. 다만, 이는 낮은 재현율(recall)을 보였는데, 즉 유효한 중단 지점을 식으로 식별할 수 있는 많은 기회를 놓쳤음을 의미합니다. 프로그램 구조 측면에서, 시스템은 더 짧은 프로그램을 생성하지는 않았습니다. 평균적으로 결과 프로그램의 깊이와 연산 횟수는 입력값에 비해 크게 증가했습니다. 그러나 가이드 방식은 프로그램이 95.5%의 사례에서 실행 가능하도록 보장함으로써 전반적인 컴파일 성능을 개선했습니다. 이는 가이드가 없는 모델에 비해 눈에 띄는 향상입니다. 연구진이 시스템이 길을 잃지 않고 방대한 수의 가능성을 탐색할 수 있도록 돕는 특별한 훈련 기법을 도입했을 때, 신뢰성 측면에서 결과가 개선되었으나, 시스템이 여전히 모든 유효한 최적화 기회를 식별하는 데는 어려움을 겪었습니다.

이 연구는 또한 시스템이 장치를 선택하는 데는 잘 작동하지만, 코드 단계를 정렬하는 부분은 아직 더 많은 연습이 필요하다는 것을 밝혀냈습니다. 연구진은 특별한 훈련 가이드 없이는 시스템이 스스로 좋은 솔루션을 찾는 데 어려움을 겪으며, 종종 쓸모없는 코드 변경 조합 사이를 방황한다는 것을 발견했습니다. 실제로 실험 데이터는 추가적인 방법 없이 강화 학습만을 사용하는 것이 고려된 자원 제약 조건 하에서 컴파일을 위한 네트워크를 훈련시키는 데 실행 가능한 접근 방식이 아님을 시사합니다. 그러나 가이드가 있으면 시스템은 가장 유망한 경로에 집중하는 법을 배웠으며, 비록 매우 보수적이긴 했지만, 결과적으로 더 신뢰할 수 있는 실행으로 이어졌습니다. 이는 양자 컴퓨팅을 위한 단일한 통합 가이드라는 개념이 실행 가능하다는 것을 보여주지만, 진정으로 효과적이려면 세심한 훈련과 상당한 데이터가 필요함을 시사합니다. 연구팀의 작업은 하드웨어의 선택과 소프트웨어의 준비를 하나의 지능적인 의사결정 과정으로 결합함으로써, 우리가 양자 컴퓨터를 실세계 문제를 해결하는 유용한 도구로 만드는 데 더 가까워질 수 있음을 보여줍니다. 그들의 연구 결과는 이 접근 방식이 단순한 이론적 아이디어가 아니라, 시스템이 내재된 과제를 극 overcome 할 수 있도록 충분한 가이드를 제공받는다면 오늘날의 노이즈가 많고 변화하는 양자 기계에 적응할 수 있는 실질적인 경로임을 나타냅니다.

기술 요약: MQSS-Selector

문제 정의 및 동기
고성능 컴퓨팅(HPC)과 양자 컴퓨팅(QC)이 통합된 HPCQC 인프라로의 수렴은 클래식 및 양자 워크플로우를 연결할 수 있는 소프트웨어 스택을 필요로 합니다. 그러나 현재의 노이징 중간 규모 양자(NISQ) 장치들은 오류가 발생하기 쉽고, 자원이 제한적이며, 캘리브레이션 및 토폴로지에 매우 민감합니다. 결과적으로, 효과적인 실행을 위해서는 특화된 컴파일 및 최적화가 필요합니다.

기존의 소프트웨어 스택은 종종 장치 선택, 컴파일러 패스 최적화, 작업 스케줄링을 분리된 단계로 취급하여 파편화 문제를 겪습니다. 본 논문은 두 가지 결정적이고 상호 의존적인 과제를 식별합니다:

장치 선택 (Device Selection): 가용 가능한 백엔드 집합으로부터 타겟 양자 장치를 선택하되, 토폴로지, 게이트 충실도(fidelity), 대기 큐 지연, 유지보수 시간 등을 고려해야 합니다.
패스 순서 결정 (Phase Ordering): 양자 프로그램을 변환하기 위한 최적의 컴파일 패스 시퀀스를 결정하며, 이 과정에서 JIT(Just-In-Time) 컴파일 시간과 실행 런타임을 최소화하는 동시에 장치 준수성을 보장해야 합니다.

저자들은 장치 선택과 패스 순서 결정이 모두 NP-난해(NP-hard) 문제임을 공식적으로 증명합니다(정리 1). 다만, 이들은 서로 다른 난해성 기반으로 귀결됩니다. 장치 선택은 분할 문제(Partition problem)로 귀결되는 반면, 패스 순서 결정은 정지 문제(halting problem)로 귀결되어 결정 불가능성(undecidability)을 증명합니다. 나아가, 이들의 상호 의존성은 "부트스트래핑 딜레마(bootstrapping dilemma)"를 생성하며, 한 단계를 독립적으로 최적화하는 것이 다른 단계의 최적성을 저해할 수 있습니다. 현재의 솔루션들은 주로 정적 휴리스틱이나 별도의 학습 태스크(예: 장치 선택을 위한 지도 학습, 패스 최 optimization을 위한 강화 학습)에 의존하며, 이는 동적인 백엔드 상태나 결합된 최적화 공간을 고려하지 못합니다.

방법론
본 논문은 장치 선택과 패스 순서 결정을 하나의 응집된 의사결정 프로세스로 통합하도록 설계된 통합 학습 기반 프레임워크인 MQSS-Selector를 제안합니다. 이 접근 방식은 MLIR(Multi-Level Intermediate Representation) 컴파일 프레임워크 내에서, 특히 Quake 다이얼렉트를 활용하여 강화 학습(RL)과 딥러닝을 활용합니다.

방법론은 현재 별개의 구성 요소로 구현되어 향후 통합이 계획된, 통합 스케줄러를 위한 두 가지 개념적 체계로 구조화되어 있습니다:

접근 방식 1 (하이브리드): 지도 학습 모듈이 장치 선택을 담당하고, 그 출력이 별도의 RL 기반 모듈의 패스 순서 결정에 정보를 제공하는 모듈형 설계입니다.
접근 방식 2 (전체 RL 기반): 장치 선택과 패스 순서 결정을 단일한 더 큰 액션 공간(action space)으로 결합하여 단일한 RL 에이전트가 수행하는 모놀리식(monolithic) 설계입니다.

핵심 구성 요소:

장치 선택 모듈 (Device Selection Module): 다양한 장치에서의 프로그램 헬린거 충실도(Hellinger fidelity)를 예측하기 위해 지도 학습 모델(MLP, Random Forest, SVM, KNN)을 활용합니다. 시스템은 실행 시간과 충실도를 정규화하여 장치를 순위화하며, 절대적인 값의 정밀도보다는 상대적인 순위 정확도를 우선시합니다.
패스 선택 모듈 (Pass Selection Module): Actor-Critic 강화 학습 알고리즘을 구현합니다.
- 상태 (State): 큐비트 수, 깊이와 같은 프로그램 특징, 백엔드 상태, 그리고 중간 컴파일 결과를 포함합니다.
- 액션 (Action): 확장된 MQSS 패스 세트(92개 이상의 패스)로부터의 컴파일 패스 선택, 매핑 패스, 또는 "종료(Finish)" 액션을 수행합니다.
- 보상 함수 (Reward Function): 실행 가능성(네이티브 게이트 준수), 조기 종료(동등한 결과에 대해 더 짧은 경로 선호), 그리고 구조적 최적화(깊이 및 연산 횟수 감소)를 만족하도록 설계되었습니다.
이중 어닐링 탐색 프라이밍 (Dual-Annealed Exploration Priming, DAEP): 성공적인 컴파일 롤아웃(rollout)의 희소성을 해결하기 위해 도입된 새로운 학습 전략입니다. DAEP는 손실 함수에 가이던스 항을 도입하여, 사전 정의된 정책을 감쇠 확률( $p_{DAEP}$ )과 크기( $\alpha_{DAEP}$ )에 따라 액터의 선택을 덮어쓰도록 합니다. 이는 에이전트가 크리틱의 추정치를 독립적으로 활용하기 전에 초기 구조를 제공함으로써 수렴을 가속화합니다.

실험 결과
저자들은 두 가지 데이터셋을 사용하여 구성 요소들을 평가했습니다:

장치 선택: 128개의 MQT-Bench 프로그램과 12개의 가상 IBM 백엔드, 그리고 2,880개의 랜덤 벤치마크를 두 개의 실제 로컬 장치에서 테스트했습니다.
- 결과: Random Forest(RF)가 가상 장치 데이터셋에 가장 적합한 후보로 나타났으며, 실행 불가능한 프로그램을 예측하는 데 어려움을 겪은 MLP보다 우수한 성능을 보였습니다. 모든 프로그램이 실행 가능했던 실제 장치에서는 모든 모델이 높은 $R^2$ 점수와 함께 유사한 성능을 보였습니다. 저자들은 SVM과 KNN이 제한된 데이터에서는 좋은 충실도 예측력을 보였으나, 다양하고 대규모인 프로그램 세트에 대해서는 RF만큼 확장성이 높지 않을 수 있다고 언급했습니다.
패스 선택: 1,548개의 화학적 해밀토니안(chemical Hamiltonian) 프로그램을 대상으로 평가했습니다.
- 결과: DAEP로 학습된 RL 에이전트는 가이던스가 없는 베이스라인 모델보다 현저히 우수한 성능을 보였습니다.
  - 실행 가능성: 가이던스가 적용된 모델은 종료 시점에 95.5%의 실행 가능한 프로그램 비율을 달一个 반면, 가이던스가 없는 모델은 42.1%에 그쳤습니다.
  - 최적화: 가이 been 모델은 154개 샘플 중 87개에서 프로그램 깊이를 줄였고, 93개에서 연산 횟수를 줄였으나, 가이던스가 없는 모델은 각각 8개와 15개 샘플에서만 이러한 감소를 달성했습니다.
  - 종료: 가이던스 에이전트는 "종료(Finish)" 액션을 효과적으로 호출하는 법을 배웠으나(154회 중 153회), 가이게 없는 에이전트는 조기 종료를 거의 하지 못했습니다.
- 비판: 저자들은 크리틱 네트워크의 훈련이 더 필요하다고 지적했습니다. 가이던스가 적용된 모델의 분류 성능(True/False Positives)이 보수적이었는데, 이는 액터가 더 적은 단계로 효율적으로 종료하는 법을 배우면서 크리틱에게 제공되는 훈련 샘플이 적어졌기 때문인 것으로 보입니다. 결정적으로, 실험 데이터는 추가적인 방법(DAEP와 같은) 없이는 고려된 자원 제약 조건 하에서 컴파일을 위한 네트워크를 훈련하는 데 RL이 실행 가능한 접근법이 아님을 시사합니다.

의의 및 주장
본 논문은 데이터 기반의 MLIR 네이티브 양자 컴파일을 위한 기초적인 빌딩 블록(지도 학습 기반 장치 선택 및 RL 기반 패스 순서 결정)의 실현 가능성을 입증했다고 주장합니다. 주요 기여는 다음과 같습니다:

통합 프레임워크 개념: 본 논문은 장치와 패스 선택의 NP-난해하고 상호 의존적인 성격을 해결하기 위해, 파편화된 단계별 휴리스틱에서 벗어나 결합된 최적화 프레임워크를 제안합니다. 다만, 통합 스케줄러 자체는 아직 완전하게 통합된 시스템이라기보다, 향후 통합을 계획 중인 두 개의 별개 구성 요소로 존재하는 개념적 설계 단계입니다.
MLIR 네이티브 구현: Qiskit을 타겟으로 하는 기존 연구(예: TuniQ)와 달리, 본 연구는 대규모의 MLIR 기반 패스 세트를 갖춘 MQSS 컴파일 패스 세트를 확장하여 현대적인 컴파일러 인프라와의 통합을 가능하게 합니다.
DAEP 전략: Dual-Annealed Exploration Priming은 컴파일 작업의 희소한 보상 문제를 해결하여, 무작위 탐색이 실패할 수 있는 환경에서도 RL 에이전트가 효과적인 정책을 학습할 수 있도록 합니다.
겸허한 전망: 저자들은 통합된 접근 방식이 상호 의존성을 활용함으로써 독립적인 최적화 파이프라인보다 뛰어난 성능을 낼 잠재력이 있지만, 패스 선택 구성 요소는 현재 더 광범위한 훈련과 가이던스가 필요하다고 결론짓습니다. 이들은 본 연구가 완전한 통합 시스템을 실현했다는 주장보다는, 동적인 HPCQC 환경을 다룰 수 있는 완전한 통합 적응형 스케줄러를 위한 기초적인 빌딩 블록을 구축하는 데 중점을 두고 있음을 강조합니다.

유사한 논문