Reinforcement Learning for Adaptive Composition of Quantum Circuit Optimisation Passes

기술 요약: 양자 회로 최적화 패스의 적응적 구성을 위한 강화 학습

문제 정의
양자 소프트웨어 개발 키트(QSDK)는 고도로 최적화된 일련의 회로 패스(예: Clifford 서브회로 최적화, ZX-calculus 재작성, Pauli-gadget 최적화)를 제공한다. 그러나 이러한 패스들을 적용하는 순서는 일반적으로 사용자에게 맡겨지거나 일반적인 목적의 기본 시퀀스로 정의된다. 이는 두 가지 주요 과제를 제기한다:

1. 전문 지식 장벽: 특정 패스가 유익한 시점을 인식하는 데는 회로 구성 및 최적화에 대한 탁월한 전문 지식이 필요하다.
2. 위상 순서 문제(Phase Ordering Problem): 결과 회로의 품질은 적용 순서에 매우 민감하다. 일반적인 목적의 기본 시퀀스는 개별 회로에 특화된 최적화 기회를 놓치기 쉬우며, 맞춤형 시퀀스를 수동으로 설계하는 것은 시간이 많이 소요되고 오류가 발생하기 쉽다.

기존의 머신러닝 접근 방식은 종종 고정된 크기의 관측 공간에 의존하여(특정 특징으로 입력을 제한함) 예측 정확도를 낮출 수 있는 단순화된 회로 표현을 사용하거나 클래식 시뮬레이션에 의존한다. 또한, 맞춤형 시퀀스를 생성하기 위한 탐색 기반 접근 방식은 액션 공간과 회로 크기가 증가함에 따라 확장성이 떨어지는 문제를 겪는다.

방법론
저자들은 특정 양자 회로에 맞춰 최적화 패스 시퀀스를 반복적으로 선택하고 적용하도록 훈련된 에이전트를 위해 근사 정책 최적화(PPO)를 사용하는 강화 학습(RL) 프레임워크를 제안한다.

• 그래프 표현: 양자 회로는 게이트, 입력, 출력을 나타내는 노드와 큐비트 와이어를 나타내는 에지를 가진 그래프로 인코딩된다. 이 표현 방식은 3D 텐서 표현과 달리 임의의 연결성과 임의의 회로 크기를 지원한다. 노드 특징에는 게이트 유형(ZZPhase, Rz, PhasedX), 파라미터, Clifford 플래그, 그리고 중복 실행을 방지하기 위한 가장 최근에 적용된 패스의 인덱스가 포함된다.
• 액션 공간: 에이전트는 다음을 포함하여 PyTKET(버전 2.9.3)에서 사용할 수 있는 일련의 글로벌 최적화 패스를 선택한다:
  • KAKDecomposition (2-큐비트 서브회로 재합성)
  • CliffordResynthesis 및 CliffordSimp
  • ZXGraphlikeOptimisation
  • GreedyPauliSimp
  • ThreeQubitSquash
  • DoNothing (시퀀스 종료)
    각 패스 적용 후, 회로는 Quantinuum 네이티브 게이트셋으로 리베이스(rebased)된다.
• 아키텍처: 에이전트는 가변적인 회로 크기를 처리하기 위해 평균 풀링(mean pooling)을 사용하는 Graph Convolution 레이어(수정된 GINConv 연산자 사용)를 갖춘 그래프 신경망(GNN)을 채택한다. 네트워크는 액터(actor)를 통해 액션 로짓(action logits)을 출력하고 크리틱(critic)을 통해 상태 가치(state values)를 출력한다.
• 보상 함수: 단일 액션에 대한 보상은 초기 2-큐비트 게이트 수 대비 제거된 비율로 정의된다 ($r_t = (n_{t-1} - n_t) / n_0$). 효율성을 높이기 위해 DoNothing 이외의 액션에는 작은 페널티가 부여된다.
• 훈련: 모델은 3개에서 7개의 큐비트 수를 포함하는 400,000개 이상의 합성 데이터셋(Random-SU4/SU8, IQP, QAQA, Clifford-mixed 클래스 포함)을 사용하여 훈련된다. 훈련에는 Tree-structured Parzen Estimator를 통해 최적화된 하이퍼파라미터를 사용하는 PPO가 활용된다.

주요 결과
훈련된 에이전트는 다양한 테스트 세트(40,412개의 인-디스트리뷰션 회로)에서 PyTKET 기본 시퀀스들(FullPeepholeOptimise, QuantinuumDefaultTwo, QuantinuumDefaultThree) 및 개별 고성능 패스들과 비교 평가되었다.

• 성능: RL 에이전트는 **57.7%**의 평균 누적 보상(제거된 2-큐비트 게이트의 비율)과 **56.7%**의 중앙값을 달랐다. 이는 평균 41.8%, 중앙값 50.0%를 기록한 차순위 기본 시퀀스(QuantinuumDefaultTwo)보다 우수한 성능을 보였다.
• 적응성: 에이전트는 서로 다른 회로 클래스에 대해 맞춤형 시퀀스를 성공적으로 생성했다. 예를 들어, Ordered-Clifford-SU4 회로에서 에이전트는 99.2%의 경우에서 CliffordSimp를 적용한 후 KAKDecomposition을 수행하는 시퀀스를 정확히 식별하였는데, 이는 더 나은 후속 최적화를 위해 즉각적인 보상을 지연시키는 능력을 입증한다.
• 일반화 가능성: 모델은 훈련 시 본 것보다 큰 "아웃-오브-디스트리뷰션" 회로(최대 12 큐비트 및 450개 2-큐비트 게이트)에 대해서도 일반화되었으며, 인-디스트리뷰션 결과와 대등한 성능을 유지했다. 또한 100 큐비트의 매우 큰 회로에서도 효능을 입증했다.
• 효율성 vs 탐색: 비스펙 시퀀스(bespoke sequences)를 생성하기 위해 전수 조사 또는 그리디 탐색을 사용하는 빔 서치(beam-search) 기반 최적화 도구와 비교했을 때, RL 모델은 대등하거나 더 우수한 2-큐비트 게이트 감소를 생성하면서도 실행 시간은 현저히 짧았다. 탐색 기반 방법은 액션 공간 및 탐색 깊이가 커짐에 따라 확장성이 떨어지는 반면, RL 모델의 추론 시간은 시퀀스 깊이에 따라서만 확장되므로 훨씬 더 확장 가능하다.

의의 및 주장
본 논문은 이 접근 방식이 최적화 패스의 순서를 결정하는 어려움을 자동화된 맞춤형 시퀀스 선택을 통해 해결한다고 주장한다. 이 연구의 의의는 다음과 같다:

1. 기본값 대비 우월성: 학습된 회로별 정책이 2-큐비트 게이트 수 감소(노이즈의 대리 지표) 측면에서 일반적인 목적의 기본 시퀀스보다 크게 우수함을 입증했다.
2. 확장성: RL 기반 선택이 맞춤형 패스 시퀀스를 생성하는 데 있어 탐색 기반 방법보다 계산적으로 훨씬 효율적임을 보여주었다. 특히 회로 복잡성이 증가할수록 더욱 그러하다.
3. 전문 지식 요구 감소: 에이전트가 최적의 패스 순서를 결정하기 위해 인간 전문가를 필요로 하지 않으므로, 효과적인 회로 최적화에 대한 진입 장벽을 낮춘다.
4. 확장성: 방법론은 사용된 특정 패스에 국한되지 않는다. 핵심 접근 방식을 변경하지 않고도 다른 라이브러리의 패스를 포함하도록 액션 공간을 확장할 수 있다.

저자들은 이 접근 방식이 글로벌 재작성(global rewrites)을 개선하지만, 글로벌 변환에 내재된 위상 순서 문제(Phase Ordering Problem)의 영향을 여전히 받는다는 점을 언급했다. 그들은 향후 연구로 특정 회로 영역을 재작성하기 위해 선택하는 에이전트(글로벌 및 로컬 최적화 결합)와 실제 사용자 회로를 포함한 훈련 세트 확장을 제안한다.