기술 요약: RubriQ – 제약 조건 인지형 양자 회로 합성을 위한 루브릭 가이드형 그룹 상대적 정책 최적화 (GRPO)

1. 문제 정의

확장 가능한 양자 컴퓨팅으로의 전환은 고수준 알고리즘을 저수준 게이트 시퀀스로 변환하는 과정에서 발생하는 고전적 컴파일링 문제에 의해 병목 현상을 겪고 있습니다. 이는 결함 허용 양자 컴퓨팅(FTQC) 자원 제약과 근미래 하드웨어 실행 가능성을 모두 충족해야 합니다.

• FTQC 제약 조건: 표면 코드(surface-code) 아키텍처에서 비-클리포드(non-Clifford) 연산(특히 $T$ 게이트)은 값비싼 매직 상태 증류(magic-state distillation)를 필요로 하며, 이는 클리포드 게이트보다 수십 배 더 많은 물리적 자원을 소비합니다. 따라서 $T$-count와 $T$-depth를 최소화하는 것은 고전적 계산 예산 및 스케줄링 복잡도를 줄이는 데 매우 중요합니다.
• 근미래 제약 조건: 현재의 노이즈 중간 규모 양자(NISQ) 장치(예: IBM의 heavy-hex 토폴로지, IonQ의 all-to-all 연결성)는 네이티브 게이트 세트, 큐비트 연결성 및 회로 깊이에 대한 엄격한 제한을 부과합니다.
• 기존 방법의 한계: 주류 컴파일러(Qiskit, TKET)는 정적인 휴리스틱 규칙에 의존하며 생성적 능력이 부족하여 새로운 대수적 단순화를 발견하지 못합니다. 이전의 강화 학습(RL) 접근 방식은 종종 희소한 종단 보상(sparse terminal rewards), 높은 분산의 그래디언트, 그리고 구조적으로 새로운 회로 발견을 방해하는 좁은 액션 공간(게이트 삽입/삭제) 문제를 겪습니다. 또한, 규모 있는 양자 합성을 위해 RL 에이전트를 훈련하는 것은 $O(4^{n_q})$의 충실도 시뮬레이션 복잡도로 인해 계산적으로 매우 부담스럽습니다.

2. 방법론: RubriQ 프레임워크

RubriQ는 학습된 가치 함수 비평가(value-function critic) 없이 그룹 상대적 정책 최적화(GRPO)를 통해 최적화되는, 대규모 언어 모델(LLM) 코드 생성 작업으로 양자 회로 합성을 재정의합니다.

2.1 합성기로서의 LLM (LLM-as-Synthesizer)

본 시스템은 OpenQASM 또는 Qiskit 파이썬 코드의 합성을 조건부 생성 작업으로 취급합니다.

• 기반 모델: 70억 개의 파라미터를 가진 인스트럭션 튜닝된 코드 생성 LLM(Qwen2.5-Coder-7B)이 정책 $\pi_\theta$ 역할을 수행합니다.
• 파라미터 효율성: 모델은 rank 64의 저순위 적응(LoRA)을 사용하여 미세 조정되며, 전체 파라미터의 약 0.4%만을 학습 가능한 파라미터로 유지하여 4~8대의 NVIDIA A100 GPU에서 배포가 가능하도록 합니다.
• 생성: 각 프롬프트(알고리즘의 자연어 명세)에 대해, 모델은 $N=8$개의 후보 회로를 자기회귀적(autoregressively)으로 샘플링합니다.

2.2 루브릭 가이드형 보상 엔진

RubriQ는 희소한 이진 보상이나 신경망 비평가 대신, 밀집하고 결정론적인 보상을 생성하기 위해 프로그래밍 방식의 다차원 루브릭을 채택합니다. 보상 함수 $R(y)$는 하나의 하드 코렉트니스(correctness) 조건에 의해 제어되는 다섯 가지 유계된 구성 점수($S_d \in [0, 1]$)의 가중 합입니다:
$$R(y) = g(c) \cdot [w_F S_F + w_C S_C + w_T S_T + w_H S_H + w_E S_E]$$
여기서 $g(c)$는 평균 게이트 충실도 $F_{avg} < 0.99$인 경우 보상을 0으로 설정하는 하드 게이트입니다.

다섯 가지 차원은 다음과 같습니다:

1. 기능적 충실도 ($S_F$): 타겟 유니터리에 대한 힐베르트-슈미트(Hilbert-Schmidt) 내적을 통해 측정됩니다.
2. 클리포드 비율 ($S_C$): 클리포드 게이트와 총 연산 게이트의 비율로, 클리포드 중심의 회로를 권장합니다.
3. $T$-Count 감소 ($S_T$): 전체 등가 $T$-게이트 수(Toffoli 및 임의 회전의 분해를 고려함)에 기반한 지수적 감쇠 점수입니다.
4. 근미래 하드웨어 검증 ($S_H$): 특정 백엔드(IBM Eagle/Heron, IonQ Forte/Aria)와의 호환성을 평가하여 네이티브 게이트가 아닌 게이트와 SWAP 라우팅 오버헤드에 페널티를 부여하는 점수입니다.
5. 회로 효율성 ($S_E$): 깊이 정규화된 압축성 지표입니다.

2.3 GRPO 훈련 루프

본 프레임워크는 별도의 가치 함수 비평가 네트워크가 필요 없는 그룹 상대적 정책 최적화(GRPO)를 활용합니다.

• 어드밴티지 추정: 동일한 프롬프트로부터 샘플링된 $N$개의 완료본 그룹에 대해, 그룹 내 보상을 정규화하여 어드밴티지 $\hat{A}_i$를 계산합니다: $\hat{A}_i = (R_i - \mu_R) / (\sigma_R + \epsilon)$.
• 확장성: 이 접근 방식은 희소한 보상에 비해 그래디언트 추정의 분산을 줄이며, 분산 GPU 환경에서 수십억 개의 파라미터를 가진 비평가를 유지하는 데 따르는 메모리 및 통신 병목 현상을 방지합니다.
• HPC 통합: 훈련 루프는 고처리량 충실도 평가를 위해 GPU 가속 CUDA-Q 시뮬레이션을 RL 루프에 직접 통합합니다. 시스템은 분산 그래디언트 및 옵티마이저 상태 분할을 위해 DeepSpeed ZeRO-2를 사용하여 NERSC Perlmutter에 배포됩니다.

3. 주요 기여

1. 합성기로서의 LLM 공식화: 소규모 트랜스포머 모델이나 정적 휴리스틱을 넘어, RL 기반 사후 학습을 사용하여 빌리언 스케일의 인스트럭션 튜닝된 LLM을 게이트 수준의 양자 합성에 적용한 첫 사례입니다.
2. 다목적 루브릭 보상 엔진: 신경망 비평가를 해석 가능하고 결정론적인 루브릭으로 대체하여, FTQC 비용 메트릭(Clifford+T)과 근미래 하드웨어 검증을 분리하는 도메인 기반 스코어링 시스템을 구축했습니다.
3. 확장 가능한 HPC 시스템 아키텍처: 분산 그래디언트 및 옵티마이저 상태 분할을 위해 DeepSpeed ZeRO-2와 CUDA-Q를 사용하여 $O(4^{n_q})$ 시뮬레이션 비용을 관리하며, NERSC Perlmutter에서 8개의 A100 GPU에 대해 85% 이상의 강력한 확장성(strong-scaling) 효율성을 보이는 전체 훈련 파이프라인을 구현했습니다.
4. 근미래 하드웨어 검증: 실제 IBM Heron-3 및 IonQ Forte 프로세서에서 합성된 회로를 검증하는 자동화된 파이프라인을 통해, 시뮬레이션을 넘어선 실행 가능성을 입증했습니다.
5. 실험적 성능: 희소 보상 베이스라인 및 전통적인 컴파일러와 비교하여 합성 품질과 수렴 속도에서 상당한 개선을 입증했습니다.

4. 실험 결과

2~8 큐비트 범위의 1,500개 벤치마크 회로(QFT, QPE, 해밀토니안 시뮬레이션, 데이터 인코딩)에 대해 평가되었습니다:

• 정확성: 데이터셋당 최소 **96%**의 정확도 통과율을 달est했습니다.
• $T$-게이트 압축: 올바른 회로만을 대상으로 했을 때 평균 3.31$\times$의 $T$-게이트 압축을 달성하여, 희소 보상 RL 베이스라인(2.05$\times$) 및 전통적인 도구(TKET, Qiskit)를 크게 상회했습니다.
• 수렴: 루브릭 가이드 방식은 희소 보상 베이스라인보다 2~3$\times$ 더 빠르게 수렴하여, 필요한 총 훈련 에포크 수를 줄였습니다.
• 제약 조건 위반: 근미래 하드웨어 제약 위반을 1% 미만으로 유지했습니다.
• 하드웨어 검증: 상위 k-개 회로를 IBM Heron-3 및 IonQ Forte에 성공적으로 배포하여, 하드웨어 인식 코드를 생성하는 파이프라인의 능력을 확인했습니다.
• 계산 효율성: 밀집된 루브릭 셰이핑은 희소 보상 방식에 비해 총 시뮬레이션 호출 횟수를 2~3$\times$ 감소시켜, GPU 시간(예: 8-큐비트 작업에 대해 9.2 vs 24.2 GPU-시간)을 크게 절감했습니다.

5. 의의 및 주장

본 논문은 RubriQ가 LLM의 생성 능력과 엄격한 도메인 특화 제약 조건을 결합함으로써 자동화된 양자 회로 합성을 위한 새로운 패러다임을 구축한다고 주장합니다.

• 관심사의 분리: FTQC 비용 메트릭과 근미래 하드웨어 검증을 명시적으로 분리함으로써, RubriQ는 미래의 결함 허용 시스템과 현재의 NISQ 장치 간의 상충하는 요구 사항을 해결합니다.
• 비평가의 제거: 양자 합성처럼 결정론적이고 프로그래밍 방식으로 계산 가능한 작업의 경우, 학습된 가치 함수 비평가가 불필요함을 입증했습니다. 밀집된 루브릭 기반 보상과 GRPO의 조합만으로도 효과적인 정책 최적화에 충분한 신호를 제공할 수 있습니다.
• HPC 기반 파이프라인: 본 연구는 RL 기반 합성을 더 큰 큐비트 수로 확장할 때(고전적 시뮬레이션이 불가능해지는 지점) AI 기반 양자 도구를 훈련하기 위해 고성능 컴퓨팅(HPC) 자원이 필수적임을 강조합니다.
• 강건성: 프레임워크는 다양한 알고리즘 제품군과 큐비트 수에 대해 강건함을 보여주며, 특정 회로 템플릿에 과적합되지 않습니다.

저자들은 결론적으로 RubriQ가 이론적 알고리즘 설계와 실제 하드웨어 실행 사이의 간극을 메우는, 표면 코드 비용을 고려한 자동화된 고성능 파이프라인을 제공한다고 밝히고 있습니다.