기술 요약: RubriQ – 제약 조건 인지형 양자 회로 합성을 위한 루브릭 가이드 그룹 상대 정책 최적화 (Rubric-Guided Group Relative Policy Optimization)

1. 문제 정의

알고리즘적으로 정확하면서도 하드웨어와 호환되는 결함 허용 양자 회로(FTQC)를 합성하는 것은 확장 가능한 양자 컴퓨팅의 핵심적인 병목 구간입니다. 주요 과제는 다음과 같습니다:

• 리소스 오버헤드: FTQC에서 비-클리포드(non-Clifford) 연산(특히 T-게이트)은 매직 상태 증류(magic-state distillation)를 위해 많은 자원을 소모하며, 이는 클리포드 게이트보다 수십 배 더 많은 물리적 리소스를 소비합니다. T-카운트를 최소화하는 것은 증류 오버헤드와 스케줄링 복잡성을 줄이는 데 필수적입니다.
• 하드웨어 제약 사항: 근미래 장치들은 엄격한 토폴로지 및 네이티브 게이트 제약(예: IBM의 heavy-hex 연결성 vs. IonQ의 all-to-all 연결성)을 부과하며, 이는 과도한 SWAP 오버헤드를 피하기 위해 회로를 효율적으로 트랜스파일할 것을 요구합니다.
• 기존 방법론의 한계:
  • 휴리스틱 컴파일러 (예: Qiskit, TKET)는 정적 재작성 규칙에 의존하며 새로운 대수적 단순화를 발견할 수 있는 생성 능력이 부족합니다.
  • 표준 강화 학습 (RL) 접근 방식은 종종 희소한 종단 보상(sparse terminal rewards) 문제로 인해 그래디언트 분산이 높고 탐색 성능이 떨어집니다. 또한 이들은 단순히 게이트 삽입/삭제와 같은 좁은 액션 공간에서 작동하며, 처음부터 회로를 생성하는 능력은 부족합니다.
  • 신경 비평가(Neural Critics): RL을 위해 수십억 개의 파라미터를 가진 비평가 네트워크를 학습시키는 것은 고성능 컴퓨팅(HPC) 환경에서 심각한 메모리 및 통신 병목 현상을 초래합니다.

2. 방법론: RubriQ 프레임워크

RubriQ는 학습된 가치 함수 비평가 없이 그룹 상대 정책 최적화(GRPO)를 통해 최적화된, 대규모 언어 모델(LLM)을 활용한 구조화된 코드 생성 작업으로 양자 회로 합성을 재정의합니다.

A. 합성기로서의 LLM (LLM-as-Synthesizer)

본 시스템은 OpenQASM 또는 Qiskit Python 코드 생성을 조건부 코드 생성 작업으로 취급합니다.

• 입력: 타겟 알고리즘(예: QFT, 해밀토니안 시뮬레이션) 및 제약 조건을 명시하는 자연어 프롬프트.
• 모델: LoRA(Low-Rank Adaptation)로 미세 조정된 7B 파라미터 규모의 지시어 튜닝된 코드 LLM (Qwen2.5-Coder-7B).
• 생성: 정책은 프롬프트당 $N=8$개의 후보 회로를 자기회귀적 샘플링(autoregressive sampling)을 통해 추출합니다.
• 파싱: 다중 전략 파서를 사용하여 LLM의 가공되지 않은 텍스트 출력에서 실행 가능한 회로 객체를 추출합니다. 파싱할 수 없는 출력은 즉시 보상 0점을 할당받습니다.

B. 루브릭 가이드 보상 엔진 (Rubric-Guided Reward Engine)

신경 비평가 대신, RubriQ는 다섯 가지 직교하는 차원에 걸쳐 회로를 평가하는 결정론적이고 프로그래밍 가능한 스코어링 엔진을 사용합니다. 총 보상 $R(y)$는 다음과 같은 가중 합계입니다:
$$R(y) = w_C S_C + w_T S_T + w_H S_H + w_F S_F + w_E S_E$$

1. 클리포드 비율 ($S_C$): 클리포드 연산(시뮬레이션이 용이한 연산)의 비율.
2. T-카운트 감소 ($S_T$): 높은 T-게이트 수를 억제하는 지수 감소 함수로, 배치 기반 증류 특성을 고려하여 초기 몇 개의 T-게이트를 제거하는 데 우선순위를 둡니다.
3. 하드웨어 호환성 ($S_H$): 특정 백엔드 토폴로지(예: IBM Heavy-Hex, IonQ All-to-All)에 대한 준수 여부를 평가하며, SWAP 라우팅 오버헤드 및 비-네이티브 게이트에 대해 페널티를 부여합니다.
4. 기능적 충실도 ($S_F$): 생성된 유니터리와 타겟 알고리즘 사이의 힐베르트-슈미트 내적(Hilbert-Schmidt inner product)을 통해 프로세스 충실도를 계산하여 알고리즘적 정확성을 보장합니다.
5. 회로 효율성 ($S_E$): 회로의 간결함과 낮은 회로 깊이에 보상을 부여합니다.

C. GRPO 학습 루프

RubriQ는 정책 업데이트를 위해 GRPO를 활용합니다:

• 그룹 정규화: 주어진 프롬프트에 대해, $N$개의 샘플링된 결과값들의 보상을 평균을 빼고 표준 편차로 나누어 정규화합니다.
• 비평가 프리 (Critic-Free): 이 방식은 학습된 가치 함수를 제거하며, 대신 루브릭이 제공하는 밀도 높고 결정론적인 신호에 의 Rely 합니다.
• 어드밴티지 추정: 정규화된 어드밴티지 $\hat{A}_i$는 정책 그래디언트 업데이트를 주도하여, 모델이 단순한 성공/실패 신호가 아닌 등급이 매겨진 피드백으로부터 학습할 수 있게 합니다.

D. HPC 시스템 아키텍처

충실도 시뮬레이션의 계산 비용($O(4^{n_q})$로 스케일링됨)을 처리하기 위해, RubriQ는 NERSC Perlmutter 슈퍼컴퓨터에 배포됩니다:

• 하드웨어: Slingshot-11으로 연결된 NVIDIA A100 (80 GB) 클러스터.
• 최적화: 분산 그래디언트 및 옵티마이저 상태 분할을 위해 DeepSpeed ZeRO-2를 사용합니다.
• 시뮬레이션: 고처리량 충실도 평가를 위해 RL 루프 내에 GPU 가속 CUDA-Q 시뮬레이션을 직접 통합합니다.
• 효율성: 8개의 GPU에서 85% 이상의 강력한 스케일링(strong-scaling) 효율을 달もの합니다.

3. 주요 기여

1. 합성기로서의 LLM 공식화: 소규모 트랜스포머 모델이나 휴리스틱 규칙을 넘어, RL 기반 사후 학습을 통해 수십억 파라미터 규모의 지시어 튜닝된 LLM을 게이트 수준 양자 합성(gate-level quantum synthesis)에 적용한 최초의 사례입니다.
2. 다중 목적 루브릭 보상 엔진: 신경 비평가를 대체하는 혁신적인 방법으로, 클리포드, T-카운트, 하드웨어, 충실도, 효율성 차원에 걸쳐 밀도 높고 해석 가능한 스코어링 시스템을 제공합니다.
3. 확장 가능한 HPC 아키텍처: NERSC Perlmutter에서 전체 학습 파이프라인 구현을 통해, 희소 보상 베이스라인 대비 시뮬레이션 호출 횟수를 2~3배 줄이며 강력한 스케일링을 입증했습니다.
4. 하드웨어 검증 평가: 자동화된 트랜스파일 파이프라인을 통해 생성된 회로를 실제 IBM Heron-3 및 IonQ Forte 프로세서에서 성공적으로 실행했습니다.
5. 실험적 성능: 1,500개의 벤치마크 회로에 대해 우수한 성능을 입증하였으며, 상당한 T-게이트 압축과 빠른 수렴 속도를 달성했습니다.

4. 결과

• T-게이트 압축: RubriQ는 벤치마크 데이터셋 전반에서 3.31배의 평균 T-게이트 압축률을 달성하여, 기존의 희소 보상 RL(2.05배) 및 규칙 기반 컴파일러(Qiskit O3: ~1.4배, TKET O2: ~1.7배)를 크게 상회했습니다.
• 수렴 속도: 본 프레임워크는 희소 보상 RL 방법보다 2~3배 빠르게 수렴하며, 목표 압축률에 도달하기 위해 더 적은 학습 에포크를 필요로 합니다.
• 리소스 효율성: 빠른 수렴 덕분에 RubriQ는 Sparse-PPO 및 Sparse-GRPO 베이스라인에 비해 총 GPU 시간을 약 2.6배 절감했습니다.
• 제약 조건 준수: 시스템은 1% 미만의 하드웨어 제약 위반을 유지하며 높은 기능적 충실도(많은 경우 >99%)를 달성했습니다.
• 하드웨어 검증: 상위 랭크된 회로들이 IBM 및 IonQ 하드웨어에서 성공적으로 실행되어, 시뮬레이션을 넘어선 실질적인 적용 가능성을 확인했습니다.

5. 의의 및 주장

본 논문은 RubriQ가 LLM 기반 코드 생성과 검증 가능한 루브릭 기반 강화 학습을 결합함으로써, 자동화된 과학적 발견의 새로운 패러다임을 구축한다고 주장합니다. 그 의의는 다음과 같습니다:

• 확장성: LLM 기반 합성이 HPC 환경에서 규모를 키워 지수적 복잡성을 가진 양자 최적화 문제를 해결할 수 있음을 증명했습니다.
• 제약 조건 인지: 단일 최적화 프레임워크 내에서 FTQC 준비성(T-카운트 최소화)과 근미래 하드웨어 호환성(토폴로지 제약)이라는 두 가지 요구 사항을 성공적으로 해결했습니다.
• 효율성: 밀도 높은 프로그래밍 방식의 보상 형성(reward shaping)이 희소 보상이나 신경 비평가보다 계산적으로 우월함을 입증하여, 현실적인 양자 워크로드에 대해 대규모 모델을 학습할 수 있게 했습니다.
• 실용성: AI가 생성한 회로가 이론적으로 최적일 뿐만 아니라 현재 세대의 양자 하드웨어에서 실행 가능하다는 것을 검증했습니다.

저자들은 Rubriq가 대규모 결함 허용 하드웨어 준비가 된 양자 회로를 생성하기 위한 자동화된 고성능 컴퓨팅 기반 파이프라인을 향한 중요한 단계라고 보고 있습니다.