기술 요약: 신드롬 추출을 위한 강화 학습

문제 정의

양자 오류 정정(QEC)은 논리 큐비트의 오류를 탐지하고 수정하기 위해 신드롬 추출에 의존합니다. 핵심적인 하위 작업은 각 안정기 검사(stabilizer check) 내에서의 CNOT 게이트 순서와 이 게이트들의 타이밍을 지정하는 신드롬 추출 스케줄을 결정하는 것입니다.

스케줄의 탐색 공간은 매우 방대합니다. $m$개의 검사가 있고 각 검사가 $w_i$개의 데이터 큐비트를 포함하는 코드의 경우, 가능한 CNOT 순서의 수는 $\prod_{i=1}^m w_i!$입니다. 예를 들어, 거리(distance) 5인 회전 표면 코드(rotated surface code)는 약 $3.1 \times 10^{24}$개의 가능한 순서 조합을 가집니다. 이상적인 동작은 CNOT 순서와 독립적이지만, 노이즈가 존재하는 환경에서는 순서가 앤실라(ancilla) 결함이 데이터 큐비트로 전파되는 방식(즉, "훅 에러(hook errors)" 생성)을 결정합니다. 결과적으로, 서로 다른 스케줄은 판이하게 다른 **논리적 오류율(Logical Error Rate, LER)**을 나타냅니다.

핵심 과제는 LER을 최소화하는 스케줄을 찾는 탐색 문제입니다. 기존의 최첨단 도구들은 솔루션 품질과 확장성 사이의 트레이드오프에 직면해 있습니다:

• AlphaSyndrome은 고품질의 스케줄을 찾기 위해 몬테카를로 트리 탐색(MCTS)을 사용하지만, 큰 코드 거리로 확장할 때 성능이 저하됩니다.
• PropHunt는 더 큰 코드로 확장하기 위해 최대 만족도 문제(MaxSAT)를 사용하지만, 수작업으로 설계하거나 MCTS로 최적화된 스케줄에 비해 종종 현저히 높은 LER을 생성합니다.

또한, 스케줄을 평가하는 것은 논리적 오류가 매우 드문 사건(rare events)이기 때문에 계산 비용이 많이 듭니다. 직접적인 몬테카를로 샘플링은 고품질 스케줄의 LER을 정확하게 추정하기 위해 실행 불가능할 정도로 많은 횟수의 샷(shots)을 요구합니다.

방법론: FastSched

저자들은 검색을 위한 **강화 학습(RL)**과 평가를 위한 **중요도 샘플링(Importance Sampling, IS)**을 결합하여 품질-확장성 트레이드오프를 극복하는 도구인 FastSched를 소개합니다.

1. 강화 학습 정식화

스케줄 합성 문제는 다음과 같이 **마르코프 결정 과정(MDP)**으로 모델링됩니다:

• 상태 ($s_i$): 이전 검사들에 대해 선택된 CNOT 순서의 이력, 코드 구조(서포트 행렬, 검사 유형), 그리고 현재 검사 인덱스를 포함하여 부분적인 스케줄을 인코딩합니다.
• 행동 ($a_i$): 현재 검사 $i$에 대한 특정 CNOT 순서를 선택합니다. 행동 공간은 고정된 순열 테이블(작은 검사의 경우 모든 순열, 더 큰 검사의 경우 32개의 부분 집합)입니다.
• 보상: 최종 보상은 완성된 스케줄의 추정 LER으로부터 유도됩니다. 탐색을 장려하기 위해 방문 횟수의 역 제곱근에 기반한 탐색 보너스가 추가됩니다.
• 알고리즘: 저자들은 액터-크리틱(actor-critic) 아키텍처를 갖춘 **근사 정책 최적화(PPO)**를 사용합니다. 액터는 게이트 순서를 제안하고, 크리틱은 상태의 가치를 예측합니다. 최종 LER에 기반하여 초기 게이트 순서 결정에 공로를 할당하기 위해 일반화된 어드밴티지 추정(GAE)이 사용됩니다.

2. 평가를 위한 중요도 샘플링

결함의 희귀성을 해결하기 위해, FastSched는 평가 단계에서 중요도 샘플링을 채택합니다:

• 증폭(Amplification): 타겟 노이즈 모델 $P$ 하에서 오류를 샘플링하는 대신, 오류 확률이 증가된(최대 0.45로 제한됨) 증폭된 분포 $Q$ 하에서 샘플링하여 논리적 결함이 더 빈번하게 발생하도록 합니다.
• 가중치 부여(Weighting): 샘플링된 각 결함은 원래의 노이즈 모델 $P$ 하에서의 LER에 대한 편향되지 않은 추정치를 제공하기 위해 가능도 비(likelihood ratio) $W(x) = P(x)/Q(x)$에 의해 가중치가 부여됩니다.
• 불편성(Unbiasedness): 본 논문은 고정된 샘플링 예산에 대해 이 추정치가 불편 추정량(unbiased estimator)임을 증명합니다.
• 적응형 중단(Adaptive Stopping): 시스템은 정보 이득과 계산 비용 사이의 균형을 맞추기 위해 결함 기여도의 유효 샘플 크기(Effective Sample Size, ESS)를 사용하여 샘플링 중단 시점을 결정합니다.

3. 사후 학습 선택 및 정교화

학습 후, 시스템은 다음 다단계 과정을 통해 최종 스케줄을 선택합니다:

1. 후보 풀(Candidate Pool): 학습 과정은 추정된 LER과 함께 최대 300개의 서로 다른 스케줄을 보유하는 풀을 유지합니다.
2. 재평가: 최적의 성능을 구분하기 위해 후보 목록을 더 큰 샘플 예산(및 잠재적으로 다른 증폭 계수)을 사용하여 재평가합니다.
3. 국소적 개선(Local Improvement): 선택된 최적의 후보들에 대해 단일 검사 CNOT 순서 변경을 테스트하는 선택적 국소 탐색 단계를 수행합니다. 변경 사항은 추정된 LER 개선도가 결합된 표준 오차 임계값을 초과하는 경우에만 수용됩니다.

주요 기여

1. RL 정식화: LER을 최소화하기 위해 게이트 순서 정책을 학습하여 이전의 최첨단 방법들을 능가하는 새로운 RL 기반 스케줄 합성 방식입니다.
2. 중요도 샘플링 평가기: 중요도 샘플링과 증가하는 샘플 예산을 기반으로 한 스케줄 평가기로, 희귀한 논리적 결함을 평가하는 데 드는 계산 비용을 크게 줄였습니다.
3. 이론적 보장: 고정된 샘플링 예산 하에서 중요도 샘플링 추정량이 불편(unbiased)하다는 증명을 제공합니다.

결과

저자들은 Brisbane 노이즈 모델을 사용하여 다양한 양자 코드(표면 코드, 컬러 코드, 쌍곡선 코드 및 LDPC 코드)에 대해 FastSched를 AlphaSyndrome 및 PropHunt와 비교 평가했습니다.

• 평균 감소율:
  • AlphaSyndrome 대비: FastSched는 11개 회로 전체에서 평균 **25.9%**의 LER을 감소시켰습니다.
  • PropHunt 대비: FastSched는 8개 회로 전체에서 평균 **71.7%**의 LER을 감소시켰습니다.
• 확장성 (거리 15): 회전 표면 코드 $d=15$에 대해, FastSched는 AlphaSyndrome에 비해 LER을 97.8% 감소시켰습니다.
  • FastSched LER: $3.62 \times 10^{-9}$
  • AlphaSyndrome LER: $1.68 \times 10^{-7}$
• 확장성 (탐색 시간): 일치된 시간 제한(10~30분) 하에서, FastSched는 거리 $d=3$에서 $d=15$까지 AlphaSyndrome보다 일관되게 낮은 LER을 가진 스케줄을 찾아냈습니다. 반면, PropHunt 탐색은 더 큰 거리에서 시간 제한 내에 최적화된 스케줄을 반환하지 못하는 경우가 많았습니다.
• 저노이즈 영역: 물리적 오류율이 감소함에 따라 FastSched의 이점이 커졌습니다. 물리적 노이즈가 베이스라인의 1/32로 감소한 $d=5$ 표면 코드의 경우, FastSched의 LER은 AlphaSyndrome보다 391.3배 더 낮았습니다.

의의 및 주장

본 논문은 FastSched가 솔루션 품질과 확장성 사이의 트레이드오프를 강요하지 않고 스케줄 합성 문제를 성공적으로 해결했다고 주장합니다. 효율적인 검색을 위한 RL과 효율적인 평가를 위한 중요도 샘플링을 결합함으로써, 이 도구는 방대한 CNOT 순서 공간을 탐색하여 수작업 설계 및 기존 자동화 방법보다 훨씬 뛰어난 성능을 보이는 스케줄을 찾아낼 수 있습니다.

저자들은 이 성공의 핵심이 희귀한 논리적 결함을 학습에 유용하게 만드는 것임을 강조합니다. 노이즈 증폭을 통해 RL 에이전트는 학습 중에 빈번한 피드백 신호를 받을 수 있으며, 중요도 가중치를 통해 이러한 신호가 타겟(낮은) 노이즈 수준에서의 성능을 정확하게 반영하도록 보장합니다. 결과는 RL과 중요도 샘플링을 결结合하는 것이 특히 양자 코드가 더 큰 거리와 더 낮은 물리적 오류율로 확장됨에 따라 신드롬 추출 스케줄링을 위한 유망하고 우수한 전략임을 시사합니다.