기술 요약: 적응형 정책 유도 오류 완화 (Adaptive Policy-Guided Error Mitigation, APGEM)

문제 정의

현재의 잡음 중간 규모 양자(NISQ) 하드웨어 상에서의 양자 기계 학습(QML)은 결맞음(decoherence), 게이트 부정확성(gate infidelity), 그리고 판독 오류(readow errors)에 의해 근본적으로 제약을 받는다. 제로 노이즈 외삽(Zero-Noise Extrapolation, ZNE), 확률적 오류 상쇄(Probabilistic Error Cancellation, PEC), 측정 오류 완화(Measurement Error Mitigation, MEM), 동적 디커플링(Dynamical Decoupling, DD), 그리고 회로 최적화와 같은 다양한 오류 완화(EM) 기술들이 존재하지만, 단일 기술이 모든 노이즈 영역이나 훈련 단계에서 최적일 수는 없다.

실제 환경에서 오류 완화 전략은 수동으로 선택되어 실험 전반에 걸쳐 정적으로 적용된다. 이러한 정적 접근 방식은 양자 회로가 그래디언트 업데이트나 강화 학습 피드백을 통해 진화하고, 장치 교정 및 회로 깊이에 따라 유효 노이즈 프로파일이 변하는 QML에는 부적합하다. 훈련의 초기 탐색 단계에 최적인 전략이 최종 정밀화 단계에서는 낭비적이거나 해로울 수 있다. 본 논문은 기존 문헌의 공백, 즉 학습 과정 자체로부터 발생하는 실시간 피드백을 기반으로 가장 적절한 완화 기술을 동적으로 선택할 수 있는 통합된 모델 불가지론적(model-agnostic) 프레임워크의 부재를 지적한다.

방법론

저자들은 **적응형 정책 유도 오류 완화(APGEM)**를 제안하며, 이는 오류 완화 선택을 온라인 컨텍스추얼 결정 문제(online contextual decision problem)로 취급하는 일반화된 프레임워크이다. 핵심 혁신은 내부 파라미터에 접근하지 않고도 임의의 변분 알고리즘으로부터 고유한 피드백 신호를 관찰하는 경량 컨트롤러인 "메타 학습기(meta-learner)"를 운영하는 것이다.

1. 피드백 인터페이스

이 프레임워크는 다양한 QML 패러다임(지도 학습, 비지도 학습, 강화 학습, 하이브리드)을 통일된 인터페이스로 추상화한다.

• 품질 기능 함수 ($Q_A$): 각 알고리즘의 고유 성능 지표(예: 분류 정확도, 에너지 오차, 분포 간 거리)를 공통 스케일 $[0, 1]$로 정규화한다.
• 컨텍스트 벡터 ($z_t$): 각 결정 단계에서 컨트롤러는 다음을 포함하는 14차원 벡터를 관찰한다:
  • 장치 노이즈 파라미터 (탈분극율, 판독 오류, 코히런트 회전, 진폭 감쇠).
  • 성능 신호 (완화되지 않은 품질, 충실도, 엔트로피).
  • 회로 특성 (깊이, 게이트 수).
  • 최적화 역학 (그래디언트 분산, 수렴 속도, 훈련 진행도).
• 컨텍스트 리프팅 (Context Lifting): 노이즈 영역과 최적 기술 사이의 비선형 관계를 처리하기 위해, 원시 컨텍스트를 방사 기저 함수 확장(radial-basis function expansion)을 통해 24차원 공간($x_t$)으로 리프팅하며, 이를 통해 최적의 결정 경계를 근사적으로 선형 분리 가능하게 만든다.

2. 완화 풀 (Mitigation Pool)

컨트롤러는 6가지 기술($\mathcal{M}$)로 구성된 유한한 풀에서 선택한다:

1. NoMitigation: 기준 실행.
2. ZNE: 제로 노이즈 외삽 (회로를 폴딩하고 노이즈가 0인 지점으로 외삽).
3. PEC: 확률적 오류 상쇄 (준확률 역전).
4. MEM: 측정 오류 완화 (혼돈 행렬 역전).
5. DD: 동적 디커플링 (코히런트 유휴 오류를 상쇄하기 위해 에코 시퀀스 삽입).
6. CircuitOpt: 컴파일러 수준 최적화 (노이즈 주입을 줄이기 위한 트랜스파일링).

3. 비용 인식 효용 및 결정 로직

선택은 출력 품질과 샘플링 오버헤드 및 추정기 분산을 균형 있게 조절하는 비용 인식 효용 함수($U$)에 의해 지배된다:
$$U(m | x_t) = \sigma(k(Q_A(\hat{p}_m) - Q^*_A)) - \alpha C_m - \beta V_m$$
여기서 $\sigma$는 사용성 임계값 $Q^*_A$를 중심으로 하는 시그모이드 함수이며, $C_m$은 정규화된 샷 비용, $V_m$은 분산이다. 이는 컨트롤러가 실제 품질 이득이 있는 경우에만 값비싼 기술을 사용하도록 보장한다.

결정 메커니즘은 컨텍스추얼 밴딧(Contextual Bandit)(구체적으로 LinUCB)으로 구현된다. 컨트롤러는 리프팅된 컨텍스트 공간 내에서 각 기술의 기대 효용에 대한 선형 모델을 유지한다. 컨트롤러는 알려진 좋은 전략을 활용(exploitation)하는 것과 불확실한 전략을 탐색(exploration)하는 것 사이의 균형을 맞추며 상한 신뢰 구간(upper confidence bound)을 최대화하는 기술을 선택한다.

4. 평가 프로토콜

프레임워크는 다섯 가지 QML 패러다임에 대해 평가되었다:

• 변분 양자 분류기 (VQC)
• 양자 서포트 벡터 머신 (QSVM)
• 변분 양자 고유치 계산기 (VQE)
• 양자 생성 모델 (QGen)
• 양자 강화 학습 (QRL)

실험은 80개의 알고리즘 및 노이즈 조건(탈분극, 판독, 코히런트 노이즈로 구성된 인위적 그리드)에서 수행되었으며, 8개의 실제 IBM 장치로부터 얻은 캘리브레이션 스냅샷에서 유도된 32개 블록을 통해 검증되었다.

주요 결과

1. 정적 전략 대비 우월성

80개 블록 그리드 전체에서, 적응형 APGEM 컨트롤러는 평균 효용 0.435를 달 기록하며, 최적의 정적 전략(NoMitigation, 0.356) 및 모든 고정 기술을 유의미하게 능가했다.

• 오라클 근접도 (Oracle Proximity): APGEM은 주어진 컨텍스트에 대해 항상 최적의 기술을 알고 있는 "오라클" 효용의 **95.5%**를 회복했다.
• 통계적 유의성: 프리드만 검정(Friedman test) 결과 전략 간 등수 동일 가설이 기각되었다 ($\chi^2 = 92.18, p \approx 1.1 \times 10^{-17}$). 쌍별 윌콕슨 검정(Pairwise Wilcoxon tests)은 APGEM이 모든 고정 전략을 유의미하게 능가함을 확인했다 ($p < 4 \times 10^{-6}$).

2. 패러다임별 적응

특정 학습 작업에 무관한 단일 컨트롤러가 다섯 가지 패러다임에 대응하는 다섯 가지 뚜렷한 정책을 성공적으로 학습했다:

• VQE & QGen: 주로 PEC (확률적 오류 상쇄)를 선택함.
• QSVM: 커널 추정에 있어 완화 비용이 이득보다 크다고 판단하여 NoMitigation을 기본값으로 설정함.
• VQC: DD와 PEC 사이에서 선택이 나뉨.
• QRL: 혼합 전략을 보였으나, 작업의 확률적 특성으로 인해 argmax 일치도가 낮았음.

3. 노이즈 영역 추적

학습된 정책은 노이즈 조건에 따라 동적으로 변화했다:

• 낮은 노이즈: NoMitigation 또는 ZNE를 선호함.
• 중간 노이즈: PEC로 전환됨.
• 심각한/판독 지배적 노이즈: 고급 기술의 샘플링 오버헤드가 정당화되지 않으므로 NoMitigation으로 복귀함.
• 코히런트 노이즈: 특정 하드웨어 스냅샷에서 동적 디커플링(DD)이 경쟁력을 가짐.

4. 하드웨어 검증

8개의 실제 IBM 장치에서 유도된 노이즈 모델로 테스트했을 때, APGEM은 오라클을 거의 정확하게 추적하여 기대 효용 오라클의 **99.9%**를 달성했다. 컨트롤러는 코히런트 오류가 높은 스냅샷에서 동적 디커플링이 우월한 영역을 정확히 식별했으며, 판독 오류가 낮은 경우 측정 완화가 불필요함을 식별했다.

5. 확장성 및 비용

• 일정한 결정 비용: 컨트롤러의 결정 프로세스 계산 비용은 큐비트 수(3~8개 테스트)와 상관없이 일정하게 유지되었다 ($O(|M|D^2)$).
• 샘플링 오버헤드: 실현된 샘플링 비용은 선택된 기술들의 가중 평균이었으며, 정적 전략의 고정된 곱셈 페널티를 피하고 가장 저렴한 것과 가장 비싼 것 사이로 제한되었다.
• 후회 분석 (Regret Decomposition): 분석 결과, 컨트롤러와 "사후(post-hoc)" 오라클 사이의 격차 중 **64%**는 정책 오류가 아닌 환원 불가능한 샘플링 노이즈에 의한 것이었다. 기대 효용 오라클(샷 노이즈를 고려한 오라클)과 비교했을 때, 컨트롤러의 후회(regret)는 최소 수준이었다.

의의 및 주장

본 논문은 APGEM이 정적 오류 완화에서 상호작용적이고 자기 최적화되는 노이즈 제어로의 전환을 나타낸다고 주장한다. 주요 기여는 다음과 같다:

1. 일반화: 단일한 모델 불가지론적 컨트롤러가 공유된 피드백 인터페이스만을 사용하여 다양한 QML 패러다임(지도, 비지도, RL, 하이브리드) 전반의 노이즈를 효과적으로 관리할 수 있음을 입증했다.
2. 컨텍스추얼 인식: 오류 완화 선택은 한 번의 설정이 아니라, 훈련 궤적 및 노이즈 드리프트와 함께 진화해야 하는 동적 정책임을 증명했다.
3. 비용-편익 최적화: 효용 함수에 샘플링 비용을 직접 통합함으로써, 정적 접근 방식에서 흔히 발생하는 "과잉 완화"를 피하고 실제 효용 이득이 있는 경우에만 값비싼 기술을 선택한다.
4. 하드웨어 관련성: 실제 IBM 캘리브레이션 스냅샷에 대한 결과는 이 접근 방식이 시뮬레이션 모델뿐만 아니라 실제 장치의 특정 노이즈 프로파일에도 견고함을 보여준다.

저자들은 현재 연구가 대표적이지만 전수적이지는 않은 완화 팔(arm) 세트와 패러다임을 사용하고 있음을 인정하며 겸허한 태도를 유지한다. 또한, 품질과 샷 비용의 균형을 맞추는 데 사용된 특정 효용 함수는 배포 환경에 따라 달라질 수 있다고 언급한다. 그러나 그들은 오류 완화 선택을 고정된 파라미터가 아닌 학습 가능한 정책으로 취급하는 것이 전지전능한 오라클이 달성 가능한 성능의 상당 부분을 일관되게 확보할 수 있는 "저렴한 변화"이며, 근접한 하드웨어에서의 노이즈 탄력적 양자 학습을 위한 확장 가능한 경로를 제공한다고 결론짓는다.