Reinforcement Learning for Robust Calibration of Multi-Qudit Quantum Gates

1. 연구 배경 및 문제 정의 (Problem)

• 고차원 양자 시스템의 중요성: 큐비트 (2 레벨) 대신 3 레벨 이상의 시스템인 큐디트 (Qudit, 특히 큐트릿, $d=3$) 를 활용하면 국소 힐베르트 공간이 커지고, 엔탱글링 연산이 풍부해지며, 회로 깊이와 오류 수정에 필요한 자원을 절약할 수 있습니다. 초전도 트랜스몬 (transmon) 장치는 약한 비조화성으로 인해 자연스럽게 첫 3 개의 에너지 준위에 접근할 수 있어 큐트릿 구현에 유망합니다.
• 핵심 난제:
  • 스펙트럼 혼잡 및 누출: 큐트릿은 에너지 준위 구조가 복잡하여 누출 (leakage) 채널이 증가하고, 장치 파라미터 (전이 주파수, 결합 강도 등) 에 대한 민감도가 매우 높습니다.
  • 모델 불일치 (Model Mismatch): 양자 최적 제어 (OCT, 예: GRAPE) 는 이상적인 모델 기반에서 높은 충실도 (fidelity) 의 펄스를 설계할 수 있지만, 실제 제조 공정의 편차나 시간적 드리프트로 인한 파라미터 오차가 발생하면 게이트 성능이 급격히 저하됩니다.
  • 기존 RL 의 한계: 모델 프리 (model-free) 딥 강화 학습 (DRL) 을 처음부터 (from scratch) 고차원 펄스 공간에 적용하는 것은 행동 공간이 너무 커서 학습이 불안정하거나 수렴하지 못하는 문제가 있습니다. 또한, 이상적인 모델에서는 이미 OCT 가 최적 해를 찾으므로 RL 이 OCT 를 능가하기 어렵습니다.
• 목표: 이상적인 모델에서 설계된 OCT 펄스를 기반으로 하되, 실제 장치의 파라미터 불확실성에 강건하게 작동하도록 보정 (Calibration) 을 수행하는 효율적인 하이브리드 프레임워크를 제안하는 것입니다.

2. 제안된 방법론 (Methodology)

저자는 하이브리드 최적 제어 + 강화 학습 (Hybrid OCT+DRL) 프레임워크를 제안합니다. 이 접근법은 두 단계로 나뉩니다.

A. 1 단계: 명목 최적 제어 (Nominal OCT)

• GRAPE 알고리즘: 이상적인 (Nominal) 해밀토니안 모델을 사용하여 2-큐트릿 제어 위상 게이트 ($CZ_3$) 에 대한 고품질 오픈-루프 펄스를 설계합니다.
• 역할: DRL 이 처음부터 펄스를 학습하는 대신, 이 OCT 펄스를 초기값 (Baseline) 으로 제공합니다. 이는 고차원 탐색 공간을 국소적인 보정 문제로 축소시킵니다.

B. 2 단계: 컨텍스트 기반 잔여 강화 학습 (Contextual Residual RL)

• 잔여 보정 (Residual Correction): DRL 에이전트는 펄스 전체를 다시 설계하지 않고, OCT 펄스에 더해질 잔여 오차 (Residual) 만 학습합니다.
  • 파라미터화: 잔여 펄스는 이산 코사인 기저 (Discrete Cosine Basis) 를 사용하여 매개변수화됩니다. 이는 펄스의 매끄러움 (smoothness) 을 보장하고 행동 공간의 차원을 크게 줄입니다 (예: 1600 개의 시간 구간을 20 개의 코사인 계수로 축소).
• 컨텍스트 밴딧 (Contextual Bandit) 환경:
  • 관측 (Observation): 각 에피소드마다 장치의 정적 파라미터 편차 ($\delta\omega_1, \delta\omega_2, \delta g$) 를 정규화된 벡터로 에이전트에게 제공합니다. 이는 실제 장치의 특성 (주파수 오차, 결합 강도 오차 등) 을 나타냅니다.
  • 행동 (Action): 에이전트는 코사인 기저 계수를 출력하여 잔여 펄스를 생성합니다.
  • 보상 (Reward): 보상은 RL 보정 후 게이트 충실도 - OCT 기준 충실도로 정의됩니다. 즉, 에이전트는 게이트를 처음부터 만드는 것이 아니라, OCT 의 성능을 얼마나 향상시킬 수 있는지 (강건성 확보) 를 학습하도록 유도됩니다.
• 알고리즘 비교: SAC, TD3, DDPG, PPO 등 4 가지 주요 연속 제어 DRL 알고리즘을 동일한 조건에서 평가했습니다.

3. 주요 기여 (Key Contributions)

1. OCT 기반 DRL 프레임워크: DRL 이 고차원 공간에서 실패하는 문제를 해결하기 위해, OCT 를 '초기화'로 사용하고 DRL 을 '미세 조정 (Fine-tuning)' 도구로 활용하는 새로운 패러다임을 제시했습니다.
2. 구조화된 잔여 학습: 코사인 기저를 사용하여 행동 차원을 축소하고, 장치별 파라미터 편차에 조건부 (Conditional) 로 보정을 학습함으로써 이식성 (Transferability) 과 강건성 (Robustness) 을 동시에 확보했습니다.
3. 모델 불일치 해결: OCT 는 이상적 모델에서는 최적이지만 실제 장치에서는 성능이 떨어지는 문제를, DRL 이 실제 장치의 파라미터 정보를 받아 실시간으로 보정함으로써 해결했습니다.
4. 다중 알고리즘 검증: 다양한 DRL 알고리즘 (SAC, TD3, DDPG, PPO) 을 비교하여, 이상적 모델에서는 OCT 가 우월하지만, 노이즈가 있는 환경에서는 DRL 이 OCT 를 크게 능가함을 입증했습니다.

4. 수치적 결과 (Results)

• 명목 장치 (Nominal Device):
  • OCT 는 거의 1 에 가까운 충실도 ($1 - 10^{-7}$) 를 달성했습니다.
  • DRL 은 OCT 를 대체할 수 없었으며, 오히려 약간 낮은 충실도 (약 0.4~0.99) 에 수렴했습니다. 이는 DRL 이 이상적 모델에서는 불필요한 변동을 일으킬 수 있음을 보여줍니다.
• 단일 정적 노이즈 장치 (Single Static-Noise Device):
  • 파라미터 오차가 있는 경우, 순수 OCT 는 충실도가 약 0.92로 급감했습니다.
  • 반면, OCT+RL 보정을 적용한 경우 SAC, TD3, DDPG는 충실도를 거의 1까지 회복시켰고, PPO 도 약 0.95 까지 개선했습니다.
• 앙상블 강건성 (Ensemble Robustness):
  • 100 개의 다양한 노이즈가 있는 장치 앙상블에서 평가했습니다.
  • 순수 OCT: 평균 충실도 0.824, 표준 편차 0.138 (성능 변동이 큼).
  • RL 보정 (SAC/TD3/DDPG): 평균 충실도 0.962~0.963, 표준 편차 0.044로 감소.
  • 결론: RL 보정은 평균 성능을 크게 향상시킬 뿐만 아니라, 장치 간 성능 변동성 (Variance) 을 약 10 배 이상 줄여 매우 일관된 게이트 성능을 보장합니다.
• 파라미터 추정 오차에 대한 강건성:
  • RL 에이전트에게 입력되는 파라미터 정보가 10% 정도 노이즈가 있더라도 (불완전한 보정 데이터), RL 은 여전히 높은 충실도를 유지하며 적응 능력을 보여주었습니다.
• 펄스 형태 분석:
  • RL 이 학습한 보정 펄스는 OCT 기준 펄스와 매우 유사하며, 전체적인 형태를 바꾸는 것이 아니라 소규모의 구조화된 진폭 조정을 수행하는 것을 확인했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 실용적 확장성: 이 연구는 고차원 양자 시스템 (큐트릿 이상) 의 보정 문제를 해결할 수 있는 확장 가능하고 계산 효율적인 방법을 제시합니다. 매번 새로운 장치마다 OCT 를 다시 최적화하는 것은 계산 비용이 크지만, 훈련된 DRL 정책은 새로운 장치에 대해 순방향 통과 (forward pass) 만으로 즉시 보정이 가능합니다.
• 하이브리드 제어의 정립: 물리 기반 모델 (OCT) 과 데이터 기반 학습 (DRL) 을 결합한 하이브리드 오픈/클로즈드 루프 제어의 성공적인 사례입니다. 이는 불완전하게 특성화된 (imprecisely characterized) 양자 하드웨어를 위한 표준 전략이 될 수 있습니다.
• 실험적 적용 가능성: 초전도 큐트릿 하드웨어의 제조 편차와 드리프트를 보상하여, 고충실도 양자 게이트의 실현 가능성을 높입니다. 향후 실제 실험 장비와의 연동을 통해 자동화된 보정 루프 구축으로 이어질 것으로 기대됩니다.

요약하자면, 이 논문은 OCT 가 제공하는 최적의 초기 해를 DRL 이 실제 장치의 불완전함에 맞춰 미세 조정하는 방식을 통해, 고차원 양자 게이트의 강건한 보정을 성공적으로 달성했음을 보여줍니다.