Closed-loop control for two-qubit gates with trapped ions

기술 요약: 트랩된 이온을 이용한 2-큐비트 게이트의 폐루프 제어

문제 정의
트랩된 이온 시스템에서 최첨단(SotA) 2-큐비트 게이트(2QG) 구현은 현재 개루프(open-loop) 제어에 의존하고 있다. 이러한 방식은 이상적인 조건을 가정하는 단순화된 폐쇄계 모델을 기반으로 제어 시퀀스를 사전 계산한다. 결과적으로, 이들은 운동 가열(motional heating), 주파수 드리프트, 결맞음 해제(decoherence)와 같은 실제 환경의 교란에 직면했을 때 신뢰성을 확보하기 어렵다. 시스템 파라미터가 강건성 목표치를 벗어나 드리프트되면, 개루프 방식은 계산 비용이 많이 드는 재최적화 과정을 거쳐야 한다. 또한, 이러한 접근 방식은 게이트 실행 중에 시스템과 상호작용하는 노이즈 소스에 대해 본질적으로 무지하다.

방법론
저자들은 실시간 피드백과 강화 학습(RL)을 통합하여 교란을 "실시간(on-the-fly)"으로 수정하는 폐루프 위치 모니터링(CLPM) 방식을 제안한다.

1. 물리적 아키텍처: 이 방식은 양자 논리 처리에 사용되는 이온 체인에 **관찰자 이온(spectator ion)**을 도입한다. 이 이온은 집단적 운동 모드를 통해 연산용 이온들과 결합한다.
2. 연속 모니터링: 관찰자 이온의 위치는 쌍극자 전이를 유도하고 그 결과로 나타나는 형광을 검출함으로써 연속적으로 모니터링된다. 백 미러(back mirror)가 정지파를 생성하여, 이온의 위치가 자신의 거울 이미지와의 간섭을 통해 분해될 수 있도록 한다. 신호는 시간 상관 단일 광자 계수(TCSPC) 시스템과 FPGA에 의해 처리된다.
3. 수학적 프레임워크: 시스템 역학은 양자 궤적 이론(QTT)에서 유도된 확률적 양자 마스터 방정식(QME)을 사용하여 모델링된다. 모델에는 다음 요소들이 포함된다:
   • 진폭 변조 다중 모드 운동 결합(AM-MMC) 게이트.
   • 운동 드리프트 및 가열.
   • 광자 산란 반동 및 자발적 붕괴.
   • 라이트 시프트(Autler-Towns 및 Bloch-Siegert).
   • 관찰자 이온의 모니터링에 따른 구체적인 효과(스핀-스핀 결합, 운동 매개 얽힘, 거울 모드 결합).
4. 제어 전략: 특히 근사 정책 최적화(PPO)를 사용하는 강화 학습(RL) 에이전트가 제어기로서 역할을 수행한다.
   • 입력: 에이전트는 관찰자 이온의 형광으로부터 유도된 운동 모드의 위치($x_k$)와 운동량($p_k$)의 실시간 추정치를 받는다.
   • 동작: 에이전트는 게이트를 구동하는 이색 라만 레이저의 진폭을 조정한다.
   • 보상/비용 함수: 에이전트는 게이트 불충실도($I$)를 최소화하도록 훈련된다. 두 가지 훈련 접근 방식이 탐구되는데, 하나는 에피소드 보상(게이트 종료 시의 불충실도)에 기반하며, 다른 하나는 목표 $\pi/4$를 향한 기하학적 위상의 축적을 추적하는 비용 함수에 기반한다.

주요 기여

• 관찰자 모니터링의 타당성: 본 논문은 선형 폴 트랩(linear Paul trap)에서 관찰자 이온을 도입하는 것이 기술적으로 가능하다는 것을 입증한다. 저자들은 관찰자 이온이 없는 경우와 비교했을 때, 위치 모니터링에 의한 유해한 효과(스핀 결합, 운동 매개 오류, 거울 모드 결합)가 열적 효과에 비해 무시할 수 있는 수준임을 보여준다.
• 오류 감소: 관찰자 이온의 포함은 벨 상태(Bell-state) 준비 불충실도를 10배 정도 감소시킬 것으로 기대된다. 모니터링 과정 자체에서 발생하는 오류는 전체 오류 예산의 10% 미만으로 계산되었다.
• 실시간 학습: 본 연구는 실시간 양자 측정과 강화 학습을 합성하여 강건한 제어 정책을 고안한다. 파라미터가 드리프트할 때마다 다시 실행해야 하는 전역 최적화 알고리즘과 달리, RL 에이전트는 운동 드리프트, 가열 및 라이트 시프트를 동적으로 보상하는 법을 학습한다.
• 검증 로드맵: 저자들은 실험적 검증을 위한 3단계 로드맵을 제공한다: (1) 심퍼세틱 냉각(sympathetic cooling) 및 신호 강도 검증, (2) 레이저 디튜닝을 조작하여 예측된 섭동 오류 재현, (3) 설계된 오류에 대한 훈련된 에이전트 검증.

결과

• 신호 지연 및 속도: 신호 지연(광자 이동 시간 및 처리 시간)은 전형적인 게이트 지속 시간(~100 $\mu$s)보다 현저히 낮아, 제어 루프의 마르코프 성질(Markovian nature)을 보존한다. 광자 검출률은 $1 \times 10^5 \text{ s}^{-1}$까지 높여 궤적 재구성에 충분한 정보를 제공한다.
• 성능 비교:
  • 에피소드 보상 접근 방식: RL 에이전트는 SotA 방식 대비 불충실도에서 33%의 개선을 달면서, 최소 불충실도 $46 \times 10^{-4}$를 달enc했다.
  • 기하학적 위상 접근 방식: 이 방법이 가장 우수한 결과를 보였으며, SotA 솔루션 대비 70%의 향상을 달성하여, 최소 불충실도 $14 \times 10^{-4}$ 및 평균 $85 \times 10^{-4}$를 기록했다.
• 펄스 특성: RL이 생성한 펄스 시퀀스는 표준 SotA 형태와 달랐다. 이들은 더 낮은 진폭(최대 허용치의 1/3 낮음)을 사용하였으며, 위상 공간 폐쇄 조건(phase-space closure condition)을 더 잘 만족하고 전력 의존적 교란을 줄이는 "벨 모양(Bell-like)"을 나타냈다.
• 궤적 폐쇄: RL 에이전트는 비볼록(non-convex) 솔루션 공간을 성공적으로 탐색하여, 운동 궤적이 효과적으로 닫히도록(시작점과 끝점이 겹치도록) 보장하였다. 이는 고충실도 게이트를 위한 핵심 조건이다.

의의 및 주장
저자들은 CLPM 방식이 캘리브레이션 오버헤드를 줄이면서 훨씬 높은 2-큐비트 게이트 충실도로 가는 경로를 제공한다고 주장한다. 정적인 개루프 모델에서 동적인 데이터 기반 폐루프 시스템으로 전환함으로써, 이 접근 방식은 확장 가능한 이온 트랩 양자 컴퓨팅의 주요 장애물인 운동 드리프트와 결맞음 해제를 완화한다. 본 논문은 제어 방법이 실시간으로 교란을 "학습"하고 수정함으로써, 별도의 비용이 많이 드는 재최적화 없이도 파라미터 변화에 강건하게 만드는 시스템임을 명시한다. 본 연구는 최근의 이온 위치 모니터링 기술을 활용하여 고충실도 게이트를 달성하는, 이론적으로 견고하면서도 실험적으로 실행 가능한 작업으로 제시된다.