Uncovering Latent Structures in Robust Pulse Sequences: A Model-Based Reinforcement Learning Approach for Adaptable Quantum Control

기술 요약: 모델 기반 강화 학습을 통한 강건한 펄스 시퀀스의 잠재 구조 규명

문제 정의
양자 시스템의 실시간 적응형 제어에는 다양한 작동 조건 범위에 걸쳐 강건하고 고충실도(high-fidelity)인 제어 펄스를 신속하게 생성하는 기술이 필요하다. GRAPE(Gradient Ascent Pulse Engineering)와 같은 표준 최적화 알고리즘은 각 제어 인스턴스를 독립적으로 해결한다. 이러한 "기억 상실형(memoryless)" 접근 방식은 실행 간의 정보를 버림으로써, 시스템 파라미터(예: 주파수 디튜닝, 진폭 불균일성)가 변할 때마다 비용이 많이 드는 재초기화 및 재최적화를 요구하게 된다. 또한, 지도 학습(supervised learning)은 속도 면에서 이점이 있지만, 사전에 계산된 훈련 데이터의 품질에 제한을 받으며 훈련된 데이터를 재현하는 수준을 넘어설 수 없다. 모델 프리 강화 학습(Model-free RL)은 데이터 의존성을 피할 수 있지만, 샘플 효율성이 낮고 시스템 해밀토니안(Hamiltonian)에 대한 무지함으로 인해 물리적 강건성이 부족하다는 단점이 있다.

방법론
저자들은 물리적 시스템의 해밀토니안을 훈련 파이프라인에 직접 내장하는 모델 기반 강화 학습(Model-Based Reinforcement Learning, RL) 프레임워크를 제안한다. 이 접근 방식은 사전 계산된 훈련 데이터 없이도 전체 구성 패밀리에 걸쳐 강건한 양자 게이트를 생성하는 단일 신경망을 활용한다.

• 아키텍처 및 입력: 완전 연결 신경망(fully connected neural network)은 게이트 구성을 정의하는 네 가지 입력값인 회전 각도($\beta$), 펄스 지속 시간($T_P$), 목표 디튜닝 범위($\Delta\delta$), 그리고 목표 진폭 불균일성 범위($\Delta s$)를 입력으로 받는다. 네트워크는 일정한 명목 진폭을 가진 시간 의존적 위상 프로파일 $\phi(t)$를 출력한다.
• 훈련 루프: 네트워크는 제어 펄스를 생성하고, 이 펄스는 미분 가능한 물리 시뮬레이션 내의 시스템 해밀토니안에 적용된다. 시뮬레이션은 강건성 그리드에서 샘플링된 시스템 파라미터 $\xi_m$의 앙상블에 대해 전파자(propagator) $U(T, \xi_m)$를 계산한다. 충실도 손실(infidelity) $J$는 타겟 유니터리 $U_T$에 대해 계산되며, 자동 미분(AD)을 통해 전체 계산 그래프(손실 함수부터 네트워크 가중치까지)를 통해 역전파된다.
• 강건성 및 평활화(Smoothing): 실험적 실행 가능성을 보장하기 위해, 손실 함수는 디튜닝 및 진폭 변화의 그리드에 대해 충실도를 평균한다. 고주파 진동을 억제하면서도 시간적 구조와 미분 가능성을 유지하기 위해 양방향 지수 이동 평균(EMA) 필터가 출력 위상 시퀀스에 적용된다.
• 손실 스케줄링: 고충실도 솔루션으로의 수렴을 개선하기 위해, 미세 조정 단계에서는 $J^\alpha$ ($\alpha < 1$)를 사용하여 손실 함수를 재가중하며, 이미 높은 충실도를 달면 이미 달성한 구성에 대해 그래디언트 가중치를 높인다.
• 시스템 모델: 이 방법은 외부 장(field)에 의해 구동되는 단일 스핀(2준위) 시스템에 대해 입증되었으며, 이는 드리프트, 제어 장, 주파수 디튜닝 및 진폭 스케일링 오차를 포함하는 해밀토니안에 의해 지배된다.

주요 기여

1. 일반화 가능한 제어 정책: 이 프레임워크는 연속적인 게이트 구성 패밀리를 최적화된 펄스로 매핑하는 단일 네트워크를 훈련시킨다. 일단 훈련되면, 네트워크는 훈련 범위 내의 모든 파라미터 조합에 대해 밀리초 단위로 고충실도 펄스를 생성하며, 이는 재최적화 과정을 제거한다.
2. 잠재 구조의 발견: 저자들은 신경망이 파라미터 공간 전반에 걸쳐 구조화된 위상 프로파일을 일관되게 발견한다는 것을 보여준다. 이러한 구조는 표준 GRAPE 최적화에서는 확률적 초기화 및 독립적인 최적화 실행으로 인해 종종 가려지는 제어 랜드스케이프 내의 특정 솔루션 패밀리와 일치한다.
3. 대칭성 및 연속성: 네트워크는 최적의 펄스가 펄스 지속 시간 및 회전 각도에 따라 매끄럽고 연속적인 구조적 변화(예: 펄스 중간 지점에 대한 대칭 또는 반대칭)를 보임을 밝혀낸다. 이러한 연속성은 GRAPE가 설계상 갖지 못한 특성인 파라미터 간의 매끄러운 보간을 가능하게 한다.
4. 효율성: 훈련된 네트워크는 단 한 번의 순전파(forward pass)로 전체 파라미터 공간(회전 각도, 지속 시간, 디튜닝, 불균일성)을 커버한다. 다중 시드(multi-seed) GRAPE를 사용하여 동일한 범위를 확보하는 것은 평가된 규모에서 계산적으로 불가능한 것으로 설명된다.

결과

• 성능 비교: 100,000개의 게이트 구성에 대해 다중 시드 GRAPE(1개 및 20개 시드 사용)와 벤치마킹했을 때, 신경망은 GRAPE와 유사한 충실도를 달려낸다. 다중 시드 GRAPE가 국소 최솟값(local minima)을 탐색함으로써 가장 낮은 충실도 영역($J < 10^{-4}$)에서 네트워크보다 가끔 더 우수한 성능을 보이기도 하지만, 신경망은 단일 시드 GRAPE보다 일관되게 우수하며 최상의 다중 시드 결과와 1차위(one order of magnitude) 이내의 차이를 유지한다.
• 구조적 일관성: GRAPE를 신경망의 출력으로 초기화하여 실행했을 때, GR-APE는 동일한 구조적 패밀리 내에서 솔루션을 정교화하며, 이는 네트워크가 제어 랜드스케이프의 실제 최솟값으로 수렴함을 확인시켜 준다. 네트워크 생성 펄스, GRAPE 펄스, 그리고 네트워크로 초기화된 GRAPE 펄스의 강건성 지문(infidelity vs. detuning)은 가시적인 원시 위상 프로파일의 차이에도 불구하고 거의 동일하다.
• 일반화: 네트워크는 보지 못한 파라미터 조합(예: 연속적인 펄스 지속 시간 및 회전 각도)으로 성공적으로 보간하며, 매끄러운 충실도 랜드스케이프를 보여줌으로써 훈련 그리드를 넘어 일반화할 수 있는 능력을 검증했다.
• 속도: 네트워크는 밀리초 단위로 펄스를 생성하는 반면, 다중 시드 GRAPE는 동일한 범위를 커버하는 데 수 시간이 소요된다.

의의 및 주장
본 논문은 이 모델 기반 RL 접근 방식이 양자 제어 최적화에 있어 근본적으로 다른 패러다임을 제공한다고 주장한다. 물리 법칙을 학습 과정에 직접 내장함으로써, 이 방법은 다음을 달성한다:

• 적응성: 해밀토니안에 들어가는 모든 파라미터가 네트워크의 입력이 될 수 있으므로, 이 프레임워크는 훈련 절차를 변경하지 않고도 다양한 시스템과 제어 설정으로 직접 전이 가능하다.
• 제어 랜드스케이프에 대한 통찰: 이 접근 방식은 제어 랜드스케이프 내의 "잠재 구조", 즉 파라미터 전반에 걸쳐 일관된 구조화된 위상 패밀리를 밝혀낸다. 이는 제어 랜드스케이프가 국소 그래디언트 방법(표준 GRAPE 등)이 놓치거나 확률적으로 건너뛸 수 있는 뚜렷하고 강건한 솔루션 패밀리를 포함하고 있음을 시사한다.
• 실용적 유용성: 이 방법은 특정 하드웨어 변형에 맞게 개별적으로 적응된 펄스를 즉석에서 생성할 수 있게 하며, 이는 병렬 전송(parallel transmit) MRI나 연속 게이트 교정(continuous gate calibration)과 같은 고급 실험 프로토콜의 핵심 요구 사항이다.

저자들은 네트워크가 매우 효율적이고 일반화 가능하지만, 절대적인 최소 충실도 측면에서 반드시 다중 시드 GRAPE를 능가하는 것은 아니라는 점을 언급하며 신중한 입장을 유지한다. 그러나 이 방법은 계산 비용과 성능 사이의 균형을 맞추면서 고충실도를 제공하는 실용적인 대안을 제시할 뿐만 아니라, 양자 제어 랜드스케이프의 토폴로지에 대한 독특한 통찰을 제공한다.