Reinforcement Learning to Disentangle Multiqubit Quantum States from Partial Observations

기술 요약: 부분적 관측을 통한 다중 큐비트 양자 상태의 얽힘 해소를 위한 강화 학습

문제 정의
본 논문은 임의의 다중 큐비트 양자 상태를 최소한의 2-큐비트 게이트를 사용하여 곱 상태(product states)로 해소(disentangling)하는 과제를 다룹니다. 이는 양자 상태 준비(quantum state preparation)의 역문제이며, 양자 상태 압축, 초기화 및 복잡도 분석에 있어 매우 중요합니다. 주요 난제는 힐베르트 공간의 크기가 기하급수적으로 커진다는 점이며, 이로 인해 몇 개의 큐비트보다 큰 시스템에 대해서는 전수 조사 알고리즘을 사용하는 것이 불가능합니다. 또한, NISQ(Noisy Intermediate-Scale Quantum) 장치의 실질적인 제약으로 인해 전역적인 상태 정보에 접근하는 것이 제한됩니다. 일반적으로 로컬 측정만이 가능합니다. 저자들은 양자 상태에 대한 부분적인 지식, 즉 2-큐비트 축소 밀도 행렬(Reduced Density Matrices, RDMs)에만 접근할 수 있는 정보가 최적의 해소 프로토콜을 구축하는 데 충분한지 조사합니다.

방법론
저자들은 엔트로피 정규화가 적용된 근사 정책 최적화(Proximal Policy Optimization, PPO)의 변형인 액터-크리틱(Actor-Critic, AC) 알고리즘을 활용한 심층 강화 학습(Deep Reinforcement Learning, RL) 프레임워크를 제안합니다.

• 관측 공간(Observation Space): NISQ 제약을 준수하기 위해, 에이전트는 전체 양자 상태를 관측하지 않습니다. 대신, 각 타임스텝 $t$에서 에이전트는 현재 상태의 모든 대칭화된 2-큐비트 축소 밀도 행렬으로 구성된 관측값 $o_t$를 받습니다. 이는 정보 요구량을 큐비트 수($L$)에 대해 지수 함수적 수준에서 이차 함수적 수준으로 감소시킵니다.
• 행동 공간(Action Space): 에이전트는 2-큐비트 유니터리 게이트를 적용할 큐비트 쌍 $(i, j)$를 선택합니다.
• 게이트 구성: 큐비트 쌍이 선택되면, 해당 2-큐비트 RDM을 대각화하여 특정 유니터리 게이트 $U^{(i,j)}$를 결정합니다. 이는 주어진 부분 정보 하에서 해당 쌍을 해소하는 데 국부적으로 최적인 게이트를 보장합니다.
• 네트워크 아키텍처: 정책 네트워크는 순열 불변(permutation-equivariant) 트랜스포머 아키텍처를 채택합니다. 이 설계는 에이전트가 큐비트 레이블링에 불변하는 정책을 학습할 수 있게 하여, 입력 상태 내에서 큐비트가 어떻게 치환되든 상관없이 얽힘 구조를 인식할 수 있게 합니다.
• 보상 함수(Reward Function): 보상 신호는 평균 단일 큐비트 본 네만 엔트로피($S_{avg}$)의 감소를 최대화하는 동시에 사용된 게이트 수를 패널티로 부여하도록 설계되었습니다. 목표는 $S_{avg}$를 0으로 유도하여(곱 상태를 나타냄) 최소한의 단계로 이를 달성하는 것입니다.
• 훈련 체계(Training Regime): 더 큰 시스템(12 및 16 큐비트)의 경우, 저자들은 2단계 훈련 과정을 사용합니다. 먼저, 에이전트는 기본적인 해소를 배우기 위해 작은 서브시스템의 곱 상태에서 훈련됩니다. 그 다음, Haar-random 상태의 약하게 얽힌 서브시스템에서 미세 조정(fine-tuning)됩니다.

주요 결과

• 소규모 시스템에서의 효율성: 훈련된 에이전트는 4, 5, 6-큐비트 Haar-random 상태를 성공적으로 해소합니다. 임의의 4-큐비트 상태에 대해, 에이전트는 최대 5개의 2-큐비트 게이트(10개의 CNOT 게이트와 동일)를 사용하는 프로토콜을 식별합니다. 5 및 6-큐비트 Haar-random 상태의 경우, 에이전트는 평균적으로 20개 및 56개의 2-큐비트 게이트를 필요로 합니다.
• 베이스라인과의 비교: RL 에이전트는 "무작위(random)" 에이전트(큐비트 쌍을 균등하게 선택) 및 "탐욕적(greedy)" 에이전트(각 단계에서 국부적으로 $S_{avg}$를 최소화하는 쌍을 선택) 모두를 크게 능가합니다. 6-큐비트 상태의 경우, RL 에이전트는 무작위 에이전트에 비해 게이트 수를 거의 3배 줄였으며, 탐욕적 에이전트에 비해서는 약 22% 줄였습니다.
• 회로 트랜스파일레이션(Circuit Transpilation): Shende 등이 구현한 결정론적 알고리즘(Qiskit에 구현됨)과 비교했을 때, 사전 트랜스파일링 루틴으로서 작동하는 RL 에이전트는 필요한 CNOT 게이트 수를 획기적으로 줄입니다. 예를 들어, 4-큐비트 Haar-random 상태의 경우 CNOT 개수가 22개에서 12개로 감소했습니다.
• 패턴 인식: 학습된 프로토콜 분석 결과, 강력한 시간적 및 공간적 상관관계가 드러났습니다. 에이전트는 종종 특정 큐비트를 식별하고 다른 큐비트로 전환하기 전에 해당 큐비트를 포함하는 일련의 게이트를 적용하며, 이는 입력 상태의 구체적인 얽힘 구조를 활용하는 법을 효과적으로 학습했음을 보여줍니다.
• 확장성 및 노이즈 탄력성:
  • 확장성: 근본적인 양자 시뮬레이션은 지수적으로 확장되지만, RL 에이전트의 계산 비용은 큐비트 수에 대해 이차 함수적으로 확장됩니다.
  • 노이즈: 에이전트는 샷 노이즈(유한 샘플링에 의한 통계적 오차)와 탈분극 노이즈(depolarizing noise)에 대해 강건함을 보여줍니다. 노이즈가 없는 환경에서 훈련되었음에도 불구하고, 에이전트는 상태가 완전히 혼합된 상태가 아니라면 노이즈가 있는 시뮬레이터와 실제 하드웨어에서도 성공적으로 상태를 해소합니다.
• 실험적 검증: 이 접근 방식은 트랩 이온 양자 컴퓨터에서 실험적으로 검증되었습니다. 에이전트는 Bell-Bell, GHZ, W, 그리고 얕은 회로 상태를 성공적으로 해소했습니다. 하드웨어 결맞음(decoherence)으로 인해 잔류 엔트로피가 남았으나, 시스템 큐비트 간의 형성 얽힘(entanglement of formation)은 0에 가깝게 성공적으로 감소했습니다.

의의 및 주장
본 논문은 상태 인지형 RL 에이전트를 통해 부분 정보(2-큐비트 RDM)를 사용하는 것이 결정론적이고 상태 독립적인 알고리즘보다 실질적인 이점을 제공한다고 주장합니다. 저자들은 다음을 강조합니다:

1. 상태 의존성(State-Dependence): 범용적인 해소 기계(universal disentangling machines)는 존재하지 않으므로, RL 에이전트는 특정 얽힘 분포에 적응하는 상태 의존적 프로토콜을 구축하여 자원 사용을 최소화합니다.
2. NISQ 적용 가능성: 로컬 측정에 의존하므로, 이 방법은 전체 상태 토모그래피를 요구하지 않고 현재의 양자 하드웨어에 직접 적용 가능합니다.
3. 일반화: 에이전트는 12 및 16-큐비트 시스템(약하게 얽힌 서브시스템 포함)을 성공적으로 처리하고, 학습된 정책을 노이즈 환경으로 전이할 수 있는 일반화 능력을 보여줍니다.
4. 최적의 4-큐비트 프로토콜: 학습된 4-큐비트 시퀀스 분석은 임의의 4-큐비트 상태를 곱 상태로부터 최대 5개의 2-큐비트 유니터리(10개의 CNOT)를 사용하여 준비할 수 있는 일반적인 회로로 이어집니다.

저자들은 Haar-random 상태에 대한 자원의 지수적 확장이 양자 역학의 고유한 특징이지만, RL이 물리적으로 유의미한 클래스의 상태(예: 면적 법칙 얽힘 또는 약한 서브시스템 간 얽힘을 가진 상태)에 대해 상수 전계수(constant prefactor)를 최적화하고 효율적인 프로토콜을 발견하는 메커니즘을 제공한다고 결론짓습니다.