Quantum Optical Reinforcement Learning via Spectrum-Resolved Hong-Ou-Mandel Interference

기술 요약: 스펙트럼 분해 홍-오-만델 간섭을 통한 양자 광학 강화 학습

문제 정의
양자 광학 플랫폼은 연속적인 스펙트럼 및 시간적 자유도를 통해 고차원 정보 처리 능력을 제공한다. 최근 홍-오-만델(Hong-Ou-Mandel, HOM) 광학 신경망의 발전은 이미지 재구성 없이 동시 계수 추정을 통한 학습을 입증했다. 그러나 표준 HOM 판독 방식은 검출된 모든 주파수를 단일 스칼라 동시 계수 확률 또는 가시성으로 통합한다. 이는 이진 판별 및 저차원 작업에는 효과적이지만, 간섭 모드에 담긴 풍부한 스펙트럼 정보를 소실시킨다. 이러한 한계는 표현 용량을 제한하며, 연속적인 액션 공간을 가진 강화 학습(RL)과 같이 구조화된 출력을 요구하는 복잡한 설정에 대한 양자 광학 신경망의 적용을 저해한다. 이러한 설정에서 액터-크리틱(actor-critic) 방법론은 관측값을 연속적인 액션과 상태-액션 가치로 매핑할 수 있는 함수 근사기를 필요로 하는데, 단일 스칼라 출력으로는 이를 수행할 수 없다.

방법론
이러한 한계를 해결하기 위해, 저자들은 광자의 스펙트럼 자유도를 훈련 가능한 계산 자원으로 격상시키는 스펙트럼 분해 HOM(Spectrum-Resolved HOM, SR-HOM) 아키텍처를 도입한다. 핵심 혁신은 표준 HOM 검출의 스칼라 통합 방식을 주파수 분해 동시 계수 검출로 대체하여, 단일 스칼라가 아닌 구조화된 간섭 텐서를 생성하는 것이다.

• SR-HOM 모듈: 시스템은 환경 상태를 단일 광자의 스펙트럼 모드에 인코딩하고, 이를 균형 잡힌 빔 스플리터에서 훈련 가능한 프로브(probe) 광자와 간섭시킨다. 모든 주파수를 통합하는 대신, 출력은 $k$개의 서로 소인 주파수 빈(bin)으로 분할된 주파수 분해 동시 계수 밀도로 측정되어 동시 계수 텐서 $C_{ij}(x, \lambda)$를 형성한다.
• 액터-크리틱 아키텍처: 저자들은 액터와 크리틱 모두 SR-HOM 모듈인 결정론적 액터-크리틱 RL 에이전트를 구현한다.
  • 액터(Actor): 동시 계수 텐서의 대각 성분($C_{ii}$)을 그룹화함으로써 연속적인 액션을 생성한다. 이렇게 그룹화된 대각 항목들은 고정된 단조 함수를 통해 연속 액션 벡터를 생성하도록 매핑된다.
  • 크리틱(Critic): 상태-액션 쌍을 두 번째 SR-HOM 모듈에 인코딩하여 가치 함수(기대 수익)를 추정한다. 이는 고차 스펙트럼 상관관계와 텐서 응답을 활용하여 비선형 상태-액션 특징을 추출하며, 이후 훈련 가능한 선형 판독을 통해 스칼라 가치 추정치로 매핑된다.
• 복잡도: 이론적 분석에 따르면, 액션 관련 스펙트럼 주변부를 정확도 $\epsilon$로 추정하는 데 필요한 동시 계수 샘플 수는 $O(\epsilon^{-2} \log k)$이며, 이는 HOM 장치가 인코딩된 광학 모드를 직접 처리하므로 주변 상태 차원과는 무관하다.

주요 기여

1. SR-HOM 아키텍처: 표준 HOM 네트워크의 스칼라 제한을 넘어 스펙트럼 상관관계를 계산 자원으로 활용하는 컴팩트한 광학 액터-크리틱 에이전트를 제안하였다.
2. 연속 제어 능력: 대각 및 비대각 스펙트럼 성분이 어떻게 구조화된 연속 액션과 가치 추정을 위한 비선형 특징을 동시에 생성할 수 있는지 입증하였다.
3. 물리적 구현 경로: 전기 광학 시간 렌즈(electro-optic time lens), 재구성 가능한 프로브, 분산 격자 기반 스펙트럼 디멀티플렉싱 등 기존의 광자 기술을 사용하여 SR-HOM 모듈을 실현하는 방안을 제시하였으며, 이는 통합 박막 리튬 니오베이트 플랫폼 상에서도 가능하다.

결과
저자들은 다섯 가지 Gymnasium 연속 제어 벤치마크(LunarLanderContinuous-v3, InvertedDoublePendulum-v5, BipedalWalker-v3, Ant-v5, Reacher-v5)에 대해 파라미터가 매칭된 다층 퍼셉트론(MLP) 베이스라인과 SR-HOM 에이전트를 비교 평가하였다.

• 벤치마크 성능: SR-HOM 에이전트는 MLP 베이스라인에 비해 특히 샘플 효율성과 안정성 측면에서 일관되게 우수한 성능을 보였다. LunarLanderContinuous-v3 작업에서 SR-HOM은 4.4배 향상된 샘플 효율성(MLP의 2935 에피소드 대비 666 에피소드 만에 보상 임계값 도달)과 74.0% 높은 최상위 100-에피소드 이동 평균 수익을 달 기록했다. InvertedDoublePendulum-v5 및 Ant-v5와 같은 더 어려운 작업에서 MLP 베이스라인은 신뢰할 수 있는 수렴에 실패한 반면, SR-HOM 아키텍처는 훈련 가능성을 유지하며 우수한 최종 성능을 달성했다.
• 온라인 게이트 교정: 본 아키텍처는 파라미터 드리프트와 제어 라인 왜곡이 발생하는 트랜스몬 큐비트용 튜너블 커플러 2-큐비트 게이트(CZ 및 iSWAP)의 온라인 교정에 적용되었다. 드리프트 파라미터나 실제 게이트 충실도에 대한 직접적인 접근 없이도, SR-HOM 에이전트는 측정 기반 진단 도구를 사용하여 제어 펄스를 점진적으로 업데이트했다.
  • CZ 게이트의 경우, 에이전트는 충실도를 0.9917로 복구(드리프트 없는 교정 값의 99.8% 초과 달성)하고 누설(leakage)을 27.4% 감소시켰다.
  • iSWAP 게이트의 경우, 충실도를 0.9952로 복구하고 누설을 35.4% 감소시켰다.
  • 에이전트는 낮은 실험적 오버헤드로 지속적으로 진화하는 파라미터 드리프트를 성공적으로 추적했다.

의의 및 주장
본 논문은 광학 간섭이 단순한 유사성 측정을 넘어, 계산 아키텍처 내에 내장된 훈련 가능한 물리적 특징 맵(feature map)으로 기능할 수 있다고 주장한다. 기존의 스칼라 HOM 응답을 비선형 스펙트럼 상관관계의 텐서로 승격시킴으로써, SR-HOM 프레임워크는 양자 광학 시스템이 고급 강화 학습에 필요한 구조화된 연속 출력을 처리할 수 있게 한다. 저자들은 광학 간섭이 구조화된 특징 생성을 수행하고 디지털 프로세싱이 출력 매핑 및 파라미터 업데이트를 담당하는 이 하이브리드 광학-디지털 프레임워크가 고전적 함수 근사기에 대한 컴팩트하고 표현력이 풍부한 대안을 제공한다고 단언한다. 또한, 이 프레임워크가 동시 계수 텐서의 서로 다른 구성 요소에 별도의 계산 역할을 할당함으로써 분류 및 예측 작업으로도 그 유용성이 확장될 수 있음을 시사한다. 본 연구는 양자 광학 플랫폼이 전체 시스템 재교정 없이도 초전도 프로세서의 게이트 충실도 유지와 같은 물리적으로 근거 있는 온라인 제어 작업을 위해 효과적으로 배치될 수 있음을 입증한다.