기술 요약: 하이브리드 액션 강화 학습을 이용한 양자 아키텍처 탐색 (HyRLQAS)

1. 문제 정의

노이즈가 있는 중간 규모 양자(NISQ) 시대에, 변분 양자 알고리즘(VQA)인 변분 양자 고유값 솔버(VQE)는 매개변수화된 양자 회로(PQC)의 설계에 크게 의존합니다. 강화 학습(RL)은 PQC 설계를 자동화하기 위한 양자 아키텍처 탐색(QAS)의 유망한 프레임워크로 부상했으나, 기존 방식들은 세 가지 주요 한계점을 가집니다:

1. 이산 및 연속 공간의 결합 부족: 현재의 접근 방식들은 일반적으로 이산적인 게이트 배치(토폴로지)와 연속적인 매개변수 최적화를 분리하여 다룹니다. 이들은 매개변수 초기화를 별도의 외부 단계로 취급하여, 회로 구조와 매개변수 초기화 사이의 상호작용을 간과하는 경우가 많습니다.
2. 비효율적인 최적화 루프: 표준 RL 기반 QAS에서는 에피소드마다 매번 독립적으로 외부 클래식 최적화 도구를 호출하여 매개변수를 정교화합니다. 이는 에피소드 전반에 걸쳐 매개변수 관련 경험을 재사용하는 것을 방해하며, 과도한 반복 횟수로 인해 비효율적인 최적화를 초래합니다.
3. 최적화 도구에 대한 민감도: 성능은 종에 따라 깊은 회로 깊이에서의 초기화 및 학습 가능성 문제(예: 배런 플레이토/Barren Plateaus)에 대한 외부 최적화 도구의 민감도에 의해 제약을 받습니다.

2. 방법론: HyRLQAS

저자들은 하이브리드 이산-연속 액션 공간 내에서 게이트 배치와 매개변수 초기화를 공동으로 학습함으로써 이러한 문제를 해결하는 통합 프레임워크인 HyRLQAS(Hybrid-Action Reinforcement Learning for Quantum Architecture Search)를 제안합니다.

2.1. 프레임워크 개요

HyRLQAS는 에이전트가 순차적으로 양자 회로를 구축하는 마르코프 결정 과정(MDP)으로 QAS를 정식화합니다.

• 상태 ($s_t$): 게이트 유형, 위치 및 현재 매개변수 값을 캡처하는 텐서 기반 표현을 통해 인코딩된, 부분적으로 구성된 양자 회로를 나타냅니다.
• 액션 ($a_t$): 다음으로 구성된 하이브리드 액션입니다:
  • 이산 성분 ($z_t$): 삽입될 게이트의 유형(예: $R_X, R_Y, R_Z$, CNOT)과 위치를 선택합니다.
  • 연속 성분 ($x_t$): 새로 삽ins된 매개변수화된 게이트의 초기 회전 각도를 정의합니다.
• 정교화 메커니즘: 결정적으로, 새로운 게이트가 추가될 때 에이전트는 또한 이전에 배치된 게이트들의 매개변수를 업데이트하기 위한 연속적인 증분($\Delta x_t$)을 예측합니다. 이를 통해 회로가 성장함에 따라 전체 매개변수화를 동적으로 정교화할 수 있으며, 진화하는 토폴로지와 일관성을 유지할 수 있습니다.

2.2. 보상 및 학습

• 보상 신호: 에이전트는 VQE 환경에서 학습됩니다. 각 회로 확장 후, 외부 클래식 최적화 도구(COBYLA)가 분자 바닥 상태 에너지를 최소화하기 위해 모든 매개변수를 정교화합니다. 결과 에너지 $E_t$는 보상 신호로 변환됩니다.
  • 터미널 보상은 에너지가 동적 임계값 $\xi$ 아래로 떨어지는지 여부에 따라 할당됩니다.
  • 단계별 보상은 상대적인 에너지 개선에 비례하는 피드백을 제공합니다.
• 정책 최적화: 프레임워크는 REINFORCE 알고리즘을 통해 최적화되는 하이브리드 정책 $\pi(z, x | s) = \pi_d(z|s)\pi_a(x|s)$를 사용합니다. 정책 네트워크는 게이트 선택을 위한 이산 헤드와 매개변수 초기화 및 정교화 증분을 위한 연속 헤드를 포함합니다.
• 커리큘럼 학습: 임계값 $\xi$는 에이전트의 진행 상황에 따라 동적으로 조정되어, 작업 난이도가 점진적으로 높아지도록 합니다.

2.3. 이론적 분석

저자들은 **양자 뉴럴 탠전트 커널(QNTK)**과 그 동적 변형인 dQNTK를 사용하여 최적화 역학을 분석합니다. 저자들은 정책 가이드 초기화가 최적화 지형의 컨디셔닝(Conditioning)을 개선하여, 무작위 또는 제로 초기화에 비해 더 나은 그래디언트 전파와 수렴을 용이하게 한다고 가설을 세웁니다.

3. 주요 기여

1. 통합 하이브리드 액션 프레임워크: HyRLQAS는 단일 정책 하에서 회로 구조(이산 액션)와 매개변수 초기화(연속 액션)를 공동으로 탐색하여 토폴로지와 매개변수 간의 상호작용을 포착하는 최초의 QAS 프레임워크입니다.
2. 정책 가이드 초기화 및 정교화: 이 방법은 외부 최적화 도구에 유익한 매개변수 초기화를 제공하는 메커니즘을 도입하고, 기존 게이트의 매개변수를 소급하여 조정하는 "정교화 헤드"를 포함합니다. 이는 외부 최적화 도구에 대한 의존도를 낮추고 필요한 반복 횟수를 줄여줍니다.
3. QNTK 기반 분석: 논문은 관찰된 성능 향상을 원칙적으로 설명하며, 정책 가이드 초기화가 커널 컨디셔닝과 그래디언트 전파를 개선하여 보다 안정적인 최적화를 이끌어낸다는 것을 입증합니다.
4. 포괄적인 평가: 표준 분자 VQE 벤치마크(LIH, BeH$_2$, H$_2$O)에 대한 광범한 실험을 통해, HyRLQAS가 에너지 오차, 회로 깊이 및 게이트 수 측면에서 기존의 최첨단 베이스라인(CRLQAS, TensorRL 및 미분 가능한 접근 방식 포함)보다 우수한 성능을 보임을 입증했습니다.

4. 실험 결과

실험은 STO-3G 기저 함수에서 4, 6, 8 큐비트를 가진 분자 시스템(LIH, BeH$_2$, H$_2$O)을 대상으로 수행되었습니다.

• 성능: HyRLQAS는 LIH-4에서 화학적 정확도 수준의 수렴(에너지 오차 $10^{-8}$까지)을 달성하였으며, 이는 일반적으로 $10^{-5}$에서 $10^{-4}$ 범위에서 정체되는 기존 방법들을 크게 능가하는 결과입니다.
• 효율성: 이 방법은 베이스라인들에 비해 더 적은 수의 게이트와 더 얕은 회로를 사용하여 더 낮은 에너지 오차를 달s했습니다.
• 최적화 도구 감소: 정책 가이드 초기화는 COBYLA 반복 횟수를 LIH-4에서 33%, LIH-6에서 46% 감소시켰습니다.
• 어블레이션 연구(Ablation Studies):
  • 하이브리드 액션 공간을 제거(이산 전용)했을 때 성능이 크게 저하되어, 공동 학습의 중요성을 확인했습니다.
  • 정교화 헤드를 비활성화하면 정확도 하락이 더 크게 나타나, 회로가 성장함에 따라 기존 매개변수를 업데이트하는 것의 필요성을 강조했습니다.
  • 외부 최적화 도구를 제거하면 눈에 띄는 성능 저하가 발생하여, HyRLQAS가 주로 고품질의 초기 영역을 식별하며 외부 최적화 도구가 필요한 국소 미세 조정을 수행함을 나타냈습니다.
• QNTK 결과: 분석 결과, 정교화가 포함된 정책 가이드 초기화는 2차 QNTK($K_2$)의 더 날카롭고 집중된 분포를 생성하며, 이는 제로 또는 무작위 초기화에 비해 더 매끄럽고 조건이 잘 갖춰진 최적화 지형을 나타냅니다.

5. 의의 및 주장

본 논문은 HyRLQAS가 회로 토폴로지 설계와 최적화 인지적 매개변수화를 결합하는 원칙적이고 효과적인 메커니즘을 제공한다고 주장합니다. 아키텍처 탐색을 하이브리드 액션 문제로 다룸으로써, 이 방법은 결합되지 않은 접근 방식의 한계를 극적으로 극복합니다.

저자들은 성능 향상이 단순히 더 깊거나 표현력이 풍부한 회로를 찾기 때문이 아니라, 구조적 탐색과 정보가 풍부한 매개변수화 사이의 시너지에서 비롯된다는 점을 강조합니다. 정책 가이드 초기화는 최적화 과정을 효과적으로 "웜업(Warm-up)"하여 클래식 최적화 도구의 부담을 줄이고 학습 가능성 문제를 완화합니다.

본 연구는 하이브리드 액션 강화 학습이 NISQ 장치를 위한 견고하고 효율적인 변분 양자 회로 설계를 자동화하는 실행 가능한 경로임을 결론지으며, 향후 연구에서는 외부 최적화 도구를 완전히 제거할 수 있는 완전한 엔드 투 엔드(End-to-end) 접근 방식을 탐구할 수 있음을 시사합니다.