Entanglement as a Structural Complexity Axis: A PAC-Bayesian View of Generalization in Quantum Policies and Value Functions

기술 요약: 양자 정책의 구조적 복잡성 축으로서의 얽힘(Entanglement)

문제 정의
매개변수화된 양자 회로(PQC)는 양자 강화 학습(QRL)에서 정책(policy) 및 가치 함수(value function)로 점점 더 많이 배치되고 있다. 그러나 이 분야는 여전히 경험적인 측면이 지배적이며, 평가는 일반적으로 평균 리턴(average return)만을 보고하는 데 그치고 있다. 이는 양자 정책이 언제 그리고 왜 일반화되는지에 대한 엄밀한 이론적 이해가 부족하다는 비판적 이론적 공백을 남긴다. 기존의 양자 모델에 대한 일반화 경계(generalization bounds)는 대개 매개변수 수나 게이트 수에 의존하는데, 이는 얽힘의 구조적 미묘함을 포착하는 데 실패한다. 또한, 얽힘을 제어하는 복잡성 요인으로 고립시킨 선행 PAC-Bayesian 분석은 존재하지 않는다.

방법론
저자들은 확률적 양자 정책에 대한 일반화 경계를 도출하기 위해 PAC-Bayesian 프레임워크를 제안한다. 핵심적인 방법론적 혁신은 복잡성 지표를 가공되지 않은 매개변수 수($d$)에서 회로에 의해 유도된 피셔 기하학(Fisher geometry)의 유효 차원(effective dimension, $d_{\text{eff}}$)으로 전환하는 것이다.

1. PAC-Bayes 경계 도출:

   • 저자들은 초기화 값 $\theta_0$를 중심으로 하는 가우시안 사후 분포 $Q = \mathcal{N}(\theta, \Sigma)$를 통해 확률적 정책 $\pi_Q$를 정의한다.
   • 표준적인 등방성(isotropic) 경계와 달리, 사후 공분산 $\Sigma$는 손실 곡률(loss landscape)을 포착하는 피셔 정보 행렬(FIM) $\hat{F}(\theta)$에 의해 형상화된다.
   • 결과적으로 도출된 경계(정리 2)는 사전 분포와의 거리와 피셔 유효 차원으로 구성된 복잡성 항을 포함한다:
     $$d_{\text{eff}}(\gamma) = \log \det(I + \gamma \hat{F}) = \sum_{i=1}^d \log(1 + \gamma \lambda_i)$$
     여기서 $\lambda_i$는 FIM의 고윳값이다.

2. 얽힘 메커니즘:

   • 본 논문은 단일 관측량 판독(standard single-observable readout, QRL에서 일반적임)의 경우, FIM의 계수(rank)가 판독 관측량의 역방향 광역(backward light-cone) 크기에 의해 결정된다고 상정한다.
   • 명제 1은 얽힘 게이트를 추가하는 것이 이 광역을 확장하며, 이로 인해 전체 훈련 가능한 매개변수 수($d$)가 고정되어 있더라도 FIM의 계수를 높이고 $d_{\text{eff}}$를 팽창시킨다는 것을 확립한다.

3. 실험 설계:

   • 얽힘을 매개변수 수로부터 분리하기 위해, 저자들은 고정된 안사츠 레이아웃($R_Y$ 및 $R_Z$ 회전 층)을 사용하고 오직 얽힘 연결성만을 변화시킨다: 없음(CNOT 없음), 선형(CNOT 체인), 전체(all-to-all CNOT).
   • 실험은 지도 학습 분류(4~16 큐비트), 보상 전용 컨텍스추얼 밴딧(one-step RL), 다단계 가치 함수 일반화를 포괄한다.
   • 대조군으로는 일치된 훈련 정확도, 대안적 판독 관측량, 서로 다른 최적화 도구, 그리고 실제 IBM Heron 하드웨어에서의 실행을 포함한다.

주요 기여

1. 양자 정책을 위한 PAC-Bayes 경계: 본 논문은 복잡성 항이 매개변수 수가 아닌 피셔 유효 차원($d_{\text{eff}}$)인 일반화 경계를 도출한다. 이 경계는 마르코프 역학(Markovian dynamics) 하의 확률적 정책에 대해 유효하다.
2. 독립적인 복잡성 축으로서의 얽힘: 저자들은 얽힘이 일반화를 제어하는 별개의 구조적 요인임을 입증한다. 동일한 매개변수 수에서 얽힘 연결성을 높이면 $d_{\text{eff}}$가 단조 증가하며 일반화 격차(generalization gap)가 커진다.
3. 다양한 도메인에서의 경험적 검증: 본 연구는 얽히지 않은 회로가 동일한 매개변수 수를 가질 때 일반화 성능이 더 떨어진다는 점을 다음 영역에서 확인한다:
   • 합성 및 실제 데이터셋(Iris, Breast Cancer, Wine)에 대한 지도 학습 분류.
   • 컨텍스추얼 밴딧(보상 전용 RL).
   • 다단계 가치 함수 회귀.
   • 실제 양자 하드웨어(IBM Heron).

결과

• 예측력: 300개의 구성 그리드에서, 피셔 유효 차원($d_{\text{eff}}$)은 일반화 격차와 가장 강력한 스피어만 상관관계($\rho = 0.82$)를 보였으며, 이는 가공되지 않은 매개변수 수($\rho = 0.45$) 및 학습된 매개변수 노름($\rho = 0.73$)을 능가했다.
• 일반화 격차: 고정된 매개변수 수(예: $d=16$)에 대해, 일반화 격차는 다음과 같은 순서를 따랐다: 없음 < 선형 < 전체. 예를 들어, $N=64$인 지도 학습 분류에서 "전체" 얽힘 회로는 0.104의 격차를 보인 반면, "없음" 회로는 -0.01(사실상 제로)의 격차를 보였다.
• 순위 인증(Ranking Certificate): 절대적인 수치적 경계는 다소 느슨하지만(실제 격차의 약 $2.3\text{--}4.5\times$ 범위 내), 강력한 순위 인증 역할을 한다. 이는 매개변수 계산 방식의 경계가 갖지 못한 능력인, 동일한 크기의 회로들을 올바르게 정렬하는 능력을 보여준다.
• 판독 의존성: 이 메커니즘은 "판독 게이트(readout-gated)" 방식이다. 로컬 판독($\langle Z_0 \rangle$)을 글로벌 판독($\frac{1}{n}\sum \langle Z_i \rangle$)으로 교체하면, 얽히지 않은 회로에서도 매개변수들이 활성화되어 $d_{\text{eff}}$와 격차가 상승하며, 이를 통해 작은 큐비트 수에서 얽힘의 대비 효과를 흡수한다. 이는 격차가 판독에 인과적으로 결합된 매개변수의 수에 의해 구동됨을 확인시켜 준다.
• 실제 하드웨어: 얽힘-일반화 트레이드오프는 실제 노이즈가 존재하는 IBM Heron 프로세서에서도 지속되며, 얽힌 회로가 얽히지 않은 회로보다 더 큰 격차를 보인다.
• 한계점: 이 효과는 깊이 게이트(depth-gated) 방식이다(단일 얽힘 층은 단일 큐비트 판독 시 무력함). 배리언 블록(barren plateaus)에 근접하는 깊은 회로에서는 피셔 스펙트럼이 평탄해져 $d_{\text{eff}}$를 억제하고 메커니즘을 약화시킨다. 엔드 투 엔드 다단계 정책 학습(REINFORCE)의 경우, 리턴 추정치의 높은 분산으로 인해 완전한 순위 정렬을 해결하기 어렵지만, 적은 샘플 크기에서도 경향성은 유의미하게 나타난다.

의의 및 주장
본 논문은 양자 정책의 설계를 단순히 표현력(expressivity)만이 아닌 얽힘-일반화 트레이드오프를 중심으로 재구성한다. 저자들은 얽힘이 "양날의 검"이라고 주장한다: 즉, 표현 가능한 함수 공간을 확장하지만, 매개변수 계산 방식이 놓치는 일반화 비용을 발생시킨다는 것이다.

주요 기여는 모든 엔드 투 엔드 다단계 정책 학습에 대한 완전한 해답을 제시하는 것이 아니라, 다음을 입증하는 통제된 연구로서의 역할이다:

1. 얽힘은 독립적인 복잡성의 축으로 작용한다.
2. 피셔 유효 차원은 양자 결정 모델(정책 및 가치 함수)의 일반화를 지배하는 양이다.
3. 설계자는 얽힘을 그 $d_{\text{eff}}$ 비용에 따라 "예산 편성"해야 하며, 과도한 복잡성 팽창 없이 필요한 학습 적합도를 달elle 성하는 가장 희소한 얽힘 패턴을 선택해야 한다.

저자들은 자신들의 가장 강력한 증거가 저분산 설정(분류기, 가치 헤드, 원스텝 정책)에서 나온다는 점을 명시하며, 이 논문을 고분산 다단계 정책 학습에 대한 완전한 해결책이라기보다 양자 강화 학습의 일반화를 이해하기 위한 기초적인 단계로 간내한다.