Diagnosing Simulation and Hardware Barriers to Cross-Size Transfer in Equivariant Quantum Reinforcement Learning

문제 정의

외판원 문제(TSP)와 같은 조합 최적화(Combinatorial Optimization, CO) 문제는 물류 및 네트워크 설계의 핵심이지만, NP-난해(NP-hard) 문제로서 입력 크기가 커질수록 정확한 해를 찾는 것이 불가능해진다. 강화 학습(RL)과 양자 강화 학습(QRL)이 휴리스틱 전략을 제공함에도 불구하고, 주요한 확장성 병목 현상이 남아 있다. 대부분의 QRL 방법은 새로운 문제 인스로스나 크기에 대해 매번 처음부터 다시 학습(retraining)해야 한다는 점이다.

본 논문은 등변 양자 회로(Equivariant Quantum Circuits, EQC)—매개변수 개수를 문제 크기와 독립적으로 유지하기 위해 치환 대칭성(permutation symmetry)을 인코딩하는 방식—가 **제로샷 교차 크기 전이(zero-shot cross-size transfer)**를 촉진할 수 있는지 조사한다. 구체적으로, 저자들은 작은 $n$-도시 TSP 인스턴스에서 학습된 매개변수 $\theta_n$이 재학습 없이 더 큰 $m$-도시 인스턴스($m > n$)로 직접 전이될 수 있는지, 그리고 이러한 전이가 실제 양자 하드웨어 실행 환경에서도 유지되는지를 탐구한다.

방법론

저자들은 시뮬레이션 근사, 노이즈, 유한 샷 샘플링(finite-shot sampling)의 효과를 순수한 전이 동작으로부터 분리하기 위해 5단계의 프로토콜 매칭 평가 파이프라인을 채택하였다. 본 연구는 Skolik 등[11]의 EQC 아키텍처(깊이 $L=1$, 두 개의 학습 가능한 스칼라 $\beta, \gamma$)를 유클리드 TSP 인스턴스에 적용하였다.

파이프라인은 다음과 같이 진행된다:

1. 기초 단계(Base Stage): 12-노드 검증 레인에 대해 안정적인 학습 레시피(고정된 관측치 리스케일링, 최적 체크포인트 보고)를 선정한다.
2. N1 (소스 정책): exact statevector 시뮬레이션을 사용하여 $n \in \{5, 10, 15, 20\}$ 도시들에 대해 처음부터 학습한다.
3. N2 (정확한 전이): exact statevector 시뮬레이션을 사용하여 크기 간 제로샷 전이 및 미세 조정(fine-tuning)을 평가한다 (예: $5 \to 10$, $10 \to 15$).
4. N3 (확장 경계): Matrix Product State (MPS) 시뮬레이션, 노이즈가 포함된 MPS (IBM 노이즈 모델), 고차원 결합(high-bond-dimension) 스윕을 사용하여 시뮬레이션 충실도 한계를 규명하며 더 큰 크기($n$ 최대 100)까지 확장한다.
5. N4 (하드웨어 실행): 전이된 정책들을 Quantinuum 트랩 이온 하드웨어(H2-2, Helios-1) 및 에뮬레이터에서 실행한 후, 두 가지 큐비트 기술과 네 개의 벤더를 아우르는 다섯 개 장치(Quantinuum, IBM, Rigetti, IQM)에 걸친 교차 플랫폼 캠페인을 수행한다.

이론적 프레임워크

본 논문은 크기 $n$에서 학습된 소스 정책 $\theta^*_n$이 타겟 크기 $m$에서 보일 것으로 기대되는 성능 $P_m(\theta^*_n)$에 대한 **조건부 진단 전이 경계(conditional diagnostic transfer bound)**를 도출한다. 이 경계는 성능 저하를 다음 요소들로 분해한다:

• 소스 일반화(Source Generalization): 경험적 성능과 실제 소스 성능 사이의 격차를 제어하는 항 $G^{roll}_n(\delta)$.
• 전이 페널티 ($D_{n \to m}$): 다음의 합계:
  • 매개변수 불일치(Parametric Mismatch): 매개변수의 $\ell_1$-노름 및 상대적 크기 변화율 $(m-n)/m$에 따라 선형적으로 스케일링된다.
  • 구조적 매끄러움(Structural Smoothness): Beardwood–Halton–Hammersley 스케일링에 기반한 $\sqrt{m} - \sqrt{n}$으로 모델링된 항 $\Psi(n, m)$으로, 그래프 크기에 따른 정책의 매끄러움을 나타낸다.

저자들은 이 경계가 수치적 격차를 정밀하게 예측하기보다는 구조적 스케일링을 식별하기 위한 진단적 및 최악의 경우(worst-case)를 가정한 것임을 명시한다. 또한, 연구된 특정 EQC 아키텍처(Model B)는 Lie-대수적 방법(Model A)을 통해 클래식하게 시뮬레이션 가능하다는 점을 밝히며, 이 시뮬레이션 가능성을 양자 우위의 주장보다는 "측정 도구(ground truth)"로서 사용한다.

주요 결과

1. 검증된 인-레짐(In-Regime) 전이

검증된 범위 내(작은 크기 변화, 예: $5 \to 10$)에서는 모든 6개의 평가에서 제로샷 전이가 타겟 크기 학습(target-size training)보다 우수한 성능을 보였다. $5 \to 10$ 전이는 평균 최적성 격차(optimality gap) **5.07%**를 달려, 처음부터 학습시킨 베이스라인보다 뛰어난 성능을 기록했다. 이는 EQC가 적절한 크기 변화 범위 내에서는 규모를 가로질러 일반화될 수 있는 구조적 통찰력을 인코딩하고 있음을 시사한다.

2. 세 가지 독립적인 확장성 장벽

검증된 범위를 벗어나면, 조밀한(dense) 전방향(all-to-all) EQC 아키텍처의 확장을 가로막는 세 가지 뚜렷한 장벽이 나타난다:

• 장벽 B1: 백엔드 유도 신호 손실 (시뮬레이션/절단)

  • 관찰: MPS 시뮬레이션에서 결합 차원(bond dimension) $\chi=64$(많은 연구의 표준)를 사용할 경우, 동일 크기 전이에서도 $n=20$에서 치명적인 실패(평균 격차 85.22%)가 발생한다.
  • 원인: 전방향 얽힘 구조(all-to-all entanglement structure)가 얽힘 성장을 유발하여 낮은 결합 차원 근사를 무효화한다. 절단 오차(truncation error)가 신호의 크기($\langle Z_i Z_j \rangle$)를 초과하여 그리디 액션 순위(greedy action ranking)를 왜곡한다.
  • 임계치: 신뢰할 수 있는 정책 수준의 정확도를 위해서는 $\chi \ge 256$이 필요하지만, 이는 계산적으로 매우 비용이 많이 든다.

• 장벽 B2: 교차 크기 전이 저하 (큰 폭의 변화)

  • 관찰: 크기 변화 $|m-n|$이 커짐에 따라 성능이 완만하지만 실질적으로 저하된다 (예: $5 \to 20$ 전이 시 격차가 약 12~18%로 상승).
  • 원인: 이는 매개변수 불일치와 구조적 변화에 의해 주도되는 이론적 전이 경계와 일치한다. 미세 조정(fine-tuning)을 통해 일부 성능을 회복할 수는 있으나 (예: $15 \to 20$의 경우 제로샷 격차 13.9%에서 미세 조정 후 10.6%로 감소), 제로샷 전이 단독으로는 큰 폭의 변화를 감당하기에 불충분하다.

• 장벽 B3: 유한 샷 실행 페널티 (하드웨어)

  • 관찰: 하드웨어 상에서 격차는 4096 샷의 노이즈 없는 에뮬레이터에서 ~5%(statevector 기준)에서 **31.3%**로, 실제 하드웨어에서는 **45.3%**로 팽창한다.
  • 원인: 액션 마진(후보 Q-값들 사이의 차이)이 샷 노이즈 바닥(shot-noise floor, $1/\sqrt{N_s}$) 아래에 위치한다. 4096 샷에서 노이즈 바닥은 약 0.016인 반면, 평균 액션 마진은 약 0.006이다. 결과적으로 그리디 결정이 통계적으로 해결되지 않는다 (40개의 결정 중 37개가 $z < 2$임).
  • 교차 플랫폼 확인: 다섯 개 장치(Quantinuum, IBM, Rigetti, IQM)에 대한 캠페인을 통해, 이 페널티가 샷 예산이 아닌 네이티브 2-큐비트 게이트 수와 오류 완화(error mitigation)에 의해 결정됨을 확인했다.
    • 트랩 이온 (전방향, 45개 게이트): 45.3% 격차.
    • 초전도 큐비트 (라우팅됨, 153–172개 게이트, 미완화): 108–125% 격차 (사실상 무작위 투어).
    • 초전도 큐비트 (완화됨, 172개 게이트): 67.8% 격차.
  • 결론: 신호 대 잡음비(SNR)가 게이트 유도 편향(gate-induced bias)과 조밀한 관측량 패밀리의 낮은 단위당 대비(per-edge contrast)에 의해 근본적으로 제한되기 때문에, 단순히 샷 수를 늘리는 것만으로는 문제를 해결할 수 없다.

의의 및 주장

저자들은 계산적 양자 우위에 대해 어떠한 주장도 하지 않는다. 연구된 EQC 아키텍처는 클래식하게 시뮬레이션 가능하다. 대신, 본 논문의 의의는 다음의 세 가지에 있다:

1. 진단 표준 확립: QRL에서 교차 크기 전이를 평가하기 위해, 전이 동작을 시뮬레이터 또는 하드웨어의 아티팩트로부터 분리하는 재현 가능하고 프로토콜이 매칭된 방법론을 제공한다.
2. 아키텍처적 장애물 식별: 전형적인 조밀한 전방향(dense, all-to-all) EQC 안사츠(ansatz)가 그 연결성(connectivity)에 기인한 세 가지 근본적인 장벽(B1, B2, B3)에 직면해 있음을 입증한다. 전방향 토폴로지는 효율적인 텐서 네트워크 시뮬레이션을 무효화하고(B1), 전이 페널티를 악화시키며(B2), 현재 하드웨어에서 해결할 수 없을 만큼 작은 액션 마진을 생성한다(B3).
3. 향러 방향 제시: 본 결과는 단순히 샷 예산을 늘리거나 오류 완화에 의존하기보다는, 세 가지 장벽을 동시에 완화하기 위해 희소 등변 회로(sparse equivariant circuit) 설계가 필수적인 아키텍처적 해결책임을 시사한다.

결론적으로, EQC는 전이를 위한 유망한 귀납적 편향(inductive bias)을 제공하지만, 현재의 조밀한 구현 방식은 아키텍처적 수정 없이는 기존 하드웨어에서 산업적으로 유의미한 크기로 확장하기 어렵다.