기술 요약: 가우시안 프로세스 회귀를 위한 능동적 양자 커널 획득 (AQKA-GP)

문제 정의

양자 커널 방법은 고전적으로 다루기 어려운 것으로 추정되는 특징 공간에 대한 접근을 제공하지만, 근미래형 하드웨어에서의 실제 배포는 유한한 "샷 예산(shot budget)"에 의해 제약을 받습니다. 양자 커널 추정에서 그람 행렬(Gram matrix)의 각 성분 $K_{ij}$는 유한한 횟수의 회로 실행(샷)을 통해 추정된 베르누이 기댓값입니다. 결과적인 추정 노이즈는 $\text{Var}(\hat{K}_{ij}) = K_{ij}(1-K_{ij})/s_{ij}$로 스케일링됩니다.

최근 연구들은 작업 민감도(task sensitivity)에 기반한 비균등 샷 할당이 양자 커널 분류(예: KRR, SVM)의 성능을 개선한다는 것을 보여주었으나, 이것이 가우시안 프로세스(GP) 회귀에도 그대로 적용될지는 불분명합니다. GP 회귀는 이와 구별되는 독특한 과제를 제시합니다. 분류가 예측값의 부호에 의존하여 스케일링에 강건한 것과 달리, GP 회귀는 예측 평균, 분산 및 주변 가능도(marginal likelihoods)를 위해 역 커널 행렬 $(K + \sigma_n^2 I)^{-1}$의 전체 스펙트럼에 의존합니다. 결과적으로, 커널 노이즈는 조건수(condition number) $1/\sigma_n^4$에 비례하는 인자로 인해 증폭됩니다. 따라서 분류에서는 작동했던 단순한 민감도 기반 할당 방식은, 초기 "웜업(warm-up)" 커널 추정이 민감한 쌍들을 신뢰성 있게 식별할 수 없을 정도로 노이즈가 심할 경우 GP 회귀에서 치명적인 실패를 초래할 위험이 있습니다.

방법론: AQKA-GP

저자들은 Neyman 스타일의 최소 분산 할당 프레임워크를 GP 회 regression으로 확장한 AQKA-GP(Active Quantum Kernel Acquisition for Gaussian Process Regression)를 제안합니다. 이 방법은 세 단계로 작동합니다:

1. 높은 바닥층 커버리지(High-Floor Coverage): 노이즈가 심한 민감도 추정에 과도하게 집중되는 것을 방지하기 위해, 알고리즘은 모든 커널 쌍에 대해 균등 샘플링을 수행하도록 전체 예산 $B$의 일부인 $\rho$ (0.5로 설정)를 예약합니다. 이는 모든 성분이 최소한의 샷을 받도록 보장하며, 행렬의 성분이 관측되지 않아 사전 평균(0.5)으로 기본 설정됨으로써 행렬 역행렬을 불안정하게 만드는 상황을 방지합니다.
2. 민감도 가중치 할당: 남은 예산은 도출된 쌍 수준의 민감도를 기반으로 비균등하게 할당됩니다. 저자들은 서로 다른 세 가지 다운스트림 목적에 대응하는 세 가지 폐쇄형(closed-form) 민감도를 도출했습니다:
   • 예측 결합($|\alpha_i \alpha_j|$): 테스트 RMSE 최소화를 위해 도출되었습니다. 이는 $\alpha = (K + \sigma_n^2 I)^{-1}y$인 예측-MSE 목적 함수 하에서 정확한 Neyman 가중치의 랭크-1 특수화 모델입니다.
   • 주변 가능도 기울기(Marginal-Likelihood Gradient): 하이퍼파라미터 학습을 위해 도출되었습니다. 민감도는 주어진 $K_{ij}$에 대한 음의 로그 주변 가능도의 정확한 편미분 값인 $|\frac{1}{2}[A^{-1}]_{ij} - \frac{1}{2}\alpha_i \alpha_j|$입니다.
   • Leave-One-Out (LOO) 잔차: 예측 교정(predictive calibration)을 위해 도출되었습니다. 이 민감도는 한 끝점이 큰 LOO 잔차를 가지고 있고 $A^{-1}$를 통해 이웃들과 밀접하게 결합되어 있는 쌍을 강조합니다.
3. 추론 시 지터(Inference-Time Jitter): $\hat{K}$에 샷 노이즈가 포함되었을 때 발생하는 사후 분포의 불량한 조건성(ill-conditioning)을 처리하기 위해, 관측 노이즈 $\sigma_n^2$를 보정된 지터 항 $j \propto \sqrt{n} \cdot \sqrt{\hat{K}(1-\hat{K})/s}$만큼 팽창시킵니다. 이 스케일링은 사후 분포가 안정적으로 유지되도록 하기 위한 Wigner 유형의 행렬 집중 경계(matrix concentration bounds)에 의해 동기 부여되었습니다.

이 프레임워크는 희소 유도점 GP(Sparse Inducing-Point GPs: VFE, SVGP, FITC) 및 Deep GP로도 확장되며, 여기서 민감도는 특정 저계수 결합 구조에 맞게 조정됩니다.

주요 기여

1. GP 특화 민감도 도출: 본 논문은 이전 연구에서 사용된 분류 전용 기울기를 넘어, GP 회귀를 위한 세 가지 폐쇄형 쌍 수준 민감도를 제공합니다. 이러한 민감도는 커널 불확실성이 예측 평균, 분산 및 가능도로 어떻게 전파되는지를 포착합니다.
2. "높은 바닥층" 실패 모드 식별: 저자들은 GP 회귀가 민감도 추정의 "웜업" 노이즈에 유독 민감하다는 점을 식별했습니다. 그들은 분류에서 충분한 낮은 바닥층($\rho \le 0.2$)과 대조적으로, 강건성을 회복하기 위해 높은 균등 커버리지 바닥층($\rho \approx 0.5$)이 필요함을 증명했습니다.
3. 이론적 정당성: 저자들은 제안된 민감도가 임의의 대리 지표가 아니라, 특정 추정 오차 목적 함수(예측 MSE, 주변 가능도, LOO)에 대한 정확한 미분 또는 정확한 Neyman 가중치의 랭크-1 특수화임을 입증합니다.
4. 실험적 검증: 광범로한 실험을 통해 이 할당기가 중간 예산 규모에서 일관된 개선을 제공함을 보여줍니다.

실험 결과

저자들은 $n_{tr}=200$인 네 가지 UCI 회귀 벤치마크와 두 가지 합성 설정(밀집 GP-사전 확률 및 심어진 희소 데이터)에서 AQKA-GP를 평가했습니다.

• 성능 향상: 중간 예산 규모(쌍당 50–250 샷)에서 AQKA-GP는 균등 할당 대비 테스트 RMSE를 10–21% 감소시켰습니다. 이 이득은 균질한 커널을 사용하더라도 예측 이질성이 발생하는 밀집 데이터에서 가장 두드러졌습니다.
• 강건성: 높은 바닥층 전략($\rho=0.5$)은 $\rho$가 작을 때 낮은 예산에서 관찰되는 파멸적인 실패를 성공적으로 제거했습니다.
• 다운스트로임 태스크: 이 이득은 다음으로 전이됩니다:
  • 베이지안 쿼드러처(Bayesian Quadrature): 적분 오차 37% 감소.
  • 이분산 회귀(Heteroscedastic Regression): RMSE 19–29% 개선.
  • 하이퍼파라미터 학습: 참 커널 대역폭(bandwidth)과의 격차 65% 감소.
  • 다중 출력 코크리깅(Multi-output Cokriging): 4% 개선.
• 양자 커널:
  • 양자 자연 데이터가 포함된 실제 ZZ 및 Pauli-Z 양자 커널에서, 이 방법은 낮은 예산($p < 0.05$)에서 13–15%의 RMSE 개선을 나타냈습니다.
  • ZZ 커널에 임베딩된 UCI 특징의 경우, 이득이 사라졌습니다. 저자들은 이를 "지수 집중 영역(exponential-concentration regime)" 때문이라고 설명하며, 이 영역에서는 커널 값이 고정된 평균 근처로 클러스터링되어 샷 할당이 활용할 수 있는 이질성이 사라집니다.
• 희소 GP: 이 방법은 희소 VFE GP로 확장되어, 희소 근사의 평활 효과(smoothing effect)로 인해 절대적인 이득은 작지만 오라클 바닥(oracle floor)과의 격차를 약 40%까지 좁혔습니다.

의의 및 주장

본 논문은 AQKA-GP가 능동적 양자 커널 획득의 원리를 분류에서 더 까다로운 회귀 설정으로 성공적으로 확장했음을 주장합니다. 그 의의는 다음과 같습니다:

• 역행렬 증폭 해결: GP 회귀가 역행렬의 전체 스펙트럼에 대한 의존성 때문에 분류보다 커널 노이즈를 더 심하게 증폭한다는 점을 명시적으로 고려했습니다.
• 강건한 프로토콜 제공: 높은 균등 커버리지 바닥층이 샷 노이즈 하의 안정적인 GP 회귀를 위한 필수 조건임을 확립했으며, 이는 분류에는 존재하지 않는 요구사항입니다.
• 태스크별 최적화: 서로 다른 다운스트림 태스크(예측 vs 가능도 추정)가 서로 다른 이론적 근거를 가진 민감도 지표를 필요로 함을 입в증했습니다.

저자들은 이 방법이 가장 효과적인 구간(즉, 커널이 충분한 이질성을 보이는 구간)에 대해 신중한 입장을 취하며, 이 방법이 데이터-특징 맵 조합 자체가 필요한 구조를 결여한 경우(UCI-ZZ 연구에서 나타난 것처럼) 마법처럼 개선해주지는 않는다는 점을 명시했습니다. 또한 특정 지터 상수는 이론적으로 도출된 것이 아니라 경험적으로 보정된 것이라고 밝혔습니다.