Who can sample forever? Shot noise effects in quantum linear regression

기술 요약: 누가 영원히 샘플링할 수 있는가? 양자 선형 회귀에서의 샷 노이즈 효과

문제 정의
양자 선형 회귀(QLR)는 양자 극치 학습 기계(QELM) 및 양자 충실도 커널과 같은 비변분 양자 머신러닝 아키텍처를 포괄한다. 여기서는 고정된 양자 장치가 입력 데이터를 양자 특징 공간으로 매핑하고, 결과로 나온 기대값에 대해 고전적 선형 모델을 학습시킨다. QLR와 고전적 선형 회귀 사이의 근본적인 차이점은 양자 특징에 직접 접근할 수 없다는 것이다. 즉, 양자 특징은 유한한 측정 샷($N$)을 통해 추정되어야 한다. 이는 특징 행렬에 내재적인 샘플링 노이즈(샷 노이즈)를 도입한다.

본 논문은 이러한 유한 통계 노이즈가 학습 성능에 어떻게 영향을 미치는지에 대한 이해의 결정적인 공백을 다룬다. 노이즈가 포함된 특징을 가진 고전적 회귀(오차-변수 모델)는 편향을 유발하는 것으로 알려져 있으나, 샷 노이즈가 양자 특징 행렬의 계수(rank)와 조건수(conditioning)에 미치는 구체적인 구조적 결과는 체계적으로 규명된 바 없다. 특히, 저자들은 훈련 상태의 수($n_{tr}$)와 상태당 샷 수($N$) 사이의 상호작용이 평균 제곱 오차(MSE)를 어떻게 결정하는지 조사하며, 데이터셋 크기만을 늘리는 것이 오차를 최소화하기에 충분하다는 직관에 의문을 제기한다.

방법론
저자들은 훈련 타겟이 처음에 정확하다고 가정하고, 노이즈가 오직 입력 확률의 추정에서만 발생한다고 가정하는 QLR 환경을 분석한다. 이들은 경험적 특징 행렬 $\hat{P}_N$을 이상적이고 계수가 낮은(rank-deficient) 행렬 $P$($\text{rank}(P) \le d^2$, 여기서 $d$는 힐베르트 공간 차원)의 섭동으로 모델링한다.

1. 계수 불연속성 분석: 핵심적인 이론적 장애물은 이상적인 행렬 $P$는 $d^2$ 차원의 부분 공간에 국한되어 계수가 낮지만, 경험적 행렬 $\hat{P}_N$은 샷 노이즈로 인해 높은 확률로 풀 랭크(full rank)가 된다는 점이다. 이러한 계수 증가는 무어-펜로즈 유사 역행렬 $\hat{P}_N^+$의 불연속성을 초래하며, 적절히 처리되지 않을 경우 $N \to \infty$일 때 발산하는 항을 생성한다.
2. 섭동 전개: 저자들은 $n_{tr}, n_{out} > d^2$인 영역에 대한 유사 역행렬의 맞춤형 섭동 접근법을 개발한다. $P$의 지지 집합(support)과 여코어넬(cokernel)에 상대적인 블록으로 노이즈 행렬을 분해함으로써, 저자들은 발산하는 성분들을 격리한다. 이들은 유사 역행렬 자체는 발산하더라도, 물리적 예측(정확한 타겟 및 테스트 확률과 관련된 것)은 신호 부분 공간으로의 투영에 의해 발산하는 블록들이 소멸되기 때문에 유한하게 유지됨을 보여준다.
3. 편향-분산 분해: 연구는 무한 테스트 통계량의 MSE를 훈련 편향과 훈련 분산으로 나누는 명시적인 분해를 도출한다. 저자들은 두 가지 보완적인 접근 방식을 사용한다:
   • 균질 가우시안 노이즈 모델: 슈어 보충 행렬(Schur complement)의 모멘트를 해석적으로 계산하고 스케일링 법칙을 도출하기 위해 사용된다.
   • 엄밀한 다항 노이즈 분석: 가우시안 근사를 피하고 집중 부등식(concentration inequalities)과 고확률 경계(high-probability bounds)를 활용하여 유한한 $N$ 및 큰 $n_{tr}$에 대해 나머지 항을 제어함으로써 정밀하게 수행된다.
4. 노이즈가 포함된 타겟으로의 확장: 본 프레임워크는 훈련 타겟 또한 노이즈가 있는 경우(예: 상태 준비 오류)로 확장되어, 랭크를 증가시키는 샷 노이즈가 어떻게 상호작용하는지 분석한다.

주요 기여 및 결과

• 내재적 악조건화(Intrinsic Ill-Conditioning): 본 논문은 유한 샷 추정이 양자 선형 회귀를 필연적으로 악조건화(ill-conditioned) 상태로 만든다는 것을 입증한다. 경험적 특징 행렬은 이상적인 부분 공간 외부의 "가짜 방향(spurious directions)"을 획득하며, 이 방향들은 $N^{-1/2}$ 스케일의 특이값을 가진다.
• 자원 스케일링 법칙: 저자들은 MSE가 $N$과 $n_{tr}$에 따라 어떻게 스케일링되는지 도출하여 두 가지 뚜렷한 영역을 식별한다:
  • 저통계 영역 ($N \lesssim n_{tr}$): MSE는 $N^{-2}$로 스케일링되는 체계적인 **편향(bias)**에 의해 지배된다. 이 편향은 랭크 증가 및 그에 따른 악조건화에서 기인한다. 결정적으로, 이 편향은 훈련 상태의 수 $n_{tr}$에 영향을 받지 않는다.
  • 고통계 영역 ($N \gtrsim n_{tr}$): MSE는 $(N n_{tr})^{-1}$로 스케일링되는 분산(variance)(변동)에 의해 지배된다.
• 트레이드오프: 정확한 특징을 가진 고전적 회귀와 달리, 샷 노이즈에 의한 오차를 제거하기 위해 데이터셋 크기($n_{tr}$)만을 늘리는 것은 불가능하다. 일단 분산이 억제되면, 오차는 $N^{-2}$라는 상태당 샷 예산에 의해 결정되는 하한값에서 포화된다. 오차를 더 줄이기 위해서는 $n_{tr}$과 함께 $N$을 반드시 늘려야 한다.
• 양자 과적합(Quantum Overfitting): 훈련 타겟에 노이즈가 있는 경우, 이전에 무해했던 "가짜 방향"(샷 노이즈에 의해 생성된)이 라벨 노이즈와 결합한다. 이는 $N/M$ ($M$은 테스트 샷)으로 스케일링되는 항이 MSE에 나타나게 한다. 결과적으로, 테스트 통계 $M$을 늘리지 않고 훈련 통계 $N$을 늘리면 오히려 테스트 오차가 증가할 수 있다. 저자들은 이를 훈련 특징을 정밀하게 만드는 것이 라벨의 노이즈를 증폭시키는 일종의 양자 과적합 현상이라고 정의한다.
• 명시적 계수: 논문은 POVM, 훈련 앙상블 및 타겟 관측량에 대한 명시적인 편향 및 분산 계수를 제공하며, 이는 다양한 영역과 차원에 걸친 수치 시뮬레이션에 의해 검증되었다.

의의 및 주장
본 논문은 비변분 양자 학습에서 데이터셋 크기와 상태당 측정 통계 사이의 근본적인 트레이드오프를 드러낸다고 주장한다. 저자들은 이상적인 무한 샘플 분석으로부터 도출된 익숙한 고전적 학습의 직관을 수정해야 한다고 강조하며, 특히 이상적인 양자 특징은 $d^2$ 차원의 부분 공간에 존재하지만 그 추정치는 그렇지 않다는 양자 상태 공간의 기하학적 제약을 고려해야 한다고 주장한다.

저자들은 자신들의 결과가 **자원 인식형 훈련 및 규제 전략(resource-aware training and regularization strategies)**을 위한 기준을 제공한다고 강조한다. 양자 머신러닝(QML)의 성능 보장은 유한 샷 효과를 명시적으로 고려해야 하며, 전체 실험 예산을 단순히 데이터셋 크기만을 우선시하는 것이 아니라, 훈련 상태의 수와 상태당 샷 수 사이의 공동 할당 문제로 취급해야 한다고 단언한다. 이 연구는 유한한 통계가 이상적인 무한 샘플 분석에서 도출된 결론을 질적으로 변화시킬 수 있음을 보여준다.