Benign Overfitting with Quantum Kernels

기술 요약: 양자 커널에서의 양호한 과적합 (Benign Overfitting with Quantum Kernels)

문제 정의
양자 커널 방법은 매개변수화된 양자 회로(PQC)를 통해 고차원 힐베르트 공간으로 고전 데이터를 인코딩함으로써 양자 이점(quantum advantage)을 얻을 수 있는 잠재적인 경로를 제공한다. 그러나 하나의 중대한 도전 과제가 실용성을 저해하고 있는데, 바로 지수적 집중(exponential concentration) 현상이다. 큐비트의 수가 증가함에 따라, 매우 표현력이 높은 양자 커널(예: 표준 양자 충실도 커널)은 0 근처로 집중되는 경향이 있으며, 이로 인해 커널 행렬이 단위 행렬(identity matrix)에 가까워진다. 이는 모델이 훈련 데이터를 보간(interpolation)함에도 불구하고 유의미한 데이터 상관관계를 포착하지 못하게 하여, 결과적으로 낮은 일반화 성능을 초래하는 "스파이키(spiky)"한 동작을 유발한다. 대역폭 튜닝(bandwidth tuning)이나 차원 축소와 같은 규제 기술들이 이를 완화하기 위해 제안되어 왔으나, 이러한 방식들은 대개 집중 현상을 단순히 극복해야 할 단점으로만 취급하며, 이를 활용 가능한 특징으로 간주하지 않는다.

방법론
저자들은 고전 머신러닝의 "양호한 과적합(benign overfitting)" 개념과 "스파이키-스무스(spiky-smooth)" 커널 분해에서 영감을 얻은 **로컬-글로벌 양자 커널(Local-Global Quantum Kernels)**이라는 새로운 구성을 제안한다. 핵심 아이디어는 두 가지 뚜렷한 구성 요소를 결합한 커널을 구축하는 것이다:

1. 로컬 구성 요소 (Local Component): 작은 서브시스템(축소 밀도 행렬)에 대한 측정을 통해 도출된다. 이 구성 요소는 매끄러운 구조를 유지하여 서로 다른 입력 간의 비자명한 상관관계를 보존하고 일반화를 지원한다.
2. 글로벌 구성 요소 (Global Component): 전체 양자 시스템에 대한 측정을 통해 도출된다. 이 구성 요소는 강한 집중 효과를 나타내어, 훈련 데이터를 보간할 수 있는 좁은 "스파이크(spikes)"를 생성한다.

제안된 커널은 다음과 같이 가중 합으로 정의된다:
$$k_{LG}(x, z) = \lambda_L k_L(x, z) + \lambda_G k_G(x, z)$$
여기서 $k_L$은 로컬 커널이고 $k_G$는 글로벌 커널이다.

이론적 분석을 용이하게 하기 위해, 저자들은 분리 가능한 글로벌 인코딩(Separable Global Encoding) 체계를 도입한다. 이 설정에서 전체 큐비트 수 $t$는 서브시스템 크기 $s$의 배수이다 ($t = q \cdot s$). 인코딩 유니터리는 $q$개의 블록에 걸쳐 인수분해된다. 이 체계 하에서, 글로벌 커널은 베이스 커널의 $q$제곱이 되며 ($k_G = k_B^q$), 로컬 커널은 베이스 커널에 비례한다 ($k_L \propto k_B$). 결과적인 커널은 다음과 같은 형태를 갖는다:
$$k_{LG}(x, z) = \tilde{\lambda}_L k_B(x, z) + \lambda_G k_B(x, z)^q$$
매개변수 $q$가 증가함에 따라 글로벌 구성 요소는 점점 더 스파이키(국소화)해지는 반면, 로컬 구성 요소는 매끄러운 상태를 유지한다.

주요 기여

1. 로컬-글로벌 양자 커널 정의: 본 논문은 양자 커널을 매끄러운(smooth) 성분과 스파이키한(spiky) 성분으로 명시적으로 분해하는 프레임워크를 도입하며, 이는 고전적 설정에서 제안된 스파이키-스무스 커널[Haas et al. 2023]의 양자 아날로그를 생성한다.
2. 양호한 과적합의 이론적 증명: 저자들은 주기적이고 병진 불변(translation-invariant)인 양자 충실도 커널(특히 코사인 양자 커널) 클래스에 대해, 로컬-글로벌 커널을 사용한 리지리스 회귀(ridgeless regression)가 노이즈가 섞인 훈련 데이터를 정확히 보간하면서도 통계적 일관성을 유지함을 증명한다. 이는 고차원 양자 커널의 "스파이키"한 특성이 매끄러운 로컬 성분이 존재할 때 일반화를 희생하지 않고도 보간을 위해 활용될 수 있음을 보여준다.
3. 회로 구현: 논문은 로컬-글로벌 커널에 대한 구체적인 양자 회로 구현을 제공한다:
   • $t$개 큐비트 상의 가중 합된 로컬 및 글로벌 관측량을 사용하는 전체 양자 구현(fully quantum implementation).
   • $s$개 큐비트 상에서 베이스 커널을 계산하고 거듭제곱 법칙을 고전적으로 적용하는 **하이브리드 양자-고전 구현(hybrid quantum-classical implementation)**으로, 양자 자원 요구량을 크게 줄인다.
4. 실증적 검증: 합성 데이터 및 실제 데이터셋(예: Airfoil 데이터셋)에 대한 실험을 통해, 로컬-글로벌 커널이 베이스 커널을 사용한 표준 리지리스 회귀보다 우수한 성능을 보이며, 경우에 따라 정규화된 릿지 회귀(ridge regression)와 대등하거나 이를 능가하면서도 훈련 데이터를 보간함을 입증하였다.

결과

• 과적합의 페이즈 다이어그램 (Phase Diagram of Overfitting): 1차원에서의 수치 실험은 편향-분산 트레이드오프가 좋지 않은 구간(작은 $q$), 파멸적인 과적합이 발생하는 구간(중간 $q$), 그리고 훈련 지점에서는 보간하지만 훈련 지점 이외에서는 매끄러움을 유지하는 양호한 과적합이 발생하는 구간(큰 $q$) 사이의 전이를 보여준다.
• 일관성 (Consistency): 합성 데이터에 대해, 로컬-글로벌 리지리스 추정량의 테스트 평균 제곱 오차(MSE)는 훈련 크기가 증가함에 따라 노이즈 수준으로 수렴하며, 이는 이론적 일관성 결과를 확인시켜 준다. 반면, 베이스 커널 단독을 사용한 리지리스 회귀는 일관성이 없는 것으로 나타났다.
• 일반화 (Generalization): 로컬-글로벌 커널은 실제 데이터에 대해 훈련 세트를 보간하면서도 성공적으로 일반화하며, 이는 로컬의 매끄러움과 글로벌의 스파이키함의 결가 양호한 과적합을 가능하게 한다는 가설을 검증한다.

의의
본 논문은 양자 커널에 특화된 양호한 과적합을 이론적, 경험적으로 규명한 첫 번째 연구라고 주장한다. 양자 커널의 지수적 집중 현상을 단순한 실패 모드가 아니라 보간을 위한 메커니즘으로 재정의함으로써, 저자들은 일반화를 본질적으로 촉진하는 양자 커널 설계 원칙을 제안한다. 이 연구는 양호한 과적합 분석의 범위를 대역폭 축소형 구조를 넘어 양자 환경으로 확장하며, 글로벌 구성 요소의 거듭제곱 집중을 활용하여 국소화를 달성한다. 이러한 결과는 정교하게 설계된 양자 특징들이 예측 성능을 저해하지 않으면서도 데이터를 보간할 수 있음을 시사하며, 이는 NISQ 시대에 효과적인 양자 커널을 구축하기 위한 유망한 전략을 제공한다.