Few-sample regression with an adaptively grown variational quantum Kolmogorov--Arnold network

기술 요약: 적응형 성장형 변분 양자 콜모고로프-아르놀트 네트워크를 이용한 소수 샘플 회귀

문제 정의
기계 학습은 제한된 수의 고비용 측정값 또는 시뮬레이션으로부터 물리량을 보간하는 데 점점 더 많이 적용되고 있습니다. 이러한 "소수 샘플(few-sample)" 영역에서는 모델의 가공되지 않은 용량(raw capacity)보다 유도 편향(inductive bias)이 더 중요할 때가 많습니다. 콜모고로프-아르놀트 네트워크(KAN)는 노드에 고정된 활성화 함수를 두는 대신 네트워크 엣지에 학습 가능한 1차원 함수를 배치함으로써 특정한 편향을 제공합니다. 여러 양자 KAN 구현체가 제안되었으나, 그 실질적인 유용성은 여전히 불분명합니다. 기존의 비교 연구들은 단일 훈련 실행에 의존하고, 튜닝되지 않은 베이스라인(양자 및 클래식 모두)을 사용하며, 종종 모델 선택을 위해 테스트 세트를 사용하여 데이터 누수(data leakage)를 유발하는 등 방법론적 결함을 가지고 있습니다. 본 연구는 이러한 혼란 요인을 제거하도록 설계된 프로토콜 하에서 적응형 변분 양자 KAN(Adaptive VQKAN)을 엄격하게 평가하는 것을 목표로 합니다.

방법론
저자들은 앤새츠(ansatz)가 연산자 단위로 성장하는 변분 양자 알고리즘인 Adaptive VQKAN을 제안하고 평가합니다.

• 아키텍처: 이 모델은 입력 $x \in [0, 1]^d$를 $N_q = \max(4, d)$ 큐비트 상의 해밀토니안 $\hat{H}$의 기댓값에 매핑하여 스칼라 예측값을 도출합니다. 입력 인코딩에는 회전 게이트 $R_y(\arccos x_j + \pi/2)$를 사용합니다. KAN 레이어는 파울리 스트링(Pauli strings)의 리스트로 구성되며, 각 스트링은 측정된 단일 큐비트 기댓값에 의존하는 회전각을 가진 학습 가능한 엣지 함수를 가집니다. 엣지 함수는 8개의 학습 가능한 제어 값(control values)을 갖는 이차 B-스플라인(quadratic B-splines)입니다.
• 적응형 성장(Adaptive Growth): 훈련은 단일 파울리 연산자($X_1$)로 시작됩니다. 매 $T_g$ 최적화 단계마다, 풀(pool)에 있는 연산자들(모든 1체 및 2체 파울리 스트링) 중 제어 값을 0으로 설정한 상태로 임시로 추가됩니다. 훈련 비용을 가장 많이 감소시키는 연산자가 영구적으로 채택됩니다. 이는 ADAPT-VQE 선택 규칙을 모방하지만, 에너지 최소화 대신 비용 최소화를 사용합니다.
• 실험 프로토콜: 재현성과 공정성을 보장하기 위해 본 연구는 다음을 채택합니다:
  • 시드 쌍 비교(Seed-paired comparisons): 모든 방법은 훈련 및 테스트 세트에 대해 동일한 무작위 시드로 테스트됩니다.
  • 엄격한 모델 선택: 모델 선택(베이스라인의 하이퍼파라미터 튜닝 포함)은 오직 훈련 비용에만 의존하며, 테스트 세트는 선택을 위해 절대 사용되지 않습니다.
  • 사전 등록(Pre-registration): 12, 16, 18차원 타겟에 대한 확증적 연구는 실행 전 고정된 가설, 시드 및 분석 스크립트와 함께 사전 등록되었습니다.
  • 베이스라인: 비교 대상에는 하드웨어 효율적 양자 신경망(QNN)(튜닝된 버전과 튜닝되지 않은 버전 모두), 클래식 KAN, 다층 퍼셉트론(MLP), 선형 회귀, 그리고 정규화된 클래식 회귀 모델(Ridge, Leave-One-Out 교차 검증을 사용한 Kernel Ridge, 가우시안 프로세스)이 포함됩니다.

주요 결과
평가는 4-큐비트 벤치마크와 12, 16, 18 차원의 난이도 제어 계열 타겟을 대상으로, 단 10개의 훈련 포인트만을 사용하여 수행되었습니다.

1. 4-큐비트 벤치마크: 합성 4-큐비트 타겟에 대해, Adaptive VQKAN(24개 파라미터)은 동일한 파라미터 수를 가진 QNN과 통계적으로 구별할 수 없는 수준입니다. 두 모델 모두 클래식 회귀 모델(선형 회귀 및 MLP)에 의해 유의미하게 상회됩니다. 이 규모에서는 KAN 구조의 이점이 관찰되지 않았습니다.
2. 스케일링 연구 (12 및 16 차원): 10개의 훈련 포인트가 있을 때, 32개 파라미터를 가진 Adaptive VQKAN은 정규화되지 않은 클래식 회귀 모델 및 튜닝된 QNN을 유의미하게 능가했습니다 (Holm-corrected $p \le 0.017$).
   • $d=12$에서, VQKAN의 오차는 11.1이며, 최적의 정규화되지 않은 클래식 베이스라인은 13.0입니다.
   • $d=16$에서, VQKAN의 오차는 11.7이며, 베이스라인은 15.0입니다.
   • 그러나, 동일한 10개 포인트에 대해 Leave-One-Out 교차 검증(LOO-CV)을 통해 하이퍼파라미터를 선택한 Kernel Ridge Regressor는 VQKAN의 성능과 일치하는 결과를 보였습니다 (예: $d=12$에서 11.2 vs 11.1).
3. 스케일링 한계 (18 차원): $d=18$에서 양자 모델의 이점은 사라지며, 성능은 클래식 오라클(oracle) 및 상수 예측자와 구별할 수 없게 됩니다.
4. 강건성(Robustness): 모델의 성능은 유한한 측정 샷(256 샷은 정확한 시뮬레이션과 유사한 결과를 냄)과 게이트 노이즈에 강건합니다. 훈련된 회로는 156-큐비트 IBM Heron 프로세서($ibm\_marrakesh$)에서 성공적으로 실행되었으며, 테스트 오차는 정확한 값과 0.3 이내의 차이를 보였습니다.
5. 샘플 크기 민감도: 훈련 포인트의 수가 증가함에 따라 (10개에서 100개로), 양자 모델의 오차는 거의 평탄하게 유지되는 반면 (약 9.5에서 포화), 클래식 모델(특히 교차 검증된 kernel ridge)은 지속적으로 크게 개선됩니다.

메커니즘 및 해석
저자들은 소수 샘플 영역에서 관찰된 Adaptive VQKAN의 이점이 양자 표현력(quantum expressivity)의 이점이 아님을 결론짓습니다. 대신, 이는 **의도적으로 낮은 용량을 가진 모델의 암묵적 정규화(implicit regularization)**에서 비롯됩니다.

• 적응형 성장 규칙은 적은 수의 연산자(통상 4개의 2체 스트링)를 선택하므로, 고차원에서도 10개의 훈련 포인트를 과적합(overfit)할 수 없는 고정된 파라미터 수(32개)를 갖게 됩니다.
• 정규화되지 않은 클래식 모델은 이 적은 포인트들에 과적합되어 낮은 일반화 성능을 보입니다.
• 양자 모델의 성능은 적절한 정규화(LOO-CV)를 거친 클래식 커널 방법론에 의해 효과적으로 재현되는데, 이는 양자 특징 공간이 접근 가능한 클래식 커널보다 더 풍부해서가 아니라 단순히 더 제약되어 있음을 시사합니다.

의의 및 주장
본 논문은 변분 양자 KAN의 자원과 한계를 제공하는 재현 가능한 기준점을 제공한다고 주장합니다.

• 이전의 양자 KAN 우위 주장이 부적절한 실험 설계(튜닝되지 않은 베이스라인, 단일 실행, 데이터 누수)의 산물일 수 있음을 보여줍니다.
• 연구된 특정 타겟들에 대해, 양자 모델이 잘 정규화된 클래식 커널 방법보다 우위에 있지 않으며, 우수한 표현력을 갖지도 못한다는 점을 입증했습니다 (샘플 수가 증가할 때 오차가 포화되는 현상을 통해 확인됨).
• "소수 샘플"에서의 이점은 용량 효과(capacity effect)이며, 이는 모델이 너무 작아서 과적합될 수 없을 때만 존재하고, 차원이 높아지거나 샘플 수가 늘어나면 사라진다는 점을 강조합니다.
• 저자들은 다른 인코딩이나 (특히 KAN 구조에 이론적으로 적합한) 타겟 계열이 진정한 양자 이점을 나타낼 수 있는지에 대한 향후 테스트를 허용하기 위해 프로토콜과 코드를 공개한다고 밝혔습니다.