⚛️ quantum physics

"Train classical, deploy quantum" requires rethinking generalization

이 논문은 모멘트 매칭 손실(MMD $^2$ 와 같은)을 사용하여 고전적으로 학습된 양자 생성 모델이 가능도 기반 학습 모델에 비해 일반화 성능이 떨어지는 경우가 많음을 입증하며, 이는 "고전적으로 학습하고 양자로 배포하는" 패러다임이 수렴된 학습 손실을 일반화의 대리 지표로 신뢰하는 대신 일반화를 직접적으로 겨냥하는 새로운 접근 방식을 필요로 함을 시사한다.

원저자: Snehal Raj, Natansh Mathur, Alejandro Perdomo-Ortiz

게시일 2026-09-01

📖 3 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Snehal Raj, Natansh Mathur, Alejandro Perdomo-Ortiz

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

현대 과학의 분주한 세계에서, 연구자들은 전통적인 기계들이 해결하지 못하는 문제들을 풀기 위해 미시 세계의 기묘하고 확률적인 규칙을 모방하는 컴퓨터로 점점 더 눈을 돌리고 있습니다. 이 양자 컴퓨터들은 단순히 숫자를 더 빠르게 계산하는 것에 그치지 않습니다. 이들은 새로운 데이터를 자연스럽게 생성하여, 새로운 분자의 형태부터 유전 코드의 구조에 이르기까지 실제 세계의 현상과 유사한 숫자 패턴을 만들어낼 수 있습니다. 이러한 기계를 유용하게 만들기 위해, 과학자들은 흔 often "클래식에서 학습하고, 양자에서 배포한다(train classical, deploy quantum)"라고 불리는 전략을 사용합니다. 이 접근 방식은 계산 비용이 저렴하고 쉬운 표준적인 컴퓨터에서 모델을 학습시킨 다음, 완성된 모델을 양자 장치로 넘겨 최종 결과를 생성하게 하는 과정을 포함합니다. 그 희망은 양자 기계가 클래식 컴퓨터 스스로는 결코 생성할 수 없는 복잡하고 현실적인 샘플을 만들어내는 것입니다. 그러나 결정적인 질문이 남아 있습니다. 모델이 컴퓨터에서 성공적으로 학습되었다고 해서, 그것이 실제로 데이터의 근본적인 규칙을 이해한 것일까요, 아니면 단순히 보여준 예시들을 암기한 것일까요?

한 연구팀은 다양한 생성 모델을 테스트함으로써 이 질문에 답하고자 했습니다. 그들은 클래식 설계와 양자 하드웨어용 설계를 모두 포함한 13가지의 서로 다른 모델을 두 가지 매우 다른 유형의 데이터와 비교했습니다. 첫 번째 데이터셋은 16비트에서 30비트 사이의 시스템에 적용되는 제약 조건인, 1과 0의 개수가 완벽하게 균형을 이루어야 하는 비트 문자열을 포함한 수학적 퍼즐이었습니다. 두 번째 데이터셋은 특정 생물군으로부터 관찰된 수천 개의 유전 서열로 구성된 실제 생물학 데이터였습니다. 연구자들은 모델이 올바르게 학습되고 있다는 신뢰할 만한 징후로 널리 믿어지는 기술인, 특정 통계적 평균을 맞추는 데 초점을 맞춘 공통된 방법을 사용하여 이 모델들을 학습시켰습니다. 그런 다음 그들은 모델들이 자유롭게 실행되어 수천 개의 샘 샘플을 생성하도록 하여, 모델들이 원래의 집합이 가진 진정한 분포와 일치하는 새로운 유효한 데이터를 생성할 수 있는지 확인했습니다.

결과는 모델이 훈련 중에 얼마나 잘 수행되었는지와 실제로 어떻게 작동하는지 사이에 놀라운 괴리가 있음을 드러냈습니다. 연구자들은 통계적 평균을 맞추도록 훈련된 모델들이 훈련 점수는 우수함에도 불구하고, 실제로는 유효한 데이터를 생성하는 데 실패하는 상태로 수렴한다는 것을 발견했습니다. 수학적 퍼즐에서, 이 모델들은 기초적인 게임의 규칙을 준받지 못한 채 거의 전적으로 무효한 문자열을 생성했으며, 완벽에 가까운 훈련 점수를 가졌음에도 불구하고 그러했습니다. 반면, 데이터의 가능성(likelihood)에 초점을 맞춘 다른 방식으로 훈련된 모델들은 일관되게 고품질의 유효한 샘플을 생성했습니다. 성공의 신뢰할 만한 지표로 믿어져 왔던 통계적 훈련 점수는, 모델이 실제로 새로운 상황에 일반화할 수 있는지를 예측하는 데 있어 형편없는 예측 변수로 드러났습니다.

이러한 실패는 단순한 작은 결함이 아니라, 훈련 방법 자체의 근본적인 한계였습니다. 연구자들은 모델이 훈련 중에 사용된 통계적 평균을 완벽하게 맞추면서도, 가능한 유효한 결과물의 극히 적고 지수적으로 작은 부분만을 다룰 수 있다는 것을 이론적으로 입증했습니다. 두 개의 완전히 다른 분포가 특정 평균의 관점으로 볼 때 동일해 보일 수 있지만, 하나는 유효한 데이터의 전체 영역을 다루는 반면 다른 하나는 단 하나의 좁은 구석에 국한될 수 있습니다. 시뮬레이션에서 연구자들은 모델이 모든 요구되는 통계적 평균을 완벽하게 맞추면서도 유효한 공간의 7%만을 차지하여, 데이터의 광범위한 구조를 학습하는 데 사실상 실패한 구체적인 사례를 구축했습니다. 이는 낮은 훈련 점수가 모델이 규칙을 학습했다는 것을 보장하는 것이 아니라, 단지 훈련 과정이 찾고 있던 특정 숫자들을 맞추었다는 것만을 보장한다는 것을 증명했습니다.

이 연구는 또한 데이터의 유형이 중요하다는 것을 보여주었습니다. 연구자들이 동일한 훈련 방법을 게놈 데이터셋에 적용했을 때, 통계적 평균으로 훈련된 모델들은 유효한 유전 서열을 생성하는 데 다시 한번 어려움을 겪은 반면, 가능성 기반 모델들은 훨씬 더 좋은 성능을 보였습니다. 흥란하게도, 특정 양자 모델 하나는 내부 설계가 물리적으로 유효하지 않은 문자열을 생성하는 것을 방지했기 때문에 유효한 데이터를 생성할 수 있었는데, 이는 훈련 과정이 이를 가르쳤기 때문이 아니었습니다. 이는 직접적인 출력 검사가 없다면 훈련 점수에만 의존하는 것이 위험하다는 점을 강조했습니다. 연구자들은 현재의 '클래식에서 학습하고 양자에서 배포하는' 전략은 대대적인 재고가 필요하다고 결론지었습니다. 낮은 훈련 손실이 모델이 준비되었다는 가정 대신, 과학자들은 모델이 새롭고 유효한 샘플을 생성하는 능력을 직접 측정해야 합니다. 앞으로의 길은 아마도 일반화를 직접 겨냥하도록 훈련 목표를 변경하거나, 처음부터 필요한 제약 조건을 갖춘 모델을 설계하여 양자 이점이 실재하는 것이지 단지 잘 맞춰진 점수의 환상이 아님을 보장하는 방향이 될 것입니다.

기술 요약: "클래식하게 학습하고 양자로 배포하라"는 일반화에 대한 재고를 요구한다

문제 정의
"클래식하게 학습하고 양자로 배포하는(TCDQ)" 패러다임은 근미래의 양자 컴퓨터를 생성 모델링에 활용하기 위한 주요 전략이다. 이 워크플로우에서 양자 회로 본 머신(QCBM)은 클래식하게 계산 가능한 손실 함수를 사용하여 클래식 하드웨어에서 학습되며, 양자 장치는 오직 배포 시의 샘플링을 위해서만 예약된다. 이러한 손실 함수의 주요 후보는 Pauli-Z 상관관계를 통해 모델과 데이터 분포를 비교하는 모멘트 매칭 목적 함수인 최대 평균 불일치(MMD²)이다.

기존 연구들은 이러한 손실 함수들이 최적화될 수 있고 그 결과로 얻은 샘플링이 클래식하게 계산 불가능할 수 있음을 입증했지만, 결정적인 간극이 남아 있다. 즉, 모멘트 매칭 손실을 최소화하는 것이 모델이 일반화(타겟 분포로부터 새롭고 유효한 샘 샘플을 생성)를 수행하는지, 아니면 단순히 훈련 통계량을 암기(memorize)하는 것인지가 불분명하다는 점이다. 본 논문은 수렴된 훈련 손실이 반드시 모델이 유효한 데이터 공간의 기저 구조를 학습했음을 보장하지는 않는다고 주장한다.

방법론
저자들은 모멘트 매칭 손실과 일반화 사이의 관계를 조사하기 위해 이론적 분석과 광범위한 경험적 벤치마킹을 결합한 이중 접근 방식을 채택한다.

이론적 프레임워크:
- 저자들은 타겟 분포 $p^*$ 와 모델 분포 $q_\theta$ 사이의 전방 쿨백-라이블러(KL) 발산, $KL(p^* \| q_\theta)$ 를 통해 일반화를 정의한다.
- 저자들은 유계된 $d$ 개의 관측 가능 기대값(예: Pauli-Z 상관계수)에만 의존하는 목적 함수를 "모멘트 손실"로 정의한다.
- 저자들은 용량이 $d$ 로 제한된 임의의 모멘트 손실에 대해, 최대 $d+1$ 개의 문자열에 지지(supported)되는 정확한 전역 최솟값이 존재함을 증명한다. 이러한 "희소 최솟값(sparse minimizers)"은 유효 집합 $S$ 의 지수적으로 작은 비율만을 커버하면서도 제로 손실을 달랄 수 있으며, 이는 무한한 전방 KL 발산을 초래한다. 이는 낮은 차수의 모멘트를 맞추는 것만으로는 일반화를 인증하기에 불충분함을 보여준다.
경험적 벤치마킹:
- 데이터셋: 두 가지 응용 사례 중심 데이터셋이 사용되었다:
  - 카디널리티 제약 데이터셋: 유효한 문자열이 고정된 해밍 가중치( $N/2$ )를 갖는 데이터셋으로, 전체 상태 벡터 시뮬레이션을 통해 $N=30$ 큐비트까지 테스트되었다.
  - 게놈 단일 뉴클레오타이드 변이 데이터셋: 실제 생물학적 데이터에서 유래되었으며, 유효 집합은 고정된 해밍 가중치 제약 없이 관찰된 서열들로 구성된다.
- 모델: 13개의 생성 모델이 다음과 같이 분류되어 평가되었다:
  - 우도 학습 모델(Likelihood-trained): 텐서 네트워크 본 머신(TNBM), 트랜스포머(Transformers), GRU RNN, RBM.
  - 모멘트 학습 모델(Moment-trained): IQP 본 머신, 매직 페르미온 본 머신(FBM), 패시브 FBM, 그리고 클래식 생성 모멘트 매칭 네트워크(GMMN).
- 지표: 모델은 다음 항목으로 점수가 매겨졌다:
  - 훈련 손실(MMD²).
  - 커버리지(Coverage): 보지 못한 유효 집합( $S \setminus T$ )을 모델의 샘플이 커버하는 비율.
  - 전방 KL(Forward KL): $p^*$ 를 알고 있는 벤치마크 타겟에 대해 오프라인으로 계산됨.
  - 충실도(Fidelity): 생성된 샘플 중 유효한 샘플의 비율.

주요 결과

손실과 일반화의 디커플링: 연구 결과, MMD² 훈련 손실과 일반화 지표(커버리지 및 전방 KL) 사이의 상관관계가 매우 낮음을 발견했다. 모멘트 매칭 손실로 학습된 모델은 종종 낮은 손실 값을 달성하면서도 유효 집합을 커버하는 데 실패하며, 이는 효과적으로 훈련 통계량을 암기하거나 유효하지 않은 샘플을 생성함을 의미한다.
우도 학습의 우월성: 최대 우도(또는 음의 로그 우도)를 통해 학습된 모델들이 두 데이터셋 모두에서 높은 커버리지와 낮은 전방 KL 발산을 달성하며 일관되게 우수한 일반화 성능을 보였다.
"암기자(Memorizer)"의 실패: 이론적 분석은 모멘트 손실의 경험적 최솟값이 훈련 분포 자체인 "암기자"가 될 수 있으며, 이 경우 보지 못한 유효 문자열에 대한 커버리지가 0임을 확인한다.
아키텍처 편향 vs. 손실: 높은 커버리지를 달정한 유일한 모멘트 학습 모델은 패시브(passive) 페르미온 본 머신이었다. 그러나 이는 손실 함수 때문이 아니라, 해당 모델의 회로 아키텍처(매치게이트)가 출력값을 고정된 해밍 가중치 문자열으로 내재적으로 제한하여 유효 집합 내에 머물도록 설계되었기 때문이다. 이는 구조적 제약이 약한 손실 함수를 보완할 수 있음을 보여주지만, 손실 함수 자체가 일반화를 강제하는 것은 아님을 시사한다.
확장성: 낮은 손실과 낮은 일반화 사이의 격차는 시스템 크기(최대 30 큐비트)가 커짐에 따라 더 넓어졌다. 모멘트 학습 모델의 용량(예: IQP 회로에 더 많은 게이트 추가)을 늘려도 커버리지는 개선되지 않은 반면, 우도 학습을 수행한 클래식 모델은 크기가 커짐에 따라 개선되었다.

의의 및 주장
본 논문은 현재의 TCDQ 워크플로우가 잘못된 가정에 기반하고 있다고 주장한다: 즉, 클래식하게 계산 가능한 모멘트 매칭 손실을 최소화하는 것이 일반화 가능한 생성 모델을 학습하는 충분한 대리 지표(proxy)라는 가정이다. 저자들은 다음과 같이 주장한다:

수렴된 손실은 신뢰할 수 있는 지표가 아니다: 낮은 MMD² 값은 모델이 타겟 분포를 학습했거나 새로운 유효 데이터를 생성할 수 있음을 의미하지 않는다.
직접적인 평가가 필요하다: 일반화는 훈련 손실에서 추론하는 것이 아니라 샘플링(커버리지/충실도)을 통해 직접 측정되어야 한다.
패러다임 전환이 필요하다: TCDQ 전략은 근본적인 재고를 요구한다. 향러의 접근 방식은 다음 중 하나를 채택해야 한다:
- 일반화를 직접 목표로 하는 훈련 목적 함수(예: 최대 우도 또는 커버리지 인식 목적 함수)를 채택한다.
- 손실 함수에 의존하여 유효성을 학습하는 대신, 모델 아키텍처에 구조적 제약을 직접 내장하여 유효성을 강제한다.

저자들은 TCDQ가 학습 용이성과 샘플링의 어려움이라는 이점을 제공하지만, 현재로서는 생성 모델의 본질적인 목표인 '새롭고, 유효하며, 충실한 샘플의 생성'을 보장하는 데 실패하고 있다고 결론짓는다.

유사한 논문