기술 요약: 스펙트럼 본 머신 (Spectral Born Machines)

문제 정의

본 논문은 이산 데이터(discrete data)를 위한 양자 생성 모델의 확장성 문제를 다룹니다. "클래식하게 학습하고 양자적으로 배포한다(TCDQ)" 패러다임은 IQP 본 머신을 사용하여 이진 데이터(비트스트링)에 대해 유망한 결과를 보여주었으나, 기존 모델들은 본질적으로 이진 형태에 국한되어 있습니다. 대부분의 실제 데이터셋은 정수 구조(예: 뉴클레오타이드, 범주형 변수)로 구성되어 있습니다.

저자들은 정수 데이터를 표준 이진 인코딩이나 원-핫 인코딩을 통해 이진 문자열로 인코딩하는 것이 구조적 불일치를 초래한다고 주장합니다. 표준 양자 모델은 해밍 큐브(Hamming cube) 상에서의 매끄러움(smoothness)에 편향되어 있는데, 이는 정수의 자연스러운 위상(topology)과 일치하지 않습니다(해밍 공간에서는 $01111$과$10000$이 최대 거리로 떨어져 있는 반면, 정수에서는$x$와$x+1$이 이웃함). 이러한 불일치는 일반화 성능을 저해합니다. 또한, 그래디언트 추정(gradient estimation)을 통한 전통적인 양자 회로 학습은 매우 많은 파라미터 수에 대응하기 어려우며, 이는 고도로 과잉 매개변수화된(over-parameterized) 모델을 효율적으로 클래식하게 학습할 수 있는 새로운 접근 방식을 필요로 합니다.

방법론

1. 스펙트럼 본 머신 (Spectral Born Machines, SBMs)

저자들은 곱 순환 군(product cyclic group) $Z_d^n$($d$는 정수 알파벳의 차원, $n$은 변수의 수)에 대한 군 푸리에 분석(group Fourier analysis)을 기반으로 한 IQP 본 머신의 일반화 모델인 스펙트럼 본 머신을 제안합니다.

• 회로 아키텍처: 모델은 QFT(Quantum Fourier Transform) 층과 그 역층 사이에 놓인 대각 파라미터 유니터리 $D(\theta)$로 구성됩니다:
  $$U(\theta) = (F^{\otimes n})^\dagger D(\theta) F^{\otimes n}$$
  여기서 $F$는 $Z_d$에 대한 QFT입니다. $d=2$인 경우, 이는 IQP 회로에서 사용되는 하다마르(Hadamard) 층으로 환원됩니다.
• 매개변수화: 대각 유니터리 $D(\theta)$는 계산 기저 상태(computational basis states)에 위상 $e^{i\Phi_\theta(z)}$를 적용합니다. 위상 함수 $\Phi_\theta$는 계산 기저에서 대각 성분으로 작용하는 하이젠베르크-베일(Heisenberg-Weyl, HW) 관측량, 구체적으로 $Q(g, 0)$의 합으로 구성됩니다.
• 클래식 학습 가능성: 핵심적인 이론적 기여는 이러한 회로의 HW 관측량 기댓값을 클래식 하드웨어에서 효율적으로 추정할 수 있다는 증명입니다. 기댓값 $\langle D(k, m) \rangle_\theta$는 균등한 위상 차이(phase differences)에 대한 기댓값으로 작성될 수 있으며, 이를 통해 몬테카를로 샘플링을 통한 편향 없는 추정이 가능합니다. 이를 통해 자동 미분(automatic differentiation)을 사용하여 손실 함수의 그래디언트를 클래식 하드웨어에서 계산할 수 있습니다.

2. 손실 함수 및 귀납적 편향 (Inductive Bias)

모델을 학습시키기 위해 저자들은 모델 분포 $q_\theta$와 경험적 데이터 분포 사이의 최대 평균 불일치(Maximum Mean Discrepsy, MMD)를 최소화합니다.

• 그래프 스펙트럼 분석: MMD는 데이터의 기저 구조에 대한 그래프 라플라시안(graph Laplacian)에서 유도된 커널을 사용하여 구축됩니다.
  • 순환/순서형 데이터 (Cyclic/Ordinal Data): 시계 시간(clock times)처럼 이웃이 가까운 관계인 순환 그래프($C_d$)를 사용하여 모델링합니다.
  • 범주형 데이터 (Categorical Data): 모든 레이블이 서로 등거리인 완전 그래프($K_d$, 예: 과일 종류)를 사용하여 모델링합니다.
• 스펙트럼 편향 (Spectral Bias): 게이트 세트를 낮은 가중치의 생성자(low-weight generators, 저차 상호작용)로 제한함으로써, 모델은 데이터의 그래프 구조에 대해 낮은 주파수의 푸리에 모드(low-frequency Fourier modes)를 선호하도록 유도됩니다. 이는 출력 분포에 매끄러움을 강제하는 규제(regularizer) 역할을 하여 일반화를 돕습니다.

3. 소프트웨어 구현

이 방법은 PennyLane 소프트웨어 플랫폼 내의 새로운 tcdq 모듈로 구현되었습니다. 코드는 JAX로 작성되어 유연하고 미분 가능하며 확장 가능한 알고리즘 구축을 가능하게 합니다.

주요 기여

1. 이산 데이터로의 일반화: 저자들은 $Z_d$에 대한 군 푸리에 변환을 활용하여 TCDQ 프레임워크를 이진 비트스트링에서 일반적인 이산 데이터($Z_d^n$)로 확장했습니다.
2. 효율적인 클래식 학습: HW 관측량의 클래식 시뮬레이션 가능성을 활용하여, 양자 그래디언트 추정 없이도 고도로 매개변수화된 양자 생성 모델을 클래식 하드웨어에서 효율적으로 학습할 수 있음을 입증했습니다.
3. 스펙트럼 귀납적 편향: 저자들은 모델 클래스에 내재된 스펙트럼 편향을 식별하고 활용했습니다. 게이트 세트를 제한함으로써 모델은 정수 영역에서 매끄러운 분포를 자연스럽게 선호하며, 이는 데이터가 부족한 상황에서도 과적합을 완화하는 효과가 있습니다.
4. 확장성 입증: 저자들은 단일 GPU를 사용하여 190-큐비트 상당의 회로(차원이 4인 93-qudit)에서 100만 개 이상의 파라미터를 가진 모델을 성공적으로 학습시켰습니다.

수치 결과

1. 포츠 모델 (Potts Model, 합성 데이터)

저자들은 $6 \times 6$ 격자 위의 포츠 모델(순환 시계 모델)에서 생성된 데이터로 SBM을 학습시켰습니다.

• 결과: (스펙트럼 편향을 강제하는) 제한된 게이트 세트를 가진 모델은 훨씬 적은 파라미터를 사용하면서도, 구조가 없는 훨씬 큰 모델과 대등한 테스트 성능을 달anim했습니다.
• 과적합: 파라미터 수의 변화(약 2.5k에서 142k까지)에도 불구하고 모델들은 유사한 손실 값에 수렴하였으며, 이는 스펙트럼 편향이 학습 과정을 효과적으로 규제하고 있음을 시사합니다.

2. 리보솜 RNA (Ribosomal RNA, 실제 데이터)

저자들은 93-뉴클레오타이드 리보솜 RNA 서열(Rfam RF00001) 데이터셋에 대해 SBM을 학습시켰습니다.

• 설정: 95-qudit 모델(190 큐비트)을 소규모 데이터셋(훈련 샘플 428개, 테스트 샘플 53개)에 대해 학습시켰습니다.
• 모델 비교: 두 가지 모델을 비교했습니다. 하나는 약 40k 파라미터(모든 2-qudit 게이트 포함)를 가졌고, 다른 하나는 약 1.3M 파라미터(선택된 3-qudit 게이트 포함)를 가졌습니다.
• 결과: 두 모델 모두 유사하게 낮은 손실 값(~0.002–0.0035)을 달성했는데, 이는 유한한 데이터셋의 내재적인 통계적 불확실성과 일치합니다. 더 큰 모델은 데이터 포인트보다 수십 배 많은 파라미터를 가지고 있음에도 과적합되지 않았습니다.
• 푸리에 분석: 학습된 모델이 데이터의 지배적인 저차 스펙트럼 통계(쌍별 의존성)를 성공적으로 포착했음을 푸리에 계수 시각화를 통해 확인했습니다.

의의 및 주장

본 논문은 스펙트럼 본 머신이 TCDQ 접근 방식을 통해 실질적인 양자 머신러닝 이점으로 나아가는 유망한 경로임을 주장합니다.

• 과적합 면역성: 저자들은 고도로 과잉 매개변수화된 SBM이 데이터가 부족한 환경에서도 과적합에 면역이 있을 수 있다고 제안합니다. 이는 모델이 저차 푸리에 집중(low-order Fourier concentrations)에 국한되도록 제한하는 "스펙트럼 편향" 덕분이며, 이는 희소한 훈련 데이터를 암기하는 데 필요한 고주파 성분을 배제함으로써 효과적으로 작동합니다.
• 확장성: 본 연구는 양자 그래디언트 추정의 현재 한계를 우회하여, 클래식 하드웨어를 통해 수백만 개의 파라미터와 수백 개의 큐비트로 양자 생성 모델을 확장할 수 있음을 보여줍니다.
• 복잡도 지형: 저자들은 이 모델들이 "무인 지대(no man's land)"의 계산 복잡도에 위치할 수 있다고 가정합니다. 즉, 클래식하게 샘플링하기는 어려워 양자 우위를 유지하면서도, 추정 과정에서 발생하는 역다항식 노이즈(inverse polynomial noise)로 인해 표준적인 다항식 희소성 논거를 통한 디퀀타이징(dequantization)이 어려울 수 있습니다.
• 경험적 초점: 논문은 양자 머신러닝의 궁극적인 증명이 순수하게 이론적인 복잡도 분리(현실적인 훈련된 파라미터 범위에서는 확립하기 어려운 것)보다는, 인상적인 경험적 결과(대규모 학습 및 성능)를 통해 나타날 수 있음을 강조합니다.

저자들은 이 작업이 양자 머신러닝의 "대규모 경험적 분석(large-scale empirics)" 시대를 열어, 이전에는 분석이 불가능했던 양자 모델의 특성을 탐구할 수 있게 한다고 결론짓습니다.