기술 요약: 양자 기술과 AI의 만남

본 학위 논문은 양자 컴퓨팅과 인공지능의 양방향 교차점을 조사하며, 이는 두 가지 상호 보완적인 부분인 "AI를 위한 양자(Quantum for AI)"—양자 모델이 머신러닝을 어떻게 향상시키는지 탐구함—와 "양자를 위한 AI(AI for Quantum)"—머신링 기법이 양자 오류 정정 및 다체 물리(many-body physics)의 근본적인 문제를 어떻게 해결하는지 조사함—로 구성되어 있다.

제1부: AI를 위한 양자 (Quantum for AI)

제2장: 신경 양자 임베딩 (Neural Quantum Embedding, NQE)

문제점: 양자 지도 학습(supervised learning)에서 분류기의 성능는 근본적으로 데이터 임베딩에 의해 제한된다. 이진 분류에 대한 경험적 위험(empirical risk)은 임베드된 데이터의 클래스 평균 밀도 행렬 간의 트레이스 거리(trace distance)에 의해 하한이 결정된다. 기존의 결정론적 임베딩(예: 진폭, 각도 또는 고정된 ZZ 피처 맵)은 데이터에 무관하며, 특정 데이터셋에 대해 큰 트레이스 거리를 생성하지 못하는 경우가 많다. 또한, 트레이스 거리의 양자 채널에 의한 수축 특성은 후속되는 노이즈가 있는 양자 프로세싱이 구별 가능성을 높일 수 없음을 의미한다. 즉, 초기 임베딩이 부실하면 분류기에 의해 이를 회복할 수 없다.

방법론: 저자는 원시 데이터와 양자 임베딩 회로 사이에 고전 신경망 $g(x, w)$를 삽る하는 프레임워크인 신경 양자 임베딩(NQE)을 제안한다. 이 네트워크는 입력 특징을 양자 회로의 회전 각도로 변환하는 데이터 의존적 전처리 맵을 학습하여, 클래스 앙상블 간의 트레이스 거리를 극대화하는 임베딩을 효과적으로 학습한다.

• 훈련 목표: 트레이스 거치를 계산하려면 전체 토모그래피(tomography)가 필요하므로, NQE는 암묵적인 충실도 손실(fidelity loss)을 사용하여 훈련된다. 이 손실 함수는 클래스 간 교차 쌍(cross-class pairs)의 중첩은 최소화하고, 동일 클래스 내 쌍(same-class pairs)의 중첩은 최대화함으로써 트레이스 거리 극대화를 위한 다루기 쉬운 대리 지표 역할을 한다.
• DQC1 확장: 순수 상태 준비가 실용적이지 않은 앙상블 양자 시스템(예: NMR)으로 NQE를 확장하기 위해, 충실도 기반 손실은 힐베르트-슈미트 내적(Hilbert–Schmidt inner product)을 사용하여 재구성된다. 이 양량은 결정론적 단일 큐비트 양자 계산(DQC1) 모델을 통해 직접 측정 가능하다.

주요 결과:

• 트레이스 거리 개선: MNIST 이진 분류 작업(숫자 0 대 1)에서, NQE는 기존 ZZ 맵의 트레이스 거리를 약 0.27에서 약 0.84로 증가시켰다.
• 정확도 이득: 이러한 개선은 노이즈가 있는 IBM 양자 하드웨어에서 분류 정확도를 52.7%에서 96.1%로, NMR 양자 프로세서에서는 98%로 향상시켰다. 주목할 점은, NQE를 통해 달성된 노이즈가 있는 경험적 위험이 최적화되지 않은 기존 임베딩의 무노이즈 이론적 하한보다 낮게 나타났다는 것이다.
• 일반화 및 훈련 가능성: NQE는 결과적인 양자 신경망의 국소 유효 차원(local effective dimension)을 감소시켜 일반화 경계(generalization bounds)를 개선하고, 임베딩의 표현력(expressibility)을 감소시켜 배런 플래토(barren plateaus) 및 커널 집중(kernel concentration) 문제를 완화함을 보여주었다.

의의: 본 연구는 데이터 임베딩이 훈련 손실에 대한 "표현 유도형 하한(representation-induced floor)"을 설정한다는 것을 입증한다. 이 표현의 최적화를 고전 영역으로 옮김으로써, NQE는 양자의 수축 제약을 우회하여 근접 양자 하드웨어에서의 성능을 크게 향상시킨다.

제3장: 양자 머신러닝에서의 일반화 (Generalization in Quantum Machine Learning)

문제점: 낮은 훈련 오차는 필요조건일 뿐, 보지 못한 데이터에 대한 좋은 성능을 보장하지 않는다. 양자 모델에 대한 기존의 일반화 경계는 종종 균등한 척도(예: 파라미터 수, VC 차원)에 의존하는데, 이는 모델이 패턴을 학습하는 것인지 단순히 데이터를 암기하는 것인지를 구별하기에는 너무 막연한(vacuous) 경우가 많다, 특히 과잉 매개변수화(overparameterized) 영역에서 그러하다.

방법론: 저자는 고전적인 마진 이론을 양자 환경에 적응시켜, 양자 신경망(QNN)을 위한 마진 기반 일반화 프레로크워크를 개발한다.

• 이론적 경계: 커버링 수(covering number) 기법과 더들리의 엔트로피 적분(Dudley's entropy integral)을 사용하여 다중 클래스 QNN에 대한 고확률 일반화 경계를 도출한다. 이 경계는 단순히 총 파라미터 수가 아니라, 경험적 마진 손실과 POVM의 스펙트럼 노름(spectral norms)에 의존한다.
• 상태 판별과의 연결: 본 장에서는 마진 평균과 클래스 앙상블 간의 트레이스 거리 사이의 이론적 연결 고리를 확립한다. 구체적으로, 달성 가능한 마진은 트레이스 거치에 의해 상한이 결정되며, 이는 제2장의 임베딩 이론과 제3장의 일반화 분석을 연결한다.

주요 결과:

• 예측력: 양자 위상 인식(QPR) 작업에 대한 실험 결과, 마진 기반 지표(마진 분포의 중앙값, 평균, 하위 사분위수)는 파라미터 기반 지표(총 파라미터 또는 유효 파라미터)보다 일반화 격차(generalization gaps)를 예측하는 데 훨씬 강력한 지표임을 입증했다. 이는 무작위 레이블로 훈련된 모델에서도 유효하게 나타났다.
• 임베딩과의 연결: 실험적 검증을 통해, 더 큰 트레이스 거리를 가진 임베딩(NQE와 같은 방식)이 더 큰 분류 마진을 지원하며, 결과적으로 더 타이트한 일반화 경계와 더 높은 테스트 정확도를 이끌어낸다는 것을 보여주었다.

의의: 본 연구는 단순한 유효 경계를 넘어 QML 일반화를 분석하기 위한 더 미묘한 이론적 도구를 제공한다. 이는 양자 임베딩의 품질(상태 구별 가능성)이 달성 가능한 마진과 그에 따른 모델의 일반화 능력에 직접적인 영향을 미친다는 점을 강조한다.

제2부: 양자를 위한 AI (AI for Quantum)

제4장: 양자 오류 정정을 위한 신경 디코더 (Neural Decoders for Quantum Error Correction)

문제점: 양자 프로세서가 확장됨에 따라, 양자 오류 정정(QEC)을 위한 고전 디코더는 시드롬(syndrome) 데이터를 실시간으로 낮은 지연 시간(latency) 내에 처리해야 한다. 전통적인 디코더는 큰 코드 거리(code distance)에 따른 계산 복잡성 문제에 직면한다. 트랜스포머 기반 신경 디코더(예: AlphaQubit)는 높은 정확도를 제공하지만, 셀프 어텐션 메커즘이 코드 거리 $d$에 대해 $\mathcal{O}(d^4)$로 스케일링되어 지연 시간 병목 현상을 일으키며, 이는 디코더 유발 노이즈를 발생시킨다.

방법론: 저자는 선택적 상태 공간 모델(selective state-space model, SSM)인 Mamba 아키텍처를 기반으로 한 신경 디코더를 제안한다.

• 아키텍처: Mamba 디코더는 멀티 헤드 어텐션 메커니 메커니즘을 $\mathcal{O}(d^2)$로 스케일링되는 선택적 스캔 연산으로 대체한다. 이는 AlphaQubit의 전반적인 순환 구조(Stabilizer Embedder, RNN Core, Readout Network)를 유지하면서, Syndrome Mixer 층에 Mamba 블록을 활용한다.
• 훈련: 모델은 두 단계 파이프라인으로 훈련된다. 먼저 Google의 Sycamore 프로세서에서 캘리브레이션된 디텍터 에러 모델로부터 생성된 합성 데이터로 사전 훈련을 진행한 후, 실제 하드웨어 데이터로 미세 조정을 수행한다.

주 주요 결과:

• 정확도: Sycamore 메모리 실험 데이터에서, Mamba 디코더는 재생된 트랜스포머 베이스라인($d=3$에서 약 $2.98 \times 10^{-2}$)과 유사한 논리적 오류율을 달성했다.
• 지연 시간 및 임계값: Mamba 블록은 트랜스포머의 $\mathcal{O}(d^4)$와 비교하여 $\mathcal{O}(d^2)$의 추론 스케일링을 보여주었다. 디코더 유발 노이즈가 계산 복잡성에 따라 스케일링되는 시뮬레이션된 실시간 디코딩 모델 하에서, Mamba 디코더는 트랜스포머($p_{th} \approx 0.0097$)보다 더 높은 유한 크기 유효 임계값($p_{th} \approx 0.0104$)을 달성했다.

의의: 본 연구는 어텐션 메커니즘을 상태 공간 모델로 대체함으로써 정확도를 유지하면서도 지연 시간 스케일링을 크게 줄일 수 있음을 보여준다. 이러한 지연 시간의 개선은 실시간 QEC 시나리오에서 물리적 오류율에 대한 허용 능력을 직접적으로 높여준다.

제5장: 신경 양자 상태 (NQS) 및 확률적 재구성 (Stochastic Reconfiguration)

문제점: 신경 양자 상태(NQS)는 표현력이 풍부한 신경망을 사용하여 다체 파동 함수를 표현하고, 이를 변분 몬테카를로(VMC)를 통해 최적화한다. 표준 옵티마이저인 확률적 재구성(SR)은 양자 기하 텐서(QGT)를 포함하는 선형 시스템을 푼다. 현대의 과잉 매개변수화된 NQS에서는 파라미터 수가 몬테카를로 샘플 수보다 많은 경우가 흔하며, 이로 인해 QGT는 랭크 결핍(rank-deficient) 상태가 되거나 조건수가 나빠진다(ill-conditioned). 일반적으로 사용되는 대각 이동(diagonal shift, $\lambda$)은 수치적 안정화 도구로 간주되지만, 이 영역에서의 통계적 역할은 완전히 이해되지 않았다.

방법론: 저자는 SR을 파동 함수의 접평면(tangent space)에서의 통계적 스펙트럼 필터링(ridge regression)으로 재정의한다.

• 편향-분산 트레이드오프: 대각 이동이 편향(bias)과 샘플링 분산(sampling variance) 사이를 조절하는 필터 역할을 한다는 것을 보여준다. 과잉 매개변수화 영역에서, 유한 샘플 노이즈(표현력 격차에서 기인함)는 옵티마이저에 의해 과적합될 수 있다. 이 이동(shift)은 노이즈를 억제하지만 유용한 업데이트 방향을 축소시킨다.
• 다중 이동 SR (MS-SR): 가용 샘플을 더 잘 활용하기 위해, 저자는 서로 다른 이동 값을 사용하여 계산된 독립적인 SR 업데이트를 결합하는 MS-SR를 제안한다. 이러한 혼합 방식은 단일 이동보다 더 유연한 스펙트럼 필터를 허용한다.

주요 결과:

• 스펙트럼 필터링 증거: 소규모 Heisenberg 모델과 대규모 Transverse-Field Ising 모델에 대한 실험을 통해, 검증 잔차(validation residual)가 이동 파라미터에 대해 U자형 의존성을 보이며, 다중 배치 분산이 더 강한 규제화와 함께 감소함을 확인했다. 이는 노이즈가 있는 리지 회귀(noisy-ridge) 해석과 일치한다.
• 성능: MS-SR은 훈련 시의 이동 값 대비 TFIM에서 약 39%/43%, $J_1-J_2$ 모델에서 14%/66%의 검증 잔차 및 다중 배치 분산을 감소시켰다. 온라인 훈련 지속 과정에서 MS-SR은 더 낮은 에너지로 향하는 경향을 보였으나, 모든 독립 시행에 걸쳐 통계적으로 유의미한 차이는 아니었다.

의의: 본 연구는 SR의 대각 이동에 대한 수치적 정당성을 넘어 통계적 해석을 제공한다. 이는 과잉 매개변수화 영역에서 SR이 유한 샘플 노이즈를 위한 스펙트럼 필터로 작용함을 입증하며, 최적화 안정성과 효율성을 개선하기 위한 다중 이동 전략 개발의 동기를 부여한다.

종합 결론

본 학위 논문은 양자 컴퓨팅과 AI의 교차점이 양방향 교환임을 주장한다. 양자 컴퓨팅은 AI가 새로운 물리적 제약(예: 트레이스 거리 제한, 배런 플래토, 지연 시간 유발 노이즈) 하에서 작동하도록 도전 과제를 던지며, AI는 양자 시스템의 가장 어려운 문제들을 해결하기 위한 원칙적인 도구(예: 데이터 기반 임베딩, 마진 기반 분석, 확장 가능한 아키텍처, 통계적 규제화)를 제공한다. 이러한 기여들은 양자 머신러닝의 성능과 양자 오류 정정 및 다체 시뮬레이션의 실질적 실행 가능성 모두에서 최첨단 기술을 진전시킨다.