⚛️ quantum physics

Distilling Datasets into Shallow Circuits for Quantum Machine Learning

이 논문은 상태 준비 오버헤드의 반복을 제거하기 위해 전체 데이터셋을 매개변수화된 얕은 회로의 작은 집합으로 직접 증류하여, 전체 데이터 학습과 대등한 정확도를 달ей면서도 샷 수를 크게 줄이고 실제 양자 하드웨어에서 성공적인 검증을 달성한 양자 데이터셋 증류(QDD) 기법을 소개한다.

원저자: Guang Lin, Qibin Zhao

게시일 2026-09-24

📖 4 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Guang Lin, Qibin Zhao

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

양자 기계 학습이라는 신흥 분야에서 과학자들은 양자 물리학의 기묘한 법칙을 사용하여 컴퓨터가 학습하도록 가르치고 있습니다. 0 또는 1 중 하나인 일상적인 컴퓨터의 표준 비트 대신, 이 기계들은 복잡한 상태의 조합으로 존재할 수 있는 양자 비트, 즉 큐비트를 사용합니다. 이러한 기계를 가르치기 위해 연구자들은 먼저 사진과 같은 일반적인 데이터를 특정 양자 상태로 변환해야 합니다. 이 변환은 단순한 복사가 아닙니다. 기계가 데이터를 처리하기 전에 데이터를 준비하기 위한 '회로'라고 불리는 특화된 일련의 연산 과정이 필요합니다. 문제는 이 준비 회로를 만드는 데 드는 시간과 컴퓨팅 능력이 매우 막대하다는 점입니다. 기계가 학습해야 하는 이미지 하나당 준비 회로를 매번 새로 구축하고 실행해야 합니다. 수천 장의 이미지를 다룰 때, 이 과정은 거대한 병목 현상이 되어 학습 속도를 극도로 늦추고 현재 매우 희귀한 자원들을 소모하게 만듭니다.

RIKEN AIP의 연구진은 데이터 준비 방식 자체를 바꾸는 새로운 방법을 개발하여 이 문제를 해결했습니다. 그들은 기존 이미지를 압축한 다음 이를 양자 기계에 로드하는 방법을 고민하는 대신, 데이터와 로딩 명령어를 동시에 설계하기로 했습니다. 그들은 이 접근 방식을 '양자 데이터셋 증류(Quantum Dataset Distillation)'라고 부릅니다. 도서관의 책들을 작은 여행 가방에 넣으려고 노력하는 상황을 상상해 보십시오. 전통적인 방식은 가장 중요한 책들을 골라내어 크기를 줄인 다음, 그것들을 어떻게 효율적으로 짐을 쌀지 고민하는 것입니다. 이 새로운 방법은 축소와 포장 단계를 아예 건너뜁니다. 대신, 연구진은 양자 기계에 데이터를 로드하는 데 필요한 정확한 명령어 그 자체인, 처음부터 가방에 완벽하게 맞도록 설계된 아주 작은 규모의 새로운 합성 '책'들을 만들어냅니다. 이 합성 샘플들은 더 이상 이미지가 아니라, 양자 기계에 데이터를 로드하기 위한 바로 그 명령어들입니다.

연구진은 이 아이디어를 필기 숫자와 의류 사진이 포함된 두 가지 잘 알려진 이미지 컬렉션에 적용하여 테스트했습니다. 그들은 전체 데이터의 아주 적은 부분만을 사용하여 양자 모델을 훈련하면서도, 데이터를 로드하는 비용을 낮게 유지할 수 있는지 확인하고자 했습니다. 실험에서 그들은 각 이미지 카테고리당 단 10개의 합성 샘플로 구성된 증류된 데이터셋을 만들었습니다. 이는 원래 데이터셋 크기를 약 6,000분의 1로 줄인 것입니다. 이러한 급격한 감소에도 불구하고, 이 10개의 샘플로 훈련된 양자 모델은 6만 장의 전체 이미지로 훈련된 모델과 거의 대등한 성능을 보였습니다. 성공의 핵심은 데이터와 로딩 과정을 별개의 문제로 취급하지 않았다는 점에 있었습니다. 데이터를 양자 연산의 일련의 과정으로 직접 최적화함으로써, 그들은 기계가 실제로 사용할 수 있는 정보만을 보존하고 불가능한 준비 과정에 헛되이 힘을 낭비하지 않도록 보장했습니다.

가장 중요한 발견 중 하나는 이 방법이 기계의 실험 실행 횟수를 얼마나 절감했는가 하는 점이었습니다. 양자 컴퓨팅에서 모든 측정은 기계의 전체 사이클을 실행해야 하는 비용이 많이 드는 작업입니다. 연구진이 단계당 제한된 횟수의 측정을 사용하여 모델을 훈련했을 때, 이 증류된 접근 방식은 표준 방식보다 100배 이상 적은 총 실행 횟수만으로도 높은 수준의 정확도에 도달했습니다. 이는 기계의 물리적 한계에 맞춰 학습 데이터를 정교하게 큐레이팅함으로써, 현재 양자 학습을 어렵게 만드는 막대한 컴퓨팅 시간 없이도 강력한 결과를 얻을 수 있음을 시사합니다.

연구진은 또한 데이터 크기를 줄이려는 다른 전략들과 이 방법을 비교했습니다. 어떤 방식은 원래 데이터 세트에서 가장 대표적인 이미지를 단순히 선택하고, 다른 방식은 이미지를 먼저 압축한 다음 이를 로드하는 방법을 찾으려 합니다. 연구진은 이러한 분리된 단계들이 종 often 실패한다는 것을 발견했는데, 압축 과정에서 로딩 회로가 복구할 수 없는 정보가 손실되기 때문입니다. 반면, 이들의 통합된 접근 방식은 데이터가 로드에 필요한 명령어와 분리되지 않았기 때문에 정보를 온전히 유지할 수 있었습니다. IBM에서 제공하는 실제 양자 하드웨어에서 모델을 테스트했을 때도 결과는 유효했습니다. 그들이 만든 작은 증류 데이터셋으로 훈련된 모델은 노이즈가 있고 불완전한 기계에서도 전체 데이터로 훈련된 모델과 거의 비슷하게 작동했습니다.

이 연구는 데이터를 준비하는 방식이 학습을 위한 알고리즘만큼이나 중요하다는 것을 보여줍니다. 데이터와 로딩 명령어를 함께 설계함으로써, 연구진은 통상적인 자원의 극히 일부만을 사용하여 효과적인 양자 모델을 훈련하는 것이 가능하다는 것을 입증했습니다. 그들은 단순히 과정을 빠르게 만드는 법을 찾은 것이 아니라, 과정을 실현 가능하게 만드는 법을 찾아냈습니다. 이 연구는 양자 기계 학습의 미래가 더 크고 강력한 기계를 만드는 것보다, 기계에 필요한 정보를 더 똑똑하고 효율적으로 공급하는 방법에 달려 있을 수 있음을 시사합니다. 데이터와 하드웨어의 이러한 세심한 정렬을 통해 양자 학습의 장벽은 낮아졌으며, 이는 복잡한 시스템을 현실 세계에서 훈련하기 위한 명확한 경로를 제시합니다.

기술 요약: 양자 머신러닝을 위한 데이터셋의 얕은 회로 증류 (Distilling Datasets into Shallow Circuits for Quantum Machine Learning)

문제 정의

현실적인 크기의 데이터셋을 사용하여 양자 머신러닝(QML) 모델을 훈련하는 것은, 모델 아키텍처 자체가 아니라 주로 데이터 인터페이스에 의해 발생하는 과도한 비용 장벽에 직면해 있습니다. 양자 모델이 고전적 샘플을 처리하기 전, 그에 대응하는 양자 상태를 준비하기 위한 로딩 회로(loading circuit)가 필요합니다. 임의의 입력을 정확하게 진폭 인코딩(amplitude encoding)하는 것은 일반적으로 지수적인 수의 2-큐비트 게이트를 요구합니다. 결정적으로, 이 준비 회로는 모든 훈련 단계의 모든 측정 샷(measurement shot)마다 재실행되어야 합니다. 결과적으로, 총 훈련 비용은 훈련 샘플의 수와 각 샘플을 준비하는 데 드는 게이트 복잡도 모두에 비례하여 증가합니다.

기존의 접근 방식들은 개별 입력을 압축하거나(예: 근사 진폭 인코딩 또는 텐서 네트워크 활용), 별도의 양자 인코딩을 적용하기 전에 고전적 데이터셋을 더 작은 집합으로 증류하는 방식으로 이를 완화하려고 시도합니다. 그러나 이러한 방법들은 결정적인 단절을 겪습니다. 즉, 데이터셋 구축과 상태 준비를 별개로 취급함으로써, 증류된 표현(representation)이 그것을 준비하는 회로에 의해 제약을 받지 않게 된다는 점입니다. 이는 종종 증류된 샘플이 여전히 로딩하기 까다롭거나, 엄격한 하드웨어 예산 하에서 얕은 회로로 컴파일될 때 상당한 정보 손실을 초래하게 만듭니다.

방법론: 양자 데이터셋 증류 (Quantum Dataset Distillation, QDD)

저자들은 전체 고전 데이터셋을 압축된 형태의 실행 가능한 얕은 로딩 회로 세트로 직접 증류하는 프레임워크인 **양자 데이터셋 증류(QDD)**를 제안합니다. QDD에서 합성 샘플과 그 로딩 회로는 동일한 객체이며, 이는 사후 상태 준비 합성(post-hoc state-preparation synthesis)의 필요성을 제거합니다.

1. 회로 네이티브 합성 샘플 (Circuit-Native Synthetic Samples):
각 합성 샘플은 저계수(low-rank) 양자화된 텐서 트레인(Quantized Tensor Train, QTT) 상태를 구현하는 **계단형 회로(staircase circuit)**로 매개변수화됩니다.

구조: 회로는 초기 회전 레이어와 그 뒤를 잇는 $L$ 개의 연속적인 "계단형" 레이어로 구성됩니다. 각 레이어는 가장 오른쪽 본드(bond)에서 왼쪽으로 인접한 2-큐비트 블록을 훑습니다.
게이트: 블록은 $R_y$ 회전과 CNOT 게이트를 활용합니다. 각도가 0일 때 CNOT은 상쇄되어 블록은 항등(identity)이 됩니다.
비용 제어: 깊이 $L$ 은 로딩 비용(2-큐비트 게이트 수)과 표현 용량(본드 차원)을 직접 제어합니다. 이를 통해 최적화된 샘플이 특정 게이트 예산 내에서 본래 실행 가능하도록 보장합니다.

2. 증류 목적 함수 (Distillation Objective):
회로 매개변수는 명시적인 로딩 예산 하에서 전체 데이터셋과 일치하도록 정확한 그래디언트(exact gradients)를 사용하여 클래식하게 최적화됩니다. 목적 함수는 두 가지 항을 결합합니다:

분포 매칭 (Distribution Matching, DM): 무작위로 초기화된 양자 모델 $W_\theta$ 에 의해 관찰되는 실제 데이터와 합성 데이터의 클래스 조건부 평균 특징(mean features)을 일치시킵니다. 이는 합성 상태가 대상 모델 패밀리에 의해 구별 가능하도록 보장합니다.
밀도 행렬 매칭 (Density-Matrix Matching): 실제 데이터와 합성 데이터의 클래스 조건부 평균 밀도 행렬( $\bar{\rho}$ )을 직접적으로 일치시킵니다. 이는 전체 상태 공간에서의 불일치를 모델 독립적인 척도로 제공합니다.
최적화: 손실 함수는 $L_{QDD} = L_{DM} + \alpha L_\rho$ 입니다. 최적화는 오프라인에서 수행되며, 다운스트림 모델 $W_\theta$ 는 훈련되지 않고 오직 특징 추출기로서만 사용되며 매번 재샘플링됩니다.

3. 배포 (Deployment):
증류 후, 최적화된 로딩 회로가 직접 내보내집니다. 다운스트림 훈련 중에 이 회로들은 고정(frozen)된 상태를 유지하며, 양자 모델의 파라미터만 업데이트됩니다. 추가적인 컴파일이나 재구성이 필요하지 않습니다.

주요 기여

프레임워크 도입: 본 논문은 데이터셋 크기와 양자 준비 비용을 동시에 해결하기 위해, 데이터를 얕은 실행 가능 로딩 회로로 직접 증류하여 사후 컴파일 시 발생하는 정보 손실을 피하는 QDD를 소개합니다.
계단형 회로 매개변수화: 저자들은 QTT 상태를 사용하는 특정 계단형 회로 매개변수화를 개발하고, 이를 명시적인 게이트 예산 하에서 특징 및 평균 입력 상태를 일치시키며 클래식하게 최적화합니다.
경험적 검증: QDD가 컴팩트한 훈련 세트(예: 클래스당 10개 회로)에서도 강력한 성능을 유지하며, 유한 샷(finite-shot) 훈련 시 누적 샷 비용을 크게 줄임을 입증했습니다. 또한 QDD로 훈련된 모델을 실제 양자 하드웨어에 배포하여 검증했습니다.

실험 결과

저자들은 MNIST와 Fashion-MNIST에 대해 8-큐비트 인터페이스(16 $\times$ 16 해상도)를 사용하는 10개 클래스 분류 작업에서 QDD를 평가했습니다.

베이스라인 대비 정확도: 일치된 샘플 및 로딩 예산(샘플당 42 CNOT) 하에서, QDD는 6개 설정 중 5개에서 가장 높은 정확도를 달랐습니다. 클래스당 단 10개의 회로(전체 데이터셋 크기의 0.0017배)만 사용했을 때, QDD는 MNIST에서 81.62%, Fashion-MNIST에서 **69.67%**의 정확도에 도달하여 선택 베이스라인(random, k-means, coresets 등) 및 "증류 후 압축(distill-then-compress)" 베이스라인을 능가했습니다.
결합 최적화 vs. 증류 후 압축: QDD는 특히 타이트한 게이트 예산(예: 14 CNOT) 하에서 상당한 우위를 보였습니다. IPC 10 및 14 CNOT에서 QDD는 "증류 후 압축" 방식보다 정확도를 9.25% 향상시켰습니다. 이는 직접적인 회로 패밀리 내에서 최적화하는 것이 나중에 제약 없는 상태를 컴파일할 때 손실되는 정보를 보존한다는 점을 강조합니다.
유한 샷 훈련 효율성: 파라미터 시프트(parameter-shift) 훈련을 통한 유한 샷 훈련에서, QDD-10(클래스당 10개 샘플)은 모든 샷 설정(100, 1,000, 10,000 샷/회로)에서 전체 데이터 정확도 95% 목표에 도달한 유일한 컴팩트 세트였습니다. 이는 전체 데이터 훈련 대비 각각 134배, 576배, 370배 적은 누적 샷을 사용하여 달성되었습니다. Random-10은 80% 목표에는 도달했으나, 동일한 샘플 수와 단계별 샷 비용을 가졌음에도 불구하고 95% 목표에는 도달하지 못했습니다.
하드웨어 검증: 세 대의 IBM 양자 프로세서(Kawasaki, Fez, Boston)에 대한 실험을 통해, QDD로 훈련된 모델이 동일한 얕은 테스트 로더를 사용할 때 전체 데이터 모델과 대등한 성능을 보임을 확인했습니다. 연구는 또한 정확한 상태 준비(rank-8)가 얕은 계단형 로더에 비해 하드웨어에서 성능이 저하된다는 점을 언급하며, 얕은 회로의 실질적인 필요성을 강조했습니다.

의의 및 주장

본 논문은 QDD가 반복적인 양자 실행 비용을 줄이는 실질적인 경로를 제공한다고 주장합니다. 증류 중에 최적화된 표현을 다운스트림 훈련에 사용되는 표현과 정렬함으로써, QDD는 명시적인 샘플 및 로딩 예산 하에서도 다운스트림 유용성을 보존합니다. 저자들은 효율적인 QML 훈련의 핵심이 데이터를 별도의 단계로 취급하는 것이 아니라, 훈련 데이터와 로딩 회로를 공동으로 설계하는 데 있다고 단언합니다. 결과는 자원이 제한된 양자 장치에 있어, 데이터를 선택하거나 증류한 후 압축하는 것보다 데이터를 얕은 회로로 직접 증류하는 것이 더 우월함을 시사합니다.

저자들은 유용한 정보를 얕은 회로 내에 유지하면서 더 큰 양자 시스템으로 증류를 확장하는 문제는 여전히 열린 과제임을 언급하며, 미래의 확장성에 대해 겸허한 태도를 유지했습니다. 그들은 효율적인 텐서 네트워크 수축(tensor-network contractions)과 선택된 관측량(observables)의 매칭이 유망한 향후 연구 방향이라고 제안했습니다.