Diabatic quantum annealing for training energy-based generative models

Titel: Diabatische Quantum Annealing voor het trainen van energie-gebaseerde generatieve modellen

Auteurs: Gilhan Kim, Ju-Yeon Gyhm en Daniel K. Park.
Publicatiedatum: December 2025 (voorgesteld).

1. Het Probleem: De Sampling-Bottleneck bij RBM's

Restricted Boltzmann Machines (RBM's) zijn fundamentele modellen op het snijvlak van statistische fysica en machine learning. Het effectief trainen van RBM's vereist het genereren van onbevooroordeelde steekproeven uit de Boltzmann-verdeling die wordt gedefinieerd door de energie-functie van het model.

• Classieke beperkingen: Traditionele methoden, zoals Markov Chain Monte Carlo (MCMC) met algoritmen als Contrastive Divergence (CD) of Persistent Contrastive Divergence (PCD), lijden onder twee grote nadelen:
  1. Trage convergentie: De Markov-ketens hebben veel iteraties nodig om de stationaire verdeling te bereiken.
  2. Gecorreleerde steekproeven: Successieve steekproeven zijn sterk afhankelijk van elkaar, wat de efficiëntie van het trainen verlaagt en grote schaaltraining praktisch onuitvoerbaar maakt.
• Huidige kwantumproblemen: Eerdere pogingen om analoge quantumcomputers (zoals D-Wave) te gebruiken als "Boltzmann-samplers" faalden vaak omdat de effectieve bemonsteringstemperatuur niet goed werd gecontroleerd. De temperatuur werd vaak als een empirische aanpassingsparameter behandeld, wat de reproduceerbaarheid ondermijnde en de grens tussen echte quantumdynamica en artefacten vervaagde.

2. Methodologie: Diabatische Quantum Annealing (DQA)

De auteurs stellen een nieuwe aanpak voor die gebruikmaakt van de analytische relatie tussen het annealing-schema en de effectieve inverse temperatuur ($\beta$) in diabatische quantum annealing.

• Principe: In plaats van adiabatisch (langzaam) te evolueren, evolueert het systeem snel (diabatisch) onder een tijdsafhankelijke Hamiltoniaan. Dit genereert een verdeling die benadert een Boltzmann-verdeling met een specifieke, berekenbare effectieve temperatuur.
• Analytische Controle: De auteurs gebruiken de formule:
  $$\beta_{integral} = 2 \int_0^\tau dt B(t) \sin\left[ 4 \int_t^\tau ds A(s) \right]$$
  Hierbij zijn $A(t)$ en $B(t)$ de annealing-schedule functies en $\tau$ de annealing-tijd. Dit stelt hen in staat om de temperatuur a priori te voorschrijven in plaats van deze achteraf af te leiden.
• Implementatie:
  • Ze gebruiken een D-Wave Advantage2 quantum annealer.
  • Ze trainen RBM's met 784 zichtbare eenheden en 1200 verborgen eenheden (totaal 1984 qubits) op de MNIST en Fashion-MNIST datasets.
  • De annealing-tijd is ingesteld op 5 ns, wat theoretisch leidt tot $\beta \approx 1.5$ (geaccepteerd als $\beta \approx 1$ voor training).
• Kalibratie en Rescaling:
  • De auteurs ontdekten een systematische afwijking: de hardware produceerde een effectieve temperatuur die lager was dan de theorie voorspelde (de empirische $\beta$ was 5 tot 7 keer hoger dan de theoretische waarde).
  • Oplossing: Ze introduceren een analytische rescaling-factor $\alpha = \beta_{dwave} / \beta_{unitary}$. Door de koppelingssterktes in het probleem te delen door deze factor (voordat het probleem op de hardware wordt ingebed), wordt de temperatuurcorrectie toegepast en wordt de verdeling weer in lijn gebracht met de doelstelling.

3. Belangrijkste Bijdragen

1. Eerste praktische toepassing: Dit is de eerste keer dat de theoretische relatie tussen annealing-schema en temperatuur succesvol wordt toegepast op het trainen van generatieve modellen in de praktijk.
2. Temperatuurkalibratie: Het identificeren van een systematische temperatuur-misalignement in analoge quantumhardware en het voorstellen van een analytische rescaling-methode om dit hardware-geluid te mitigeren.
3. Schaling naar volledig verbonden modellen: In tegenstelling tot klassieke methoden die beperkt zijn tot bipartiete structuren (zoals RBM's) om Gibbs-sampling haalbaar te maken, stelt deze methode de connectiviteit van het model direct in door de connectiviteit van de qubits. Dit opent de deur voor het trainen van volledig verbonden Boltzmann Machines (BM's), die eerder onbreekbaar waren door sampling-problemen.
4. Schaalbaarheid: Het trainen op volledige 28x28 pixel beelden zonder dimensiereductie, wat een nieuwe mijlpaal zet voor de schaal van quantum machine learning experimenten (1984 qubits).

4. Resultaten

• Snelheid: DQA is ongeveer 64 keer sneller dan klassieke PCD (met $K=100$ decorrelatiestappen) per steekproef. De sampling-tijd is ongeveer $2.56 \times 10^{-4}$ seconden versus $1.63 \times 10^{-2}$ seconden voor PCD.
• Convergentie en Fout:
  • RBM's getraind met DQA convergeren sneller dan die getraind met PCD.
  • De validatiefout (reconstructiefout) is lager voor DQA.
  • Na toepassing van de temperatuur-rescaling (rescaling) is de reconstructiefout nog verder verbeterd, wat aantoont dat de correctie van hardware-afwijkingen cruciaal is.
• Schaalvergelijking:
  • Klassieke sampling (PCD) heeft een tijdscomplexiteit van $O(N^{2+z})$ waarbij $z > 0$ door de toenemende correlatietijd bij grotere systemen.
  • DQA heeft een complexiteit van $O(N^2)$, voornamelijk bepaald door de statische staatvoorbereiding (programmeren van de couplings), zonder de dynamische overhead van decorrelatie.
  • Het prestatievoordeel van DQA neemt toe naarmate de grootte van het model (aantal verborgen eenheden) groeit.

5. Betekenis en Toekomstperspectief

• Praktische Bruikbaarheid: De studie bewijst dat quantum annealers praktische Boltzmann-samplers kunnen zijn voor machine learning, mits de temperatuur correct wordt gekalibreerd.
• Overbrugging van de Kloof: Door de sampling-bottleneck op te lossen, kunnen complexere energie-gebaseerde modellen (zoals volledig verbonden BM's en mogelijk Variational Autoencoders) worden getraind, wat voorheen onmogelijk was met klassieke methoden.
• Hardware Onafhankelijkheid: Hoewel het experiment op een supergeleidende D-Wave machine is uitgevoerd, is het raamwerk toepasbaar op andere quantum annealing-platforms (zoals neutrale-atoomsystemen) en kan het principe worden overgebracht naar gate-based quantum circuits via Trotterisatie.
• Toekomst: De auteurs wijzen op de noodzaak van verdere ontwikkeling in foutmitigatie en de overgang naar grotere, dichter verbonden hardware om nog expressievere generatieve modellen te trainen.

Conclusie:
Dit artikel markeert een doorbraak in quantum machine learning door een theoretisch onderbouwde methode te bieden om de temperatuur van quantum annealers te controleren. Hierdoor worden ze tot betrouwbare tools voor het trainen van generatieve modellen, met een duidelijk voordeel in snelheid en schaalbaarheid ten opzichte van klassieke MCMC-methoden.