Classical Neural Networks on Quantum Devices via Tensor Network Disentanglers: A Case Study in Image Classification

Dit artikel presenteert een hybride klassiek-quantum methode waarbij bottlenecklagen van voorgetrainde neurale netwerken worden gecomprimeerd tot een matrixproductoperator en vervolgens gedesentangleerd, zodat de desbetreffende circuits op een quantumcomputer kunnen worden uitgevoerd voor beeldclassificatietaken.

De kern

Stel je voor dat je een enorme, superkrachtige robot hebt die heel goed is in het herkennen van foto's (zoals een hondje of een auto). Deze robot is gebouwd uit heel veel lagen van "denkwerk" (neuronale netwerken). Het probleem is dat de robot nu zo groot en zwaar is geworden dat hij niet meer past in een klein, nieuw soort computer: een kwantumcomputer. Kwantumcomputers zijn nog heel jong, klein en kwetsbaar; ze kunnen niet zomaar die enorme robot in één keer verwerken.

De auteurs van dit paper hebben een slimme truc bedacht om dit probleem op te lossen. Ze willen een stukje van die grote robot (een "flesnek" of bottleneck) verplaatsen naar de kwantumcomputer, zonder dat de robot zijn intelligentie verliest.

Hier is hoe ze dat doen, vertaald in alledaagse taal:

1. Het Probleem: De Te Grote Koffer

De robot heeft een zeer zware koffer met zijn "brein" (de gewichten van de neurale netwerken). Deze koffer is te groot om in de kleine, kwantum-auto te passen. Als je de koffer gewoon forceert, breekt de auto (de kwantumcomputer) of werkt hij niet goed.

2. Stap 1: De Koffer Opvouwen (Compressie)

Eerst pakken ze de zware koffer uit en vouwen ze de inhoud slim op. Ze gebruiken een techniek die ze MPO noemen (Matrix Product Operator).

• De analogie: Stel je voor dat je een dikke deken hebt. In plaats van de hele deken plat te leggen, vouw je hem op tot een compacte, maar nog steeds bruikbare, bundel. De robot kan nu nog steeds zien wat er op de foto staat, maar de "koffer" is nu veel lichter en past beter.

3. Stap 2: De Magische Ontknoopte Knopen (Disentanglement)

Nu hebben ze die compacte bundel, maar hij is nog steeds te complex voor de kwantumcomputer. Ze moeten de bundel "ontwarren".

• De analogie: Stel je voor dat de bundel een ingewikkeld knoopwerk is van touwen. De kwantumcomputer kan niet met die hele knoop omgaan. De auteurs gebruiken een speciale "ontknoopte machine" (de disentangler).
• Deze machine splitst de knoop op in twee delen:
  1. Een kwantum-deel: Dit zijn de touwen die je in de kwantumcomputer stopt. Dit zijn de "magische" stukjes die de computer kan verwerken.
  2. Een klassiek-deel: Dit is de rest van de bundel die gewoon op de normale computer blijft liggen.

Het resultaat is dat de zware taak nu verdeeld is: een klein, krachtig stukje gaat naar de kwantumcomputer, en de rest blijft veilig op de gewone computer.

4. Twee Manieren om te Knopen

De auteurs hebben twee manieren bedacht om deze knopen op te lossen:

• Manier A (De Variabele Knopen): Ze proberen handmatig de beste manier te vinden om de knoop te ontwarren door te experimenteren met verschillende knopen, net als een puzzel oplossen. Ze kijken telkens of het resultaat nog steeds lijkt op de originele foto.
• Manier B (De Leerling): Ze laten de computer zelf leren hoe hij de knoop moet ontwarren. Terwijl de robot traint om foto's te herkennen, leert hij ook automatisch hoe hij de knopen moet losmaken. Dit werkt vaak sneller en soepeler.

5. Het Experiment: Foto's Herkennen

Ze hebben dit getest met twee bekende datasets:

• MNIST: Foto's van handgeschreven cijfers (0 t/m 9).
• CIFAR-10: Kleurrijke foto's van dieren, auto's, etc.

Wat ontdekten ze?

• Het werkt! Ze konden de zware robot inderdaad "ontleden" en een stukje ervan op de kwantumcomputer laten draaien.
• De robot werd zelfs soms slimmer door de kwantum-hulp, omdat de kwantumcomputer nieuwe manieren van denken kan aanbieden die de gewone computer niet heeft.
• De waarschuwing: Op dit moment is het nog een proefproject. De "reis" van de data naar de kwantumcomputer en terug kost nog veel tijd en energie (zoals een dure tolpoort). Het is nog niet sneller dan een gewone computer, maar het bewijst dat het kan.

Conclusie: Waarom is dit cool?

Stel je voor dat je in de toekomst een supercomputer hebt die niet in een groot gebouw past, maar in een klein kastje. Met deze truc kunnen we die kleine computer gebruiken om taken te doen die normaal alleen voor de grote, zware computers zijn weggelegd.

Het is alsof je een gigantische olifant (de AI) in een kleine auto (de kwantumcomputer) probeert te vervoeren. Je kunt de olifant niet in één keer in de auto stoppen, maar als je hem eerst in stukjes snijdt (compressie) en de stukjes slim herschikt (ontwarren), kun je de belangrijkste stukken in de auto laden en de rest in de aanhanger. Zo kun je toch op reis gaan, zelfs met een kleine auto.

De boodschap van dit paper is: We hoeven niet te wachten tot kwantumcomputers perfect zijn. We kunnen ze nu al gebruiken als een slimme "hulpkracht" in onze bestaande systemen.

Technische samenvatting

Probleemstelling

De snelle vooruitgang in quantumhardware heeft de zoektocht naar nuttige toepassingen voor huidige en nabije-toekomstige quantumapparaten geïntensiveerd. Hoewel er veel onderzoek is gedaan naar hybride klassiek-quantum algoritmen (zoals VQE en QAOA) en puur quantum machine learning, lopen deze benaderingen vaak tegen fundamentele beperkingen aan:

• Hybride modellen: Quantum circuits zijn vaak te ondiep om betekenisvolle structuren te vangen, of te diep om effectief te trainen op ruisgevoelige hardware (NISQ-era). Ze lijden ook vaak aan "barren plateaus" (vlakke optimalisatielandscappen).
• Pure quantum methoden: Deze kampen met schaalbaarheidsproblemen en zijn beperkt tot kleine probleemgroottes.

Het centrale doel van dit werk is om te onderzoeken hoe quantumcomputing kan worden geïntegreerd in bestaande, grote klassieke machine learning-workflows. Specifiek richt men zich op het vervangen van een "bottleneck"-laag (een grote lineaire laag) in een voorgetraind diep neurale netwerk door een quantum circuit. De uitdaging ligt in het vertalen van een dichte gewichtsmatrix ($W$) naar een quantum circuit van beheersbare complexiteit zonder de prestaties van het model te degraderen. Een directe optimalisatie van een circuit om $W$ te benaderen is echter vaak prohibitief duur vanwege exponentiële schaling met de circuitdiepte.

Methodologie

De auteurs stellen een tweestapsstrategie voor om de computatiekosten te beheren en een hybride klassiek-quantum uitvoeringsschema te realiseren:

1. Compressie naar Matrix Product Operator (MPO):

   • De dichte gewichtsmatrix $W$ wordt eerst gecomprimeerd tot een Matrix Product Operator (MPO), aangeduid als $M_\chi$.
   • Dit is geen simpele rang-reductie; het model moet worden "geheeld" (hergetraind of fijnge tuned) na de vervanging om de nauwkeurigheid te herstellen.
   • MPO's zijn effectief gebleken voor het comprimeren van grote neurale netwerken, waaronder Large Language Models.

2. Disentangling (Ontkoppeling) via Quantum Circuits:

   • De geoptimaliseerde MPO $M_\chi$ wordt vervolgens "ontkoppeld" (disentangled) in een compactere vorm.
   • Het doel is om $M_\chi$ te benaderen als: $M_\chi \approx Q_L M'_{\chi'} Q_R$.
   • Hierbij is $M'_{\chi'}$ een compactere MPO met een verlaagde bindingsdimensie ($\chi' < \chi$), en $Q_L$ en $Q_R$ zijn quantum circuits (disentanglers).
   • In het hybride schema worden de circuits $Q_L$ en $Q_R$ uitgevoerd op een quantum processor, terwijl de gecomprimeerde MPO $M'_{\chi'}$ en de rest van het netwerk klassiek worden verwerkt.

De auteurs introduceren twee complementaire algoritmen voor het vinden van deze disentanglers:

• A. Expliciete Disentangling via Variational Optimization:

  • Dit methode maximaliseert de overlap (tracé-overlap) tussen de oorspronkelijke MPO en de benadering $Q_L M'_{\chi'} Q_R$.
  • Het gebruikt tensor-netwerk optimalisatietechnieken (vergelijkbaar met MERA) waarbij de "omgevingstensor" ($E_g$) voor elke poort wordt berekend en de poort wordt bijgewerkt via Singular Value Decomposition (SVD).
  • Dit is effectief maar kan rekenkundig zwaar worden voor zeer diepe circuits.

• B. Impliciete Disentangling via Gradient Descent:

  • Hierbij worden de disentanglers geïntegreerd in het trainingsproces van het neurale netwerk zelf.
  • In plaats van de overlap te maximaliseren, wordt de standaard cross-entropy loss van het classificatieprobleem geminimaliseerd.
  • De poorten in $Q_L$ en $Q_R$ worden samen met de MPO-tensors geoptimaliseerd om de algehele modelnauwkeurigheid te verbeteren.
  • Om het probleem van verdwijnende gradiënten (vanishing gradients) in diepe lineaire netwerken op te lossen, worden niet-lineariteiten (zoals ReLU) en batch-normalisatie lagen tussen de quantum poorten ingevoegd.

Circuit Architectuur:

• De auteurs gebruiken een "brickwall" architectuur met twee-liggaat-poorten.
• Om transpilatiekosten te verlagen, worden sommige poorten vastgezet op hardware-natieve poorten (zoals CNOT), terwijl alleen de enkel-qubit poorten variërend worden geoptimaliseerd.
• Er wordt gefocust op reële orthogonale disentanglers voor numerieke stabiliteit, hoewel complexe eenheden theoretisch meer expressiviteit bieden.

Kernresultaten

De methoden werden gevalideerd via proeven met MNIST en CIFAR-10 datasets, gebruikmakend van Tensorized Neural Networks (TNN).

• MNIST (8x8 pixels):

  • Een baseline TNN bereikte 92,6% nauwkeurigheid.
  • Variational Approach: Het gebruik van 6-qubit poorten in de disentanglers behield de baseline nauwkeurigheid (92,6%) zelfs na compressie. Het toevoegen van trainbare 6-liggaat unitaire blokken verhoogde de nauwkeurigheid zelfs tot 94,7% (klassiek gesimuleerd).
  • Trade-off: Grotere poorten (bijv. 6-qubit) leveren hogere overlap (betere ontkoppeling) maar leiden tot een explosieve toename in het aantal hardware-poorten na transpilatie. Twee-qubit poorten bleken de beste balans tussen expressiviteit en NISQ-geschiktheid.
  • Impliciete disentanglers met gradient descent bereikten vergelijkbare resultaten (94,66% met een combinatie van 1- en 2-liggaat poorten).

• CIFAR-10:

  • Baseline nauwkeurigheid: 61,29%.
  • Het "geheelde" model met gecomprimeerde MPO's en disentanglers kon de nauwkeurigheid behouden of verbeteren, ondanks een significante reductie in het aantal parameters (van 36.7k naar 25.3k).
  • De beste resultaten werden behaald met een combinatie van vaste CNOT-poorten en trainbare 1- en 2-liggaat poorten.

• Belangrijke Observaties:

  • Het toevoegen van quantum circuits kan de expressiviteit van het model vergroten, waardoor het soms zelfs beter presteert dan het oorspronkelijke klassieke model met meer parameters.
  • De aanwezigheid van niet-lineariteiten is cruciaal voor het trainen van diepe disentanglers om het probleem van verdwijnende gradiënten te voorkomen.
  • Reële poorten bleken vaak efficiënter en stabieler dan complexe poorten in deze context.

Bijdragen en Betekenis

Dit werk biedt een concrete roadmap voor het integreren van quantumcomputing in bestaande deep learning-infrastructuren:

1. Nieuwe Schaalregime: Het stelt een hybride framework voor dat mogelijk schaalregimes bereikt die niet toegankelijk zijn met puur klassieke tensor-netwerk representaties. Door de bindingsdimensie van de MPO klein te houden (klassiek goedkoop) en de expressiviteit te compenseren met diepe quantum circuits, kan men de "curse of dimensionality" omzeilen.
2. Praktische Implementatie: In plaats van te claimen dat er nu al een "quantum advantage" is in snelheid of kosten (wat door de overhead van state-preparation en tomografie nog niet het geval is), focust het werk op expressiviteit als een schaalbare resource.
3. Algoritmen voor Disentangling: De introductie van zowel expliciete (variational) als impliciete (gradient-based) methoden voor het vinden van disentanglers biedt een robuuste toolkit voor toekomstig onderzoek.
4. Hardware-bewustzijn: Het werk benadrukt het belang van het vastzetten van hardware-natieve poorten (zoals CNOT) om de transpilatie-overhead te minimaliseren, wat essentieel is voor de toepasbaarheid op huidige quantum hardware.

Conclusie:
Hoewel de huidige proof-of-concept nog geen snellere inferentie biedt vanwege de kosten van quantum-to-classical conversie (tomografie), demonstreert het artikel dat quantum circuits kunnen dienen als een krachtige, compacte vervanging voor zware lineaire lagen in neurale netwerken. Dit opent de deur voor hybride modellen die, naarmate quantumhardware verbetert, kunnen profiteren van een nieuwe vorm van schaalbaarheid waarbij circuitdiepte de klassieke tensor-complexiteit vervangt.