Improving Quantum Recurrent Neural Networks with Amplitude Encoding

Dit artikel verbetert Quantum Recurrent Neural Networks (QRNN's) door EnQode te integreren voor benaderde amplitude-encodering, een voorverwerkingsmethode te introduceren die inputs aanvult met vooraf genormaliseerde magnituden om generalisatie te verbeteren, en een nieuwe circuitarchitectuur voor te stellen die de diepte aanzienlijk vermindert terwijl de wiskundige equivalentie behouden blijft.

De kern

Stel je voor dat je een robot probeert te leren om de aandelenmarkt te voorspellen. Je hebt een zeer krachtig, futuristisch robotbrein genaamd een Quantum Recurrent Neural Network (QRNN). Dit brein is speciaal omdat het zich gebeurtenissen uit het verleden kan herinneren (zoals een mens die zich het weer van gisteren herinnert om het weer van vandaag te voorspellen) en informatie verwerkt met behulp van de vreemde wetten van de quantumfysica.

Het bouwen van dit robotbrein is echter lastig. Het artikel van Jack Morgan en zijn team is als een "Gebruikershandleiding voor Upgrades." Ze hebben drie specifieke manieren gevonden om dit quantumbrein slimmer, sneller en minder vatbaar voor defecten te maken.

Hier is een eenvoudige uitsplitsing van deze drie upgrades:

1. Het "Volume-knop" Probleem (Preprocessing)

Het Probleem:
Om data in een quantumcomputer te voeren, moet je getallen omzetten in "quantumgolven." De standaardmanier om dit te doen is het normaliseren van de data, wat lijkt op het instellen van alle volumeknoppen op een stereo precies op hetzelfde niveau zodat ze op de draaischijf passen.

• De Analogie: Stel je twee liedjes voor. Het ene wordt gespeeld als een fluistering, en het andere als een gebrul. Als je ze normaliseert, hoort de quantumcomputer ze als identiek omdat hij alleen naar de vorm van het geluid kijkt, niet naar hoe "hard" het was (de amplitude). Hij verliest de informatie over het "volume" (de grootte).
• De Oplossing: De auteurs stellen voor om een "Volume-knop" kenmerk aan de data toe te voegen voordat deze erin gaat. Ze nemen het oorspronkelijke volume van de data, persen het samen tot een nieuw getal en voeren dit in als een extra ingrediënt.
• Het Resultaat: Nu kan het quantumbrein het verschil horen tussen een fluistering en een gebrul. Ze ontdekten dat het gebruik van een specifieke manier om dit "volume" te schalen (wat ze MaxMin noemen) de robot hielp om betere voorspellingen te doen op financiële data.

2. Het "Perfect vs. Goed Genoeg" Dilemma (EnQode)

Het Probleem:
Het creëren van de perfecte quantumgolf voor een specifieke set gegevens is ongelooflijk moeilijk. Het is alsof je probeert voor elke persoon die de winkel binnenloopt een perfect, op maat gemaakt pak te maken. Dat kost zoveel tijd en moeite (circuit depth) dat de robot moe wordt en fouten maakt (decocoherentie) voordat hij klaar is.

• De Analogie: In plaats van een perfect op maat gemaakt pak voor elke persoon te maken, wat als je een paar "standaardmaten" (centroids) had die de meeste mensen goed genoeg passen?
• De Oplossing: Ze gebruikten een hulpmiddel genaamd EnQode. In plaats van elke keer een perfecte quantumtoestand vanaf nul op te bouwen, vindt EnQode de dichtstbijzijnde "standaardmaat" en past deze licht aan. Het is een benadering.
• Het Resultaat: Hoewel het pak niet perfect op maat is, is het goed genoeg (ongeveer 94% nauwkeurig). Het enorme voordeel is dat het een fractie van de tijd kost. Op een echte quantumcomputer is snel en simpel zijn beter dan perfect maar traag zijn, omdat de computer stopt met werken als je te lang duurt.

3. De "Assemblagelijn" Upgrade (Circuit Structure)

Het Probleem:
In het oude ontwerp moest de robot alles één stap tegelijk doen. Hij moest eerst de data voor "Vandaag" voorbereiden, dan die verwerken, dan "Morgen" voorbereiden, en dat verwerken. Het was als een eenbaansweg waar files voor vertragingen en fouten zorgden.

• De Analogie: Stel je een fabriek voor. De oude manier was: Bouw het frame, schilder het, laat het drogen, en bouw dan het volgende frame. De nieuwe manier is een tweelijnige assemblagelijn. Terwijl de arbeiders het frame voor "Vandaag" aan het schilderen zijn, is een ander team al bezig met het bouwen van het frame voor "Morgen."
• De Oplossing: Ze introduceerden Alternating Feature Registers. Ze gebruiken twee verschillende "werkruimtes" (registers) die om de beurt komen. Terwijl de ene wordt gevuld met nieuwe data, wordt de andere verwerkt.
• Het Resultaat: Dit zorgt voor een veel kortere "circuit depth" (de lengte van de assemblagelijn). Het maakt de robot sneller en minder vatbaar voor het verliezen van zijn geheugen (decoherentie) voordat de klus geklaard is.

De Kernboodschap

De auteurs testten deze drie upgrades op financiële data (het voorspellen van aandelenrendementen). Ze ontdekten dat:

1. Het toevoegen van het "volume" kenmerk de robot hielp de data beter te begrijpen.
2. Het gebruik van de "goed genoeg" benadering (EnQode) het systeem snel genoeg maakte om daadwerkelijk op echte hardware te draaien zonder te veel nauwkeurigheid te verliezen.
3. Het nieuwe "assemblagelijn" ontwerp het hele proces korter en efficiënter maakte.

Door deze drie trucs te combineren, creëerden ze een nieuwe "Best Practice" gids voor iedereen die een Quantum Recurrent Neural Network probeert te bouwen, waardoor het praktischer wordt voor de quantumcomputers die we vandaag de dag hebben.

Technische samenvatting

Technische Samenvatting: Verbeteren van Quantum Recurrent Neural Networks met Amplitude Encoding

Probleemstelling

Recurrent Neural Networks (RNN's) zijn de standaard voor het modelleren van temporele afhankelijkheden, maar hun quantum tegenhangers (QRNN's) worden geconfronteerd met aanzienlijke hindernissen wat betreft hardware-haalbaarheid en generalisatie. Hoewel Quantum RNN's (QRNN's) die gebruikmaken van geparametriseerde quantumcircuits (PQC's) potentiële voordelen bieden in expressiviteit en energie-efficiëntie, vertrouwen bestaande implementaties vaak op angle encoding, wat lineair schaalt met het aantal kenmerken ($O(N)$ qubits). Amplitude encoding biedt superieure qubit-efficiëntie ($O(\log N)$) en heeft in andere quantum machine learning-taken een hogere nauwkeurigheid aangetoond, maar het blijft onderbelicht in volledig quantum QRNN's vanwege twee primaire beperkingen:

1. Complexiteit van de Toestandsvoorbereiding: Exacte Quantum State Preparation (QSP) vereist circuits met een exponentiële diepte, wat onhaalbaar is voor apparaten in de nabije toekomst.
   2.Informatieverlies: Standaard amplitude encoding vereist normalisatie van de input, wat de globale magnitude (amplitude) van featurevectoren weggooit. Dit verlies van magnitude-informatie kan sequentiemodellering verstoren, omdat vectoren met verschillende magnitudes maar identieke richtingen identiek worden gecodeerd.

Bovendien introduceert het uitvoeren van QRNN's op ruisgevoelige hardware coherentiefouten, met name in het latente toestandsregister, wat de prestaties verslechtert.

Methodologie

De auteurs stellen drie specifieke modificaties voor aan de canonieke QRNN-architectuur om deze beperkingen aan te pakken. De studie maakt gebruik van twee financiële datasets (Yahoo Finance en Oxford-Man Institute) om de dagelijkse rendementen van de S&P 500 te voorspellen, waarbij 8-daagse sequenties worden gebruikt. De modellen worden gesimuleerd op Qiskit's AerSimulator (zowel ruisvrij als met het IBM Torino Heron r1 ruismodel).

1. Pre-genormaliseerde Amplitude Feature Augmentatie

Om het verlies van magnitude-informatie dat inherent is aan amplitude encoding te mitigeren, introduceren de auteurs een voorverwerkingsstap. Voordat de featurevector wordt genormaliseerd voor quantum encoding, voegen zij een nieuw kenmerk toe dat de $\ell_2$-norm (pre-genormaliseerde amplitude) van de oorspronkelijke vector vertegenwoordigt.

• Implementatie: De oorspronkelijke $N$ kenmerken worden via MinMax geschaald. Het nieuwe amplitude-kenmerk wordt vervolgens geschaald met behulp van ofwel een MinMax of MaxMin scaler voordat de gehele $N+1$ dimensionele vector wordt genormaliseerd.
• Hypothese: De MaxMin-schaling van het amplitude-kenmerk bewaart de relatieve relaties tussen samples beter dan MinMax-schaling, waardoor het model in staat is om vectoren met verschillende magnitudes van elkaar te onderscheiden.

2. EnQode Benaderende Amplitude Encoding

Om de exponentiële diepte van exacte QSP te overwinnen, integreert het artikel EnQode, een klassieke machine learning-benadering voor benaderende toestandsvoorbereiding.

• Mechanisme: EnQode gebruikt k-means clustering op de genormaliseerde dataset om centroids te identificeren. Een PQC Ansatz wordt klassiek getraind (met behulp van symbolische representatie en backpropagation) om de quantumtoestand die overeenkomt met elk centroid voor te bereiden.
• Toepassing: Tijdens de inferentie wordt de dichtstbijzijnde centroid bij een nieuwe sample geïdentificeerd, en worden de vooraf getrainde parameters voor dat centroid gebruikt om een benaderende amplitude-gecodeerde toestand $|\tilde{x}_t\rangle$ te genereren. Dit maakt een logaritmische schaling van de circuitdiepte en het aantal qubits mogelijk.

3. Alternerend Feature Map Register Circuit

Om de circuitdiepte en decoherentiefouten te verminderen, stellen de auteurs een nieuwe circuitlay-out voor die gebruikmaakt van alternerende feature map (F) registers.

• Mechanisme: In plaats van één enkel F-register te hergebruiken (wat het resetten en opnieuw coderen tussen tijdstappen vereist terwijl de verborgen toestand behouden blijft), gebruikt de nieuwe architectuur twee F-registers. Terwijl de Ansatz PQC de toestand van tijdstap $t-1$ verwerkt in het ene register, wordt de volgende inputtoestand $|x_t\rangle$ voorbereid in het tweede register.
• Equivalentie: In tegenstelling tot de "Staggered QRNN" (SQRNN) die informatie wegwerpt om qubits te resetten, is deze alternerende structuur wiskundig equivalent aan de canonieke QRNN op een ideale processor, maar vermindert het de vereiste circuitdiepte aanzienlijk.

Belangrijkste Resultaten

Prestatievergelijking (Basismodellen)

• Amplitude vs. Angle Encoding: De Amplitude QRNN (zonder modificaties) behaalde een lagere test Mean Squared Error (MSE) van 0.009 vergeleken met de Angle QRNN (0.015) en de klassieke RNN (0.012), ondanks het hebben van minder trainbare parameters (28 vs. 44). Dit bevestigt dat amplitude encoding betere generalisatie biedt voor deze taak.

Impact van Voorverwerking

• Amplitude Feature: Het toevoegen van het pre-genormaliseerde amplitude-kenmerk verbeterde de prestaties.
  • MinMax Scaling: Convergeerde sneller op trainingsdata maar vertoonde een lagere generalisatie.
  • MaxMin Scaling: Bereikte de beste generalisatie, waarbij de test MSE werd verminderd naar 0.0056 (een verbetering van 36% ten opzichte van de baseline Amplitude QRNN).

Impact van Benaderende Encoding (EnQode)

• Fidelity vs. Diepte: EnQode bereikte een gemiddelde state preparation fidelity van 0.94.
• Ruisvrije Simulatie: Het gebruik van EnQode verhoogde de testverlies met 40% vergeleken met exacte QSP door fouten in de toestandsvoorbereiding.
• Ruisgevoelige Simulatie: Bij het simuleren van het IBM Torino ruismodel presteerde het EnQode-model beter dan het exacte QSP-model. De reductie in circuitdiepte (en de daaropvolgende reductie in decoherentiefouten) woog zwaarder dan de penalty van de 6% state preparation infidelity.

Impact van de Circuitstructuur

• Diepte Schaling: De alternerende F-registerarchitectuur verminderde de circuitdiepte vergeleken met de standaardarchitectuur.
• Schaalbaarheid: Hoewel het diepteverschil verwaarloosbaar was voor kleine feature-sets (4-8 kenmerken), laat het artikel zien dat de diepte van de alternerende structuur gunstiger schaalt naarmate het aantal kenmerken toeneemt, met name op processoren met beperkte connectiviteit waar swap gates vereist zijn.

Betekenis en Claims

Het artikel stelt een nieuwe reeks best practices vast voor het implementeren van QRNN's op hardware voor de nabije toekomst. De auteurs beweren dat:

1. Generalisatie: Het augmenteren van amplitude-gecodeerde inputs met pre-genormaliseerde amplitude-kenmerken (specifiek met behulp van MaxMin-schaling) de generalisatie van het model aanzienlijk verbetert door magnitude-informatie te behouden.
2. Haalbaarheid: EnQode benaderende amplitude encoding is een levensvatbare strategie voor QRNN's. Hoewel het een fout in de toestandsvoorbereiding introduceert, is de resulterende reductie in circuitdiepte superieur aan exacte encoding in ruisgevoelige omgevingen.
3. Efficiëntie: De alternerende F-register circuitstructuur biedt een wiskundig equivalente maar minder diepe implementatie van QRNN's, wat direct ingaat op de coherentiebeperkingen.

De auteurs concluderen dat deze technieken niet beperkt zijn tot QRNN's, maar ook toepasbaar zijn op andere quantum sequentie-leringsframeworks, zoals Quantum Reservoir Computing (QRC), Quantum Extreme Learning Machines (QELM's) en Quantum Hidden Markov Models (QHMM's), die vergelijkbare latente register- en data-encodingstructuren delen.