Improving Quantum Recurrent Neural Networks with Amplitude Encoding

Diese Arbeit verbessert Quanten-Rekurrente Neuronale Netze (QRNNs), indem sie EnQode für die approximative Amplitudenkodierung integriert, eine Vorverarbeitungstechnik einführt, die Eingaben durch prä-normalisierte Beträge ergänzt, um die Generalisierung zu verbessern, und eine neuartige Schaltungsarchitektur vorschlägt, welche die Tiefe signifikant reduziert und dabei die mathematische Äquivalenz beibehält.

Das Wesentliche

Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, den Aktienmarkt vorherzusagen. Sie besitzen ein sehr leistungsfähiges, futuristisches Robotergehirn namens Quantum Recurrent Neural Network (QRNN). Dieses Gehirn ist besonders, weil es sich an vergangene Ereignisse erinnern kann (wie ein Mensch, der sich an das gestrige Wetter erinnert, um das heutige vorherzusagen) und Informationen unter Verwendung der seltsamen Gesetze der Quantenphysik verarbeitet.

Das Bauen dieses Robotergehirns ist jedoch knifflig. Das Paper von Jack Morgan und seinem Team ist wie eine „Bedienungsanleitung für Upgrades“. Sie haben drei spezifische Wege gefunden, um dieses Quantengehirn intelligenter, schneller und weniger anfällig für Zusammenbrüche zu machen.

Hier ist eine einfache Aufschlüsselung dieser drei Upgrades:

1. Das „Lautstärkeregler“-Problem (Preprocessing)

Das Problem:
Um Daten in einen Quantencomputer einzuspeisen, muss man Zahlen in „Quantenwellen“ umwandeln. Die Standardmethode besteht darin, die Daten zu normalisieren, was so ist, als würde man alle Lautstärkeregler an einem Stereoanlage auf exakt das gleiche Niveau drehen, damit sie auf die Skala passen.

• Die Analogie: Stellen Sie sich zwei Lieder vor. Das eine wird als Flüstern abgespielt und das andere als Brüllen. Wenn Sie sie normalisieren, hört der Quantencomputer sie als identisch an, weil er nur auf die Form des Klangs achtet, nicht darauf, wie „laut“ er war. Er verliert die Information über die „Lautstärke“ (Magnitude).
• Die Lösung: Die Autoren schlagen vor, ein „Lautstärkeregler“-Merkmal zu den Daten hinzuzufügen, bevor sie hineingehen. Sie nehmen die ursprüngliche Lautstärke der Daten, pressen sie in eine neue Zahl und speisen diese als zusätzliches Zutat ein.
• Das Ergebnis: Jetzt kann das Quantengehirn zwischen einem Flüstern und einem Brüllen unterscheiden. Sie fanden heraus, dass die Verwendung einer spezifischen Methode zur Skalierung dieser „Lautstärke“ (die sie MaxMin nennen) half, das Robotergehirn bei Finanzdaten besser Vorhersagen treffen zu lassen.

2. Das „Perfekt vs. Gut genug“-Dilemma (EnQode)

Das Problem:
Die perfekte Quantenwelle für einen spezifischen Datensatz zu erstellen, ist unglaublich schwer. Es ist, als würde man versuchen, für jede einzelne Person, die ein Geschäft betritt, einen perfekt maßgeschneiderten Anzug zu fertigen. Das kostet so viel Zeit und Mühe (Schaltungstiefe/Circuit Depth), dass der Roboter müde wird und Fehler macht (Dekohärenz), bevor er fertig ist.

• Die Analogie: Anstatt für jeden einzelnen Menschen einen perfekt maßgeschneiderten Anzug anzufertigen, was wäre, wenn man ein paar „Standardgrößen“ (Zentroiden) hätte, die den meisten Menschen gut genug passen?
• Die Lösung: Sie verwendeten ein Werkzeug namens EnQode. Anstatt jedes Mal einen perfekten Quantenzustand von Grund auf neu zu bauen, findet EnQode die am nächsten liegende „Standardgröße“ und passt sie leicht an. Es ist eine Annäherung.
• Das Ergebnis: Obwohl der Anzug nicht perfekt maßgeschneidert ist, ist er gut genug (etwa 94 % genau). Der riesige Vorteil ist, dass es nur einen Bruchteil der Zeit benötigt, ihn herzustellen. Auf einem echten Quantencomputer ist Schnelligkeit und Einfachheit besser als Perfektion bei langsamer Geschwindigkeit, da der Computer aufhört zu arbeiten, wenn man zu lange braucht.

3. Das „Fließband“-Upgrade (Schaltungsstruktur)

Das Problem:
Im alten Design musste der Roboter alles Schritt für Schritt erledigen. Er musste erst die Vorbereitung der Daten für „Heute“ abschließen, dann die Verarbeitung abschließen, dann die Vorbereitung für „Morgen“, dann die Verarbeitung dessen. Es war wie eine einspurige Straße, auf der Verkehrsstaus zu Verzögerungen und Fehlern führten.

• Die Analogie: Stellen Sie sich eine Fabrik vor. Der alte Weg war: Rahmen bauen, lackieren, trocknen, dann den nächsten Rahmen bauen. Der neue Weg ist ein zweispuriges Fließband. Während die Arbeiter gerade den Rahmen für „Heute“ lackieren, baut ein anderes Team bereits den Rahmen für „Morgen“.
• Die Lösung: Sie führten Alternating Feature Registers ein. Sie verwenden zwei verschiedene „Arbeitsbereiche“ (Register), die sich abwechseln. Während der eine mit neuen Daten gefüllt wird, wird der andere verarbeitet.
• Das Ergebnis: Dies schafft eine viel kürzere „Schaltungstiefe“ (Circuit Depth – die Länge des Fließbands). Es macht den Roboter schneller und weniger anfällig dafür, sein Gedächtnis (Dekohärenz) zu verlieren, bevor die Aufgabe erledigt ist.

Das Fazit

Die Autoren testeten diese drei Upgrades an Finanzdaten (Vorhersage von Aktienrenditen). Sie fanden heraus, dass:

1. Das Hinzufügen des „Lautstärke“-Merkmals dem Modell half, die Daten besser zu verstehen.
2. Die Verwendung der „gut genug“-Annäherung (EnQode) das System schnell genug machte, um tatsächlich auf echter Hardware zu laufen, ohne zu viel Genauigkeit zu verlieren.
3. Das neue „Fließband“-Design den gesamten Prozess kürzer und effizienter machte.

Durch die Kombination dieser drei Tricks entwickelten sie einen neuen „Best Practice“-Leitfaden für jeden, der versucht, ein Quantum Recurrent Neural Network zu bauen, was sie für die Quantencomputer, die wir heute haben, praktikabler macht.

Technische Zusammenfassung

Technisches Resümee: Verbesserung von Quanten-Rekurrenten Neuronalen Netzen durch Amplitudenkodierung

Problemstellung

Rekurrente Neuronale Netze (RNNs) sind Standard für die Modellierung zeitlicher Abhängigkeiten, doch ihre quantenbasierten Gegenstücke (QRNNs) stehen vor erheblichen Hürden hinsichtlich der Hardware-Machbarkeit und Generalisierung. Während Quanten-RNNs (QRNNs), die parametrisierte Quantenschaltkreise (PQCs) nutzen, potenzielle Vorteile in Bezug auf Expressivität und Energieeffizienz bieten, verlassen sich bestehende Implementierungen häufig auf die Winkelkodierung (Angle Encoding), welche linear mit der Anzahl der Merkmale skaliert ($O(N)$ Qubits). Die Amplitudenkodierung bietet eine überlegene Qubit-Effizienz ($O(\log N)$) und hat in anderen Aufgaben des Quanten-Maschinellen Lernens eine höhere Genauigkeit demonstriert, bleibt jedoch in vollquantisierten QRNNs aufgrund zweier primärer Einschränkungen untererforscht:

1. Komplexität der Zustandspräparation: Die exakte Quantenzustandspräparation (Quantum State Preparation, QSP) erfordert Schaltkreise mit exponentieller Tiefe, was für Hardware der aktuellen Ära (Near-term Devices) nicht praktikabel ist.
2. Informationsverlust: Die Standard-Amplitudenkodierung erfordert eine Normalisierung der Eingabewerte, wodurch die globale Magnitude (Amplitude) der Merkmalsvektoren verworfen wird. Dieser Verlust an Magnitudeninformation kann die Sequenzmodellierung verzerren, da Vektoren mit unterschiedlichen Magnituden, aber identischen Richtungen, identisch kodiert werden.

Darüber hinaus führt die Ausführung von QRNNs auf verrauschter Hardware zu Kohärenzfehlern, insbesondere im latenten Zustandsregister, was die Leistung mindert.

Methodik

Die Autoren schlagen drei spezifische Modifikationen der kanonischen QRNN-Architektur vor, um diese Einschränkungen zu adressieren. Die Studie nutzt zwei Finanzdatensätze (Yahoo Finance und Oxford-Man Institute), um die täglichen Renditen des S&P 500 vorherzusagen, wobei 8-Tage-Sequenzen verwendet werden. Die Modelle werden mit dem Qiskit AerSimulator (sowohl rauschfrei als auch mit dem IBM Torino Heron r1 Rauschmodell) simuliert.

1. Prä-normalierte Amplituden-Merkmalsaugmentation

Um den durch die Amplitudenkodierung bedingten Verlust an Magnitudeninformation zu mildern, führen die Autoren einen Vorverarbeitungsschritt ein. Bevor der Merkmalsvektor für die Quantenkodierung normalisiert wird, hängen sie ein neues Merkmal an, das die $\ell_2$-Norm (prä-normalisierte Amplitude) des ursprünglichen Vektors repräsentiert.

• Implementierung: Die ursprünglichen $N$ Merkmale werden mittels MinMax-Skalierung skaliert. Das neue Amplitudenmerkmal wird dann unter Verwendung eines MinMax- oder MaxMin-Skalierers skaliert, bevor der gesamte $N+1$-dimensionale Vektor normalisiert wird.
• Hypothese: Die MaxMin-Skalierung des Amplitudenmerkmals bewahrt die relativen Beziehungen zwischen den Stichproben besser als die MinMax-Skalierung, was es dem Modell ermöglicht, zwischen Vektoren unterschiedlicher Magnituden zu unterscheiden.

2. EnQode Approximative Amplitudenkodierung

Um die exponentielle Tiefe der exakten QSP zu umgehen, integriert das Paper EnQode, einen klassischen maschinellen Lernansatz für die approximative Zustandspräparation.

• Mechanismus: EnQode nutzt k-Means-Clustering auf dem normalisierten Datensatz, um Zentroiden zu identifizieren. Ein PQC-Ansatz wird klassisch trainiert (unter Verwendung symbolischer Repräsentation und Backpropagation), um den Quantenzustand entsprechend jedem Zentroiden vorzubereiten.
• Anwendung: Während der Inferenz wird der nächstgelegene Zentroid zu einer neuen Stichprobe identifiziert, und die vorab trainierten Parameter für diesen Zentroiden werden verwendet, um einen approximativen amplitudenkodierten Zustand $|\tilde{x}_t\rangle$ zu generieren. Dies ermöglicht eine logarithmische Skalierung in der Schaltungstiefe und der Anzahl der Qubits.

3. Alternierender Feature-Map-Register-Schaltkreis

Um die Schaltungstiefe und Dekohärenzfehler zu reduzieren, schlagen die Autoren ein neues Schaltungslayout vor, das alternierende Feature-Map (F)-Register nutzt.

• Mechanismus: Anstatt ein einzelnes F-Register wiederzuverwenden (was ein Zurücksetzen und Neu-Kodieren zwischen den Zeitschritten erfordert, während der verborgene Zustand erhalten bleiben muss), verwendet die neue Architektur zwei F-Register. Während der Ansatz-PQC den Zustand aus dem Zeitschritt $t-1$ in einem Register verarbeitet, wird der nächste Input-Zustand $|x_t\rangle$ im zweiten Register vorbereitet.
• Äquivalenz: Im Gegensatz zum „Staggered QRNN“ (SQRNN), der Informationen verwirft, um Qubits zurückzusetzen, ist diese alternierende Struktur mathematisch äquivalent zum kanonischen QRNN auf einem idealen Prozessor, reduziert jedoch die erforderliche Schaltungstiefe signifikant.

Kernergebnisse

Leistungsvergleich (Basismodelle)

• Amplitude vs. Winkelkodierung: Das Amplitude-QRNN (ohne Modifikationen) erreichte einen niedrigeren Test-MSE (Mean Squared Error) von 0,009 im Vergleich zum Angle-QRNN (0,015) und dem klassischen RNN (0,012), obwohl es weniger trainierbare Parameter besitzt (28 vs. 44). Dies bestätigt, dass die Amplitudenkodierung eine bessere Generalisierung für diese Aufgabe bietet.

Einfluss der Vorverarbeitung

• Amplituden-Merkmal: Das Hinzufügen des prä-normalisierten Amplitudenmerkmals verbesserte die Leistung.
  • MinMax-Skalierung: Konvergierte schneller auf den Trainingsdaten, zeigte jedoch eine geringere Generalisierung.
  • MaxMin-Skalierung: Erzielte die beste Generalisierung und reduzierte den Test-MSE auf 0,0056 (eine Verbesserung um 36 % gegenüber dem Baseline-Amplitude-QRNN).

Einfluss der approximativen Kodierung (EnQode)

• Fidelität vs. Tiefe: EnQode erreichte eine durchschnittliche Zustandspräparations-Fidelität von 0,94.
• Rauschfreie Simulation: Die Verwendung von EnQode erhöhte den Testverlust im Vergleich zur exakten QSP um 40 % aufgrund von Fehlern bei der Zustandspräparation.
• Verrauschte Simulation: Bei der Simulation des IBM Torino Rauschmodells übertraf das EnQode-Modell das exakte QSP-Modell. Die Reduktion der Schaltungstiefe (und damit der Dekohärenzfehler) wog den Nachteil der 6 %igen Unschärfe bei der Zustandspräparation auf.

Einfluss der Schaltungsstruktur

• Skalierung der Tiefe: Die alternierende F-Register-Architektur reduzierte die Schaltungstiefe im Vergleich zur Standardarchitektur.
• Skalierbarkeit: Während der Unterschied in der Tiefe bei kleinen Merkmalsätzen (4–8 Merkmale) vernachlässigbar war, zeigt das Paper, dass die Tiefe der alternierenden Struktur mit zunehmender Anzahl der Merkmale günstiger skaliert, insbesondere auf Prozessoren mit begrenzter Konnektivität, bei denen Swap-Gates erforderlich sind.

Bedeutung und Behauptungen

Das Paper etabliert eine neue Reihe von Best Practices für die Implementierung von QRNNs auf Hardware der Near-term-Ära. Die Autoren behaupten:

1. Generalisierung: Die Augmentierung von amplitudenkodierten Inputs mit prä-normalisierten Amplitudenmerkmalen (speziell unter Verwendung der MaxMin-Skalierung) verbessert die Generalisierung des Modells signifikant, indem die Magnitudeninformation bewahrt wird.
2. Machbarkeit: Die approximative Amplitudenkodierung via EnQode ist eine praktikable Strategie für QRNNs. Obwohl sie Fehler bei der Zustandspräparation einführt, ist die resultierende Reduktion der Schaltungstiefe in verrauschten Umgebungen überlegen gegenüber der exakten Kodierung.
3. Effizienz: Die alternierende F-Register-Schaltungsstruktur bietet eine mathematisch äquivalente, aber flachere Implementierung von QRNNs und adresst damit direkt die Kohärenzbeschränkungen.

Die Autoren kommen zu dem Schluss, dass diese Techniken nicht auf QRNNs beschränkt sind, sondern auch auf andere Quanten-Sequenzlern-Frameworks anwendbar sind, wie etwa Quantum Reservoir Computing (QRC), Quantum Extreme Learning Machines (QELMs) und Quantum Hidden Markov Models (QHMMs), die ähnliche latente Register und Datenkodierungsstrukturen aufweisen.