Adaptive directional gradients for parameterised quantum circuits

Dieses Paper führt ein Forward-Gradient-Framework für parametrisierte Quantenschaltkreise ein, das bestehende Gradientenschätzmethoden vereinheitlicht und es dem QUIVER-adaptiven Optimierer ermöglicht, durch reduzierte Messkosten im Vergleich zur Parameter-Shift-Regel und anderen State-of-the-Art-Optimierern eine signifikant effizientere Trainingsleistung zu erzielen.

Das Wesentliche

Stellen Sie sich vor, Sie versuchen, einem sehr komplexen Roboter (einem parametrisierten Quantenschaltkreis) beizubringen, ein Problem zu lösen, wie zum Beispiel das Erkennen eines Bildes einer Katze oder das Finden der besten Route für einen Lieferwagen. Um ihn zu lehren, müssen Sie ihm die „Richtung“ zeigen, in die er sich bewegen muss, um besser zu werden. In der Mathematik nennt man das Berechnen dieser Richtung Gradient.

Das Problem ist, dass es auf aktuellen Quantencomputern unglaublich teuer ist, diese Richtung zu berechnen. Es ist, als würde man versuchen, eine riesige Stadt zu kartieren, indem man jede einzelne Straße nacheinander abläuft. Wenn der Roboter 1.000 Knöpfe hat (Parameter), erfordert die alte Methode, 1.000 separate Pfade zu gehen, nur um herauszufinden, in welche Richtung man gehen muss. Dies kostet viel Zeit und Energie (genannt „Measurement Shots“), wodurch das Training des Roboters unmöglich wird, sobald er größer wird.

Dieses Paper stellt eine neue, intelligentere Art vor, diese Richtung zu finden, namens Forward Gradients, sowie einen smarten Coach, der den Prozess verwaltet: QUIVER.

Der alte Weg: Das „Jede Straße kartieren“-Problem

Die Standardmethode (genannt Parameter-Shift-Regel) ist wie ein akribischer Vermesser. Um die Neigung des Bodens an einem bestimmten Punkt zu kennen, muss er nach links gehen, messen, nach rechts gehen, messen und dies für jeden einzelnen der 1.000 Knöpfe des Roboters wiederholen.

• Die Kosten: Wenn Sie 1.000 Knöpfe haben, müssen Sie 2.000 separate Wege unternehmen. Wenn der Roboter wächst, steigt der Aufwand linear an. Es ist zu langsam.

Der neue Weg: Die „Kompass“-Strategie (Forward Gradients)

Die Autoren schlagen einen anderen Ansatz vor. Anstatt jede einzelne Straße zu überprüfen, stellen Sie sich vor, Sie stehen in der Mitte der Stadt und werfen einen Dartpfeil in eine zufällige Richtung. Sie gehen ein paar Schritte in diese Richtung, prüfen die Steigung, und werfen dann einen weiteren Dartpfeil in eine andere zufällige Richtung.

Wenn Sie dies ein paar Mal tun (sagen wir 10 oder 20 Mal) und die Ergebnisse mitteln, erhalten Sie eine überraschend gute Schätzung der allgemeinen Richtung, in die Sie gehen sollten, ohne jemals jede einzelne Straße abgelaufen zu sein.

• Die Magie: Sie können wählen, wie viele Zufallsrichtungen Sie überprüfen.
  • Wenn Sie 1 Richtung überprüfen, ist das wie die alte „SPSA“-Methode (schnell, aber etwas verrauscht).
  • Wenn Sie alle 1.000 Richtungen überprüfen, ist das die alte „Parameter-Shift“-Methode (perfekt, aber langsam).
  • Die neue Methode lässt Sie eine „Goldlöckchen“-Zahl wählen (wie 20 Richtungen). Das ist viel schneller, als alle 1.000 zu überprüfen, aber viel genauer als nur 1 Richtung zu prüfen.

Der smarte Coach: QUIVER

Einfach nur zufällig Dartpfeile zu werfen, reicht nicht aus; man muss wissen, wie viele Dartpfeile man werfen soll und wie sorgfältig man bei jedem einzelnen hinschauen muss. Hier kommt QUIVER ins Spiel.

Stellen Sie sich QUIVER als einen smarten Coach vor, der den Roboter beim Training beobachtet:

1. Früh im Training: Der Roboter ist weit von der Lösung entfernt, und der Pfad ist chaotisch. Der Coach sagt: „Lass uns viele verschiedene Richtungen schnell untersuchen, um ein breites Gefühl dafür zu bekommen, wo es hingeht.“ (Hohe Anzahl an Richtungen, geringer Aufwand pro Richtung).
2. Später im Training: Der Roboter ist nah an der Lösung. Der Coach sagt: „Wir müssen nicht mehr so viele Richtungen untersuchen, aber wir müssen bei den Richtungen, die wir untersuchen, sehr präzise sein.“ (Weniger Richtungen, hoher Aufwand pro Richtung).

QUIVER passt dieses Gleichgewicht automatisch in Echtzeit basierend auf dem Rauschen an, das es sieht, um sicherzustellen, dass der Roboter so effizient wie möglich lernt, ohne Energie zu verschwenden.

Was das Paper herausgefunden hat

Die Autoren haben diese Idee auf vier verschiedene Arten von Problemen getestet:

1. Klassifizierung von Herzrhythmen (EKG-Daten).
2. Erkennung handgeschriebener Zahlen (MNIST-Bilder).
3. Finden des niedrigsten Energiezustands eines Quantensystems (VQE).
4. Lösen von Optimierungsrätseln (MaxCut).

Die Ergebnisse:

• Geschwindigkeit: Mit ihrer neuen Methode konnten sie Roboter mit bis zu 60 Qubits und 1.770 Parametern trainieren.
• Effizienz: Sie erreichten das gleiche Genauigkeitsniveau wie die alte „langsame“ Methode, verbrauchten aber nur einen Bruchteil der Energie (Measurement Shots). In einigen Fällen waren sie um Größenordnungen effizienter.
• Vergleich: Ihre Methode schlug andere populäre „schnelle“ Methoden (wie SPSA und RCD) und sogar die smarten „adaptiven“ Methoden (iCANS/gCANS), die versuchen, Energie zu sparen, indem sie cleverer vorgehen.

Das Fazit

Dieses Paper behauptet nicht, alle Probleme des Quantencomputings gelöst zu haben. Stattdessen bietet es ein neues, flexibles Werkzeug an. Es ersetzt eine starre, teure Regel durch eine abstimmbare Strategie, die je nach Situation hoch- oder heruntergeregelt werden kann. Es beweist, dass man nicht jeden einzelnen Pfad prüfen muss, um den richtigen Weg zu finden; manchmal reicht es aus, ein paar kluge, zufällige Pfade zu prüfen, um die Aufgabe zu erledigen.

Kurz gesagt: Sie haben einen Weg gefunden, Quantencomputer schneller lernen zu lassen, indem sie „Abkürzungen“ nutzen, die mathematisch bewiesen funktionieren, was eine enorme Menge an Zeit und Ressourcen spart.

Technische Zusammenfassung

Technische Zusammenfassung: Adaptive Richtungsgradienten für parametrisierte Quantenschaltkreise

Problemstellung
Das Training parametrisierter Quantenschaltkreise (PQCs) auf aktueller Quantenhardware wird derzeit durch die Messkosten der Gradientenschätzung begrenzt. Unter der Standard-Parameter-Shift-Regel erfordert die Schätzung des vollen Gradienten $O(N)$ Schaltkreis-Evaluierungen pro Schritt, wobei $N$ die Anzahl der trainierbaren Parameter ist. Da Quantenmodelle skalieren und von Überparametrisierung profitieren, dominiert diese lineare Skalierung das gesamte Shot-Budget, was das gradientenbasierte Training ineffizient macht. Während approximative Schätzer wie die Simultaneous Perturbation Stochastic Approximation (SPSA) und die Random Coordinate Descent (RCD) die Kosten pro Schritt reduzieren, führen sie jeweils $O(N)$-Strafen in Form von Schätzervarianzen oder Konvergenzraten ein. Darüber hinaus verlassen sich bestehende adaptive Shot-Allokationsmethoden (z. B. iCANS, gCANS) auf die Parameter-Shift-Regel und setzen voraus, dass sich die Messvarianzen über die Parameter hinweg signifikant unterscheiden – eine Annahme, die für Schätzer in Zufallsrichtungen möglicherweise nicht zutrifft.

Methodik
Die Autoren schlagen ein einheitliches Framework vor, das auf Vorwärtsgradienten (forward gradients) basiert, abgeleitet aus dem Vorwärtsmodus der automatischen Differenzierung. Dieses Framework rekonstruiert den vollem Gradienten durch Mittelung von $V$ zufälligen Richtungsableitungen, wobei $V$ ein abstimmbarer Parameter ist, der unabhängig von $N$ ist.

1. Vorwärtsgradienten-Schätzer:
   Der Gradient wird geschätzt als:
   $$\hat{\nabla}^F f(\theta) = \frac{1}{V} \sum_{\ell=1}^V (\nabla_{v_\ell} f) v_\ell$$
   wobei $v_\ell$ Zufallsrichtungen (typischerweise Rademacher-Vektoren) sind. Die Richtungsableitungen $\nabla_{v_\ell} f$ werden mittels einer zentralen Finite-Differenzen-Approximation mit einer Schrittweite $\epsilon$ berechnet, was nur zwei Schaltkreis-Evaluierungen pro Richtung erfordert.

   • Vereinigung: Dieses Framework stellt SPSA ($V=1$, Rademacher), RCD ($V=1$, Basiseinheiten) und die Parameter-Shift-Regel ($V=N$, Basiseinheiten) als Grenzfälle dar.
   • Kosten: Die Kosten pro Schritt skalieren als $O(V)$ statt $O(N)$, mit einem Gesamtmessaufwand von $2VM$ Shots pro Schritt.

2. Konvergenzanalyse:
   Das Paper etabliert eine Konvergenzschranke für das stochastische Gradientenverfahren unter Verwendung dieses Schätzers. Es beweist ein „No-Free-Lunch“-Ergebnis: Für konvexe Verluste wird die $V$-fache Reduktion der Kosten pro Schritt exakt durch eine $V$-fache Erhöhung der benötigten Schritte zur Erreichung einer Zielgenauigkeit kompensiert. Das gesamte Shot-Budget bleibt unabhängig von $V$. Die Analyse identifiziert jedoch die Finite-Differenzen-Schrittweite $\epsilon$ als den dominanten Hyperparameter, der einen Bias-Varianz-Trade-off steuert, bei dem das Shot-Rauschen durch $1/\epsilon^2$ verstärkt wird.

3. Der QUIVER-Optimierer:
   Um die Einschränkungen von Fixed-$V$-Strategien und bestehenden adaptiven Methoden zu adressieren, leiten die Autoren QUIVER (Quantum Iterative V-adaptive Estimator Rule) ab.

   • Rauschkonzentration: Die Autoren beweisen, dass für Schätzer in Zufallsrichtungen das Messrauschen gleichmäßig über alle Richtungen konzentriert ist (im Gegensatz zur Parameter-Shift-Regel, bei der das Rauschen pro Parameter variiert). Dies macht eine Shot-Allokation pro Richtung (der Mechanismus hinter iCANS) unwirksam.
   • Gemeinsame Adaptation: Folglich passt QUIVER sowohl die Anzahl der Richtungen $V$ als auch die Shots pro Richtung $M$ gemeinsam an. Es minimiert die Gesamtmesskosten unter Berücksichtigung einer Ziel-Schätzervarianz und einer minimalen Shot-Anzahl pro Richtung.
   • Optimalität: Die abgeleitete Update-Regel verwendet Rademacher-Richtungen, die nachweislich das zweite Moment des Schätzers unter isotropen Verteilungen einzigartig minimieren. Das resultierende Shot-Budget entspricht der Cramér–Rao-Schranke für die erwartungsneutrale Rekonstruktion eines Gradienten aus einem Shot-Rausch-Orakel, bis auf eine Konstante, die gegen Null geht, wenn $N \to \infty$.

Wichtigste Ergebnisse
Das Paper validiert den Ansatz numerisch über vier Problemdomänen hinweg:

• Klassifikation: Training orthogonaler Quantenneuronaler Netze auf ECG5000- (Zeitreihen) und MNIST- (Bild) Datensätzen mit bis zu 60 Qubits und 1.770 Parametern.
• Optimierung & Simulation: Variational Quantum Eigensolver (VQE) für das Transverse-Field Ising Model (TFIM) und Quantum Approximate Optimization Algorithm (QAOA) für MaxCut.

Erkenntnisse:

1. Effizienz: Vorwärtsgradienten-Schätzer mit einem festen $V \ll N$ erreichen eine Genauigkeit, die mit der Parameter-Shift-Regel vergleichbar ist, während sie nur einen Bruchteil des gesamten Shot-Budgets nutzen. Die Einsparungen wachsen mit der Anzahl der Parameter $N$.
2. Vergleich mit Baselines: Vorwärtsgradienten schneiden bei großen $N$ signifikant besser ab als SPSA und RCD, wo Methoden mit einer einzelnen Richtung degradieren.
3. Adaptives Scheduling: Heuristische Experimente zeigen, dass das Dekrementieren von $V$ über den Trainingsverlauf (Beginn mit hohem $V$ für breite Exploration, Ende mit niedrigem $V$ für Präzision) ein festes $V$ übertrifft.
4. QUIVER-Leistung: Der QUIVER-Optimierer übertrifft iCANS, gCANS und die Standard-Parameter-Shift-Regel mit Adam-Optimierung bei VQE- und QAOA-Benchmarks. Bemerkenswert ist, dass in Regimen, in denen iCANS/gCANS aufgrund niedriger Signal-Rausch-Verhältnisse auf eine Fixed-Shot-Parameter-Shift-Methode kollabieren, QUIVER einen Leistungsvorsprung beibehält, indem es $V$ und $M$ dynamisch anpasst.

Bedeutung und Ansprüche
Das Paper beansprucht, ein einheitliches theoretisches Framework bereitzustellen, das SPSA, RCD und die Parameter-Shift-Regel als Spezialfälle eines einzigen Schätzers in Zufallsrichtungen behandelt. Durch die Einführung des abstimmbaren Parameters $V$ bietet es einen expliziten Hebel, um zwischen der günstigsten (höchste Varianz) und der teuersten (exakten) Gradientenstrategie zu interpolieren.

Der primäre Beitrag ist der QUIVER-Optimierer, der die erste adaptive Methode ist, die speziell für Vorwärtsgradienten entwickelt wurde. Er überwindet die strukturellen Einschränkungen bisheriger Shot-adaptiver Optimierer (die scheitern, wenn das Rauschen gleichmäßig konzentriert ist), indem er die Anzahl der Richtungen anstatt nur die Shot-Anzahl pro Richtung anpasst. Die Autoren behaupten, dass QUIVER eine nahezu optimale Shot-Effizienz erreicht, die Cramér–Rao-Schranke für die Gradientenrekonstruktion sättigt und das Training großskaliger Quantenschaltkreise (bis zu 60 Qubits) ermöglicht, deren Messkosten um Größenordnungen unter denen der Parameter-Shift-Regel liegen.

Die Arbeit betont, dass diese Gewinne ohne Ancilla-Qubits, kontrollierte Gates oder Messungen während des Schaltkreisbetriebs (mid-circuit measurements) erzielt werden, was das Framework unmittelbar anwendbar für aktuelle Noisy Intermediate-Scale Quantum (NISQ) Hardware macht.