Application of Langevin Dynamics to Advance the Quantum Natural Gradient Optimization Algorithm

Technische Zusammenfassung: Anwendung der Langevin-Dynamik zur Weiterentwicklung des Quantum Natural Gradient Optimierungsalgorithmus

Problemstellung
Die Optimierung variabler Quantenschaltkreise (Variational Quantum Circuits, VQCs) in hybriden quanten-klassischen Algorithmen, wie dem Variational Quantum Eigensolver (VQE) und dem Quantum Approximate Optimization Algorithm (QAOA), leidet häufig unter dem Problem der „Überparametrisierung“. Obwohl der Quantum Natural Gradient (QNG) Algorithmus vorgeschlagen wurde, um dies durch die Nutzung des Quantum Geometric Tensor (QGT) zur Definition einer reparametrisierungsinvarianten Abstiegsrichtung zu mildern, hat der grundlegende QNG-Algorithmus häufig Schwierigkeiten mit nicht-konvexen Verlustlandschaften. Insbesondere neigt er dazu, in lokalen Minima, Sattelpunkten und Plateaus stecken zu bleiben, was seine Effektivität bei komplexen Optimierungsaufgaben einschränkt.

Methodik
Die Autoren schlagen einen neuartigen Optimierungsalgorithmus vor, Momentum-QNG, der durch die Anwendung der Langevin-Dynamik auf das QNG-Framework abgeleitet wurde.

• Theoretische Herleitung: Die Studie beginnt mit der Modellierung des Optimierungsprozesses als diskrete-Zeit-Lösung der Langevin-Gleichung. Durch die Einführung eines stochastischen Kraftterms basierend auf dem QNG-Gradienten ($\hat{f} = -g^{-1}(\theta)\nabla L(\theta)$) und die Einbeziehung eines viskosen Reibungsterms leiten die Autoren eine diskrete Aktualisierungsregel ab.
• Algorithmusformulierung: Die resultierende Aktualisierungsregel lautet:
  $$\Delta\theta_{n+1} = \rho\Delta\theta_n - \eta \cdot g^{-1}(\theta_n)\nabla L(\theta_n)$$
  Hierbei fungiert $\rho$ als Momentum-Koeffizient, der aus dem Reibungskoeffizienten abgeleitet ist, und $\eta$ ist die Lernrate. Diese Formulierung verallgemeinert den grundlegenden QNG (der wiederhergestellt wird, wenn $\rho=0$), indem sie einen Inertia-Term hinzufügt.
• Mechanismus: Der Momentum-Term ermöglicht es dem Optimierer, Geschwindigkeit zu akkumulieren, was es ihm ermöglicht, lokale Minima und Plateaus zu verlassen, in denen die lokalen Gradienten verschwinden. Die theoretische Analyse (Gleichung 17) legt nahe, dass die mittlere Sprunglänge der Variationsparameter in der Nähe eines Extremums mit dem Momentum-Koeffizienten steigt, was eine breitere Exploration des Parameterraums erleichtert.
• Implementierung: Der Algorithmus wurde innerhalb des PennyLane-Quantencomputing-Pakets implementiert. Der Quantum Geometric Tensor wurde mittels einer Blockdiagonal-Approximation mit einem Regularisierungskoeffizienten $\lambda = 0.5$ berechnet.

Benchmarking und Ergebnisse
Der Momentum-QNG-Algorithmus wurde gegen den grundlegenden QNG, den Standard-Momentum- und den Adam-Optimierer über drei verschiedene variable Quantenprobleme hinweg getestet:

1. Investitionsportfolio-Optimierung (Ising-Spin-Glas-Modell):

   • Setup: VQE-Optimierung für $N=6, 11, 12$ Qubits.
   • Ergebnisse: Momentum-angepasste Optimierer (Momentum-QNG, Momentum, Adam) übertrafen den grundlegenden QNG hinsichtlich der Energiekonvergenz ($\Delta E$) signifikant. Während der grundlegende QNG die schnellste Konvergenzgeschwindigkeit zeigte, resultierte dies in der höchsten Energiedifferenz (Energy Misfit). Adam demonstrierte die robusteste Leistung mit dem breitesten Konvergenzbereich.

2. Quanten-Sherrington-Kirkpatrick (SK) Modell:

   • Setup: Grundzustandsenergie-Minimierung für $N=8$ Qubits unter variierenden transversalen Feldstärken ($g$).
   • Ergebnisse: Die Leistung variierte je nach Regime:
     • Bei starken Feldern ($g=0.1$) erreichte der grundlegende QNG den geringsten Fehler, was im Einklang mit früheren Befunden steht.
     • Bei intermediären Feldern ($g=10^{-3}$) schnitten Momentum und Momentum-QNG gleichermaßen gut ab.
     • Bei schwachen Feldern ($g=10^{-5}$), die ein starkes Spin-Glas-Regime mit ausgeprägten lokalen Minima repräsentieren, übertraf Momentum-QNG alle anderen Algorithmen.
   • Beobachtung: Die Autoren führen die überlegene Leistung von Momentum-QNG im starken Spin-Glas-Regime auf einen synergistischen Effekt zwischen dem Quantum Geometric Tensor und dem Momentum-Term zurück, der es dem Algorithmus ermöglicht, komplexe Energielandschaften effektiver zu navigieren.

3. Minimum Vertex Cover (QAOA):

   • Setup: Optimierung auf Graphen mit $N=4$ und $N=8$ Vertices.
   • Ergebnisse: Momentum-QNG, Momentum und Adam erreichten ähnliche maximale Qualitätsverhältnisse und übertrafen den grundlegenden QNG signifikant. Adam behielt den breitesten Konvergenzbereich bei, während Momentum-QNG innerhalb seines Bereichs vergleichbar mit Adam abschnitt.

Wesentliche Beiträge

• Herleitung von Momentum-QNG: Die Arbeit stellt eine theoretische Verbindung zwischen der Langevin-Dynamik und der Quantenoptimierung her und leitet einen generalisierten QNG-Algorithmus ab, der Momentum integriert.
• Leistungsvalidierung: Durch umfangreiche numerische Benchmarks zeigt die Studie, dass das Hinzufügen eines Momentum-Terms die Fähigkeit verbessert, lokale Minima und Plateaus zu verlassen, insbesondere in nicht-konvexen, überparametrisierten Landschaften.
• Open Source: Die Autoren stellen den Open-Source-Code für den Momentum-QNG-Algorithmus zur Verfügung, um die weitere Forschung zu erleichtern.

Bedeutung und Ansprüche
Das Paper behauptet, dass Momentum-QNG einen bedeutenden Fortschritt für die Optimierung variabler Quantenschaltkreise darstellt, insbesondere in Szenarien, in denen die Verlustlandschaft zerklüftet ist und zu lokalen Minima neigt. Die Autoren betonen, dass während der grundlegende QNG für konvexe oder einfachere Probleme effektiv ist, das Hinzufügen des Momentum-Terms entscheidend ist, um die komplexen, nicht-konvexen Landschaften zu navigieren, die typisch für starke Spin-Glas-Regime und andere schwierige Optimierungsaufgaben sind. Die Studie kommt zu dem Schluss, dass die Kombination aus dem Quantum Geometric Tensor (für Reparametrisierungsinvarianz) und Momentum (für Trägheit) einen synergistischen Effekt erzeugt, der die Optimierungsleistung in anspruchsvollen Quantenregimen verbessert. Die Autoren bleiben bescheiden und merken an, dass Adam oft weiterhin der robusteste Algorithmus insgesamt bleibt, heben jedoch hervor, dass Momentum-QNG einen deutlichen Vorteil in spezifischen Hochschwierigkeitsregimen bietet, in denen andere momentum-basierte Methoden die Quantenstruktur möglicherweise nicht voll ausschöpfen können.