Scalable Quantum Reinforcement Learning on NISQ Devices with Dynamic-Circuit Qubit Reuse and Grover Optimization

Problemstellung

Das Paper adressiert ein fundamentales Skalierbarkeitsproblem im Bereich des vollständig quantenmechanischen Reinforcement Learning (QRL), insbesondere im Kontext von Noisy Intermediate-Scale Quantum (NISQ) Geräten.

• Lineare Qubit-Skalierung: Bisherige Ansätze zur Implementierung von Multi-Step Quantum Markov Decision Processes (QMDPs) basierten auf statischen, „aufgerollten" (unrolled) Schaltkreisen. Dabei wurde für jeden Zeitschritt der Interaktion zwischen Agent und Umwelt ein separater Satz physikalischer Qubits benötigt.
• Ressourcenengpass: Für eine Interaktionshorizont-Länge $T$ und einen Basisbedarf von 7 Qubits pro Schritt wuchs der Qubit-Bedarf linear ($7 \times T$). Dies macht die Lösung komplexer oder längerer Entscheidungsprobleme auf aktuellen Hardware-Plattformen unmöglich, da die Anzahl der verfügbaren, fehlerkorrigierten Qubits stark begrenzt ist.
• Limitierung bestehender Methoden: Hybrid-Ansätze (klassisch-quanten) leiden oft unter Engpässen bei der Datenkonvertierung und Noise-Einführung, während frühe rein quantenmechanische Ansätze an der linearen Skalierung der Hardware-Ressourcen scheitern.

Methodik

Die Autoren schlagen einen neuartigen, ressourceneffizienten QRL-Framework vor, der drei Hauptkomponenten integriert:

1. Dynamische Schaltkreise mit Qubit-Wiederverwendung (Qubit Reuse):

   • Statt separate Register für jeden Zeitschritt zu allozieren, wird ein fester Satz von physikalischen Qubits über die gesamte Interaktionssequenz hinweg wiederverwendet.
   • Mechanismus: Nach jedem Zeitschritt werden die Qubits für Zustand, Aktion, nächster Zustand und Belohnung mittels Mid-Circuit Measurement (Messung während des Schaltkreislaufs) ausgelesen. Die Ergebnisse werden in klassischen Registern gespeichert, um die Trajektorie zu rekonstruieren.
   • Anschließend werden die Qubits durch Mid-Circuit Reset in den Grundzustand $|0\rangle$ zurückgesetzt und für den nächsten Zeitschritt wiederverwendet.
   • Der nächste Zustand ($s_{t+1}$) wird deterministisch durch CNOT-Gatter vom vorherigen „Next-State"-Register in das aktuelle „State"-Register propagiert, um die zeitliche Kontinuität der Umweltzustände zu gewährleisten.

2. Quanten-native QMDP-Formulierung:

   • Die Umweltdynamik (Übergangswahrscheinlichkeiten) und die Belohnungsfunktion werden vollständig im quantenmechanischen Hilbert-Raum kodiert.
   • Übergangswahrscheinlichkeiten werden durch parametrisierte Rotationsgatter ($R_y(\theta)$) realisiert, deren Winkel basierend auf den klassischen Wahrscheinlichkeiten berechnet werden.
   • Belohnungen werden konditional in ein separates Quantenregister kodiert.

3. Grover-basierte Trajektorienoptimierung:

   • Die kumulierte Belohnung (Return) wird über einen gesamten Pfad hinweg kohärent in einem Quantenregister akkumuliert.
   • Anschließend wird der Grover-Algorithmus (Amplitude Amplification) angewendet, um Trajektorien mit dem maximalen Return zu markieren und deren Wahrscheinlichkeit bei der Messung zu erhöhen.
   • Dies ermöglicht die Identifizierung der optimalen Strategie (Policy) innerhalb eines einzigen quantenmechanischen Optimierungsprozesses, ohne klassische Nachverarbeitung der gemessenen Trajektorien.

Wesentliche Beiträge

1. Paradigmenwechsel in der Skalierung: Das Paper beweist, dass die lineare Qubit-Skalierung ($O(T)$) keine inhärente Eigenschaft von QMDPs ist, sondern eine Folge statischer Schaltkreis-Architekturen. Durch dynamische Ausführung wird die Komplexität auf konstante Qubits ($O(1)$) reduziert, unabhängig von der Länge des Planungshorizonts.
2. Korrektheitserhaltende Transformation: Es wird gezeigt, dass die dynamische Ausführung mit Qubit-Wiederverwendung die exakte Verteilung der Trajektorien und die optimale Policy-Struktur der statischen Referenzimplementierung reproduziert. Es handelt sich also nicht um eine heuristische Approximation, sondern um eine äquivalente, aber ressourcenschonendere Implementierung.
3. Integration auf NISQ-Hardware: Das Framework wurde erfolgreich auf einem IBM Heron-Prozessor (133 Qubits, ibm_torino) implementiert. Es demonstriert die Machbarkeit von dynamischen Schaltkreisen mit Mid-Circuit-Messungen und Resets unter realen Rauschbedingungen.
4. Einheitlicher Quantenprozess: Die Kombination aus dynamischer QMDP-Interaktion und Grover-Suche schafft eine vollständig quanten-native Pipeline, die Trajektorienbewertung und Policy-Identifikation vereint.

Ergebnisse

• Ressourceneffizienz: Für ein Benchmark-Problem mit einem Horizont von $T=3$ Schritten reduzierte sich der benötigte Qubit-Bedarf von 21 Qubits (statisch, $7 \times 3$) auf 7 Qubits (dynamisch). Dies entspricht einer Reduktion von 66 %.
• Funktionale Äquivalenz: Simulationen zeigten, dass die dynamische Implementierung die identische Menge an Trajektorien, Übergangswahrscheinlichkeiten und Belohnungsverteilungen wie die statische Referenz erzeugt.
• Hardware-Validierung: Die Ausführung auf dem IBM-Heron-Prozessor bestätigte die theoretischen Vorhersagen. Trotz Rauschen und Hardware-Unvollkommenheiten konnten die optimalen Trajektorien (mit maximalem Return) erfolgreich gesampelt werden.
• Grover-Verstärkung: Der Grover-Algorithmus konnte in der Simulation die Wahrscheinlichkeit für die optimalen Trajektorien (Return '1000') signifikant erhöhen. Auf der Hardware war das Signal zwar verrauschter, aber die optimalen Pfade waren dennoch nachweisbar.

Bedeutung und Ausblick

Das vorgestellte Framework überwindet eine der größten Hürden für skalierbares Quanten-Reinforcement Learning auf aktuellen Hardware-Plattformen.

• Skalierbarkeit: Durch die Entkopplung der Interaktionstiefe von der physischen Qubit-Anzahl werden längere Planungszeiträume auf NISQ-Geräten möglich, was bisher unmöglich war.
• Praxisrelevanz: Die Arbeit liefert einen konkreten Weg, wie dynamische Schaltkreise (Mid-Circuit Measurement/Reset) genutzt werden können, um Hardware-Beschränkungen zu umgehen, ohne die algorithmische Korrektheit zu opfern.
• Zukunft: Obwohl die Methode vielversprechend ist, bleiben Herausforderungen wie die Akkumulation von Mess- und Reset-Fehlern über viele Zeitschritte sowie die Notwendigkeit von Fehlerminderungsstrategien bestehen. Dennoch legt das Paper den Grundstein für zukünftige, vollständig quantenmechanische RL-Systeme, die komplexe Entscheidungsprobleme in der realen Welt lösen können.

Zusammenfassend stellt diese Arbeit einen Meilenstein dar, der zeigt, dass durch intelligente Architekturentscheidungen (dynamische Schaltkreise) die Skalierbarkeitsgrenzen aktueller Quantenhardware für fortgeschrittene Lernalgorithmen signifikant verschoben werden können.