Technisches Resümee: Diagnose von Simulations- und Hardware-Barrieren beim Größen-Transfer in äquivariantem Quanten-Reinforcement-Learning

1. Problemstellung

Die vorliegende Arbeit befasst sich mit der Skalierbarkeit und Transferierbarkeit von Quanten-Reinforcement-Learning (QRL) für kombinatorische Optimierung, spezifisch für das euklidische Traveling Salesman Problem (TSP). Während Äquivariante Quantenschaltkreise (EQCs) eine parametereffiziente Architektur bieten, bei der die Anzahl der trainierbaren Parameter unabhängig von der Problemgröße (z. B. Anzahl der Städte) ist, bleibt es ungeklärt, ob auf kleinen Instanzen trainierte Policies erfolgreich auf größere Instanzen übertragen werden können unter realistischen Ausführungsbedingungen.

Die zentrale Forschungsfrage lautet: Können Parameter $\theta_n$, die auf kleinen $n$-Städte-Instanzen trainiert wurden, auf größere $m$-Städte-Instanzen ($m > n$) unter Verwendung derselben EQC-Architektur ohne erneutes Training übertragen werden, und übersteht dieser Transfer den Übergang von der idealisierten Simulation zum verrauschten Hardware-Betrieb?

Die Autoren stellen explizit klar, dass sie keinen Quantenvorteil beanspruchen. Stattdessen nutzen die Studie die klassisch simulierbare Natur der spezifischen EQC-Architektur als diagnostisches Werkzeug, um einen strengen Standard für die Bewertung zukünftiger QRL-Behauptungen zu etablieren.

2. Methodik

Theoretischer Rahmen

Die Autoren entwickeln eine bedingte diagnostische Transfer-Schranke, um die Zero-Shot-Transferleistung zu analysieren.

• Fehlerzerlegung: Der Leistungsabfall ($D_{n \to m}$) beim Transfer von Größe $n$ auf $m$ wird zerlegt in:
  1. Parametrische Diskrepanz: Resultierend aus der Skalierung der Schaltkreis-Generatoren (z. B. $1/n$ vs. $1/m$).
  2. Strukturelle Glattheit: Resultierend aus der Änderung der zugrunde liegenden Problemgeometrie und der Glattheit der Policy-Landschaft.
• Annahmen: Die Schranke stützt sich auf Annahmen bezüglich gemeinsamer Äquivarianz, Generalisierung der Rollout-Quelle und „gelifteter Policy-Glattheit“ (motiviert durch das Beardwood–Halton–Hammersley-Theorem, aber nicht daraus abgeleitet). Die Schranke ist darauf ausgelegt, Skalierungsstrukturen zu identifizieren, anstatt exakte numerische Lücken vorherzusagen.

Experimentelle Pipeline

Die Studie verwendet eine fünfstufige, protokoll-angepasste Evaluierungspipeline, um das Transferverhalten von Backend-Artefakten zu isolieren. Dieselben trainierten EQC-Checkpoints werden über verschiedene Backends hinweg ausgeführt:

1. Statevector-Simulation: Exakte Simulation (Ground Truth).
2. Matrix Product State (MPS) Simulation: Tensor-Netzwerk-Simulation mit variierenden Bindungsdimensionen ($\chi$).
3. Verrauschte Simulation: Simulation unter Einbeziehung von Rauschmodellen, die von IBM-Hardware abgeleitet sind.
4. Hardware-Emulation: Quantinuum H-Serie rauschfreier Emulator.
5. Reale Hardware: Ausführung auf Quantinuum Trapped-Ion-Geräten (H2-2, Helios-1) sowie eine plattformübergreifende Kampagne unter Einbeziehung supraleitender Geräte (IBM, Rigetti, IQM).

Die verwendete EQC-Architektur ist der Skolik et al. Ansatz der Tiefe $L=1$, der einen Qubit pro Stadt, All-to-All-Verschränkung via $ZZ$-Interaktionen und Node-Mixing $RX$-Rotationen aufweist. Entscheidend ist, dass bei $L=1$ die Policy nur zwei trainierbare Skalare ($\beta, \gamma$) besitzt, unabhängig von $n$.

3. Kernbeiträge

A. Diagnostischer Rahmen für den Größen-Transfer

Die Arbeit etabliert einen theoretischen Rahmen, der strukturelle Problemänderungen von der Policy-Sensitivität trennt. Es wird eine Transfer-Schranke hergeleitet, die die Zielleistung mit der Quellleistung, der parametrischen Diskrepanz und der strukturellen Glattheit in Beziehung setzt. Dieser Rahmen ist explizit „diagnostisch“ konzipiert, um zu erklären, warum ein Transfer fehlschlägt, statt einen Erfolg zu garantieren.

B. Protokoll-angepasste Multi-Backend-Evaluierung

Dies ist die erste Studie, welche identische QRL-Checkpoints über ein Spektrum von Backends (exakt, Tensor-Netzwerk, verrauscht, Emulator und Hardware) unter kontrollierten, protokoll-angepassten Bedingungen evaluiert. Diese Methodik entkoppelt das echte Transferverhalten von Artefakten, die durch spezifische Simulatoren oder Hardware-Rauschen eingeführt werden.

C. Identifizierung von drei unabhängigen Barrieren

Die Studie isoliert drei distinkte Barrieren, die die skalierbare Ausführung dichter All-to-All-EQCs verhindern:

1. Barriere B1 (Backend-induzierter Signalverlust): In Tensor-Netzwerk-Simulationen (MPS) erzeugt die All-to-All-Verschränkung ein Verschränkungswachstum, das Niedrig-Bindungsdimension-Approximationen ungültig macht. Selbst ohne Transfer (gleiche Größe) zerstören die Trunkierungsfehler bei $\chi=64$ die Policy-Qualität (z. B. 85 % Gap bei $n=20$), was die Simulation unzuverlässig macht, noch bevor der Transfer überhaupt getestet wird.
2. Barriere B2 (Degradation durch Größen-Transfer): Selbst mit einem perfekten Backend sinkt die Leistung mit zunehmendem Größenunterschied ($m-n$) stetig, aber erheblich ab. Dies steht im Einklang mit der theoretischen Transfer-Schranke, bei der die Strafe mit dem relativen Größenunterschied und der strukturellen Glattheit skaliert.
3. Barriere B3 (Penalty durch endliche Shot-Ausführung): Auf Hardware liegen die Unterschiede zwischen Kandidaten-Aktionen (Action Margins) unterhalb der Shot-Noise-Schwelle.
   • Mechanismus: Die Greedy-Entscheidungs-Margen liegen bei $\sim 6 \times 10^{-3}$, während die Shot-Noise-Schwelle bei 4.096 Shots bei $\sim 1,6 \times 10^{-2}$ liegt.
   • Resultat: Greedy-Entscheidungen werden statistisch nicht mehr aufgelöst. Eine Erhöhung der Shots hilft nur bis zu einem gewissen Punkt; jenseits des Crossover-Punktes dominiert der Gate-Error-Bias.
   • Quantifizierung: Die Transfer-Lücke bläht sich von $\sim 5\,\%$ (Statevector) auf $31,3\,\%$ (rauschfreier Emulator, nur Sampling-Noise) und $45,3\,\%$ (Hardware) auf.

4. Kernergebnisse

• Validiertes Regime: Innerhalb kleiner Größen-Sprünge (z. B. $5 \to 10$ Städte) und in der exakten Simulation übertrifft der Zero-Shot-Transfer das Training von Grund auf für die Zielgröße in allen Evaluierungen.
• MPS-Limitierungen: Für $n=20$ führt eine Bindungsdimension von $\chi=64$ zu einem 85 % Optimality-Gap aufgrund von Trunkierungsfehlern, während $\chi=256$ erforderlich ist, um nahezu exakte Performance wiederherzustellen. Dies zeigt, dass Standard-MPS-Simulationen für All-to-All-EQCs bei moderaten Größen unzureichend sind.
• Hardware-Performance:
  • Quantinuum (Trapped-Ion): Erreichte einen mittleren Gap von $45,3\,\%$. Die All-to-All-Konnektivität der Trapped-Ionen (45 native Zwei-Qubit-Gates) bewahrte einen Teil der Policy-Struktur, wodurch der Gap etwa halb so groß war wie der einer Zufalls-Tour (92,5 %).
  • Supraleitende Systeme (IBM, Rigetti, IQM): Unmitigated (unkorrigierte) Geräte litten unter massiver Degradation (108–125 % Gap) und performten nicht besser als Zufalls-Touren. Dies wurde auf den SWAP-Overhead zurückgeführt, der zur Abbildung der All-to-All-Konnektivität auf begrenzte Lattice-Topologien erforderlich ist, was die Anzahl der nativen Zwei-Qubit-Gates auf 153–172 aufblähte.
  • Mitigation: Ein vollständig mitigiertes IBM-Gerät reduzierte den Gap auf $67,8\,\%$, was zeigt, dass Error Mitigation die Konnektivität teilweise ersetzen kann, aber die durch Gate-Fehler in High-Gate-Count-Schaltkreisen verlorene Policy-Struktur nicht vollständig wiederherstellen kann.
• Shot-Budget: Eine Erhöhung der Shots über den Crossover-Punkt hinaus (wo Shot-Noise die Action Margin trifft) verbesserte die Performance auf supraleitenden Geräten nicht, was bestätigt, dass der Fehlermodus von statistischer Varianz zu systematischem Gate-Error-Bias wechselte.

5. Bedeutung und Ansprüche

Die Arbeit beansprucht explizit keinen Quantenvorteil. Die untersuchte EQC-Architektur ist klassisch simulierbar (via Lie-algebraischer Methoden), und die Autoren nutzen diese Simulierbarkeit als „Messinstrument“, um die Ground Truth zu etablieren.

Die Bedeutung der Arbeit liegt in:

1. Etablierung eines diagnostischen Standards: Sie bietet eine rigorose, reproduzierbare Methodik zur Bewertung von QRL-Behauptungen und betont, dass „Transfer in der idealisierten Simulation“ nicht mit „skalierbarer Ausführung“ gleichzusetzen ist.
2. Identifizierung der Ursache: Die Studie schreibt das Scheitern des Größen-Transfers und der Hardware-Ausführung nicht dem Lernalgorithmus selbst zu, sondern der topologischen Quelle der Architektur: der dichten All-to-All-Konnektivität. Diese Konnektivität verursacht Verschränkungswachstum (B1), parametrische Diskrepanz (B2) und übermäßige Gate-Counts, die zur Dominanz des Rauschens führen (B3).
3. Zukünftige Richtung: Die Autoren kommen zu dem Schluss, dass der Weg zu skalierbarem Quanten-Optimierung in diesem Bereich über sparse (dünnbesetzte) equivariant circuit designs führt. Die Reduzierung der Konnektivität wird als notwendige architektonische Lösung präsentiert, um gleichzeitig alle drei identifizierten Barrieren zu mildern.

Zusammenfassend dient die Arbeit als vorsichtige und diagnostische Studie, die zeigt, dass trotz des theoretischen Versprechens von Größen-unabhängigem Transfer durch equivariante Priors, aktuelle dichte Ansätze aufgrund von Verschränkungsskalierung und Shot-Noise-Limitierungen vor unüberwindbaren Barrieren in Simulation und Hardware stehen.