Diagnosing Simulation and Hardware Barriers to Cross-Size Transfer in Equivariant Quantum Reinforcement Learning

Problemstellung

Kombinatorische Optimierungsprobleme (CO), wie das Traveling Salesman Problem (TSP), sind zentral für Logistik und Netzwerkdesign, aber NP-schwer, was exakte Lösungen für große Eingaben unpraktikabel macht. Während Reinforcement Learning (RL) und Quantum Reinforcement Learning (QRL) heuristische Strategien bieten, bleibt ein wesentliches Skalierbarkeitsproblem bestehen: Die meisten QRL-Methoden erfordern ein erneutes Training von Grund auf für jede neue Probleminstanz oder Größe.

Diese Arbeit untersucht, ob äquivariante Quantenschaltkreise (Equivariant Quantum Circuits, EQCs) – die Permutationssymmetrie kodieren, um sicherzustellen, dass die Parameteranzahl unabhängig von der Problemgröße bleibt – einen Zero-Shot Cross-Size Transfer ermöglichen können. Konkret untersuchen die Autoren, ob Parameter $\theta_n$, die auf kleinen $n$-Städte-TSP-Instanzen trainiert wurden, direkt auf größere $m$-Städte-Instanzen ($m > n$) ohne Retraining übertragen werden können und ob dieser Transfer unter realistischen Bedingungen auf Quantenhardware Bestand hat.

Methodik

Die Autoren verwenden eine fünfstufige, protokoll-angepasste Evaluierungspipeline, um die Effekte von Simulationsapproximationen, Rauschen und Finite-Shot-Sampling von echtem Transferverhalten zu isolieren. Die Studie nutzt die Skolik et al. [11] EQC-Architektur (Tiefe $L=1$, zwei trainierbare Skalare $\beta, \gamma$), angewandt auf euklidische TSP-Instanzen.

Die Pipeline verläuft durch:

1. Base Stage: Auswahl eines stabilen Trainingsrezepts (fixierte Beobachtungsskalierung, Berichterstattung des besten Checkpoints) auf einer 12-Knoten-Validierungsspur.
2. N1 (Source Policies): Training von Grund auf auf $n \in \{5, 10, 15, 20\}$ Städten unter Verwendung exakter Statevector-Simulation.
3. N2 (Exact Transfer): Evaluierung von Zero-Shot-Transfer und Fine-Tuning über verschiedene Größen hinweg (z. B. $5 \to 10$, $10 \to 15$) unter Verwendung exakter Statevector-Simulation.
4. N3 (Scaling Frontier): Erweiterung auf größere Größen ($n$ bis zu 100) mittels Matrix Product State (MPS) Simulation, verrauschter MPS (IBM-Rauschmodell) und High-Bond-Dimension-Sweeps, um die Grenzen der Simulationstreue zu charakterisieren.
5. N4 (Hardware-Execution): Ausführung derselben transferierten Policies auf Quantinuum Trapped-Ion-Hardware (H2-2, Helios-1) und Emulatoren, gefolgt einer Cross-Platform-Kampagne über fünf Geräte (Quantinuum, IBM, Rigetti, IQM), die zwei Qubit-Technologien und vier Anbieter abdecken.

** Theoretischer Rahmen**

Die Arbeit leitet eine bedingte diagnostische Transfer-Schranke für die erwartete Performance $P_m(\theta^*_n)$ auf einer Zielgröße $m$ ab, gegebenes Training auf Größe $n$. Die Schranke zerlegt den Leistungsabfall in:

• Source Generalization: Ein Term $G^{roll}_n(\delta)$, der die Lücke zwischen empirischer und wahrer Quell-Performance kontrolliert.
• Transfer Penalty ($D_{n \to m}$): Eine Summe aus:
  • Parametric Mismatch: Skaliert linear mit der $\ell_1$-Norm der Parameter und dem relativen Sprung der Größe $(m-n)/m$.
  • Structural Smoothness: Ein Term $\Psi(n, m)$ (modelliert als $\sqrt{m} - \sqrt{n}$ basierend auf der Beardwood–Halton–Hammersley-Skalierung), der die Glattheit der Policy über Graphgrößen hinweg repräsentiert.

Die Autoren merken explizit an, dass diese Schranke diagnostisch und im Worst-Case ist, dazu bestimmt, Skalierungsstrukturen zu identifizieren, statt numerische Lücken mit hoher Präzision vorherzusagen. Sie klären zudem, dass die spezifische EQC-Architektur (Modell B), die untersucht wurde, klassisch über Lie-algebraische Methoden (Modell A) simulierbar ist, und nutzen diese Simulierbarkeit als „Messinstrument“ (Ground Truth) statt einen Quantenvorteil zu beanspruchen.

Kernergebnisse

1. Validierter In-Regime Transfer

Innerhalb eines validierten Regimes (kleine Sprünge der Größe, z. B. $5 \to 10$) übertrifft der Zero-Shot-Transfer das Training auf der Zielgröße in allen sechs abgeschlossenen Evaluierungen. Der $5 \to 10$ Transfer erreichte eine mittlere Optimalitätslücke von 5,07 % und war damit besser als die von Grund auf trainierte Baseline. Dies deutet darauf hin, dass EQCs strukturelle Erkenntnisse kodieren, die über Skalen hinweg generalisieren, wenn der Sprung der Größe moderat ist.

2. Drei unabhängige Barrieren der Skalierbarkeit

Jenseits des validierten Regimes verhindern drei distinkte Barrieren, dass die dichte All-to-All-EQC-Architektur skaliert:

• Barriere B1: Backend-induzierter Signalverlust (Simulation/Trunkierung)

  • Beobachtung: In der MPS-Simulation verursacht eine Bond-Dimension von $\chi=64$ (Standard in vielen Studien) ein katastrophales Versagen für $n=20$ (mittlere Lücke 85,22 %), selbst bei Transfer gleicher Größe.
  • Ursache: Die All-to-All-Verschränkungsstruktur erzeugt ein Entanglement-Wachstum, das Low-Bond-Dimension-Approximationen ungültig macht. Der Trunkierungsfehler übersteigt die Signalmagnitude ($\langle Z_i Z_j \rangle$) und korrumpiert das Greedy-Action-Ranking.
  • Schwellenwert: Eine zuverlässige Policy-Genauigkeit erfordert $\chi \ge 256$, was für große $n$ rechnerisch prohibitiv ist.

• Barriere B2: Degradation des Cross-Size-Transfers (Große Sprünge)

  • Beobachtung: Die Performance degradiert stetig, aber substanziell, wenn der Sprung der Größe $|m-n|$ zunimmt (z. B. steigt die Lücke bei $5 \to 20$ auf ~12–18 %).
  • Ursache: Dies steht im Einklang mit der theoretischen Transfer-Schranke, getrieben durch Parametric Mismatch und strukturelle Verschiebungen. Während Fine-Tuning einen Teil der Performance wiederherstellen kann (z. B. sinkt die $15 \to 20$ Lücke von 13,9 % auf 10,6 % durch Fine-Tuning), reicht Zero-Shot-Transfer allein für große Sprünge nicht aus.

• Barriere B3: Finite-Shot-Execution Penalty (Hardware)

  • Beobachtung: Auf Hardware bläht sich die Lücke von ~5 % (Statevector) auf 31,3 % (noiseless Emulator mit 4096 Shots) und 45,3 % (reale Hardware) auf.
  • Ursache: Die Action-Margen (Differenzen zwischen den Kandidaten-Q-Werten) liegen unter der Shot-Noise-Schwelle ($1/\sqrt{N_s}$). Bei 4096 Shots liegt die Noise-Schwelle bei ~0,016, während die mittlere Action-Margin bei ~0,006 liegt. Folglich sind Greedy-Entscheidungen statistisch unaufgelöst (37 von 40 Entscheidungen hatten $z < 2$).
  • Cross-Platform Bestätigung: Eine Kampagne über fünf Geräte (Quantinuum, IBM, Rigetti, IQM) bestätigte, dass die Penalty durch die native Zwei-Qubit-Gate-Anzahl und Error Mitigation bestimmt wird, nicht durch das Shot-Budget.
    • Trapped-Ion (All-to-all, 45 Gates): 45,3 % Lücke.
    • Superconducting (Routed, 153–172 Gates, unmitigated): 108–125 % Lücke (effektiv zufällige Touren).
    • Superconducting (Mitigated, 172 Gates): 67,8 % Lücke.
  • Fazit: Eine Erhöhung der Shots allein löst das Problem nicht, da das Signal-zu-Rausch-Verhältnis fundamental durch die Gate-induzierte Bias und die geringe Per-Edge-Kontrast der dichten Observable-Familie begrenzt ist.

Bedeutung und Ansprüche

Die Autoren erheben keinen Anspruch auf einen rechnerischen Quantenvorteil. Die untersuchte EQC-Architektur ist klassisch simulierbar. Die Bedeutung der Arbeit liegt stattdessen in:

1. Etablierung eines diagnostischen Standards: Bereitstellung einer reproduzierbaren, protokoll-angepassten Methodik zur Evaluierung von Cross-Size-Transfer in QRL, die Transferverhalten von Simulator- oder Hardware-Artefakten trennt.
2. Identifizierung architektonischer Hindernisse: Demonstration, dass die kanonische dichte All-to-All-EQC-Ansatz fundamentale Barrieren (B1, B2, B3) aufweist, die in ihrer Konnektivität verwurzelt sind. Die All-to-All-Topologie macht effiziente Tensor-Netzwerk-Simulationen ungültig (B1), verschärft Transfer-Penalties (B2) und erzeugt Action-Margen, die auf aktueller Hardware zu klein sind, um aufgelöst zu werden (B3).
3. Aufzeigen eines Weges nach vorn: Die Ergebnisse motivieren sparse equivariant circuit designs als notwendige architektonische Korrektur, um alle drei Barrieren gleichzeitig zu lockern, anstatt sich lediglich auf höhere Shot-Budgets oder Error Mitigation zu verlassen.

Die Arbeit schließt mit der Feststellung, dass EQCs zwar einen vielversprechenden Inductive Bias für den Transfer bieten, ihre aktuelle dichte Implementierung jedoch ohne architektonische Modifikation nicht auf industriell relevante Größen auf bestehender Hardware skalierbar ist.