Entanglement as a Structural Complexity Axis: A PAC-Bayesian View of Generalization in Quantum Policies and Value Functions

Technisches Resümee: Verschränkung als Achse der strukturellen Komplexität in Quanten-Policies

Problemstellung
Parametrisierte Quantenschaltkreise (PQCs) werden zunehmend als Policies und Value-Funktionen in der Quanten-Reinforcement-Learning (QRL) eingesetzt. Das Feld bleibt jedoch weitgehend empirisch, da Evaluierungen typischerweise nur den durchschnittlichen Ertrag (Average Return) berichten. Dies hinterlässt eine kritische theoretische Lücke: Es mangelt an einem fundierten Verständnis darüber, wann und warum eine Quanten-Policy generalisiert. Bestehende Generalisierungsschranken für Quantenmodelle stützen sich oft auf Parameterzahlen oder Gate-Anzahlen, welche die strukturellen Nuancen der Verschränkung nicht erfassen. Zudem hat bisher keine PAC-Bayesianische Analyse Verschränkung als determinierenden Komplexitätsfaktor für Quanten-Policies isoliert.

Methodik
Die Autoren schlagen ein PAC-Bayesianisches Framework vor, um eine Generalisierungsschranke für stochastische Quanten-Policies abzuleiten. Die zentrale methodische Innovation besteht darin, die Komplexitätsmetrik von der rohen Anzahl der Parameter ($d$) zur effektiven Dimension ($d_{\text{eff}}$) der durch den Schaltkreis induzierten Fisher-Geometrie zu verschieben.

1. Ableitung der PAC-Bayes-Schranke:

   • Die Autoren definieren eine stochastische Policy $\pi_Q$ über eine Gaußsche Posterior-Verteilung $Q = \mathcal{N}(\theta, \Sigma)$ über die Schaltkreisparameter, zentriert um die Initialisierung $\theta_0$.
   • Im Gegensatz zu Standard-Isotropie-Schranken wird die Posterior-Kovarianz $\Sigma$ durch die Fisher-Informationsmatrix (FIM), $\hat{F}(\theta)$, geformt, welche die lokale Krümmung der Verlustlandschaft erfasst.
   • Die resultierende Schranke (Theorem 2) enthält einen Komplexitätsterm, der aus dem Abstand zur Prior-Verteilung und der Fisher-effektiven Dimension besteht:
     $$d_{\text{eff}}(\gamma) = \log \det(I + \gamma \hat{F}) = \sum_{i=1}^d \log(1 + \gamma \lambda_i)$$
     wobei $\lambda_i$ die Eigenwerte der FIM sind.

2. Der Verschränkungsmechanismus:

   • Das Paper postuliert, dass für Single-Observable-Readouts (Standard in QRL) der Rang der FIM durch die Größe des rückwärts gerichteten Lichtkegels (Backward Light-Cone) des Readout-Observablen bestimmt wird.
   • Proposition 1 legt dar, dass das Hinzufügen von Verschränkungs-Gates diesen Lichtkegel erweitert, wodurch der Rang der FIM steigt und $d_{\text{eff}}$ selbst dann aufgebläht wird, wenn die Gesamtzahl der trainierbaren Parameter ($d$) unverändert bleibt.

3. Experimentelles Design:

   • Um Verschränkung von der Parameteranzahl zu isolieren, verwenden die Autoren ein festes Ansatz-Layout (Schichten von $R_Y$- und $R_Z$-Rotationen) und variieren nur die Verschränkungskonnektivität: Keine (keine CNOTs), Linear (CNOT-Kette) und Vollständig (All-to-All CNOTs).
   • Die Experimente decken überwachtes Klassifizieren (4–16 Qubits), einen Reward-only-kontextuellen Banditen (Ein-Schritt-RL) und Multi-Step-Value-Function-Generalisierung ab.
   • Kontrollvariablen sind die übereinstimmende Trainingsgenauigkeit, alternative Readout-Observablen, unterschiedliche Optimierer und die Ausführung auf echter IBM Heron Hardware.

Wesentliche Beiträge

1. Eine PAC-Bayes-Schranke für Quanten-Policies: Das Paper leitet eine Generalisierungsschranke ab, bei der der Komplexitätsterm die Fisher-effektive Dimension ($d_{\text{eff}}$) statt der Parameteranzahl ist. Diese Schranke ist gültig für stochastische Policies unter Markovschen Dynamiken.
2. Verschränkung als unabhängige Komplexitätsachse: Die Autoren zeigen, dass Verschränkung ein distinkter struktureller Faktor ist, der die Generalisierung steuert. Bei gleicher Parameteranzahl erhöht eine zunehmende Verschränkungskonnektivität monoton $d_{\text{eff}}$ und damit die Generalisierungslücke.
3. Empirische Validierung über Domänen hinweg: Die Studie bestätigt, dass verschränkte Schaltkreise schlechter generalisieren als nicht-verschränkte Schaltkreise mit identischer Parameteranzahl in:
   • Überwachtem Klassifizieren auf synthetischen und realen Datensätzen (Iris, Breast Cancer, Wine).
   • Kontextuellen Banditen (Reward-only RL).
   • Multi-Step-Value-Function-Regression.
   • Echter Quantenhardware (IBM Heron).

Ergebnisse

• Prädiktive Kraft: In einem Grid von 300 Konfigurationen zeigte die Fisher-effektive Dimension ($d_{\text{eff}}$) die stärkste Spearman-Korrelation mit der Generalisierungslücke ($\rho = 0,82$) und übertraf damit die rohe Parameteranzahl ($\rho = 0,45$) und die gelernten Parameternormen ($\rho = 0,73$).
• Generalisierungslücke: Für feste Parameteranzahlen (z. B. $d=16$) folgte die Generalisierungslücke der Ordnung: Keine < Linear < Vollständig. Beispielsweise hatte bei der überwachten Klassifizierung mit $N=64$ der "Vollständig" verschränkte Schaltkreis eine Lücke von 0,104, während der "Keine"-Schaltkreis eine Lücke von -0,01 (effektiv Null) aufwies.
• Ranking-Zertifikat: Obwohl die absolute numerische Schranke locker ist (innerhalb von $\approx 2,3\text{--}4,5\times$ der wahren Lücke), dient sie als robuster Ranking-Zertifikatsgeber. Sie ordnet Schaltkreise identischer Größe korrekt ein, eine Fähigkeit, die reinen Parameter-zählenden Schranken völlig fehlt.
• Readout-Abhängigkeit: Der Mechanismus ist "Readout-gated". Das Ersetzen eines lokalen Readouts ($\langle Z_0 \rangle$) durch einen globalen Readout ($\frac{1}{n}\sum \langle Z_i \rangle$) aktiviert Parameter in nicht-verschränkten Schaltkreisen, was deren $d_{\text{eff}}$ und Lücke erhöht und somit den Verschränkungskontrast bei kleinen Qubit-Zahlen absorbiert. Dies bestätigt, dass die Lücke durch die Anzahl der kausal an den Readout gekoppelten Parameter getrieben wird.
• Reale Hardware: Der Verschränkungs-Generalisierungs-Trade-off bleibt auf dem IBM Heron Prozessor unter realem Rauschen bestehen, wobei verschränkte Schaltkreise größere Lücken als nicht-verschränkte zeigen.
• Limitierungen: Der Effekt ist tiefen-gesteuert (eine einzelne Verschränkungsschicht ist für Single-Qubit-Readouts inert). In tiefen Schaltkreisen, die Barren Plateaus erreichen, flacht das Fisher-Spektrum ab, was $d_{\text{eff}}$ unterdrückt und den Mechanismus abschwächt. In End-to-End Multi-Step Policy Learning (REINFORCE) macht die hohe Varianz der Ertragsschätzungen eine vollständige Ordnung schwierig aufzulösen, obwohl der Trend bei kleinen Stichprobengrößen signifikant bleibt.

Bedeutung und Behauptungen
Das Paper definiert das Design von Quanten-Policies neu, weg von der reinen Expressivität hin zu einem Verschränkungs–Generalisierungs-Trade-off. Die Autoren behaupten, dass Verschränkung ein "zweischneidiges Schwert" ist: Sie erweitert den darstellbaren Funktionsraum, verursacht aber einen Generalisierungskosten-Faktor, den Analysen basierend auf Parameterzählung übersehen.

Der primäre Beitrag ist nicht eine vollständige Erklärung der Generalisierung in allen End-to-End QRL, sondern eine kontrollierte Studie, die zeigt, dass:

1. Verschränkung als eine unabhängige Achse der Komplexität fungiert.
2. Die Fisher-effektive Dimension die maßgebliche Größe für die Generalisierung in Quanten-Entscheidungsmodellen (Policies und Value-Funktionen) ist.
3. Designer die Verschränkung gegen ihre $d_{\text{eff}}$-Kosten "budgetieren" sollten, indem sie das sparsamste Verschränkungsmuster wählen, das die notwendige Trainingspassung erreicht, ohne übermäßige Komplexität aufzublähen.

Die Autoren betonen explizit, dass ihr stärkster Beweis aus Szenarien mit geringer Varianz stammt (Klassifikatoren, Value-Heads und Ein-Schritt-Policies), und behandeln das Paper als einen grundlegenden Schritt zum Verständnis der Generalisierung in Quanten-RL statt als eine vollständige Lösung für hochvariable Multi-Step-Policy-Learning-Prozesse.