Technische Samenvatting: Reinforcement Learning voor Syndroomextractie

Probleemstelling

Quantumfoutcorrectie (QEC) vertrouwt op syndroomextractie om fouten in logische qubits te detecteren en te corrigeren. Een cruciale subtaak is het bepalen van het optimale syndroomextractieschema, dat de volgorde van CNOT-poorten binnen elke stabilizer-check en de timing van deze poorten specificeert.

De zoekruimte voor deze schema's is enorm. Voor een code met $m$ checks waarbij check $i$ betrokken is bij $w_i$ data-qubits, is het aantal mogelijke CNOT-volgordes $\prod_{i=1}^m w_i!$. Bijvoorbeeld, een afstand-5 geroteerde surface code heeft ongeveer $3,1 \times 10^{24}$ mogelijke volgordecombinaties. Hoewel het ideale gedrag van een check onafhankelijk is van de CNOT-volgorde, bepaalt de volgorde in een ruisige omgeving hoe ancilla-fouten naar data-qubits propageren (het creëren van "hook errors"). Gevolgen hiervan zijn dat verschillende schema's zeer verschillende Logische Foutensnelheden (LER) opleveren.

De kernuitdaging is een zoekprobleem: vind een schema dat de LER minimaliseert. Eerdere state-of-the-art tools kampen met een afweging tussen oplossingskwaliteit en schaalbaarheid:

• AlphaSyndrome gebruikt Monte Carlo Tree Search (MCTS) om hoogwaardige schema's te vinden, maar schaalt slecht naar grote code-afstanden.
• PropHunt gebruikt Maximum Satisfiability (MaxSAT) om naar grotere codes te schalen, maar produceert vaak schema's met aanzienlijk hogere LER's vergeleken met handontworpen of door MCTS geoptimaliseerde schema's.

Bovendien is het evalueren van schema's computationeel duur omdat logische fouten zeldzame gebeurtenissen zijn. Directe Monte Carlo-sampling vereist een onhaalbaar groot aantal shots om LER's voor hoogwaardige schema's nauwkeurig te schatten.

Methodologie: FastSched

De auteurs introduceren FastSched, een tool die Reinforcement Learning (RL) voor zoektochten combineert met Importance Sampling (IS) voor evaluatie om de afweging tussen kwaliteit en schaalbaarheid te overwinnen.

1. Reinforcement Learning Formulering

Het schema-syntheseprobleem wordt gemodelleerd als een Markov Decision Process (MDP):

• Toestand ($s_i$): Codeert het gedeeltelijke schema, inclusief de geschiedenis van de gekozen CNOT-volgordes voor voorgaande checks, de codestructuur (support matrix, check-typen), en de huidige check-index.
• Actie ($a_i$): Selecteert een specifieke CNOT-volgorde voor de huidige check $i$. De actieruimte is een vaste tabel van permutaties (alle permutaties voor kleine checks; een subset van 32 voor grotere checks).
• Beloning (Reward): De terminale beloning wordt afgeleid van de geschatte LER van het volledige schema. Om exploratie te stimuleren, wordt een exploratiebonus toegevoegd op basis van de inverse vierkantswortel van het aantal bezoeken.
• Algoritme: De auteurs gebruiken Proximal Policy Optimization (PPO) met een actor-critic architectuur. De actor stelt gate-volgordes voor, en de critic voorspelt de waarde van de toestand. Generalized Advantage Estimation (GAE) wordt gebruikt om krediet toe te wijzen aan eerdere gate-volgorde beslissingen op basis van de uiteindelijke LER.

2. Importance Sampling voor Evaluatie

Om de zeldzaamheid van logische fouten aan te pakken, gebruikt FastSched Importance Sampling tijdens de evaluatiefase:

• Amplificatie: In plaats van fouten te samplen onder het doelruismodel $P$, samplet het systeem onder een versterkte distributie $Q$ waar foutkansen zijn verhoogd (gecapped op 0,45) om logische fouten frequenter te maken.
• Weging: Elke gesamplede fout wordt gewogen door de likelihood ratio $W(x) = P(x)/Q(x)$ om een onbevooroordeelde schatter van de LER onder het oorspronkelijke ruismodel $P$ te leveren.
• Onbevooroordeeldheid: Het paper bewijst dat deze schatter onbevooroordeeld is voor een vaste sampling-budget.
• Adaptieve Stopzetting: Het systeem gebruikt de Effective Sample Size (ESS) van de foutbijdragen om te bepalen wanneer het samplingen van een kandidaat-schema moet stoppen, waarbij een balans wordt gezocht tussen informatieverandering en computationele kosten.

3. Post-Training Selectie en Verfijning

Na de training selecteert het systeem een definitief schema via een meerfasig proces:

1. Kandidatenpool: Het trainingsproces houdt een pool bij van maximaal 300 verschillende schema's met hun geschatte LER's.
2. Her-evaluatie: Een shortlist van kandidaten wordt opnieuw geëvalueerd met grotere sample-budgetten (en potentieel andere amplificatiefactoren) om de beste presteerders te onderscheiden.
3. Lokale Verbetering: Een optionele lokale zoekfase test wijzigingen in de CNOT-volgorde van enkele checks op de beste kandidaten. Wijzigingen worden geaccepteerd als de geschatte LER-verbetering groter is dan een gecombineerde standaardfout-drempelwaarde.

Belangrijkste Bijdragen

1. RL Formulering: Een nieuwe RL-benadering voor schema-synthese die gate-volgorde beleid leert om LER te minimaliseren, waarbij zij de vorige state-of-the-art methoden overtreft.
2. Importance Sampling Evaluator: Een schema-evaluator gebaseerd op importance sampling en toenemende sample-budgetten, die de computationele kosten van het evalueren van zeldzame logische fouten aanzienlijk vermindert.
3. Theoretische Garantie: Een bewijs dat de importance sampling-schatter onbevooroordeeld is onder een vast sampling-budget.

Resultaten

De auteurs evalueerden FastSched tegenover AlphaSyndrome en PropHunt over diverse kwantumcodes (surface codes, color codes, hyperbolic codes en LDPC-codes) met behulp van het Brisbane ruismodel.

• Gemiddelde Reducties:
  • Vergeleken met AlphaSyndrome: FastSched reduceerde de LER gemiddeld met 25,9% over 11 circuits.
  • Vergeleken met PropHunt: FastSched reduceerde de LER gemiddeld met 71,7% over 8 circuits.
• Schaalbaarheid (Afstand 15): Voor een geroteerde surface code met afstand $d=15$, bereikte FastSched een reductie in LER van 97,8% vergeleken met AlphaSyndrome.
  • FastSched LER: $3,62 \times 10^{-9}$
  • AlphaSyndrome LER: $1,68 \times 10^{-7}$
• Schaalbaarheid (Zoektijd): Onder gelijke tijdlimieten (10–30 minuten), vond FastSched consistent schema's met lagere LER's dan AlphaSyndrome over afstanden $d=3$ tot $d=15$. In contrast hiermee leverden PropHunt-zoektochten voor grotere afstanden vaak geen geoptimaliseerde schema's op binnen de tijdslimieten.
• Lage-Ruis Regime: Naarmate de fysieke foutensnelheden afnamen, groeide het voordeel van FastSched. Voor een surface code bij $d=5$ waarbij de fysieke ruis werd teruggebracht naar 1/32 van de baseline, was de LER van FastSched 391,3 keer lager dan die van AlphaSyndrome.

Betekenis en Claims

Het paper claimt dat FastSched succesvol het schema-syntheseprobleem aanpakt zonder een afruil te forceren tussen oplossingkwaliteit en schaalbaarheid. Door RL te combineren met efficiënte evaluatie via importance sampling, kan de tool de enorme ruimte van CNOT-volgordes verkennen om schema's te vinden die zowel handontworpen als eerder geautomatiseerde methoden aanzienlijk overtreffen.

De auteurs benadrukken dat de sleutel tot dit succes het bruikbaar maken van zeldzame logische fouten voor leren is. Ruis-amplificatie zorgt ervoor dat de RL-agent tijdens de training frequente feedbacksignalen ontvangt, terwijl importance weights ervoor zorgen dat deze signalen de prestaties op het doel (lage) ruisniveau nauwkeurig reflecteren. De resultaten suggereren dat het combineren van RL met importance sampling een levensvatbare en superieure strategie is voor het plannen van syndroomextractie, vooral wanneer kwantumcodes schalen naar grotere afstanden en lagere fysieke foutensnelheden.