Post-Error Correction for Quantum Annealing Processor using Reinforcement Learning

Technische Samenvatting: Foutcorrectie na de Quantum Annealing Processor met behulp van Reinforcement Learning

Probleemstelling
Het vinden van de grondtoestand van de Ising-spinglas is een fundamenteel NP-hard probleem in de gecondenseerde materie met brede toepassingen in combinatorische optimalisatie, waaronder het handelsreizigersprobleem en eiwitvouwing. Hoewel quantum annealing (QA) een paradigma is dat goed geschikt is voor het oplossen van Quadratic Unconstrained Binary Optimization (QUBO) problemen, lijden commercieel beschikbare apparaten (specifiek de D-Wave 2000Q) aan inherente fouten. Deze omvatten thermische ruis die decoherentie veroorzaakt en programmeerfouten in koppelingscoëfficiënten ($J_{i,j}$) en biases ($h_i$). Bij gevolg is QA vaak niet in staat om de ware laag-energetische grondtoestanden te vinden, wat een post-processing foutcorrectieschema noodzakelijk maakt om de energie van de door de annealer geproduceerde toestanden te verlagen.

Methodologie
De auteurs stellen een post-processing raamwerk voor genaamd Simulated Annealing met Reinforcement (SAwR). Deze benadering combineert deep reinforcement learning (RL) met klassieke simulated annealing (SA) om fouten in QA-outputs te corrigeren zonder de overhead van meerdere fysieke qubits per logische qubit te vereisen (in tegenstelling tot traditionele quantumfoutcorrectie).

1. Reinforcement Learning Formulering:

   • Toestand ($s$): Vertegenwoordigt de Ising-instantie, inclusief de spinconfiguratie $\sigma$, koppelingssterktes $\{J_{i,j}\}$ en externe magnetische velden $\{h_i\}$.
   • Actie ($a$): Het omdraaien van een enkele spin $i$ (het veranderen van $\sigma_i$ van $+1$ naar $-1$ of vice versa). Elke spin kan maximaal één keer per episode worden omgedraaid.
   • Beloning ($r$): De verandering in energie ($\Delta E$) die voortvloeit uit de spinflip.
   • Doel: De agent leert een beleid (policy) om de verwachte return te maximaliseren, wat effectief een strategie leert om spins sequentieel om te draaien om een lagere energietoestand te bereiken.

2. Modelarchitectuur (DIRAC-geïnspireerd):
   Het systeem maakt gebruik van een Graph Neural Network (GNN) gebaseerd op de DIRAC-architectuur om de Ising-instantie te coderen.

   • Encoding: De Ising-instantie wordt behandeld als een graaf waarbij koppelingen de randgewichten (edge weights) zijn en spins/biases de knoopgewichten (node weights) zijn. Een gemodificeerd Spin Glass Neural Network (SGNN) voert message passing uit via edge-centrische en node-centrische updates om laag-dimensionale vector-embeddings voor elke node (spin) en de globale toestand te generen.
   • Decoding: Een feed-forward neuraal netwerk neemt de concatenatie van de toestand-embedding en een specifieke actie-embedding (node) en geeft een Q-waarde uit, die de verwachte toekomstige beloning schat voor het omdraaien van die specifieke spin.

3. De SAwR Procedure:
   Het algoritme begint met standaard Simulated Annealing. Naarmate de temperatuur daalt, wordt het Metropolis-Hastings criterium (dat energie-verhogende bewegingen probabilistisch accepteert) vervangen door een enkele pass van de getrainde RL-agent. De agent selecteert spins om te draaien op basis van de hoogste Q-waarden, waarbij de energietoestand na elke stap wordt geregistreerd. De uiteindelijke oplossing wordt gedefinieerd als de laagste energietoestand die tijdens deze procedure is aangetroffen.

Belangrijkste Bijdragen

• Nieuwachtig Post-Processing Schema: Introductie van SAwR, dat deep RL integreert met simulated annealing om QA-fouten te corrigeren.
• Schaalbaarheid: De methode vertoont een uitstekende schaalbaarheid. Het model is getraind op kleine Chimera-instanties (specifiek $C_3$, 72 spins) en is succesvol ingezet op aanzienlijk grotere instanties ($C_{16}$, 2048 spins) zonder hertraining, dankzij de graaf-niveau encoding mogelijkheden van de GNN.
• Architectuur Adaptatie: Adaptatie van de DIRAC-architectuur aan de specifieke beperkingen en topologie van de D-Wave 2000Q Chimera-graaf.

Experimentele Resultaten
De auteurs evalueerden SAwR tegenover standaard Simulated Annealing en een single-pass spin-flipping procedure (de RL-modellen alleen werkend) op 500 willekeurige Ising-instanties over vier Chimera-groottes ($C_4$ tot $C_{16}$).

• Succeskans: SAwR vertoonde een iets lagere waarschijnlijkheid om een lagere energietoestand te vinden vergeleken met standaard Simulated Annealing. Dit verschil was consistent over alle systeemgroottes, wat wijst op een systemische in plaats van een willekeurige variantie.
• Grootte van de Verbetering: Gemiddeld was SAwR in staat om een betere laag-energetische toestand te vinden dan standaard SA, hoewel het verschil niet statistisch significant was.
• Single-Pass Prestaties: De standalone RL-agent (single pass van spin flipping) presteerde slecht en behaalde slechts ongeveer een 1% succespercentage, wat het belang van de combinatie met de bredere zoekcapaciteiten van Simulated Annealing benadrukt.

Betekenis en Claims
Het artikel positioneert SAwR als een "proof-of-concept" die aantoont dat reinforcement learning kan worden toegepast om fouten in quantum annealer outputs te corrigeren. De auteurs erkennen expliciet dat de prestaties van SAwR op de Chimera-graaf momenteel inferieur zijn aan typische algoritmen zoals standaard Simulated Annealing.

De betekenis ligt niet in directe uitmuntendheid, maar in de demonstratie van schaalbaarheid en de levensvatbaarheid van het gebruik van RL voor post-foutcorrectie. De auteurs merken op dat de complexiteit van de echte wereld Chimera-graaf (vergeleken met de regelmatige roosters die in eerdere DIRAC-studies werden gebruikt) waarschijnlijk bijdraagt aan de prestatiekloof. Zij concluderen dat hoewel de huidige resultaten bescheiden zijn, het gebruik van reinforcement learning voor post-foutcorrectie een "open en veelbelovend onderzoeksveld" blijft, vooral naarmate D-Wave systemen evolueren naar complexere topologieën zoals Pegasus en Zephyr. Toekomstig werk suggereert het verkennen van architecturale wijzigingen (bijv. het scheiden van encoder en decoder training) en alternatieve RL-algoritmen (bijv. asynchrone methoden of Monte Carlo Tree Search).