Qubit-centric Transformer for Surface Code Decoding

Titel: Qubit-centric Transformer for Surface Code Decoding

Auteurs: Seong-Joon Park, Hee-Youl Kwak, en Yongjune Kim.

---

1. Het Probleem

Voor betrouwbare, grootschalige kwantumcomputing is Kwantum Foutcorrectie (QEC) essentieel om logische informatie te beschermen tegen omgevingsruis en operationele imperfecties. Een cruciaal onderdeel van QEC is de decoder, die fouten schat op basis van gemeten syndromen (meetresultaten van stabilisatoren).

Bestaande methoden hebben echter beperkingen:

• Stabilisator-gerichte benadering: De meeste neurale netwerken (zoals CNN's en eerdere Transformer-varianten) werken op het niveau van stabilisatoren (syndroomruimte). Dit is een indirecte weergave, omdat logische fouten fundamenteel ontstaan door fysische fouten op de qubits, niet door de syndromen zelf.
• Schalingsproblemen: Traditionele klassieke algoritmen zoals Minimum Weight Perfect Matching (MWPM) en Belief Propagation (BP) met Ordered Statistics Decoding (OSD) kunnen trager zijn of variabele latentie hebben, wat problematisch is voor fault-tolerant computing.
• Informatieverlies: Een stabilisator-gerichte weergave mist vaak de directe fysieke connectiviteit tussen de qubits waar de fouten plaatsvinden.

2. Methodologie: De Qubit-centric Transformer (QCT)

De auteurs stellen een nieuwe architectuur voor, de Qubit-centric Transformer (QCT), die de decodeerperspectief verschuift van stabilisatoren naar de fysieke qubits. De architectuur bestaat uit de volgende kerncomponenten:

A. Qubit-centric Embedding Layer

In plaats van het volledige syndroom als input te nemen, wordt voor elke fysieke qubit $q_i$ een lokale weergave gemaakt:

• Er worden twee gelokaliseerde syndroomvectoren geconstrueerd: $\xi^Z_i$ en $\xi^X_i$. Deze bevatten alleen de meetuitkomsten van de Z- en X-stabilisatoren die direct aangrenzen aan qubit $q_i$.
• Deze spaarse vectoren worden via een volledig verbonden (FC) laag geprojecteerd naar dichte feature-tokens ($\phi^Z_i$ en $\phi^X_i$), waarbij ook leerbare positiële embeddings worden toegevoegd.

B. Merging Layer

Om de informatie te fuseren:

• De Z- en X-tokens voor elke qubit worden samengevoegd (concatenatie) tot een paar vector $u_i$.
• Een merging layer (een FC-laag) projecteert deze paren naar een uniforme qubit-token $x^{(0)}_i$ met dimensie $D_m$.
• Dit resulteert in een sequentie van tokens die direct corresponderen met de fysieke qubits, in plaats van met de stabilisatoren.

C. Transformer Blocks met Structure-Aware Masking

De qubit-tokens worden verwerkt door een reeks Transformer-blokken met self-attention. Een cruciale innovatie is de structure-aware mask matrix:

• In standaard Transformers kunnen alle tokens naar elkaar "kijken" (global attention).
• In QCT wordt een masker toegepast dat de self-attention beperkt tot qubits die minimaal één gemeenschappelijke stabilisator delen.
• Dit dwingt het model om zich te focussen op fysiek relevante buren en leert de lokale topologische structuur van de oppervlaktecode (surface code) efficiënter, wat de leerbaarheid en generalisatie verbetert.

D. Output

Het model voert een high-level decoding uit: het classificeert het syndroom in één van de vier logische foutklassen ($\bar{I}, \bar{X}, \bar{Z}, \bar{Y}$) voor de oppervlaktecode (waarbij $k=1$). De output is een waarschijnlijkheidsverdeling over deze klassen.

3. Belangrijkste Bijdragen

1. Paradigmaverschuiving: De eerste toepassing van een Transformer-architectuur die expliciet werkt vanuit een qubit-centric perspectief in plaats van een stabilisator-centric perspectief voor QEC.
2. Universele Architectuur: Een ontwerp dat de lokale topologie van de code integreert via een specifieke embedding en een merging-strategie, waardoor het schaalbaar is voor verschillende code-afstanden ($d$).
3. Structure-Aware Masking: Een innovatieve masking-methode die de fysieke connectiviteit van de oppervlaktecode in het attention-mechanisme verwerkt, wat leidt tot betere prestaties dan globale attention.
4. State-of-the-Art Prestaties: Het bereiken van een drempelwaarde (threshold) die zeer dicht bij de theoretische limiet ligt, wat een mijlpaal is voor neurale decoders.

4. Resultaten

De QCT is geëvalueerd op oppervlaktecodes (surface codes) met verschillende afstanden ($d=3$ tot $d=13$) onder een depolariserend ruismodel.

• Vergelijking met Bestaande Methoden:

  • QCT presteert significant beter dan klassieke algoritmen zoals MWPM en BP+OSD.
  • Het overtreft ook bestaande neurale decoders zoals FFNN (Feed-Forward Neural Networks) en CNN.
  • De prestatiekloof met andere methoden wordt groter naarmate de code-afstand ($d$) toeneemt, wat de schaalbaarheid van de architectuur aantoont.

• Drempelwaarden (Thresholds):

  • QCT Threshold: 18,1% onder depolariserende ruis.
  • Theoretische Limiet: ~18,9%.
  • BP+OSD Threshold: 17,00%.
  • MWPM Threshold: 14,7%.
  • QCT bereikt dus een drempel die zeer dicht bij de theoretische bovengrens ligt en aanzienlijk hoger is dan de huidige state-of-the-art klassieke en neurale baselines.

• Ablatie Studies:

  • Het verhogen van het aantal Transformer-blokken tot $N=8$ levert aanzienlijke verbeteringen op.
  • Het verwijderen van het structure-aware masker leidt tot een duidelijke prestatiedaling, wat aantoont dat het expliciet modelleren van de lokale topologie essentieel is.
  • De merging layer draagt bij aan een lagere logische foutkans (Logical Error Rate - LER) zonder een significante toename in complexiteit.

5. Betekenis en Conclusie

Dit werk markeert een belangrijke stap in de richting van fault-tolerant quantum computing. Door de decoder te laten focussen op de fysieke qubits en de lokale topologische relaties te respecteren via een Transformer-architectuur, overwint QCT de beperkingen van eerdere benaderingen.

De hoge drempelwaarde van 18,1% suggereert dat neurale decoders niet alleen theoretisch interessant zijn, maar ook praktisch superieur kunnen zijn aan gevestigde klassieke algoritmen. Dit opent de weg voor het gebruik van geavanceerde deep-learning modellen in toekomstige kwantumcomputersystemen, waarbij deterministische latentie en hoge betrouwbaarheid cruciaal zijn. De QCT biedt een schaalbaar en robuust raamwerk dat de weg effent voor praktische, hoogpresterende foutcorrectie in de kwantum-ère.