⚛️ quantum physics

AG-CoT: Verified Algorithmic Traces for LLM Program Synthesis on Clifford Circuits

Dit artikel toont aan dat het trainen van taalmodellen op geverifieerde Aaronson-Gottesman chain-of-thought-sporen, gecombineerd met verifier-gefilterde continuation training, de nauwkeurigheid van het synthetiseren van correcte Clifford-circuits voor kwantumfoutcorrectie aanzienlijk verbetert in vergelijking met circuit-alleen baselines.

Oorspronkelijke auteurs: Lu Wei, Yufeng Wang, Chenfeng Cao, Lu Pang, Haibin Ling

Gepubliceerd 2026-09-29

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Lu Wei, Yufeng Wang, Chenfeng Cao, Lu Pang, Haibin Ling

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

In het opkomende veld van quantumcomputing leren wetenschappers machines te bouwen die werken volgens de vreemde regels van de subatomaire wereld. Om deze machines te laten werken, moeten onderzoekers software schrijven — zogenaamde quantumcircuits — die minuscule eenheden informatie manipuleren om een specifieke, gewenste uitkomst te bereiken. Denk aan een quantumcircuit als een reeks instructies die een deeltje van een startpunt naar een precieze bestemming leidt. De uitdaging is dat deze instructies ongelooflijk fragiel zijn; één verkeerde stap kan het deeltje naar de verkeerde plek sturen, waardoor de hele berekening nutteloos wordt. Jarenlang hebben informaticus geprobeerd kunstmatige intelligentie te leren om deze circuits automatisch te schrijven, in de hoop dat machines de complexe logica zouden kunnen leren ontwerpen die nodig is voor quantumexperimenten. Echter, een grote hindernis bleef bestaan: een AI kan vaak code produceren die aan de oppervlakte perfect lijkt te zijn, alle grammaticale regels van de programmeertaal volgt en zelfs zonder fouten draait, maar toch faalt in het voorbereiden van de exacte quantumtoestand die nodig is. De code is geldig, maar het resultaat is fout.

Een nieuwe studie pakt dit specifieke probleem aan door zich te concentreren op een bepaald type quantumcircuit dat bekend staat als een Clifford-circuit. Deze circuits zijn bijzonder omdat ze krachtig genoeg zijn om nuttig te zijn voor foutcorrectie en andere kritieke taken, maar tegelijkertijd een unieke wiskundige eigenschap bezitten die ervoor zorgt dat ze met perfecte precisie gecontroleerd kunnen worden op een standaardcomputer. In tegen tegenstelling tot de meeste quantumsimulaties, die een onmogelijk groot aantal mogelijkheden moeten bijhouden, kunnen deze circuits exact en snel worden geverifieerd. De onderzoekers gebruikten dit voordeel om een trainingssysteem voor grote taalmodellen te creëren. In plaats van de AI simpelweg te vragen de uiteindelijke code te raden, leerden ze de AI om de tussenstappen te tonen. Het systeem vereiste dat de AI een stapsgewijs logisch spoor genereerde — een keten van redeneringen die uitlegt hoe de starttoestand getransformeerd kan worden naar de doeltoestand — voordat de AI de uiteindelijke programma mocht schrijven. Dit spoor werd vervolgens gecontroleerd door een strikte verifieerder, een digitale scheidsrechter die bevestigde of de logica klopte en of het resulterende circuit daadwerkelijk de juiste quantumtoestand voorbereidde. Alleen de voorbeelden waarbij de AI de logica en het uiteindelijke resultaat correct uitvoerde, werden behouden om het model verder te onderwijzen.

De resultaten van deze aanpak waren opmerkelijk. Toen de onderzoekers de AI testten op duizenden verschillende quantumdoelstellingen, presteerden de modellen die leerden met deze geverifieerde, stapsgewijze sporen aanzienlijk beter dan de modellen die alleen op de uiteindelijke code werden getraind. Voor een van de geteste modellen steeg het aantal correcte oplossingen van slechts een handvol naar meer dan tweehonderd uit dezelfde set problemen. In een ander modelgezin steeg het succespercentage van minder dan twee procent naar bijna negen procent. De studie toonde aan dat het tonen van het uiteindelijke antwoord aan de AI niet voldoende was; de AI moest de tussenliggende stappen van de transformatie begrijpen om het goed te doen. Bovendien ontdekten de onderzoekers dat zelfs wanneer de AI code produceerde die grammaticaal perfect en fysiek geldig was, het vaak nog steeds de verkeerde quantumtoestand voorbereidde. Deze kloof tussen een geldig programma en een correct resultaat is een cruciaal inzicht, dat bewijst dat het controleren van de syntaxis van code onvoldoende is voor quantumtaken. De meest succesvolle modellen waren de modellen die leerden van de geverifieerde sporen en vervolgens verder werden verfijnd door alleen getraind te worden op hun eigen succesvolle pogingen, wat een cyclus van verbetering creëerde die werd gedreven door exacte verificatie.

De onderzoekers verkenden ook of deze methode kon schalen naar veel grotere, krachtigere AI-modellen. Ze ontdekten dat hoewel deze grotere modellen bijna perfect code konden schrijven die de regels volgde en binnen de geldige familie van quantumcircuits bleef, ze nog steeds moeite hadden om de exacte doeltoestand te bereiken zonder de specifieke begeleiding van de spoorgebaseerde training. Zelfs met de meest geavanceerde modellen bleef het succespercentage voor het voorbereiden van de exacte toestand relatief laag, rond de zes procent bij enkelvoudige pogingen. Echter, wanneer de onderzoekers het model toestonden om voor elk probleem veel verschillende kandidaten te genereren en de verifieerder gebruikten om de beste te kiezen, verbeterde de dekking van de correcte oplossingen aanzienlijk. Dit suggereert dat hoewel de AI beter wordt in de mechanica van het schrijven van quantumcode, de ware moeilijkheid ligt in het diepe semantische begrip dat nodig is om te zorgen dat de code precies doet wat de bedoeling is. De studie concludeert dat voor AI om een betrouwbare partner te worden in het ontwerpen van quantumexperimenten, het niet alleen getraind moet worden om code te produceren, maar om code te produceren die strikt is geverifieerd op de juistheid van de uitkomst, waarmee de kloof wordt overbrugd tussen een programma dat draait en een programma dat werkt.

Technische Samenvatting: AG-COT: Geverifieerde Algoritmische Traces voor LLM Programmasynthese op Clifford-circuits

1. Probleemstelling

Het artikel adresseert een kritieke kloof in wetenschappelijke codegeneratie: het vermogen van Large Language Models (LLM's) om syntactisch geldige en uitvoerbare programma's te produceren die desondanks falen in het berekenen van het beoogde wetenschappelijke object. Terwijl executie-gebaseerde benchmarks de evaluatie hebben verschoven naar gedragsmatige correctheid, presenteert quantumprogrammasynthese een unieke uitdaging waarbij een circuit kan parsen, uitvoeren en fysiek geldig kan blijven (bijv. Clifford-geldig), maar toch de verkeerde quantumtoestand bereidt.

De auteurs richten zich op Clifford-circuits, die worden geconstrueerd uit Hadamard-, fase- en CNOT-gates. Deze circuits zijn significant omdat ze:

Stabilizer-toestanden voorbereiden, die essentieel zijn voor quantumfoutcorrectie en measurement-based quantum computing.
Exacte klassieke verificatie toelaten via het Aaronson–Gottesman-algoritme, wat efficiënte simulatie mogelijk maakt zonder $2^n$ amplitudes bij te houden.
Dienen als een gecontroleerde setting om te testen of het superviseren van het afleidingsproces (algoritmische traces) en het trainen op geverifieerde outputs de semantische correctheid verbeteren bovenop eenvoudige codegeneratie.

Eerdere benchmarks, zoals QCircuitBench, toonden aan dat zelfs state-of-the-art modellen (inclusief GPT-4o) een bijna nulvoudige fideliteit bereikten op Clifford state preparation-taken met standaard prompting, wat de moeilijkheidsgraad van de taak benadrukt.

2. Methodologie

Het voorgestelde framework, AG-COT, integreert exacte verificatie in de trainingslus via twee primaire mechanismen: Algorithmic Trace Supervision en Verifier-Filtered Continuation.

2.1 Doelrepresentatie en Verificatie

In plaats van volledige state vectors (die exponentieel groot zijn), worden targets gerepresenteerd als compacte gesigneerde stabilizer generators. Dit vermindert de promptlengte aanzienlijk (bijv. van ~16K tekens voor een 12-qubit state vector naar ~800 tekens voor de tableau).

De Verifier: Een geordende beslissingsketen controleert:
1. Syntactische Geldigheid ( $P(y)$ ): Parseert de output als OpenQASM?
2. Clifford-geldigheid ( $K(y)$ ): Kan het geparseerde circuit worden omgezet naar een Qiskit Clifford object?
3. Exacte Match:
  - Strict Label Match: Controleert of de gegenereerde stabilizer labels exact overeenkomen met de doel-labels.
  - State Equivalence ($StateEq$): Controleert of de gegenereerde toestand equivalent is aan de doeltoestand, waarbij verschillen in generator-basis worden genegeerd.

2.2 Trainingspipeline

Het trainingsproces omvat twee onderscheidende fasen:

AG-CoT Supervision (Algorithmic Trace):
- In plaats van alleen te trainen op het uiteindelijke OpenQASM-circuit, wordt het model gesuperviseerd met Aaronson–Gottesman (AG) chain-of-thought traces.
- Deze traces bestaan uit deterministische tableau-reductiestappen die, wanneer zij worden geïnverteerd, de juiste preparatie-circuit opleveren.
- De trainingsdata koppelt de target prompt aan een <think> blok dat de reductietrace bevat, gevolgd door het uiteindelijke OpenQASM-programma.
- Constructie: Voor de 32B studie worden traces afgeleid van referentie-circuits. Voor de 3B/7B studies worden traces direct geconstrueerd vanuit gesigneerde stabilizer generators door de tableau te voltooien, reductie toe te passen, de stappen te inverteren en te compileren naar de toegestane gate set.
- Alleen paren waarbij de verifier het uiteindelijke circuit accepteert, worden opgenomen in de trainingsset.
Verifier-Filtered Continuation (Rejection Sampling Fine-Tuning - RFT):
- Na de initiële AG-CoT training genereert het model zijn eigen outputs.
- De verifier filtert deze generaties en behoudt alleen degenen die de exacte state equivalence check passeren.
- Het model ondergaat verdere supervised fine-tuning op deze gefilterde set van zijn eigen succesvolle generaties.

2.3 Experimentele Opstelling

Modellen: Experimenten werden uitgevoerd op Qwen2.5-3B-Instruct, Mistral-7B-Instruct-v0.3, en Qwen2.5-Coder-32B-Instruct.
Baselines: Vergeleken met Direct SFT (circuit-only supervisie) en Zero-shot baselines.
Metrieken: Geëvalueerd op syntactische geldigheid, Clifford-geldigheid, strikte label matching, state equivalence, en Pass@N (zoekdekking).

3. Belangrijkste Bijdragen

Algorithmic Trace Supervision: Het artikel demonstreert dat het superviseren van modellen met verifier-gecontroleerde AG-CoT traces de semantische correctheid aanzienlijk verbetert. Deze aanpak koppelt het uitgegeven circuit aan de specifieke reductiestappen die het produceerden, waardoor het model het syntheseproces leert in plaats van alleen het outputformaat.
Verifier-Filtered Continuation: De auteurs laten zien dat het voortzetten van de training op de door de verifier geaccepteerde outputs van het model een consistente, zij het kleinere, winst oplevert ten opzichte van de trace-gesuperviseerde baseline.
Compacte Targetrepresentatie: Het werk vestigt een pipeline waarbij targets worden gespecificeerd via gesigneerde stabilizer generators, wat exacte verificatie mogelijk maakt en de prompt-overhead vermindert terwijl de volledige semantische precisie behouden blijft.
Uitgebreide Evaluatie: De studie scheidt syntactische geldigheid, Clifford-geldigheid en state equivalence om aan te tonen dat geldige quantumcode vaak faalt in het voorbereiden van de juiste toestand, wat de noodzaak van exacte verificatie bevestigt.

4. Resultaten

4.1 Gecontroleerde Vergelijkingen (3B en 7B Modellen)

Op een hold-out set van 3.661 targets:

Qwen2.5-3B:
- Direct SFT behaalde 0,90% taaksucces (33/3.661).
- AG-CoT SFT verhoogde het succes naar 5,49% (201/3.661), een winst van 4,59 procentpunt.
- De verifier-gefilterde RFT-versies behaalden 5,74%–5,87% (210–215 successen).
Mistral-7B:
- Direct SFT behaalde 1,94% (71/3.661).
- AG-CoT SFT verhoogde het succes naar 8,63% (316/3.661), een winst van 6,69 procentpunt.
- RFT behaalde 8,80% (322/3.661).
Statistische Significantie: McNemar-testen bevestigden dat de winsten van AG-CoT supervisie ten opzichte van Direct SFT zeer statistisch significant zijn ( $p < 10^{-48}$ voor Qwen, $p < 10^{-72}$ voor Mistral). De winsten van RFT waren kleiner en minder uniform significant.

4.2 32B Studie

Syntaxis en Geldigheid: Gesuperviseerde modellen behaalden bijna perfecte syntactische en Clifford-geldigheid (~99,9%), terwijl Zero-shot modellen moeite hadden (<40%).
State Equivalence: Ondanks hoge geldigheid, behaalde het sterkste directe model (RFT-v1) slechts 6,14% state equivalence.
Zoekdekking: Het gebruik van verifier-gestuurde selectie met 64 kandidaten per target (Best-of-64), verhoogde de dekking voor Basic AG-CoT naar 10,07% onder state equivalence, wat aantoont dat zoekprocessen meer correcte circuits kunnen terugvinden dan enkelvoudige outputgeneratie.
Foutanalyse: Trace-getrainde modellen produceerden fouten met lagere "constraint deficits" (minder ontbrekende onafhankelijke target constraints) vergeleken met circuit-only modellen, wat suggereert dat ze meer targetinformatie behouden, zelfs wanneer ze falen.

5. Betekenis en Claims

Het artikel claimt dat algoritmische trace supervisie en verifier-filtered continuation effectieve, complementaire strategieën zijn voor het verbeteren van de semantische correctheid van LLM's in wetenschappelijke codegeneratie.

Noodzaak van Exacte Verificatie: De hardnekkige kloof tussen Clifford-geldigheid (syntaxis/fysica) en state equivalence (semantische correctheid) bevestigt dat syntactische geldigheid onvoldoende is. Een circuit kan fysiek geldig zijn maar de verkeerde toestand voorbereiden; daarom is exacte verificatie noodzakelijk voor trainingssignalen.
Waarde van Afleiding: Het superviseren van de afleiding (de AG-CoT trace) naast de uiteindelijke output levert substantiële winst op ten opzichte van het superviseren van enkel de output. Dit suggereert dat LLM's profiteren van het leren van de tussenliggende redeneerstappen van het synthesealgoritme.
Schaalbaarheid: De methoden tonen consistente verbeteringen aan over verschillende modelfamilies (3B, 7B, 32B), hoewel de absolute succespercentages bescheiden blijven (enkel cijfers), wat aangeeft dat hoewel de aanpak effectief is, de taak van quantumcircuitsynthese een uitdaging blijft voor huidige LLM's.

De auteurs concluderen dat deze resultaten de weg wijzen naar het gebruik van algoritmische supervisie en verifier-gefilterde data als een pad naar meer betrouwbare wetenschappelijke codegeneratie, met name in domeinen waar exacte verificatie computationeel haalbaar is.