Technische Samenvatting: Gatekeepers en Hallucinaties in LLM-gestuurde Kwantumcircuitgeneratie

Probleemstelling

Nu Large Language Models (LLM's) steeds vaker worden geïntegreerd in workflows voor kwantumsimulatie—als IDE-copilots, notebook-assistenten en agentische pipeline-orchestrators—is er een kritieke kloof in de evaluatie-infrastructuur. Huidige benchmarks richten zich vaak op syntactische correctheid of het genereren van uitvoerbare code. Echter, voor materiaalinformatieve Variational Quantum Eigensolver (VQE) taken liggen de belangen hoger: modellen moeten fysiek betekenisvolle beperkingen behouden, externe database-inputs (bijv. Materials Project) correct interpreteren en consistente ontwerpkeuzes handhaven over verschillende runs heen.

De auteurs identificeren dat fouten van LLM's in dit domein niet willekeurig zijn, maar gestructureerd en divers. Cruciaal is dat sommige foutmodi "stil" zijn: de output lijkt syntactisch geldig en plausibel, maar is fysiek incorrect (bijv. verkeerde moleculaire geometrie of niet-bestaande API-aanroepen). Naarmate de capaciteiten van modellen toenemen, stelt het paper dat de plausibiliteit van de output sneller kan toenemen dan de fysieke correctheid, wat het essentieel maakt om robuuste evaluatie-infrastructuur te hebben om de propagatie van fouten door dure kwantumsimulatie-pipelines te voorkomen.

Methodologie

Het paper stelt een gelaagd evaluatiekader voor dat herbruikbaar en model-agnostisch is, toegepast op de generatie van VQE-circuits voor materiaalinformatieve taken. Het kader bestaat uit drie afzonderlijke stadia:

1. Gatekeeper Screening: Een lichtgewicht, op een rubric gebaseerde screeningsfase die wordt toegepast voordat er wordt overgegaan tot dure materiaalinformatieve taken. Modellen worden getest op een basis-taak (het genereren van UCCSD-code voor H2/STO-3G/Jordan–Wigner) en beoordeeld op een schaal van 0–4 over zeven criteria:

   • Fysieke Validiteit
   • Handhaving van Symmetrie
   • Referentietoestand (Hartree–Fock)
   • Correlatie-targeting
   • Localiteit
   • Framework Correctheid
   • Kwaliteit van de Uitleg

2. Gestructureerde Foutentaxonomie & Circuitgetrouwheidsanalyse:

   • Ansatz Classificatie: Outputs worden geclassificeerd op basis van het ansatz-type dat daadwerkelijk in de code wordt geïnstantieerd, onafhankelijk van de claims van het model.
   • Fidelity Metrics: De modeloutputs worden vergeleken met twee referentietypen voor de H2/STO-3G/JW/UCCSD-casus:
     • Analytisch: Precies 3 variabele parameters (afgeleid uit eerste principes voor een (2e, 2o) actieve ruimte).
     • Referentie Implementatie: Specifieke gate-aantallen en diepte (bijv. diepte 73, 24 CX-gates) afgeleid van een specifieke Qiskit 1.2.x decompositie.
   • Foutentaxonomie: De auteurs categoriseren fouten in vijf verschillende modi op basis van detecteerbaarheid (stil, runtime, of evident).

3. Design Entropie (Gedragsconsistentie): Een nieuwe metriek die de genormaliseerde Shannon-entropie berekent van verschillende design-tuples (diepte, twee-qubit gate-aantal, parameter-aantal) over herhaalde runs. Dit meet of een model de designruimte breed verkent of convergeert naar een template-gestuurd gedrag.

Experimentele Opstelling:
De evaluatie werd uitgevoerd in een agentische workflow die de Materials Project integreert via een MCP-server. Meerdere fundamentele modellen (waaronder Claude Sonnet 4.5, Opus 4.1, Llama 3/4, DeepSeek R1, OpenAI OSS-120B, Nova Pro, en Qwen 3-32B) werden getest. Een forensische audit van de broncode van het evaluatieplatform werd uitgevoerd om de oorsprong van de outputs te verifiëren.

Belangrijkste Resultaten

1. Foutentaxonomie en Stille Fouten

De studie identificeerde vijf verschillende foutmodi:

• Geometrie Hallucinatie: Het genereren van geldige circuits voor het verkeerde molecuul.
• Niet-bestaand API Gebruik: Het aanroepen van methoden of importeren van modules die niet bestaan.
• Runtime Integratiefouten: Structureel correcte code die faalt door pipeline-crashes (bijv. null-returns van database-retrieval).
• Schending van Beperkingen: Het niet volgen van strikte output-contracten (bijv. het emitteren van chain-of-thought wanneer alleen code gevraagd werd).
• Plausibele maar Onverifieerbare Output: Het verstrekken van metrieken of samenvattingen zonder uitvoerbare code.

Cruciale Bevinding: De auteurs ontdekten dat twee modellen (Llama 3 70B en DeepSeek R1) ogenschijnlijk incorrecte "verkeerd-molecuul" code genereerden (CO in plaats van H2). Een forensische audit van de evaluatie-harness onthulde dat dit niet de generaties van het model waren. De modellen slaagden er niet in om extraheerbare code te emitteren (de één door token-uitputting, de ander door het ontbreken van een codeblok), wat een stille fallback-mechanisme in het platform triggerde dat een vooraf gegenereerde template met een onjuist opgeloste formule verving. Dit toonde aan dat de evaluatie-infrastructuur zelf een bron van stille fouten kan zijn, waarbij het zich voordoet als een fout van het model.

2. Circuitgetrouwheid en Parameter-aantallen

• Claude Sonnet 4.5 was het enige model dat een bevestigde, geëxecuteerde UCCSD-output produceerde die overeenkwam met alle referentiewaarden (3 parameters, diepte 73, 24 CX-gates).
• Claude Opus 4.1 genereerde structureel correcte UCCSD-code, maar de omliggende pipeline faalde door een TypeError in de response-handling laag (een runtime integratiefout).
• Andere Modellen: De meeste modellen rapporteerden parameter-aantallen die inconsistent waren met de eerste principes (bijv. Nova Pro rapporteerde 10 parameters, een fout van +233%). OpenAI GPT produceerde een plausibele API-aanroep, maar met fysiek inconsistente parameter-aantallen en gate-composities.

3. Design Entropie en Stabiliteit

• Entropie: Hoge entropie duidt op brede exploratie van circuit-designs, terwijl lage entropie wijst op template-gestuurd gedrag.
• Temperatuur Stabiliteit: Testen van Claude Sonnet 4.5 over verschillende sampling temperaturen ($T \in \{0.1, \dots, 1.0\}$) toonde aan dat het model een bijna identieke code-structuur en API-keuzes behield (structurele gelijkenis $\ge 0.96$ voor $T \ge 0.3$). Dit staat in contrast met algemene code-generatie bevindingen waar diversiteit toeneemt met temperatuur, wat suggereert dat er een domeinspecifieke inductieve bias is naar fysiek gefundeerde canonieke designs voor dit model.

Betekenis en Claims

Het paper claimt dat de primaire bijdrage niet het rangschikken van huidige modellen is, maar het vaststellen van een gedeelde vocabulaire en methodologie voor het karakteriseren van fouten die inherent zijn aan de taak van LLM-gestuurde kwantumcircuitgeneratie.

• Noodzaak van Gatekeepers: De auteurs stellen dat gatekeeper-achtige validatie een noodzakelijke waarborg, geen optie, is voor betrouwbare inzet. Naarmate modellen verbeteren, zullen stille fouten moeilijker te detecteren zijn, wat pre-commitment screening essentieel maakt.
• Infrastructuur Vertrouwensgrens: Een centrale claim is dat de evaluatie-harness binnen dezelfde vertrouwensgrens als de modellen thuishoort. Pipeline-niveau contaminatie (zoals stille template-substitutie) kan evaluatie-resultaten ongeldig maken, wat een forensische audit van de infrastructuur zelf noodzakelijk maakt.
• Analytische Verificatie: Het paper benadrukt dat fouten in het aantal parameters de meest toegankelijke enkele diagnose zijn. Omdat het correcte aantal variabele parameters voor specifieke systemen analytisch afleidbaar is, biedt dit een snelle, definitieve controle die geen circuit-executie vereist.
• Bescheiden Omvang: De auteurs blijven bescheiden over hun bevindingen. Ze merken op dat de observatie over temperatuurstabiliteit gebaseerd is op een enkel model en prompt ($n=5$) en als voorlopig moet worden beschouwd. Ze erkennen ook beperkingen, zoals single-rater rubric scoring en het feit dat het werkelijke gedrag van sommige modellen werd gehinderd door harness-fouten.

Concluderend biedt het kader een fundament voor transparante en reproduceerbare beoordeling van agentische kwantumtools, waarbij wordt benadrukt dat het funderen van LLM-gegenereerde code in fysieke beperkingen en externe schema's een hardnekkige uitdaging blijft die niet zal verdwijnen door schaalvergroting.