A Protocol-Guided LLM Agent for Quantum Program Synthesis and Execution

In het opkomende veld van quantum computing proberen wetenschappers machines te leren problemen op te lossen die onmogelijk zijn voor de huidige supercomputers van vandaag. Om dit te doen, schrijven ze programma's die een quantumprocessor instrueren om minuscule deeltjes materie te manipuleren, gebruikmakend van hun unieke vermogen om tegelijkertijd in meerdere toestanden te bestaan. Het schrijven van deze programma's is echter berucht moeilijk. Het vereist een diep begrip van zowel informatica als de vreemde natuurwetten die de quantumwereld beheersen. Onlangs zijn onderzoekers begonnen met het gebruik van large language models — geavanceerde kunstmatige intelligentiesystemen getraind op enorme hoeveelheden tekst — om te helpen bij het schrijven van deze code. Deze AI-agenten kunnen een menselijk verzoek, zoals "vind de energie van dit molecuul", vertalen naar een reeks instructies voor een quantumcomputer. De hoop is dat deze AI-tools het proces kunnen automatiseren, waardoor quantumprogrammeren toegankelijk wordt voor meer mensen. Toch blijft er een grote hindernis bestaan: hoewel een AI succesvol code kan genereren die zonder fouten draait, kan de geproduceerde code nog steeds wetenschappelijk nutteloos zijn, omdat het steunt op de verkeerde fysieke aannames of cruciale details mist.

Een team van onderzoekers zette zich in om dit specifieke probleem op te lossen door te testen of het de AI helpen met een strikte set regels, of een "protocol", zou helpen om betere quantumprogramma's te schrijven. Ze vroegen de AI niet simpelweg om code te schrijven; in plaats daarvan leverden ze een gedetailleerd, versiebeheerd document dat precies specificeerde wat het programma moest bereiken en wat het verboden was te doen. Dit document fungeerde als een contract, waarbij de vereisten voor de taak werden verduidelijkt zonder de oplossing zelf prijs te geven. De onderzoekers vergeleken vervolgens twee groepen AI-agenten. Eén groep ontving dit protocol, terwijl de andere groep alleen het basisverzoek kreeg en zelf de noodzakelijke details moest raden. Ze testten deze agenten op drie verschillende uitdagingen: het berekenen van de energie van een waterstofmolecuul, het optimaliseren van een netwerkverbinding en het classificeren van afbeeldingen van kleding. Het doel was om te zien of de extra begeleiding de AI betrouwbaarder, sneller en waarschijnlijker in staat zou maken om wetenschelijk geldige resultaten te produceren.

De resultaten toonden aan dat het protocol een dramatisch verschil maakte in hoe goed de AI-agenten presteerden. Wanneer de agenten zonder het protocol werkten, slaagden ze er in ongeveer 20 procent van de pogingen niet in om een werkend programma te produceren. Toen het protocol werd toegevoegd, daalde dat foutpercentage naar minder dan 1 procent. De agenten met het protocol hadden ook veel minder pogingen nodig om hun fouten te herstellen, waarbij het gemiddelde aantal reparaties daalde van ongeveer tweeënhalf naar minder dan één. Bovendien werd het hele proces veel sneller, waarbij de tijd die nodig was om een geldig programma te genereren daalde van bijna 56 seconden naar ongeveer 30 seconden. De onderzoekers ontdekten dat het protocol de AI hielp de specifieke taal en structuur te begrijpen die vereist zijn door de quantumsoftware, waardoor voorkwam dat de AI basisfouten maakte die ervoor zouden zorgen dat het programma direct werd afgekeurd.

De studie onthulde echter ook dat snelheid en foutloosheid niet garanderen dat de wetenschap correct is. Hoewel het protocol de AI hielp om te voldoen aan de basiscontroles voor het uitvoeren van code, garandeerde het niet automatisch dat het programma het natuurkundige probleem correct oploste. In één specifieke test betreffende de classificatie van afbeeldingen volgde de AI alle regels perfect op, maar produceerde het toch een resultaat dat wiskundig gebrekkig was omdat het de noodzakelijke complexiteit van de gegevens niet vastlegde. Deze bevinding benadrukt een cruciaal onderscheid: een AI kan een taak succesvol voltooien door instructies op te volgen, maar dat betekent niet dat de output wetenschappelijk geldig is. De onderzoekers ontdekten dat voor de taak van het berekenen van moleculaire energie, het protocol wel degelijk leidde tot een significante verbetering in wetenschappelijke nauwkeurigheid, waarbij het aantal succesvolle, chemisch accurate resultaten bijna verdubbelde. Maar voor andere taken was de verbetering minder duidelijk, wat suggereert dat het protocol een krachtig hulpmiddel is voor betrouwbaarheid, maar gepaard moet gaan met andere controles om te waarborgen dat de wetenschap standhoudt.

Om te bewijzen dat deze programma's daadwerkelijk op echte hardware konden draaien, namen de onderzoekers hun beste kandidaten en stuurden ze naar een fysieke quantumcomputer. Ze voerden de programma's uit op een echte quantumprocessor in een laboratorium, waarbij ze de tests honderden keren herhaalden om te zien of de resultaten consistent waren. De experimenten bevestigden dat de met het protocol gegenereerde programma's succesvol konden worden ingezet op werkelijke quantummachines. De gegevens toonden aan dat het gecombineerde proces van het genereren van de code en het selecteren van de beste kandidaten soepel verliep, wat stabiele resultaten opleverde die herhaalbaar waren. Deze stap was essentieel omdat het het onderzoek van een computersimulatie naar een demonstratie in de echte wereld bracht, waarmee bewezen werd dat de workflow haalbaar is voor toekomstig gebruik.

De studie concludeert dat het voorzien van AI-agenten met een duidelijk, gestructureerd protocol een zeer effectieve manier is om de betrouwbaarheid en snelheid van quantumprogrammageneratie te verbeteren. Het fungeert als een veiligheidslaag die voorkomt dat de AI alledaagse fouten maakt en vastloopt in herstelcycli. Toch waarschuwen de onderzoekers dat deze begeleiding geen volledige oplossing is. Hoewel het de AI helpt om code te schrijven die draait, vervangt het niet de noodzaak voor menselijke experts of gespecialiseerde tools om te verifiëren of de code wetenschappelijk gezien wel zinvol is. Het protocol leidt de AI naar de juiste deur, maar er moet nog steeds iemand zijn die controleert wat er binnenin zit. Dit werk suggereert een toekomst waarin AI het zware werk van het schrijven van code afhandelt, terwijl menselijk toezicht de wetenschappelijke integriteit van de resultaten waarborgt, wat een partnerschap creëert dat de ontwikkeling van praktische quantum computing kan versnellen.