Reimagining computational quantum research with AI scientists

De wetenschap heeft lang vertrouwd op een eenvoudig, menselijk ritueel: een onderzoeker publiceert een ontdekking, en een andere onderzoeker probeert het experiment te herhalen om te zien of het standhoudt. Dit proces van verificatie is het fundament van vertrouwen in elk vakgebied, van geneeskunde tot natuurkunde. Maar naarmate de vragen die we stellen complexer worden, zijn de experimenten die nodig zijn om ze te beantwoorden uitgegroeid tot massieve, ingewikkelde digitale constructies. In het domein van de kwantumwetenschap, die het gedrag van materie op de kleinste schaal bestudeert, omvatten deze constructies het simuleren van systemen die te moeilijk zijn voor zelfs de krachtigste supercomputers om direct te verwerken. Om deze complexiteit te navigeren, wenden wetenschappers zich steeds vaker tot kunstmatige intelligentie, in de hoop digitale onderzoekers te bouwen die een artikel kunnen lezen, de methoden kunnen begrijpen en de code zelfstandig kunnen draaien. Maar voor dit visioen van autonome ontdekking moet deze AI eerst kunnen bewijzen dat zij het werk van menselijke wetenschappers getrouw kan reproduceren. Als een AI niet in staat is om een gepubliceerd resultaat betrouwbaar te reproduceren, kan zij niet worden vertrouwd om nieuwe resultaten te genereren.

Een team van onderzoekers heeft nu een kritische blik geworpen op deze uitdaging, met de fundamentele vraag: kunnen huidige kunstmatige intelligentie-wetenschappers daadwerkelijk de resultaten van gepubliceerde kwantumonderzoeken reproduceren? Om dit te achterhalen, creëerden zij een rigoureuze testomgeving genaamd OmniQ. Dit is een virtueel laboratorium waar het team zestig gepubliceerde studies heeft genomen die drie hoofdgebieden van de kwantumwetenschap beslaan: het simuleren van kwantumsystemen op klassieke computers, het ontwerpen van nieuwe kwantumalgoritmen en het meten van de eigenschappen van kwantumsystemen. Zij voerden deze papers, samen met de bijbehorende doelfiguren en gegevens, in bij vijf verschillende geavanceerde AI-systemen aangedreven door grote taalmodellen. Het doel was simpel maar veeleisend: de AI moest het artikel lezen, de noodzakelijke code schrijven, de berekeningen uitvoeren en een resultaat produceren dat overeenkomt met de oorspronkelijke publicatie.

De resultaten waren veelzeggend. De AI-wetenschappers faalden regelmatig in het reproduceren van de gepubliceerde uitkomsten, ondanks hun geavanceerde redeneervermogen. In veel gevallen was de oorzaak van het falen niet een gebrek aan intelligentie, maar eerder een gat in de informatie die door het wetenschappelijke verslag zelf werd verstrekt. De onderzoekers ontdekten dat in achttien van de zestig studies de gepubliceerde paper, de vrijgegeven code en de gerapporteerde resultaten inconsistent met elkaar waren. Soms beschreef een paper een methode die de code niet daadwerkelijk gebruikte; andere keren produceerde de code getallen die niet overeenkwamen met de grafieken in het artikel. Deze inconsistenties creëerden een mist van ambiguïteit die de AI in verwarring bracht, waardoor het onmogelijk werd om te weten welke versie van de waarheid gevolgd moest worden. Zelfs wanneer het wetenschappelijke verslag duidelijk was, worstelde de AI vaak met de specifieke, genuanceerde vereisten van kwantumonderzoek, zoals het correct interpreteren van hoe een meting moet worden uitgevoerd of hoe een complexe wiskundige operatie gestructureerd moet worden.

Echter, het verhaal eindigde niet in falen. De onderzoekers ontdekten dat wanneer menselijke experts ingrepen om deze ambiguïteiten te verhelderen of de inconsistenties te herstellen, de AI erin slaagde de resultaten te reproduceren. Deze observatie leidde tot een cruciaal inzicht: de ontbrekende informatie die nodig was voor succes kon worden geïdentificeerd, gecorrigeerd en omgezet in herbruikbare kennis. Voortbouwend op dit inzicht, ontwikkelde het team een nieuw type AI-wetenschapper genaamd Residual Agents. In tegen tegenstelling tot standaard AI die telkens probeert een probleem vanaf nul op te lossen, is dit systeem ontworpen om te leren van zijn eigen fouten. Wanneer het faalt in het reproduceren van een resultaat, beoordeelt een menselijke expert de fout, identificeert de specifieke fout, en destilleert het systeem deze correctie tot een les. Deze les wordt vervolgens opgeslagen in een geheugenbank en gebruikt om toekomstige pogingen te sturen.

De impact van deze zelfverbeterende aanpak was significant. Door gebruik te maken van deze gedestilleerde lessen, verbeterde het Residual Agent-systeem zijn prestaties drastisch. Bijvoorbeeld, wanneer een specifiek basismodel werd gebruikt dat aanvankelijk slechts in 68% van de taken slaagde, verhoogde de Residual Agent dat succespercentage naar 85%. Opmerkelijk genoeg bereikte het dit hoge niveau van prestatie tegen een fractie van de kosten van andere top-AI-systemen, die veel meer rekenkracht en geld vereisten om soortgelijke resultaten te behalen. De onderzoekers integreerden al deze gereproduceerde resultaten in een open platform, waardoor een groeiende bibliotheek van geverifieerde wetenschappelijke workflows ontstond waar andere AI-systemen toegang toe hebben en gebruik van kunnen maken.

Dit werk zet een nieuwe weg vooruit voor de computationele wetenschap. Het laat zien dat hoewel huidige AI-systemen nog niet volledig menselijke onderzoekers kunnen vervangen bij het verifiëren van complexe kwantumeperimenten, ze betrouwbaar kunnen worden gemaakt door een proces van begeleid leren. Door de moeilijke taak van het reproduceren van wetenschappelijke papers om te vormen tot een gestructureerde leerervaring, hebben de onderzoekers een fundament gelegd voor een toekomst waarin AI-wetenschappers autonoom de kwantumwereld kunnen verkennen, voortbouwend op een fundament van geverifieerde, herbruikbare kennis in plaats van te struikelen over de inconsistenties uit het verleden.