Enabling large language model agents for high-fidelity many-body perturbation theory calculations

Om de materiële wereld te begrijpen, kijken wetenschappers vaak naar hoe atomen zich gedragen wanneer ze worden geëxciteerd, zoals wanneer licht een zonnecel raakt of wanneer er een elektrische stroom door een chip vloeit. Hoewel standaard computermodellen kunnen beschrijven hoe atomen stilzitten, hebben ze moeite om te voorspellen wat er gebeurt wanneer elektronen naar hogere energieniveaus springen of interageren met trillingen in het kristalrooster. Om deze antwoorden correct te krijgen, gebruiken onderzoekers een reeks geavanceerde wiskundige technieken die bekend staan als many-body perturbation theory (veel-deeltjes perturbatietheorie). Deze methoden zijn ongelooflijk krachtig en nauwkeurig, maar ook berucht moeilijk in gebruik. Ze vereisen dat een onderzoeker optreedt als een meesterdirigent, die handmatig verschillende softwareprogramma's aan elkaar koppelt, elk met een eigen taal en regels. Als de instellingen in het ene programma niet perfect overeenkomen met het volgende, faalt de gehele berekening, vaak op manieren die moeilijk te ontdekken zijn totdat er uren aan rekentijd is verspild. Deze complexiteit heeft deze krachtige instrumenten buiten bereik gehouden van iedereen behalve de meest gespecialiseerde experts.

Een team van onderzoekers heeft nu een nieuw systeem ontwikkeld dat ontworpen is om deze kloof te overbruggen, waardoor kunstmatige intelligentie het zware werk van deze complexe berekeningen kan afhandelen. De wetenschappers testten of moderne large language models — geavanceerde AI-systemen die in staat zijn tot redeneren en het opvolgen van instructies — deze moeilijke workflows automatisch zelfstandig konden opzetten. Ze kwamen tot de conclusie dat, zonder hulp, zelfs de meest geavanceerde AI-modellen vaker faalden dan ze slaagden bij het construeren van een werkende berekening. De modellen maakten regelmatig subtiele fouten, zoals het verkeerd uitlijnen van het rooster van punten dat wordt gebruikt om de eigenschappen van het materiaal in kaart te brengen, wat ertoe leidde dat het hele proces later instortte. Echter, toen de onderzoekers een nieuw framework genaamd AI-Donkey introduceerden, veranderden de resultaten drastisch. Dit systeem fungeert als een deskundige gids, die de AI voorziet van door experts gecureerde instructies en een set rigide hulpmiddelen die ervoor zorgen dat elke stap correct verbonden is met de volgende. Met deze assistentie waren de AI-agenten, variërend van krachtige commerciële modellen tot open-source versies, in staat om succesvol volledige, foutvrije berekeningen uit te voeren voor een verscheidenheid aan materialen, waaronder eendimensionale buizen, tweedimensionale vellen en solide blokken.

De kern van het probleem dat de onderzoekers aanpakten, ligt in de aard van deze berekeningen. In tegenstelling tot simpelere computersimulaties die binnen één enkel programma blijven, vereist many-body perturbation theory een keten van gebeurtenissen waarbij de output van het ene softwarepakket de input voor een ander wordt. Elke stap hangt af van precieze fysieke details, zoals de symmetrie van het materiaal en de specifieke rangschikking van atomen. Als een onderzoeker een kleine fout maakt in de eerste stap, reist die fout mee in de keten en corrumpeert het uiteindelijke resultaat. Het team ontdekte dat huidige AI-modellen, ondanks hun vermogen om code te schrijven en vragen te beantwoorden, niet beschikken over de specifieke, diepe domeinkennis die nodig is om deze ketens betrouwbaar te beheren. Wanneer gevraagd werd om een berekening voor een materiaal zoals silicium op te zetten, zou de AI vaak de noodzakelijke instellingen raden. In één test stelde de AI een basisberekening ongeveer de helft van de tijd succesvol op, maar voor complexere taken met betrekking tot optische eigenschappen of elektronentrillingen daalde het succespercentage tot zo laag als 19 procent. De modellen bedachten vaak instellingen die plausibel klonken maar fysiek incorrect waren, wat leidde tot berekeningen die niet konden worden uitgevoerd of nutteloze gegevens produceerden.

Om dit op te lossen, bouwden de onderzoekers AI-Donkey, een framework dat niet vertrouwt op de AI om de regels te raden. In plaats daarvan voorziet het systeem de AI van een gestructureerde bibliotheek met deskundige kennis en een set geautomatiseerde hulpmiddelen die consistentie afdwingen. Denk aan de AI als een bekwame architect die een gebouw kan ontwerpen, maar een voorman nodig heeft om ervoor te zorgen dat de stenen volgens de blauwdruk worden gelegd; AI-Donkey fungeert als die voorman. Het systeem breekt de complexe berekening af in beheersbare stappen, waarbij elke stap wordt begeleid door een specifiek "skill"-document geschreven door menselijke experts. Deze documenten leggen precies uit welke informatie nodig is, wat de computer moet doen en welke veelvoorkomende fouten vermeden moeten worden. De AI gebruikt deze documenten vervolgens om een reeks computerprogramma's aan te sturen die de benodigde bestanden genereren en deze met elkaar verbinden. Omdat de computertools de technische details afhandelen en controleren op fouten, hoeft de AI de regels niet meer te onthouden of zich geen zorgen te maken over een typefout die de keten breekt.

De resultaten van deze aanpak waren opmerkelijk. Wanneer de onderzoekers dezelfde AI-modellen testten met het AI-Donkey framework, steeg het succespercentage naar bijna 100 procent. Elke poging, of het nu ging om een topmodel of een kleinere open-source versie, produceerde een volledige, uitvoerbare workflow die alle controles doorstond. Het systeem werkte consistent over herhaalde proeven heen, waardoor de willekeurige fouten die de onbegeleide modellen teisterden, werden geëlimineerd. De onderzoekers demonstreerden deze capaciteit door de AI autonoom de eigenschappen van verschillende materialen te laten berekenen, waaronder een enkele laag van een verbinding van molybdeen en selenium, een koolstofvel bekend als grafeen, en een koolstofbuis. In elk geval identificeerde de AI correct de specifieke instellingen die nodig zijn voor de unieke structuur van dat materiaal, voerde de berekeningen uit op krachtige supercomputers en analyseerde zelfs de resultaten om visualisaties te produceren van hoe elektronen zich gedragen.

De studie tilde ook de grenzen van wat AI kan doen in dit veld door een bijzonder moeilijke berekening aan te pakken die bekend staat als GW-perturbatietheorie, die wordt gebruikt om te bestuderen hoe elektronen interageren met trillingen in het materiaal. Deze specifieke taak was nog nooit eerder geautomatiseerd en vereist de coördinatie van vier verschillende softwarepakketten. Zonder het AI-Donkey framework faalden de AI-modellen volledig, omdat ze niet in staat waren de strikte vereisten voor het koppelen van de programma's te begrijpen. Met het framework voltooide de AI echter het gehele proces en handelde het de complexe afhankelijkheden tussen de verschillende fasen correct af. Dit omvatte het berekenen van hoe een polair halfgeleider zoals siliciumcarbide reageert op elektrische velden, een taak die een precieze behandeling vereist van langetermijnkrachten die moeilijk te modelleren zijn. De onderzoekers ontdekten dat de AI zelfs geavanceerde taken kon uitvoeren, zoals het testen van verschillende instellingen om te garanderen dat de resultaten accuraat zijn, een proces dat bekend staat als convergentietesten, wat normaal gesproken een tijdrovende en saaie klus is voor menselijke wetenschappers.

De implicaties van dit werk reiken verder dan alleen het sneller maken van berekeningen. Door een systeem te creëren dat AI betrouwbaar door complexe wetenschappelijke workflows kan leiden, hebben de onderzoekers de deur geopend voor een breder scala aan wetenschappers om deze krachtige instrumenten te gebruiken. Het framework is ontworpen om flexibel te zijn, wat betekent dat het kan worden bijgewerkt om nieuwe methoden en software te bevatten naarmate deze worden ontwikkeld. Het team toonde aan dat het systeem geavanceerde functies kan integreren, zoals technieken om berekeningen voor grote systemen te versnellen, zonder dat het volledig opnieuw geschreven moet worden. Dit suggereert dat wetenschappers in de toekomst een AI kunnen vragen om nieuwe materialen te verkennen of nieuwe theorieën te testen, zonder expert te hoeven zijn in de onderliggende computercodes. De belangrijkste bevinding is dat hoewel AI beter wordt in redeneren, het nog steeds een gestructureerde, door experts geleide omgeving nodig heeft om de rigide, meerstaps-processen aan te kunnen die vereist zijn in de hogere wetenschap. Door het redeneervermogen van AI te combineren met de betrouwbaarheid van door mensen gecureerde kennis, hebben de onderzoekers een pad gecreëerd naar volledig autonome wetenschappelijke ontdekking in het vakgebied van de materiaalkunde.