AutoDFT: A Closed-Loop Multi-Agent Framework for Autonomous DFT Calculations

De kern

Stel je voor dat je probeert een zeer complexe, hoog-risico taart (een wetenschappelijke berekening) te bakken met een recept dat zo gevoelig is dat als je de oventemperatuur maar één graad verkeerd zet, of als het meel niet precies goed gemengd is, het hele ding instort. In de wereld van de materiaalkunde is deze "taart" een Dichtheidsfunctionaaltheorie (DFT)-berekening, die wordt gebruikt om te voorspellen hoe materialen zich gedragen.

Decennialang vereiste het bakken van deze taart een meesterkok (een menselijk expert) die boven de oven stond, voortdurend het beslag controleerde, de hitte aanpaste en fouten direct corrigeerde zodra ze optraden. Als de taart begon te verbranden, moest de kok precies weten welke knop hij moest draaien om het te redden.

AutoDFT is een nieuw team van AI-assistenten dat is ontworpen om deze taak volledig over te nemen, maar met een draai: in plaats van alleen een star, vooraf geschreven lijst met instructies te volgen, kan dit team denken, zich aanpassen en problemen onderweg oplossen.

Hier is hoe het werkt, opgesplitst in eenvoudige onderdelen:

1. Het probleem: De "Instellen-en-vergeten"-valkuil

Voorheen probeerden AI-tools dit te automatiseren door een slimme AI het hele recept te laten schrijven voordat de oven zelfs maar aanstond.

• De fout: Als de taart halverwege het bakken begon te zakken, kon de AI niet stoppen en het recept aanpassen. Het zat vast aan het oorspronkelijke plan, wat leidde tot een geruïneerde taart. Het systeem was "open-loop", wat betekent dat het niet luisterde naar wat er daadwerkelijk binnenin de oven gebeurde.

2. De oplossing: Een team van zeven gespecialiseerde koks

AutoDFT vervangt de enkele AI door een gesloten-lus team van zeven agenten (gespecialiseerde AI-rollen) die samenwerken in een continue cyclus. Denk aan hen als een keukenploeg waar iedereen in real-time met elkaar praat:

• De Strategische Planner (De Hoofdkok): Deze agent kijkt naar de ruwe ingrediënten (de kristalstructuur) en het doel (bijvoorbeeld "vind de magnetische eigenschappen") en schetst een ruwe tekening van het recept. Het zegt: "Eerst moeten we het deeg laten rusten, dan bakken we het, en daarna controleren we de textuur." Het raakt niet verstrikt in de exacte temperatuur; het stelt gewoon de doelen.
• De Stappenplanner (De Line Cook): Voor elke stap bekijkt deze agent de resultaten van de vorige stap. "Oh, het deeg is een beetje plakkerig? Oké, ik pas de hoeveelheid meel aan voor dit specifieke batch." Het creëert de exacte, gedetailleerde instructies (numerieke parameters) die nodig zijn voor de volgende stap, gebaseerd op wat net is gebeurd.
• De VASP-Executor (De Oven): Dit is de robotarm die de oven daadwerkelijk aanzet en de berekening start. Het doet het zware werk, maar denkt niet mee; het volgt gewoon bevelen.
• De Dual-Path Monitor (De Waakzame Sous-chef): Deze agent houdt de oven in de gaten. Het heeft twee modi:
  • Snelle modus: Het controleert eenvoudige dingen zoals "draait de timer?" of "is de temperatuur stabiel?" met behulp van eenvoudige regels.
  • Slimme modus: Als er iets vreemds uitziet (bijvoorbeeld dat de taart te snel rijst), roept het de AI erbij om de situatie diep te analyseren.
• De Herstelagent (De Brandweerman): Als de Monitor een ramp opmerkt (zoals een "charge sloshing"-fout, wat vergelijkbaar is met beslag dat overal spettert), springt deze agent in. Het diagnoseert waarom het mislukte en past de instellingen aan om het opnieuw te proberen. Het geeft niet op; het lost het probleem op.
• De Stappenreflecteur (De Kwaliteitsinspecteur): Zodra een stap klaar is, vraagt deze agent: "Maakt dit resultaat fysiek zin?" Als de berekening zegt dat het materiaal een metaal is, maar we weten dat het een isolator zou moeten zijn, zegt de Reflecteur: "Stop! Er is iets mis. Laten we deze stap herhalen met andere instellingen," of zelfs "Laten we het hele plan veranderen."
• De Postprocessing-agent (Het Platter-team): Zodra de taart perfect is, verpakt deze agent de resultaten (de uiteindelijke data) netjes zodat mensen ze kunnen lezen.

3. De magie: De lus sluiten

De kerninnovatie is dat dit systeem nooit stopt met praten.

• Oude manier: Plannen $\rightarrow$ Bakken $\rightarrow$ Klaar (zelfs als het verbrand is).
• AutoDFT-methode: Plannen $\rightarrow$ Bakken $\rightarrow$ Controleren $\rightarrow$ Repareren $\rightarrow$ Opnieuw evalueren $\rightarrow$ Opnieuw bakken $\rightarrow$ Controleren $\rightarrow$ Klaar.

Als de berekening vastloopt, crasht het systeem niet. Het pauzeert, de "Brandweerman" en de "Kwaliteitsinspecteur" bespreken het probleem, de "Line Cook" past het recept aan, en ze proberen het opnieuw. Als de resultaten fysiek onmogelijk lijken, kan de "Hoofdkok" zelfs het hele recept herschrijven om een ander pad te bewandelen.

4. De resultaten: Meer taarten bakken, beter

De auteurs hebben dit systeem getest op 34 verschillende bak-uitdagingen (taken) met behulp van een standaard benchmark genaamd VASPBench.

• Regelgebaseerde systemen (oude automatisering) slaagden in ongeveer 68% van de gevallen.
• Open-loop AI (AI die eenmaal plant en zich eraan houdt) slaagde in ongeveer 82%.
• AutoDFT (het gesloten-lus team) slaagde in 94% van de gevallen.

Ze hebben het ook getest op echte materialen (uit de Materials Project-database) en ontdekt dat de resultaten niet alleen "af" waren, maar wetenschappelijk accuraat, overeenkomend met bekende gegevens voor zaken als magnetische sterkte en energiekloven.

De conclusie

AutoDFT is alsof je een team van expert-koks een keuken geeft waar ze de soep kunnen proeven, het zout kunnen aanpassen en het recept kunnen herschrijven terwijl de pot nog op het vuur staat. Dit stelt wetenschappers die geen experts zijn in computercode in staat om betrouwbare, hoogwaardige resultaten te krijgen uit complexe materiaalsimulaties zonder dat ze boven de computer hoeven te staan en fouten handmatig moeten oplossen. Het verandert een fragiel, handmatig proces in een robuuste, zichzelf corrigerende machine.

Technische samenvatting

Technische Samenvatting: AutoDFT

Probleemstelling

Dichtheidsfunctionaaltheorie (DFT) is een hoeksteen van de computationele materiaalkunde, maar praktische workflows blijven sterk handmatig. Een typische studie omvat een reeks onderling afhankelijke stappen waarbij onderzoekers uitwisselings-correlatiefuncties moeten selecteren, numerieke parameters configureren (bijvoorbeeld vlakke-golf-cutoffs, k-punt-dichtheden), convergentiecriteria beheren en fouten diagnosticeren. Deze "expertiseknelpunt" verhindert echt autonome campagnes.

Bestaande agenten op basis van Large Language Models (LLM) hebben geprobeerd dit proces te automatiseren, maar werken doorgaans op een open-loop manier. Ze genereren vooraf een volledig uitvoeringsplan en vertrouwen op handgemaakte regels voor latere aanpassing. Deze aanpak is fragiel: ze kan niet generaliseren buiten vooraf geplande scenario's en faalt vaak wanneer berekeningen onverwachte fysische verschijnselen tegenkomen (bijvoorbeeld opkomende magnetisme) of numerieke instabiliteiten (bijvoorbeeld ladingszwaai) die tussentijdse herziening van strategie vereisen. De kernuitdaging is het bereiken van volledig autonome, gesloten-lus uitvoering waarbij agenten niet alleen workflows ontwerpen, maar ook voortgang monitoren, zich herstellen van fouten en strategieën herzien op basis van fysische redenering.

Methodologie: AutoDFT Framework

AutoDFT is een gesloten-lus, zeven-agenten framework gebouwd bovenop de VASP-code (Vienna Ab initio Simulation Package). Het integreert LLM-redenering in elke fase van de DFT-levenscyclus, geleid door twee kernprincipes: hiërarchische planningsdecompositie en gesloten-lus adaptieve uitvoering.

1. Hiërarchische Planningsdecompositie

Het framework scheidt strategische beslissingen (workflow-volgorde) van tactische beslissingen (numerieke parameters):

• Strategische Planner: Ontvangt een kristalstructuur (CIF) en taakbeschrijving. Het leidt materiaalkontext af (dimensionaliteit, magnetisme) en genereert een "skeletplan"—een geordende reeks stapdoelen, afhankelijkheden en succescriteria—zonder concrete VASP-parameters.
• Stap Planner: Werkt net op tijd voor elke stap. Het materialiseert concrete VASP-invoerparameters (INCAR, KPOINTS, enz.) door te conditioneren op de opgebouwde geschiedenis van vorige stappen, inclusief energietrajecten, convergentieprofielen en waarschuwingen. Dit stelt parameters in staat zich aan te passen aan opkomende resultaten.

2. Gesloten-lus Adaptieve Uitvoering

Uitvoering volgt een uitvoeren–monitoren–herstellen–reflecteren cyclus voor elke stap:

• VASP Executor: Een deterministische, regelgebaseerde laag die parameters vertaalt naar invoerbestanden en taken indient. Het veroorzaakt geen LLM-kosten.
• Dual-Path Monitor: Balanceert responsiviteit en kosten. Een snelle, regelgebaseerde monitor analyseert logs (OSZICAR/OUTCAR) elke 10 minuten op eenduidige fouten. Een selectieve LLM-monitor wordt alleen opgeroepen wanneer regelgebaseerde controles falen of periodiek, waarbij convergentietraces worden geanalyseerd om subtiele problemen te detecteren (bijvoorbeeld langzame drift naar metastabiele toestanden).
• Herstel Agent: Geactiveerd door een "TERMINATE" oordeel. Het diagnoseert de oorzaak van de fout (bijvoorbeeld incompatibiliteit ladingsdichtheid, symmetriebreking) en stelt gerichte parameteraanpassingen voor voor een nieuwe poging.
• Stap Reflector: Evalueert de fysische plausibiliteit van een geconvergeerd resultaat. Het beslist om het resultaat te ACCEPTEREN, de stap te HERDOEN met strengere instellingen, of het skeletplan te WIJZIGEN (stappen invoegen, verwijderen of vervangen) als de resultaten in strijd zijn met de initiële wetenschappelijke aannames.
• Nabewerking Agent: Een regelgebaseerde module die gestructureerde eigenschapswaarden (bandgaps, magnetische momenten, enz.) uit de uiteindelijke outputbestanden haalt.

Het systeem onderhoudt een Geschiedenisopslag die invoer, monitoroordelen, herstelpogingen en samenvattingen van uitkomsten vastlegt, en context biedt voor alle agenten.

Belangrijkste Bijdragen

1. AutoDFT Architectuur: Een zeven-agenten systeem dat LLM-redenering integreert in de volledige DFT-levenscyclus, strategisch workflow-ontwerp scheidt van tactische parametergeneratie en evidence-based planherziening mogelijk maakt.
2. VASPBench: Een gecureerde benchmark bestaande uit 34 DFT-berekeningstaken afgeleid van officiële VASP-documentatie, variërend over 9 verschillende berekeningstypen (bijvoorbeeld relaxatie, DOS, fononen, moleculaire dynamica) met ground-truth output.
3. Empirische Validatie: Uitgebreide experimenten die aantonen dat gesloten-lus adaptie meetbare winsten oplevert ten opzichte van open-loop planning en regelgebaseerde baselines over meerdere model families (GPT-5.2, Claude Sonnet 4.6, Gemini 3.1 Pro Preview).

Resultaten

Succespercentages Taken

Op VASPBench (34 taken) behaalde AutoDFT-Full een 94,1% succespercentage op taalniveau met GPT-5.2, aanzienlijk beter dan de open-loop baseline (82,4%) en de regelgebaseerde baseline (67,6%).

• Claude Sonnet 4.6: Verbeterde succes van 76,5% (OpenLoop) naar 85,3% (Full).
• Gemini 3.1 Pro Preview: Verbeterde succes van 76,5% (OpenLoop) naar 91,2% (Full).

Kosten-efficiëntie

Hoewel gesloten-lus uitvoering extra LLM-tokenkosten met zich meebrengt, verlaagt het vaak de totale computerkosten door veelbelovende runs vroegtijdig te beëindigen en verspilde GPU-uren op ongeldige workflows te voorkomen.

• Voor Claude Sonnet 4.6 en Gemini 3.1 daalde de "Kosten per Succes" aanzienlijk (bijvoorbeeld van $97,4 naar $35,2 voor Sonnet) door verminderde VASP-uitvoertijd.
• Voor GPT-5.2 prioriteerde het systeem maximale succes (94,1%), waarbij de kosten van de regelgebaseerde baseline werden gehaald terwijl 26,5% meer taken werden opgelost.

Fysische Correctheid

Evaluatie op een subset van 20 materialen uit het Materials Project bevestigde dat succesvolle runs kwantitatief betrouwbare eigenschapvoorspellingen produceren. De Gemiddelde Absolute Fouten (MAE) ten opzichte van referentiewaarden waren:

• Bandgap: 0,26–0,80 eV
• Magnetisch Moment: 0,17–0,51 µB
• Vormingsenergie: 0,29–0,41 eV/atom

Analyse van Adaptatie

Contradictorische analyse toonde aan dat een significant deel van de succesvolle runs afhankelijk was van interventie tijdens runtime. Voor GPT-5.2 vereiste 62,5% van de succesvolle taken gesloten-lus interventie (herstel, beëindiging of planwijziging). Dit geeft aan dat alleen initiële planning ontoereikend is voor complexe, meerstapsberekeningen met niet-triviale parameterafhankelijkheden (bijvoorbeeld ionische relaxatie, fononen, moleculaire dynamica).

Betekenis en Beweringen

Het artikel beweert dat AutoDFT de haalbaarheid aantoont van volledig autonome, gesloten-lus eerste-principesberekeningen. Door LLM-redenering te integreren in monitoring, herstel en reflectie, kan het systeem omgaan met opkomende fysische bevindingen en numerieke fouten die statische, open-loop workflows niet aankunnen.

De auteurs stellen dat deze aanpak:

• Experimentatoren zonder diepgaande computationele expertise in staat stelt betrouwbare eerste-principesresultaten te verkrijgen.
• De rol van LLM's transformeert van eenvoudige workflow-generatoren naar actieve wetenschappelijke agenten die fysische redenering en strategieherziening kunnen uitvoeren.
• Een schaalbaar framework biedt waarbij de afweging tussen LLM-redeneringskosten en dure eerste-principesberekening kan worden geoptimaliseerd om zowel nauwkeurigheid als resource-efficiëntie te verbeteren.

Het werk positioneert AutoDFT niet als vervanging voor expertvalidatie, maar als een systeem dat routinematige handmatige interventie reduceert, zodat domeinexperts zich kunnen richten op hoogwaardige wetenschappelijke interpretatie in plaats van het debuggen van computationele workflows.