🔬 materials science

AGAPI-Agents: An Open-Access Agentic AI Platform for Accelerated Materials Design on AtomGPT.org

Dit artikel introduceert AGAPI, een open-access agentic AI-platform dat meerdere grote taalmodellen integreert met wetenschappelijke instrumenten om numerieke precisie te bereiken in voorspellingen van materiaaleigenschappen en zonder hulpmiddelen werkende modellen aanzienlijk te overtreffen op nieuwe, geheugenvrije datasets door gebruik te maken van externe databases en simulatiewerkstromen.

Oorspronkelijke auteurs: Jaehyung Lee, Justin Ely, Kent Zhang, Akshaya Ajith, Charles Rhys Campbell, Kamal Choudhary

Gepubliceerd 2026-07-09

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jaehyung Lee, Justin Ely, Kent Zhang, Akshaya Ajith, Charles Rhys Campbell, Kamal Choudhary

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een complexe puzzel probeert op te lossen over hoe nieuwe materialen werken, zoals het ontwerpen van een supersterk metaal of een betere zonnecel. In het verleden had je twee hoofdfuncties:

De "Supergenie"-aanpak: Je vraagt een zeer slimme AI (een Large Language Model) om vanuit zijn geheugen te antwoorden. Het heeft miljoenen boeken en artikelen gelezen, dus het weet veel. Maar het kan het fout raden als dat specifieke puzzelstukje zeldzaam is of als het probeert een feit te herinneren dat het jaren geleden heeft geleerd en dat sindsdien net iets is veranderd.
De "Gereedschapskist"-aanpak: Je geeft de AI een set rekenmachines, databases en simulatiemachines om te gebruiken. Het raadt niet alleen een getal, maar zoekt het antwoord op of voert een berekening uit om het exacte getal te krijgen.

Dit artikel introduceert AGAPI, een nieuw open-access platform dat fungeert als een slimme dirigent voor een wetenschappelijk orkest. Het verbindt de "Supergenie"-AI met een enorme gereedschapskist van 18 verschillende wetenschappelijke instrumenten (zoals databases met materiaaleigenschappen, simulatie-engines en voorspellers voor eiwitstructuren).

Hier is de uitsplitsing van wat het papier daadwerkelijk heeft gevonden, met eenvoudige analogieën:

1. De Grote Vraag: Helpt de Gereedschapskist?

De onderzoekers wilden weten: Maakt het geven van een gereedschapskist aan de AI de antwoorden daadwerkelijk nauwkeuriger, of voegt het alleen maar ruis toe?

Ze testten dit op materiaalkundige problemen. Ze ontdekten dat het antwoord volledig afhangt van wat de AI probeert te voorspellen en waar de gegevens vandaan komen.

2. De "Perfecte Kopieerder" vs. De "Gebrekkige Bibliotheek"

Het team ontdekte iets verrassends over waarom de AI het soms fout heeft.

De AI is een Perfecte Kopieerder: Wanneer de AI de gereedschapskist gebruikt, "hallucineert" het niet of verzint het geen getallen. Het gedraagt zich als een perfecte boodschapper. Als de gereedschapskist zegt dat het antwoord "5" is, zegt de AI "5".
De Bibliotheek Heeft Oude Boeken: Het probleem is niet de AI of de gereedschapskist; het is de bibliotheek (de database) waar de gereedschapskist de informatie uit haalt.
- Analogie: Stel je voor dat de AI een student is die een toets maakt. De student krijgt een tekstboek (de database) om antwoorden op te zoeken. Als het tekstboek een typefout bevat of een verouderde formule gebruikt, zal de student het foutieve antwoord opschrijven, ook al heeft hij het perfect gekopieerd.
- Het Resultaat: Voor zaken als "bulk modulus" (hoe hard een materiaal is) en "bandgap" (hoe elektriciteit stroomt), kreeg de AI de getallen exact goed uit de database. De reden dat het antwoord niet overeenkwam met experimenten in de echte wereld, was dat de database zelf iets afweek van de werkelijkheid, en niet omdat de AI faalde.

3. Wanneer de Gereedschapskist een Levenslijn is (De "Nieuwe Dingen"-test)

De onderzoekers creëerden een speciale test met splinternieuwe, verzonnen materialen en beschadigde materialen (zoals een kristal met een ontbrekend stukje) die de AI nog nooit eerder had gezien tijdens de training.

Zonder Tools: De AI probeerde vanuit zijn geheugen te raden. Dat mislukte jammerlijk; de antwoorden waren er ver naast (zoals het gewicht van een auto raden door het gewicht van een fiets te gokken).
Met Tools: De AI gebruikte de gereedschapskist om de eigenschappen van deze nieuwe materialen te berekenen. Het kreeg de antwoorden bijna perfect.
De Les: Voor dingen die de AI nog nooit heeft gezien, is de gereedschapskist onmisbaar. De AI kan niet elk mogelijk nieuw materiaal "onthouden", dus moet hij de tools gebruiken om het antwoord te berekenen.

4. De "Slimme Schakelaar" (Adaptieve Selectie)

Het artikel suggereert dat de AI niet blindelings de gereedschapskist moet gebruiken voor elke vraag. Het moet slim zijn over wanneer het deze moet gebruiken.

Scenario A: Als je vraat naar een zeer algemeen materiaal (zoals keukenzout) dat goed gedocumenteerd is in tekstboeken, kan het geheugen van de AI eigenlijk nauwkeuriger zijn dan de database, omdat de database misschien een iets verouderde berekeningsmethode gebruikt.
Scenario B: Als je vraat naar een vreemd, nieuw of beschadigd materiaal, is het geheugen van de AI nutteloos en moet hij de tools gebruiken.

De auteurs stellen een toekomstige versie voor waarin de AI fungeert als een slimme bibliothecaris: het controleert: "Ken ik dit goed genoeg vanuit mijn geheugen, of moet ik naar de referentieafdeling gaan om het juiste antwoord te vinden?"

5. De "Robotkok" (Autonome Workflows)

Ten slotte lieten ze zien dat de AI complexe, meerstaps-taken zelfstandig kan uitvoeren zonder dat een mens de hand vasthoudt.

Analogie: In plaats van alleen te vragen "Hoe bak ik een taart?", kun je zeggen: "Ontwerp een nieuw type batterij, controleer of deze stabiel is, simuleer hoe deze er onder een microscoop uitziet en vertel me hoe deze zou reageren op hitte."
De AI voltooide succesvol een 10-staps proces: het vond een materiaal, bouwde een model ervan, beschadigde het (om defecten te testen), herstelde het, simuleerde hoe het eruit zou zien onder röntgenstraling en berekende de eigenschappen — allemaal in één keer.

Samenvatting

AGAPI is een platform waarmee AI-wetenschappers echte tools kunnen gebruiken in plaats van alleen maar te gokken.

Goed Nieuws: De AI is erg goed in het nauwkeurig gebruiken van deze tools.
Kanttekening: Als de tools gegevens ophalen uit een database die minder nauwkeurig is dan de werkelijkheid, zal de AI een nauwkeurig-maar-foutief antwoord geven. De fout komt voort uit de brongegevens, niet uit de AI.
Beste Gebruik: Het systeem is een gamechanger voor nieuwe, onbekende materialen waarbij de AI geen geheugen heeft om op terug te vallen.

Het platform staat open voor iedereen om te gebruiken, en het bewijst dat wanneer je een slimme AI combineert met een goede set wetenschappelijke instrumenten, je de ontdekking van nieuwe materialen kunt versnellen.

Technische Samenvatting: AGAPI-Agents

Probleemstelling
De integratie van Large Language Models (LLM's) met externe wetenschappelijke tools (Agentic AI) wordt steeds vaker voorgesteld om de ontdekking van materialen te versnellen. Er bestaat echter een fundamentele kloof in het begrip van wanneer toegang tot tools de voorspellingsnauwkeurigheid daadwerkelijk verbetert versus wanneer het fouten introduceert. De huidige aannames dat tool-augmentatie universeel voordelig is, worden bemoeilijkt door systematische fouten in onderliggende databases (bijv. DFT-functionaal-biases), de potentie van parametrische kennis in LLM's om specifieke database-entries voor goed gekarakteriseerde materialen te overtreffen, en het risico op foutenpropagatie in meerstaps-ketens. Bovendien vertrouwen bestaande frameworks vaak op commerciële LLM's met niet-deterministische API-updates, wat de reproduceerbaarheid belemmert.

Methodologie
De auteurs presenteren AGAPI (AtomGPT.org API), een open-access platform ontworpen om agentische workflows in materiaalkunde rigoureus te evalueren en uit te voeren.

Architectuur: AGAPI maakt gebruik van een drielaagse architectuur: (1) 50 gebruikersgerichte web-apps, (2) 28 LLM-aanroepbare agent-tools (Python-wrappers), en (3) 18 REST API-endpoints. Deze endpoints integreren diverse bronnen, waaronder JARVIS-DFT, ALIGNN (graph neural networks), ALIGNN-FF en CHIPS-FF (krachtvelden), SlaKoNet (tight-binding), XRD-analyse (DiffractGPT) en eiwitstructuurvoorspelling (ESMFold).
Agent Design: Het systeem maakt gebruik van een single-agent architectuur met een Planner-Executor-Summarizer loop, gebouwd op de OpenAI Agents SDK. Het gebruikt zelfgehoste, open-source LLM's (standaard GPT-OSS-20B) om reproduceerbaarheid te garanderen via versiebeheer (version pinning) en deterministische sampling.
Evaluatiestrategie: De kern bijdrage aan de methodologie is een drie-evaluatie residu-decompositie toegepast op de JARVIS-Leaderboard elektronische structuur testsets. Dit scheidt fouten in drie componenten:
1. Agent-vs-Database: De getrouwheid (fidelity) van de agent-pipeline (haalt de agent de output van de tool correct op en rapporteert deze correct?).
2. Database-vs-Experiment: De geërfde bias van de onderliggende DFT-functionaal.
3. Agent-vs-Experiment: De totale fout van het met tools uitgebreide systeem.
Testsets: Evaluaties omvatten standaard JARVIS-Leaderboard sets (bandgap, bulk modulus, supergeleidende $T_c$ , SLME, diëlektrische constante) en twee "geheugen-resistente" sets: DEF-57 (defecte supercellen) en HYP-60 (hypothetische composities), ontworpen om buiten de trainingsdistributie van de LLM te vallen.

Belangrijkste Resultaten

Pipeline Fidelity: Voor bulk modulus en bandgap reproduceert de agent de JARVIS-DFT entries met numerieke precisie (MAE = 0.0). Dit bevestigt dat fouten in deze eigenschappen ten opzichte van experimentele referenties volledig voortkomen uit de DFT-functionaal-bias in de database, en niet uit een defect in de agent.
Eigenschap-specifieke Prestaties:
- Bulk Modulus & Diëlektrische Constante: Tool-augmentatie verbeterde de nauwkeurigheid ten opzichte van experiment met 27% en 46%, respectievelijk, wat de waarde bevestigt wanneer de LLM geen sterke parametrische priors heeft of de database accuraat is.
- Bandgap, $T_c$ en SLME: De met tools uitgebreide Mean Absolute Error (MAE) was hoger dan de tool-vrije voorspellingen voor deze eigenschappen.
  - Bandgap: De fout werd toegeschreven aan de specifieke DFT-functionaal (OptB88vdW/MBJ) die de gaps onderschat, niet aan de agent. Het overschakelen naar HSE06 verminderde de fout aanzienlijk zonder de agent te wijzigen.
  - Supergeleidende $T_c$ : De agent vertoonde een niet-nul agent-vs-database residu, waarbij de gegenereerde waarden soms werden vervangen door parametrische kennis die dichter bij het experiment lag voor bekende materialen (bijv. MgB2, Nb3Sn).
  - SLME: Fouten werden versterkt door de multiplicatieve propagatie van upstream DFT-fouten in deze afgeleide eigenschap.
Geheugen-resistente Evaluatie: Op DEF-57 en HYP-60 (defecte en hypothetische structuren) faalden tool-vrije LLM's catastrofaal (MAE > 1.25 eV) en clusterden rond tekstboek-waarden. In contrast hiermee bereikten tool-augmented agents bijna perfecte nauwkeurigheid (MAE < 0.003 eV), wat aantoont dat tools onmisbaar zijn wanneer parametrische kennis ontbreekt.
Autonome Workflows: Het systeem voerde succesvol complexe, meerstaps workflows uit, zoals een 10-operatie halfgeleider-defect analyse pipeline (zoeken in databases, construeren van supercellen, relaxeren van structuren, simuleren van XRD, en berekenen van eigenschappen) en autonome heterostructuur interface constructie.

Belangrijkste Bijdragen

AGAPI Platform: Een open-access, reproduceerbaar agentisch platform dat 8 open-source LLM's integreert met 28 tools over materialdots-databases, krachtvelden en simulatiecodes.
Kwantitatieve Fout-decompositie: De eerste zij-aan-zij kwantitatieve vergelijking van tool-augmented versus tool-vrije voorspellingen die expliciet de agent pipeline fidelity scheidt van geërfde database-bias.
Empirisch Bewijs van Tool Nut: De studie toont aan dat tool-augmentatie niet universeel superieur is; het voordeel hangt af van de specifieke eigenschap, de nauwkeurigheid van de onderliggende DFT-functionaal, en de mate waarin het materiaal gedocumenteerd is in de trainingscorpus van de LLM.
Voorstel voor Adaptieve Tool Selectie: Gebaseerd op de residu-decompositie, stellen de auteurs een mechanisme voor voor adaptieve tool selectie waarbij agents dynamisch beslissen om tools aan te roepen alleen wanneer de verwachte database-vs-experiment residu kleiner is dan de verwachte parametrische kennis-fout.

Betekenis
Het artikel claimt het eerste rigoureuze framework te bieden om onderscheid te maken tussen "agentische malfunction" en "database-functionaal mismatch". Het stelt vast dat voor goed gekarakteriseerde materialen de parametrische kennis van een LLM soms de specifieke database-entries kan overtreffen, terwijl voor nieuwe of defecte structuren tools essentieel zijn. Door deze foutbronnen te isoleren, beweegt AGAPI het veld voorbij de aanname dat "meer tools gelijk staat aan betere nauwkeurigheid", en pleit het voor contextbewuste, adaptieve agentische strategieën die de betrouwbaarheid van de tool afwegen tegen de capaciteiten van het model. Het platform en de evaluatiemethodologie worden beschikbaar gesteld om de ontwikkeling van betrouwbare AI-gestuurde materiaalkunde te versnellen.