MatClaw: An Autonomous Code-First LLM Agent for End-to-End Materials Exploration

Het artikel introduceert MatClaw, een autonoom 'code-first' LLM-agent dat Python-code schrijft en uitvoert om complexe materialenonderzoekswerkflows op HPC-clusters te stroomlijnen, waarbij het door middel van een geavanceerd geheugen en twee gerichte interventies de kloof tussen volledig autonome en mensgeleide ontdekkingen overbrugt.

De kern

MatClaw: De Zelfstandige "Code-Schrijvende" Robot voor Materiaalontdekking

Stel je voor dat je een zeer slimme, maar soms wat ongeduldige assistent hebt. Deze assistent is een kunstmatige intelligentie (een LLM) die alles kan lezen wat er op internet staat over wetenschap. Maar tot nu toe was deze assistent een beetje beperkt: hij kon alleen maar knoppen indrukken die jij vooraf had gemaakt, en als je iets nieuws wilde doen, moest je eerst een heleboel nieuwe knoppen voor hem bouwen.

De auteurs van dit paper, Chenmu Zhang en Boris Yakobson van de Rice University, hebben MatClaw bedacht. Dit is een nieuwe soort robot-assistent die niet wacht op knoppen, maar zelf code schrijft om zijn werk te doen.

Hier is hoe het werkt, vertaald naar alledaagse taal:

1. De "Code-First" Benadering: Van Knoppen naar Schrijven

Stel je voor dat je een kok bent die een recept wilt maken.

• De oude manier: Je had een robot die alleen maar de knoppen "Knoflook toevoegen" en "Oven aan" kon indrukken. Als je een nieuw gerecht wilde maken, moest je eerst een nieuwe knop voor dat gerecht ontwerpen.
• De MatClaw-methode: MatClaw is als een kok die een receptboek (Python-bibliotheken) openhoudt en zelf het recept opschrijft. Hij schrijft direct de instructies op: "Haal de knoflook, hak deze, doe hem in de pan." Hij gebruikt bestaande gereedschappen (softwarebibliotheken) die al op de keukenkast staan, zonder dat je ze eerst hoeft te programmeren.

Dit betekent dat MatClaw vrijwel elk materiaalonderzoek kan doen, van het simuleren van atomen tot het testen van nieuwe batterijen, zonder dat iemand eerst duizenden knoppen voor hem moet maken.

2. Het Geheugen: De "Sisyphus-trap" en de Vier-Lagen Oplossing

Een groot probleem met slimme robots is dat ze hun geheugen verliezen als een gesprek te lang duurt. Het is alsof je een gesprek hebt met iemand die na 10 minuten vergeet wat je 5 minuten geleden zei. In de wetenschap heet dit de "Sisyphus-trap": de robot doet steeds dezelfde fouten of vergeet zijn eigen doelen, alsof hij de berg op duwt en steeds weer terugrolt.

MatClaw heeft een slim vier-laags geheugen ontwikkeld om dit te voorkomen:

1. Het Werkgeheugen (Korte termijn): Alles wat nu in het gesprek staat.
2. Het Dagboek (Episodisch geheugen): Een bestand op de harde schijf waar alles wordt opgeschreven wat er is gebeurd. Als de robot iets vergeet, kan hij in dit dagboek bladeren.
3. Het Leerboek (Semantisch geheugen): Een lijst met lessen die de robot (of de mens) heeft geleerd. Bijvoorbeeld: "Vergeet nooit om bestanden te uploaden voordat je een taak start." Dit wordt elke stap opnieuw gelezen.
4. De Database (Feiten): Een directe link naar de exacte resultaten van berekeningen, zodat de robot niet hoeft te raden wat de uitkomst was.

Dit zorgt ervoor dat de robot na dagenlang werken nog steeds weet waar hij mee bezig was, zonder in de war te raken.

3. De "RAG" Superkracht: De Slimme Boekhouder

Soms maakt de robot fouten omdat hij niet precies weet hoe een bepaald computerprogramma werkt. Het is alsof hij een recept probeert te volgen, maar de ingrediëntenlijst verkeerd leest.

Om dit op te lossen, gebruikt MatClaw RAG (Retrieval-Augmented Generation).

• De Analogie: Stel je voor dat de robot een examen moet doen. In plaats van alleen op zijn geheugen te vertrouwen, mag hij tijdens het examen een specifiek naslagwerk openen.
• Hoe het werkt: Voordat de robot een stukje code schrijft, zoekt hij in de broncode van de software die hij gebruikt naar het juiste antwoord. Hierdoor schrijft hij bijna nooit meer de verkeerde code (99% nauwkeurigheid). Zonder deze "naslagwerk"-functie zou hij vaak vastlopen.

4. Wat Kan Hij Al (en Wat Lukt Nog Niet)?

De auteurs hebben MatClaw getest met een echt wetenschappelijk probleem: het bestuderen van een speciaal materiaal (CIPS) dat gebruikt kan worden in nieuwe elektronica.

Wat gaat het geweldig:

• Code schrijven: Hij schrijft complexe programma's zonder fouten.
• Fouten oplossen: Als een berekening mislukt, denkt hij na, past hij de code aan en probeert hij het opnieuw.
• Zoeken: Hij kan slim zoeken in een enorm groot gebied van mogelijke instellingen om de beste resultaten te vinden.

Waar hij vastloopt (De "Stille Kennis"):
De robot mist wat we stille kennis noemen. Dit is kennis die ervaren wetenschappers in hun buik voelen, maar die nooit in een handleiding staat.

• Voorbeeld: De robot wist niet dat een simulatie van 1 seconde te kort was om een belangrijk proces te zien; een mens had geweten dat je 10 seconden nodig hebt.
• De Oplossing: De mens moet de robot een beetje "leiden". Dit kan door:
  1. Een wetenschappelijk artikel te geven zodat de robot de methode zelf uitleest en onthoudt.
  2. Eén simpele regel toe te voegen: "Zorg dat je simulaties minimaal 20 seconden duren."

Conclusie: Samenwerken in plaats van Alleen

Het belangrijkste punt van dit paper is dat we niet hoeven te wachten tot robots alles volledig zelf kunnen doen. De toekomst ligt in geleide autonomie.

• De Mens: Geeft de grote lijnen, de ervaring en de "buikgevoelens" (bijv. "kijk naar dit specifieke artikel" of "zorg dat de simulatie lang genoeg duurt").
• De Robot (MatClaw): Doet het zware werk. Hij schrijft de code, start de berekeningen op supercomputers, lost fouten op en analyseert de resultaten.

Het resultaat? Wetenschappers kunnen onderzoek doen dat nu maanden duurt, in een paar dagen. MatClaw is de eerste stap naar een toekomst waar robots de "handjes" van de wetenschap zijn, terwijl de mens de "hoofd" blijft.

Technische samenvatting

Probleemstelling

Bestaande Large Language Model (LLM) agents voor computationele materialenwetenschap lijden onder twee fundamentele beperkingen die hun schaalbaarheid en autonomie beperken:

1. Beperkte pipeline-architecturen: De meeste agents zijn vastgeketend aan een vooraf gedefinieerde set software en taaksequenties. Ze kunnen niet flexibel schakelen tussen verschillende simulatiecodes (bijv. van VASP naar DeePMD-kit) binnen één workflow zonder ingrijpende herontwikkeling.
2. Afhankelijkheid van handgeschreven tools: Agents vertrouwen vaak op een bibliotheek van handmatig geschreven tool-functies. Dit creëert een schaalbaarheidsprobleem: het uitbreiden naar nieuwe domeinen vereist steeds meer handmatige codering. Bovendien zijn complexe workflows met conditionele vertakkingen en iteratieve lussen moeilijk uit te drukken als een reeks sequentiële tool-aanroepen.

Daarnaast missen deze agents vaak "tacit knowledge" (impliciete kennis): praktische expertise die onderzoekers door ervaring opdoen (zoals geschikte simulatietijdschalen of evenwichtsprotocollen), maar die zelden formeel in documentatie staat.

Methodologie: MatClaw Architectuur

MatClaw introduceert een code-first agent die Python-code direct schrijft en uitvoert in een gesandboxde omgeving, in plaats van vooraf gedefinieerde tools aan te roepen. De agent componeert bestaande Python-bibliotheken (zoals pymatgen, atomate2, jobflow, DeePMD-kit) om workflows op remote HPC-clusters te orchestreren.

De kernarchitectuur bestaat uit vier belangrijke componenten:

1. Code-as-Action Paradigma:

   • De agent genereert uitvoerbare Python-code als actie. Dit stelt de agent in staat dynamisch te herzien, fouten te debuggen en complexe logica (loops, conditionals) te implementeren die moeilijk zijn met JSON-gebaseerde tool-aanroepen.
   • De outputstructuur is strikt: phase (context), plan (specificatie), code (implementatie), en summary (index voor geheugen).

2. Vier-laags Geheugenarchitectuur (Four-layer Memory):
   Om contextverlies tijdens langdurige workflows (meerdere dagen) te voorkomen, gebruikt MatClaw een hiërarchisch geheugensysteem:

   • Laag 1 (In-context werkgeheugen): Actieve berichten in het contextvenster van de LLM.
   • Laag 2 (Episodisch conversatiegeschiedenis): Een append-only bestand dat alle uitgewisselde berichten opslaat. Bij context pruning wordt de volledige inhoud op verzoek opgehaald via een vooraf gegenereerde samenvatting (summary).
   • Laag 3 (Semantisch ervaringslogboek): Een bewerkbaar tekstbestand met operationele lessen (bijv. "HPC-jobs vereisen uploaden van inputbestanden"). Dit wordt dynamisch herladen voor elke stap en fungeert als semantisch geheugen.
   • Laag 4 (Externe database): Een query-laag voor directe toegang tot numerieke resultaten (energieën, krachten) uit voltooide berekeningen, waardoor de agent niet afhankelijk is van verouderde conversatiegeschiedenis.

3. Contextbeheer (Zone-based Pruning):
   In plaats van dure LLM-aanroepen voor samenvattingen, gebruikt MatClaw een zone-baseringssysteem. Nieuwste berichten blijven volledig intact, oudere berichten worden ingekort tot kop-en-staart fragmenten, en zeer oude berichten worden vervangen door placeholders. De volledige geschiedenis blijft echter beschikbaar op schijf.

4. Retrieval-Augmented Generation (RAG):
   Om de nauwkeurigheid van API-aanroepen te maximaliseren, wordt RAG toegepast op domeinbroncode.

   • Structuur-bewuste chunking: Broncode wordt gesplitst op AST-grenzen (Abstract Syntax Tree) om semantisch coherente eenheden te behouden, in plaats van vaste token-groottes.
   • Retrieval: Gebruik van BM25 met reciprocal rank fusion voor het ophalen van relevante codefragmenten en documentatie.

Belangrijkste Bijdragen

• Onafhankelijke Workflow-Orchestratie: MatClaw kan heterogene multi-code workflows (DFT, ML-force fields, MD) uitvoeren zonder vooraf gedefinieerde tools, puur door Python-bibliotheken te combineren.
• Robuustheid bij Langdurige Taken: De vier-laags geheugenarchitectuur voorkomt "Sisyphus-traps" (verlies van details, doelverschuiving, catastrofale vergetelheid) tijdens workflows die dagen duren.
• Brug tussen Expliciete en Impliciete Kennis: Het paper introduceert een model van "geleide autonomie". De agent is sterk in codegeneratie en interpretatie, maar heeft hulp nodig voor impliciete domeinkennis. Dit wordt opgelost via:
  1. Literatuur zelfleren: De agent leest papers en extrahert methodologieën naar het ervaringslogboek.
  2. Expert-gespecificeerde constraints: Eenvoudige regels in de taakomschrijving (bijv. "minimaal 20 ps simulatietijd") die tacit knowledge expliciet maken.

Resultaten

De agent werd getest op drie end-to-end taken voor monolaag CuInP2S6 (CIPS):

1. ML Force Field Distillatie (Actief Leren):

   • Eerste poging (zonder interventie): De agent slaagde in de workflow maar faalde in het ontwerp: hij gebruikte te korte simulaties (1 ps), wat leidde tot een model dat geen ferro-elektrische barrière-overgangen leerde.
   • Tweede poging (met interventie): Na het lezen van een referentiewerk en het toevoegen van een tijdsconstraint (20 ps), genereerde de agent een robuust model dat barrière-overgangen correct samplede. De agent leerde zichzelf de selectiecriteria voor actieve learning uit de paper.

2. Curie Temperatuur Voorspelling:

   • Eerste poging: De agent produceerde een plausibel maar onbetrouwbaar resultaat ($T_c = 230 \pm 35$ K) omdat hij het evenwicht van de ordeparameter niet verifieerde.
   • Tweede poging: Met de constraint "verifieer convergentie met een pilot MD", ontwierp de agent een beter experiment, wisselde over naar een geschiktere ordeparameter en bereikte een veel nauwkeurigere $T_c = 261 \pm 10$ K.

3. Heuristische Zoektocht naar Domeinwand-Propagatie:

   • De agent voerde een adaptieve zoektocht uit in de (E-veld, Temperatuur) ruimte. In 7 iteraties (14 jobs) vond hij de optimale condities voor domeinwand-propagatie, wat resulteerde in een tijdsbesparing ten opzichte van een exhaustieve grid-search. De fysieke interpretatie was correct en leidde tot een geschatte wand-snelheid van ~640 m/s.

RAG Benchmarks:

• Zonder RAG varieerde de foutenrate in API-gebruik van 10% tot 24% (afhankelijk van de populariteit van de bibliotheek).
• Met RAG (code-chunk + BM25) steeg de nauwkeurigheid naar ~99% voor alle geteste bibliotheken (pymatgen, VASP wiki, jobflow-remote), zelfs voor niche-pakketten waar de LLM's oorspronkelijk zwak waren.

Betekenis en Conclusie

MatClaw demonstreert dat de kloof tussen geleide en volledig autonome computationeel materialenonderzoek kleiner is dan ooit.

• Betrouwbaarheid: LLM's kunnen nu code genereren en wetenschappelijke interpretatie betrouwbaar uitvoeren, mits ondersteund door RAG en een goed geheugensysteem.
• Mens-Agent Samenwerking: De meest effectieve modus is "geleide autonomie". De onderzoeker levert de hoge niveau domeinkennis (via literatuur en constraints), terwijl de agent de complexe workflow-orchestratie, foutopsporing en iteratieve verfijning overneemt.
• Toekomst: De snelle verbetering van LLM-capaciteiten, gecombineerd met RAG, zal de ontdekking van nieuwe materialen versnellen, vooral voor systematische studies die voor mensen te tijdrovend zijn.

De code en benchmarks zijn open-source beschikbaar gesteld, wat herhaalbaarheid en verdere ontwikkeling in de gemeenschap mogelijk maakt.