MatClaw: An Autonomous Code-First LLM Agent for End-to-End Materials Exploration

Das Paper stellt MatClaw vor, einen autonomen, code-basierten LLM-Agenten, der End-to-End-Materialforschung auf HPC-Clustern durchführt, wobei zwar die zuverlässige Code-Generierung gelingt, aber verbleibende Lücken im impliziten Domänenwissen durch gezielte Interventionen wie Literaturlernen und Expertenbeschränkungen geschlossen werden müssen.

Das Wesentliche

Stellen Sie sich vor, Sie haben einen extrem intelligenten, aber noch etwas unerfahrenen digitalen Assistenten, der Ihnen helfen soll, neue Materialien zu entdecken. Früher waren solche Assistenten wie ein Roboter, der nur genau die Tasten drücken durfte, die der Programmierer fest eingearbeitet hatte. Wenn er eine neue Aufgabe bekam, für die es keine Taste gab, blieb er stecken.

Das neue System, das in diesem Papier vorgestellt wird und MatClaw heißt, ist anders. Es ist wie ein junger, talentierter Programmierer, der nicht nur Tasten drückt, sondern selbst den Code schreibt, um die Arbeit zu erledigen.

Hier ist die Erklärung in einfachen Worten, mit ein paar anschaulichen Vergleichen:

1. Der "Code-First"-Ansatz: Der Assistent schreibt die Anleitung selbst

Stellen Sie sich vor, Sie wollen ein komplexes Gericht kochen.

• Der alte Weg: Der Koch (der Assistent) darf nur die vorgefertigten Knöpfe auf seiner Maschine drücken: "Knopf A: Schneiden", "Knopf B: Braten". Wenn er ein neues Rezept braucht, das diese Knöpfe nicht hat, kann er nichts tun.
• Der MatClaw-Weg: Der Koch darf in die Küche gehen, sich die Zutaten (die Computer-Bibliotheken) selbst nehmen und ein eigenes Rezept aufschreiben. Er schreibt den Code, der sagt: "Nimm 200g Mehl, rühre 3 Minuten, dann backe bei 180 Grad."
• Der Vorteil: Er ist nicht auf eine festgelegte Liste beschränkt. Er kann jede Software nutzen, die auf dem Computer installiert ist, und komplexe Aufgaben (wie das Kombinieren verschiedener Simulationsprogramme) selbst orchestrieren.

2. Das Gedächtnis-Problem: Der "Sisyphus-Falle"

Wenn ein solcher Assistent über mehrere Tage hinweg arbeitet, wird die Liste der Dinge, die er sich merken muss, riesig. Das Gehirn eines KI-Modells hat aber eine Art "Kurzzeitgedächtnis", das begrenzt ist.

• Das Problem: Ohne Hilfe würde der Assistent nach ein paar Tagen vergessen, was er am ersten Tag gemacht hat. Er würde wie Sisyphus den Stein den Berg hochrollen, nur um ihn wieder fallen zu lassen, weil er vergisst, dass er schon oben war. Er würde Parameter verlieren, Dateien nicht mehr finden und am Ende alles neu beginnen.
• Die Lösung (Die 4-Schichten-Memory-Architektur): MatClaw hat ein super organisiertes Archivsystem, das wie ein Bibliothekssystem mit vier Ebenen funktioniert:
  1. Der Schreibtisch (Kurzzeitgedächtnis): Alles, was gerade passiert.
  2. Das Notizbuch (Episodisches Gedächtnis): Eine detaillierte Aufzeichnung von jedem Schritt, die man nachschlagen kann, wenn man etwas Vergessenes braucht.
  3. Das Handbuch (Semantisches Gedächtnis): Eine Liste mit "Lehren", die der Assistent oder der Mensch gelernt hat (z. B. "Achtung: Bei diesem Computer muss man Dateien erst hochladen, bevor man startet").
  4. Die Datenbank (Externe Fakten): Ein direkter Zugriff auf die genauen Zahlenwerte der Ergebnisse, damit er nicht raten muss.

3. Die Schwäche: "Stilles Wissen" (Tacit Knowledge)

Hier wird es interessant. Der Assistent ist ein Genie im Schreiben von Code und im Finden von Fehlern. Wenn etwas nicht funktioniert, findet er den Fehler im Code und repariert ihn selbst.
Aber er hat ein Problem mit "stiller Erfahrung".

• Das Beispiel: Stellen Sie sich vor, Sie wollen einen Kuchen backen. Der Assistent kann das Rezept perfekt abtippen und den Ofen programmieren. Aber er weiß nicht intuitiv, dass man den Teig wirklich lange kneten muss, damit er gut wird, weil das in keinem Rezept steht, sondern nur ein erfahrener Bäcker es weiß.
• In der Forschung: Der Assistent wusste nicht, dass man für eine bestimmte Simulation 20 Stunden laufen lassen muss, nicht nur 1 Stunde. Er dachte, 1 Stunde reiche. Das Ergebnis war technisch korrekt, aber wissenschaftlich nutzlos.
• Die Lösung: Der Mensch muss ihm helfen, indem er ihm eine Anleitung gibt (z. B. "Lies dieses wissenschaftliche Papier und merke dir die Methode") oder klare Regeln setzt (z. B. "Laufe mindestens 20 Stunden"). Sobald er diese Regel hat, lernt er sie und wendet sie perfekt an.

4. Der "Suche-und-Finde"-Mechanismus (RAG)

Da der Assistent ständig neue Code-Befehle braucht, die er nicht auswendig kennt, nutzt er ein super-schnelles Nachschlage-System.

• Statt zu raten, welche Funktion er benutzen soll, "blättert" er sofort in den Original-Handbüchern der Software nach.
• Das ist wie ein Schüler, der vor einer Prüfung nicht alles auswendig lernen muss, sondern erlaubt ist, das Lehrbuch aufzuschlagen, um die genaue Formel zu finden.
• Dank dieses Systems macht er bei der Suche nach den richtigen Befehlen fast keine Fehler mehr (über 99 % Genauigkeit).

Das Fazit: Eine perfekte Teamarbeit

Das Papier zeigt, dass wir noch nicht bei "vollständiger Autonomie" sind, wo die KI alles allein macht. Aber wir sind bei "geführter Autonomie".

• Der Mensch ist der erfahrene Chef-Koch: Er sagt, welches Gericht wir kochen wollen, gibt die wichtigen Regeln vor und teilt dem Assistenten mit, worauf man achten muss (das "stille Wissen").
• Der Assistent (MatClaw) ist der fleißige, schnelle Koch: Er schreibt die Rezepte, kocht, räumt auf, findet Fehler im Ofen und führt die langweilige, repetitive Arbeit aus, die für Menschen zu zeitaufwendig wäre.

Zusammengefasst: MatClaw ist ein Werkzeug, das die Lücke zwischen menschlicher Erfahrung und maschineller Geschwindigkeit schließt. Es macht die Entdeckung neuer Materialien schneller, weil es die langwierige Arbeit der Computersimulation übernimmt, solange der Mensch ihm die richtigen Wegweiser gibt.

Technische Zusammenfassung

1. Problemstellung

Bestehende LLM-Agenten (Large Language Models) für die computergestützte Materialwissenschaft leiden unter zwei wesentlichen Einschränkungen:

• Pipeline-begrenzte Architekturen: Viele Agenten sind an feste Software-Suiten und vordefinierte Aufgabensequenzen gebunden (z. B. nur VASP). Sie können komplexe Workflows, die mehrere Codes kombinieren (z. B. DFT, Kraftfeld-Training und Molekulardynamik), nicht flexibel orchestrieren, ohne dass eine erhebliche Neuentwicklung erforderlich ist.
• Abhängigkeit von manuellen Tool-Funktionen: Der vorherrschende Ansatz nutzt manuell geschriebene Tool-Funktionen. Dies führt zu einem Skalierungsproblem: Für neue Domänen oder Softwarepakete müssen ständig neue Tools entwickelt werden. Zudem sind komplexe Workflows mit bedingten Verzweigungen, Schleifen und Fehlerkorrekturen schwer als sequenzielle Tool-Aufrufe darzustellen.

Zudem fehlt es Agenten oft an implizitem Domänenwissen (tacit knowledge), das Forscher durch Erfahrung sammeln, aber selten formalisieren (z. B. angemessene Simulationszeitskalen oder Gleichgewichtsprotokolle).

2. Methodik: Das MatClaw-System

MatClaw ist ein autonomer „Code-First"-Agent, der diese Grenzen überwindet, indem er direkt Python-Code schreibt und ausführt, anstatt vordefinierte Tools aufzurufen.

Kernarchitektur

• Code-as-Action: Der Agent generiert Python-Code, der installierte Domänenbibliotheken (wie pymatgen, atomate2, jobflow, DeePMD-kit) direkt orchestriert. Diese Bibliotheken senden Jobs an Remote-HPC-Cluster (z. B. VASP, LAMMPS) und geben Ergebnisse zurück. Der Agent interagiert nicht direkt mit den Backends, sondern nutzt die Bibliotheken als Abstraktionsschicht.
• Strukturierte Ausgabe: In jedem Schritt generiert der Agent eine Antwort mit vier Feldern in einer festgelegten Reihenfolge:
  1. Phase: Verankert den aktuellen Schritt im Gesamtprozess (verhindert Zielabweichung).
  2. Plan: Beschreibt die spezifischen Aktionen.
  3. Code: Der ausführbare Python-Code.
  4. Zusammenfassung (Summary): Dient als Index für die Speicherverwaltung und wird nach der Code-Generierung erstellt, um Diskrepanzen zwischen Absicht und Implementierung zu vermeiden.

Vier-Schichten-Speicherarchitektur (Four-Layer Memory)

Um den „Sisyphus-Trap" (Verlust von Details, Zielabweichung und katastrophales Vergessen bei langen Workflows) zu vermeiden, nutzt MatClaw eine spezialisierte Speicherstruktur:

1. In-Kontext-Arbeitsspeicher: Der aktuelle Kontext des LLMs.
2. Episodischer Verlauf: Ein append-only-Dateisystem, das den gesamten Chatverlauf speichert. Bei Bedarf werden relevante Schritte über vorab generierte Zusammenfassungen (Layer 1) indiziert und vollständig geladen, ohne zusätzliche LLM-Aufrufe zur Zusammenfassung zu benötigen.
3. Semantisches Erfahrungsprotokoll: Eine bearbeitbare Textdatei, die operative Lehren (z. B. „Remote-Jobs erfordern Upload vor Start") speichert. Diese wird dynamisch vor jedem Schritt neu geladen und in den System-Prompt injiziert.
4. Externe Datenbank: Ein Abfrage-Layer für exakte numerische Ergebnisse (Energien, Kräfte), der den Agenten von prunten Kontexten entkoppelt.

Retrieval-Augmented Generation (RAG)

Um die Genauigkeit der API-Aufrufe zu gewährleisten, wird RAG über den Quellcode der Domänenbibliotheken eingesetzt.

• Strukturbewusstes Chunking: Anstelle von festen Token-Fenstern wird Code an AST-Grenzen (Abstract Syntax Tree) oder mittels code-chunk (Tree-sitter) aufgeteilt, um semantische Einheiten zu erhalten.
• Suche: BM25 mit reziproker Rangkombination (Reciprocal Rank Fusion) wird verwendet, um die Genauigkeit bei API-Fragen zu maximieren.

3. Wichtige Beiträge

1. Code-First-Ansatz: Demonstration, dass ein Agent, der Python direkt schreibt und Bibliotheken komponiert, flexibler und skalierbarer ist als Tool-basierte Ansätze.
2. Robuste Langzeit-Architektur: Die Kombination aus vier-Schichten-Speicher und strukturierter Ausgabe ermöglicht kohärente Workflows über mehrere Tage hinweg ohne Kontextverlust.
3. Umgang mit implizitem Wissen: Identifikation, dass Agenten bei reinen Codetasks stark sind, aber bei physikalischer Intuition (Zeitskalen, Sampling) scheitern.
4. Geführte Autonomie (Guided Autonomy): Ein neues Modell, bei dem der Forscher hochrangiges Domänenwissen (Literatur, Constraints) bereitstellt, während der Agent die Ausführung übernimmt.

4. Ergebnisse und Evaluation

Die Autoren validierten MatClaw an drei End-to-End-Demonstrationen mit dem ferroelektrischen Material CuInP2S6 (CIPS):

• Aufgabe 1: ML-Kraftfeld-Training (Active Learning):
  • Erster Versuch: Der Agent scheiterte, da er zu kurze MD-Trajektorien (1 ps) wählte, was keine Überwindung der ferroelektrischen Barriere erlaubte.
  • Zweiter Versuch (Intervention): Durch Hinzufügen einer Literaturquelle und einer Constraint („mindestens 20 ps") lernte der Agent die richtigen Sampling-Strategien und Selection-Criteria aus dem Paper. Das Ergebnis war ein validiertes Kraftfeld.
• Aufgabe 2: Vorhersage der Curie-Temperatur:
  • Erster Versuch: Der Agent lieferte ein plausibles, aber ungenaues Ergebnis ($T_c = 230 \pm 35$ K), da er die Konvergenz des Ordnungsparameters nicht validierte.
  • Zweiter Versuch (Intervention): Eine Anforderung zur Konvergenzprüfung führte zu einem präziseren Ergebnis ($T_c = 261 \pm 10$ K) in weniger Schritten.
• Aufgabe 3: Heuristische Suche nach Domänenwand-Propagation:
  • Der Agent führte autonom eine Suche im $(E, T)$-Parameterraum durch, identifizierte physikalisch sinnvolle Bedingungen und fand den optimalen Punkt für Domänenwand-Propagation mit null Fehlern.

RAG-Benchmarks:

• Ohne RAG lag die Fehlerquote bei API-Aufrufen zwischen 10 % und 24 %.
• Mit RAG (insb. code-chunk + BM25) stieg die Genauigkeit auf ~99 % an, unabhängig von der Popularität der Bibliothek (von pymatgen bis zu Nischenpaketen wie jobflow-remote).
• Die Genauigkeit verbessert sich mit fortschreitenden LLM-Generationen, bleibt aber auch bei den besten Modellen ohne RAG unzureichend für mehrstufige Workflows.

5. Bedeutung und Fazit

Das Paper zeigt, dass die Lücke zwischen geführter und vollautonomer computergestützter Materialforschung kleiner denn je ist.

• Zuverlässigkeit: LLMs können Code generieren, APIs korrekt aufrufen und wissenschaftliche Ergebnisse interpretieren.
• Die Bottleneck: Das fehlende implizite Domänenwissen (Erfahrungswissen) ist der Hauptlimitierungsfaktor.
• Lösung: Durch „Geführte Autonomie" – eine Kombination aus Literatur-Selbstlernen des Agents und expliziten Constraints durch den Forscher – können diese Lücken geschlossen werden.

MatClaw demonstriert, dass Agenten Workflows übernehmen können, die für Menschen zu zeitaufwendig wären (z. B. systematische Parameterraum-Exploration), und dass die Kombination aus Code-First-Design, robustem Speicher und RAG eine solide Basis für zukünftige autonome wissenschaftliche Entdeckungen bildet. Der gesamte Code und die Benchmarks sind Open-Source verfügbar.