El Agente Gráfico: Structured Execution Graphs for Scientific Agents

Die Arbeit stellt „El Agente Gráfico" vor, ein Framework, das Large Language Models durch die Einbettung in eine typsichere Ausführungsumgebung und dynamische Wissensgraphen mit strukturierten, nachvollziehbaren Entscheidungsprozessen für die Automatisierung komplexer wissenschaftlicher Workflows verbindet.

Das Wesentliche

Stellen Sie sich vor, Sie haben einen extrem intelligenten, aber manchmal etwas chaotischen Assistenten, der ein riesiges Labor voller komplexer Maschinen bedient. Dieser Assistent ist eine Künstliche Intelligenz (KI), genauer gesagt ein "Large Language Model" (wie ein sehr fortschrittlicher Chatbot).

Das Problem bisher war: Wenn dieser Assistent wissenschaftliche Experimente durchführte, kommunizierte er alles nur über Text. Er musste dem Computer sagen: "Berechne jetzt die Energie dieses Moleküls." Der Computer antwortete: "Hier ist die Zahl." Der Assistent musste diese Zahl dann in einen neuen Text umwandeln, um den nächsten Schritt zu planen.

Das ist wie wenn Sie einem Koch sagen: "Nimm das Salz, gib es in den Topf, und schreib mir dann einen Brief, wie viel Salz drin ist, damit ich dir sagen kann, ob du Pfeffer hinzufügen sollst." Das ist langsam, fehleranfällig und verwirrend, besonders wenn es um komplexe Chemie geht.

"El Agente Gráfico" ist die Lösung für dieses Chaos. Hier ist die Erklärung, wie es funktioniert, mit einfachen Analogien:

1. Der Chefkoch und das digitale Kochbuch (Die Wissensgraphen)

Stellen Sie sich vor, unser KI-Assistent arbeitet nicht mehr nur mit losen Zetteln (Text), sondern mit einem digitalen, lebendigen Kochbuch, das alles über die Zutaten weiß.

• Das alte System: Der Assistent musste jedes Mal, wenn er eine neue Zutat brauchte, die ganze Geschichte neu erzählen.
• Das neue System (El Agente Gráfico): Der Assistent hat Zugriff auf eine riesige Datenbank (einen "Wissensgraphen"). Wenn er ein Molekül erstellt, bekommt es einen eindeutigen Ausweis (eine Art digitaler Barcode). Statt lange Texte zu schreiben, reicht es dem Computer, diesen Ausweis zu zeigen: "Hier ist das Molekül, das wir gerade bearbeitet haben." Der Computer weiß sofort, was es ist, wie groß es ist und was es kann.

2. Die Bauanleitung statt des freien Redens (Strukturierte Ausführung)

Stellen Sie sich vor, Sie bauen ein riesiges Schloss aus Lego.

• Das alte System: Der Assistent sagte: "Bau ein Schloss. Ach nein, erst ein Fundament. Und wenn das Fundament wackelt, bau ein zweites. Und vergiss nicht, die Fenster einzubauen." Das war wie freies Reden – oft vergaß er Schritte oder baute etwas, das nicht passte.

• Das neue System: Der Assistent arbeitet jetzt mit einer festen Bauanleitung (einem Graphen). Diese Anleitung ist wie ein Flussdiagramm:

  1. Schritt A: Baue das Fundament.
  2. Wenn das Fundament stabil ist -> Gehe zu Schritt B.
  3. Wenn es wackelt -> Gehe zu Schritt C (Reparatur).

  Der Assistent muss nicht mehr raten, was als Nächstes kommt. Er folgt der Karte. Das macht den Prozess viel sicherer und schneller.

3. Der Sicherheitsgurt (Typsicherheit)

In der Wissenschaft ist es fatal, wenn man die Einheiten verwechselt (z. B. Meter statt Zentimeter).

• Das alte System: Der Assistent konnte versehentlich sagen: "Die Temperatur ist 100" (ohne zu sagen, ob es Grad Celsius oder Fahrenheit sind). Das führte zu falschen Ergebnissen.
• Das neue System: El Agente Gráfico hat einen Sicherheitsgurt. Bevor der Assistent einen Befehl gibt, prüft das System automatisch: "Stimmt das? Ist das eine Temperatur? Ist das eine Masse?" Wenn die Daten nicht genau passen, wird der Befehl gar nicht erst ausgeführt. Das verhindert, dass der Assistent "halluziniert" oder falsche Zahlen erfindet.

4. Warum ist das so wichtig?

Bisher mussten viele solcher Assistenten in Teams arbeiten (ein Teammitglied plant, ein anderes führt aus, ein drittes prüft). Das war wie ein Orchester, bei dem jeder ein anderes Instrument spielt, aber niemand den Takt hält. Es gab viele Missverständnisse und Verzögerungen.

El Agente Gráfico zeigt, dass ein einziger, gut organisierter Assistent mit dieser neuen "Bauanleitung" und dem "digitalen Ausweis" für die Daten viel besser ist als ein chaotisches Team.

• Ergebnis: Die Experimente sind 14-mal schneller und viel billiger, weil weniger Zeit mit "Hin und Her"-Kommunikation verschwendet wird.
• Anwendung: Ob es darum geht, neue Medikamente zu finden, die beste Form für eine Batterie zu berechnen oder neue Materialien zu erfinden – dieses System kann komplexe Aufgaben zuverlässig erledigen, ohne dass ein Mensch ständig eingreifen muss.

Zusammenfassung in einem Satz

El Agente Gráfico verwandelt einen chaotischen KI-Assistenten, der nur reden kann, in einen präzisen Wissenschaftler, der mit einer strukturierten Bauanleitung und einem digitalen Ausweis für jede Datenmenge arbeitet – schneller, sicherer und ohne Fehler.

Technische Zusammenfassung

1. Problemstellung

Die Integration von Large Language Models (LLMs) in wissenschaftliche Workflows hat zwar Fortschritte bei der Automatisierung gebracht, stößt jedoch auf fundamentale Grenzen:

• Fragilität und Ad-hoc-Integration: Die Verbindung zu heterogenen Rechenwerkzeugen ist oft unstrukturiert und fehleranfällig.
• Kontext-Management: Bestehende Ansätze verlassen sich auf unstrukturierten Text, um Kontext und Ausführung zu koordinieren. Dies führt zu enormen Datenmengen, die den Kontextfenster-Limiten von LLMs nahekommen, die Nachvollziehbarkeit (Provenance) erschweren und die Auditierbarkeit behindern.
• Datenübertragung: Wissenschaftliche Pipelines erzeugen große Mengen strukturierter Daten und Binärartefakte (z. B. numerische Simulationen), die nicht effizient durch LLM-Kontextfenster übertragen werden können.
• Multi-Agenten-Komplexität: Versuche, diese Probleme durch Multi-Agenten-Systeme zu lösen, führen oft zu Koordinationsfehlern und Überprüfungsproblemen, ohne dass die Leistung signifikant steigt.
• Fehlende Typsicherheit: Der Ausführungskontext wird oft als flüchtiger Text behandelt, anstatt als explizit typisierter, validierter wissenschaftlicher Zustand.

2. Methodik: El Agente Gráfico

Das Paper stellt El Agente Gráfico vor, ein Single-Agent-Framework, das LLM-Entscheidungen in eine typsichere Ausführungsumgebung und dynamische Wissensgraphen (Knowledge Graphs, KG) einbettet.

Kernkomponenten:

• Strukturierte Ausführungsgraphen (Execution Graphs): Workflows werden nicht als freier Text, sondern als validierte Zustandsübergänge in einem Graphen dargestellt. Knoten repräsentieren Berechnungsschritte (z. B. Geometrieoptimierung, Frequenzanalyse), und Kanten definieren den zulässigen Datenfluss (einschließlich bedingter und zyklischer Übergänge).
• Objekt-Graph-Mapper (OGM): Dies ist eine zentrale Komponente, die Python-Objekte (wissenschaftliche Zustände) in einen externen Wissensgraphen serialisiert und umgekehrt.
  • Wissenschaftliche Konzepte werden als typisierte Python-Objekte (z. B. ConceptualAtoms) repräsentiert.
  • Diese Objekte erhalten eindeutige Identifikatoren (IRIs - Internationalized Resource Identifiers).
  • Dies ermöglicht die Persistierung von „schweren" Daten (z. B. große numerische Arrays, Koordinaten) außerhalb des LLM-Kontextfensters. Der Agent kommuniziert nur über diese leichten IRI-Handles.
• Routing-Agent: Ein spezialisierter LLM-Call (Router) steuert den Graphen. Er analysiert den Benutzerwunsch und den aktuellen Zustand, wählt basierend auf einem Schema den nächsten gültigen Knoten aus und instantiiert die notwendigen Eingabeparameter.
• Abstraktionsschicht: Eine einheitliche Schnittstelle (ConceptualAtoms) abstrahiert über verschiedene Pakete hinweg (z. B. PySCF, CREST, PORMAKE) und ermöglicht nahtlose Transformationen zwischen Werkzeugen ohne manuelle Konvertierung oder Datenverlust.
• Technische Umsetzung: Das System nutzt pydantic-ai für Typsicherheit und Schema-Validierung, GPU4PySCF für beschleunigte Quantenchemie und Blazegraph als Backend für den Wissensgraphen.

3. Wichtige Beiträge

• Paradigmenwechsel von Prompt- zu Context-Engineering: Statt den Kontext durch Text zu verwalten, wird der wissenschaftliche Zustand externisiert und typisiert. Dies entkoppelt die hochlevelige Entscheidungsfindung von der niedrigleveligen Ausführung.
• Single-Agent-Architektur mit hoher Robustheit: Das Paper zeigt, dass ein einzelner, gut orchestrierter Agent mit einer zuverlässigen Ausführungsmaschine komplexere Aufgaben bewältigen kann als Multi-Agenten-Systeme, da Koordinations-Overhead und Kommunikationsfehler entfallen.
• Nachvollziehbarkeit und Auditierbarkeit: Durch die Persistierung aller Zwischenergebnisse im Wissensgraphen ist jeder Schritt des wissenschaftlichen Prozesses vollständig nachvollziehbar und auditierbar.
• Skalierbare Parallelisierung: Die Architektur erlaubt die parallele Ausführung von Berechnungen (z. B. mehrere Konformere gleichzeitig auf GPUs), da der Agent den Zustand über IRIs verwaltet und nicht durch sequenzielle Textübertragung blockiert wird.

4. Ergebnisse

Das Framework wurde an drei Hauptanwendungsbereichen evaluiert:

A. Benchmark in der Quantenchemie (Universitätsebene):

• Aufgaben: 6 verschiedene Aufgaben (z. B. Ring-Spannung, pKa-Vorhersage, TDDFT) mit zwei Schwierigkeitsgraden, insgesamt 120 Runs pro Modell.
• Vergleich: Gegenüber dem vorherigen Multi-Agenten-System „El Agente Q" (basierend auf Sonnet-3.7) erzielte Gráfico (mit GPT-5) signifikante Verbesserungen:
  • Kosten: Reduktion von ~4,67 USD auf ~0,17 USD pro Aufgabe (ca. 96 % Einsparung).
  • Zeit: Reduktion der Wandzeit von ~1827 s auf ~200–300 s (≥6-fache Beschleunigung).
  • Token-Verbrauch: Reduktion von ~1,6 Mio. auf ~100k Tokens.
  • Genauigkeit: Erzielte höhere numerische Genauigkeit (bis zu 98,88 % bei GPT-5) bei gleichzeitig besserer semantischer Bewertung.
• Erkenntnis: Sobald ein einzelner Agent eine hohe Basisgenauigkeit erreicht, bringt zusätzliche Multi-Agenten-Koordination keine proportionalen Gewinne, sondern führt oft zu Ineffizienz.

B. Boltzmann-gewichtete spektroskopische Eigenschaften:

• Demonstration der Fähigkeit, Konformeren-Sampling (CREST), Solvatationsmodelle (implizit/explizit) und TDDFT-Berechnungen in einem einzigen Workflow zu orchestrieren.
• Der Agent handhabte Fehler (z. B. imaginäre Frequenzen) automatisch durch Reparatur-Loops, ohne den gesamten Workflow neu starten zu müssen.

C. Design von Metall-organischen Gerüsten (MOFs):

• Interaktive Exploration des Designraums von MOFs. Der Agent nutzte den Wissensgraphen, um bestehende Strukturen zu analysieren, neue hypothetische MOFs durch kombinatorische Suche vorzuschlagen und diese zu optimieren.
• Der Agent konnte über mehrere Sitzungen hinweg den Kontext beibehalten (Cross-session persistence) und komplexe SPARQL-Abfragen zur Analyse von Topologie- und Porengrößen-Trade-offs durchführen.

5. Bedeutung und Ausblick

• Vertrauenswürdigkeit: Durch die Einführung von Typsicherheit und Schema-Validierung wird das Vertrauen in die Ausgaben von KI-Agenten in wissenschaftlichen Kontexten erhöht. Fehlerhafte Code-Generierung oder falsche Parameter werden durch die strukturierte Ausführung abgefangen.
• Skalierbarkeit: Der Ansatz bietet eine skalierbare Grundlage für die Automatisierung wissenschaftlicher Entdeckungen, die über prompt-zentrierte Designs hinausgeht.
• Zukunft: Die Autoren sehen die Notwendigkeit, die semantischen Grenzen (Ontologien) gemeinsam mit dem Evaluierungsframework weiterzuentwickeln und das System auf verteilte, langfristige Agenten-Netzwerke („Self-Driving Labs") auszuweiten.

Fazit: „El Agente Gráfico" beweist, dass die Kombination aus typisierten Ausführungsgraphen und Wissensgraphen ein robustes, effizientes und skalierbares Fundament für KI-gestützte wissenschaftliche Automatisierung bildet, das die Grenzen aktueller LLM-basierter Ansätze überwindet.