El Agente Gráfico: Structured Execution Graphs for Scientific Agents

Dit paper introduceert 'El Agente Gráfico', een enkel-agent framework dat LLM-besluitvorming integreert in een type-veilige uitvoeringsomgeving en dynamische kennisgrafieken om wetenschappelijke workflows te stroomlijnen, de traceerbaarheid te verbeteren en complexe berekeningen zoals kwantumchemie en MOF-ontwerp robuust te automatiseren.

De kern

El Agente Gráfico: De Slimme Architect van de Wetenschappelijke Wereld

Stel je voor dat je een enorme bibliotheek hebt vol met wetenschappelijke boeken, maar je hebt een assistent nodig om de juiste informatie te vinden, de berekeningen te doen en de resultaten te presenteren. Vroeger deden we dit met grote taalmodellen (LLMs), die als een zeer spraakzame, maar soms wat chaotische student werken. Ze kunnen praten en redeneren, maar als je ze vraagt om complexe chemische berekeningen te doen, raken ze snel in de war. Ze vergeten details, maken fouten in de cijfers en kunnen enorme hoeveelheden tekst niet goed onthouden.

Het probleem: De "Zandkasteel"-aanpak
In de vorige versies van deze AI-agenten (zoals El Agente Q) werd alles gedaan via tekst. Het was alsof je de assistent een brief gaf met de opdracht: "Bouw een kasteel." De assistent schreef dan een heel verhaal over hoe hij het deed, maar als het kasteel groot werd, raakte hij de details kwijt. Als er een fout in het verhaal zat, moest hij het hele verhaal opnieuw schrijven. Dit was traag, duur en onbetrouwbaar. Het was als proberen een brug te bouwen door alleen maar te praten over de stenen, zonder ze daadwerkelijk te tellen of te meten.

De oplossing: El Agente Gráfico
De auteurs van dit paper hebben een nieuwe manier bedacht, genaamd El Agente Gráfico. In plaats van te praten over de wetenschap, laten ze de AI werken met een strakke, digitale bouwtekening.

Hier is hoe het werkt, vertaald naar alledaagse beelden:

1. Van "Geklets" naar "Bouwplaat" (Gestructureerde Grafieken)

Stel je voor dat je een legpuzzel moet maken.

• De oude manier: De AI probeerde de puzzel te maken door te beschrijven hoe de stukjes eruitzagen in een lang verhaal. "De blauwe stukjes gaan hier, de rode daar..." Maar als de puzzel groot werd, raakte het verhaal door elkaar.
• De nieuwe manier (Gráfico): De AI krijgt een bouwplaat (een "Execution Graph"). Dit is een visueel schema met vakjes en pijlen. Elk vakje is een specifieke taak (bijv. "Bereken de energie van dit molecuul"). De AI hoeft niet te gissen; hij volgt gewoon de pijlen. Als hij bij vakje A is, weet hij precies dat hij naar vakje B moet gaan. Dit voorkomt dat hij de draad kwijtraakt.

2. De "Magische Koffer" (Object-Graph Mapper)

In de oude systemen moest de AI elke keer dat hij een nieuwe stap deed, de hele situatie opnieuw uitleggen in tekst. "Ik heb nu een molecuul met deze coördinaten..." Dit is als een koerier die elke keer dat hij een pakketje bezorgt, het hele huis moet beschrijven in plaats van alleen het adres op het pakje te schrijven.

Gráfico gebruikt een Object-Graph Mapper.

• De analogie: Stel je voor dat elk molecuul of elke berekening een uniek ID-nummer heeft op een magische koffer. De AI hoeft de inhoud van de koffer niet te beschrijven. Hij zegt alleen: "Haal koffer #12345 op." De computer pakt dan direct de exacte, perfecte data uit de koffer.
• Dit betekent dat de AI niet meer hoeft te "onthouden" in zijn hoofd (wat beperkt is), maar kan verwijzen naar een extern geheugen (een kennisgrafiek). Het is alsof je een assistent hebt die niet alles in zijn hoofd moet houden, maar een perfect georganiseerd archief heeft waar hij direct op kan terugvallen.

3. De "Vakman" vs. De "Diplomaat"

De oude AI-agenten waren vaak als diplomaten: ze probeerden alles in gesprek te houden, maar waren niet goed in het uitvoeren van zware, technische taken.
Gráfico is meer als een hoofdarchitect die een team van vaklieden aanstuurt.

• De AI (de architect) kijkt naar de bouwplaat.
• Hij stuurt een signaal naar de "chemie-machine" (een computerprogramma) om een berekening te doen.
• De machine doet het werk en geeft een ID-nummer terug.
• De AI kijkt weer naar de bouwplaat en zegt: "Oké, nu gaan we naar de volgende stap."

Waarom is dit zo belangrijk?

1. Snelheid en Kosten: Omdat de AI niet meer hoeft te praten over elke stap, maar alleen de stappen uitvoert, gaat het 14 keer sneller en kost het veel minder geld (minder "tokens" of woorden).
2. Betrouwbaarheid: In de wetenschap moet je precies zijn. Als je een brug bouwt, mag de brug niet instorten. Omdat Gráfico werkt met gestructureerde data en niet met losse tekst, zijn de resultaten veel nauwkeuriger. Het maakt geen fouten in de cijfers omdat het systeem de cijfers zelf controleert, niet de AI die ze uitspreekt.
3. Herhaalbaarheid: Als je de opdracht morgen opnieuw geeft, krijg je exact hetzelfde resultaat. De oude systemen waren soms willekeurig; Gráfico is voorspelbaar.

De Toekomst: Een "Zelfrijdend Laboratorium"

De auteurs tonen aan dat dit systeem niet alleen goed is voor simpele vragen, maar ook voor complexe taken zoals het ontwerpen van nieuwe materialen (zoals metal-organic frameworks, die gebruikt worden voor het opslaan van gassen) of het voorspellen van hoe medicijnen zich gedragen in het lichaam.

Kortom: El Agente Gráfico verandert de AI van een "spraakzame student" die veel praat maar soms fouten maakt, in een professionele projectmanager die een strakke planning volgt, een perfect archief heeft en de zware technische taken uitbesteedt aan de juiste machines. Hierdoor kunnen wetenschappers zich richten op de grote vragen, terwijl de AI de complexe, saaie en risicovolle berekeningen foutloos voor hen regelt.

Technische samenvatting

Probleemstelling

Hoewel Large Language Models (LLMs) steeds vaker worden ingezet om wetenschappelijke workflows te automatiseren, blijft de integratie met heterogene computatietools vaak ad hoc en fragiel. Bestaande agentische benaderingen vertrouwen vaak op ongestructureerde tekst om context te beheren en uitvoering te coördineren. Dit leidt tot enkele fundamentele problemen:

1. Contextlimieten en Informatie-overload: Wetenschappelijke pipelines genereren enorme hoeveelheden gestructureerde data en binaire artefacten (zoals geometrieën en energiewaarden) die niet praktisch door LLM-contextvensters kunnen worden verzonden.
2. Fragiliteit en Nauwkeurigheid: Het gebruik van ongestructureerde tekst voor state-management maakt het moeilijk om de herkomst van beslissingen (provenance) te traceren en zorgt voor inconsistenties, vooral in numerieke simulaties waar exactheid cruciaal is.
3. Coördinatie-inefficiëntie: Multi-agent systemen, die vaak worden gebruikt om contextbelasting te verminderen, introduceren vaak fouten in coördinatie en verificatie, wat leidt tot inefficiëntie en hogere kosten.

De kern van het probleem is dat de uitvoeringscontext wordt behandeld als vluchtige, ongestructureerde tekst in plaats van als een eerste klas representatie van de wetenschappelijke staat.

Methodologie: El Agente Gráfico

Het artikel introduceert El Agente Gráfico, een enkel-agent framework dat LLM-besluitvorming inbedt in een type-safe uitvoeringsomgeving en dynamische kennisgrafieken (Knowledge Graphs - KG). De architectuur rust op drie pijlers:

1. Gestructureerde Uitvoeringsgrafieken (Execution Graphs):

   • In plaats van vrije tekst, worden workflows weergegeven als getypeerde uitvoeringsgrafieken. Deze bestaan uit knooppunten (tools/berekeningen) en gerichte randen die geldige data-stromen definiëren.
   • De agent stuurt geen ruwe commando's, maar navigeert door een validatie-schema. Een Router Agent (een LLM) selecteert de volgende knoop op basis van een schema-geconditioneerde, gestructureerde output, wat zorgt voor typeveilige overgangen.
   • Dit elimineert de noodzaak om complexe tussentijdse objecten (zoals mean-field toestanden in kwantumchemie) te serialiseren via tekst.

2. Object-Graph Mapper (OGM) en Type-Safe Abstraktie:

   • Wetenschappelijke state wordt vertegenwoordigd als gestructureerde Python-objecten (via een laag genaamd ConceptualAtoms).
   • Een aangepaste Object-Graph Mapper (gebaseerd op World Avatar) serialiseert deze Python-objecten naar een externe kennisgrafiek (gehost op Blazegraph) met unieke identifiers (IRI's).
   • Dit stelt de agent in staat om "zware" data (zoals grote numerieke arrays) te doorgeven tussen tools via lichtgewicht IRI-referenties in plaats van het opnieuw verzenden van de data zelf. Dit ondersteunt zero-copy state transfer en persistente opslag.

3. Hybride Geheugenbeheer:

   • De agent gebruikt een combinatie van werkgeheugen (samenvattingen van intenties) en het externe kennisgrafiek voor persistente, relationele opslag.
   • Dit maakt het mogelijk om eerdere resultaten op te halen en complexe queries uit te voeren over de staat van het experiment zonder de context van de LLM te overladen.

Belangrijkste Bijdragen

• Verschuiving van Prompt Engineering naar Context Engineering: Het artikel pleit voor het externaliseren en typen van wetenschappelijke staat als de sleutel tot schaalbare agentische systemen, in plaats van het vertrouwen op prompt-engineering.
• Enkel-Architectuur met Parallelisme: Het toont aan dat een enkel agent, wanneer gekoppeld aan een betrouwbare, getypeerde uitvoeringsengine, complexe, meerstaps en parallelle berekeningen kan uitvoeren, wat de complexiteit en kosten van multi-agent systemen overbodig maakt.
• End-to-End Validatie: Het introduceert een volledig geautomatiseerd evaluatiekader dat zowel numerieke correctheid (via deterministische checkers) als semantische taakopvolging (via een LLM-judge) beoordeelt.
• Extensibiliteit: Het framework is succesvol toegepast op drie verschillende domeinen: kwantumchemie, conformeren-zoektochten voor spectroscopie, en het ontwerp van metaal-organische kaders (MOF's).

Resultaten

De auteurs evalueerden Gráfico op een reeks universitaire kwantumchemie-opdrachten (gebaseerd op eerdere benchmarks van El Agente Q) en vergeleken verschillende LLM's (GPT-4.1, GPT-5, Claude Sonnet, etc.).

• Efficiëntie en Kosten:

  • In vergelijking met een eerdere multi-agent architectie (El Agente Q), boekte Gráfico een reductie in tokenverbruik van ~1,6 miljoen naar ~100.000 tokens (een factor 14+).
  • De operationele kosten daalden van $4,67 naar $0,17 per taak (ongeveer 96% reductie) bij gebruik van GPT-5.
  • De wall-clock tijd daalde van ~1827 seconden naar 200-300 seconden (minstens 6x sneller), mede dankzij het vermogen om GPU-versnelde workflows (GPU4PySCF) parallel te draaien zonder coördinatie-overschotten.

• Nauwkeurigheid:

  • Gráfico bereikte een numerieke evaluatiescore van 98,88% met GPT-5, wat een verbetering is ten opzichte van de eerdere multi-agent setup (88,25% met menselijke evaluatie).
  • De systematische fouten (zoals het verkeerd detecteren van puntgroepen of het missen van imaginaire frequenties) die voorkwamen bij een "lichtgewicht" agent zonder gestructureerde grafieken, werden geëlimineerd.

• Case Studies:

  • Spectroscopie: Het systeem slaagde erin om Boltzmann-gewogen absorptiespectra te genereren voor zowel impliciete als expliciete solvatatie, waarbij het automatisch fouten in de workflow (zoals het verwijderen van imaginaire frequenties) corrigeerde.
  • MOF Ontwerp: Het agent kon interactief een kennisgrafiek van MOF's opbouwen, nieuwe hypothetische structuren combineren via SPARQL-queries, en deze optimaliseren met machine-learned interatomaire potentialen (MLIPs).

Significantie

Deze studie markeert een paradigmaverschuiving in de ontwikkeling van AI voor wetenschap:

1. Betrouwbaarheid door Structuur: Het bewijst dat de betrouwbaarheid van wetenschappelijke agents niet primair afhangt van de "slimheid" van de prompt, maar van de semantiek van de uitvoering. Door tools en concepten te vertegenwoordigen als getypeerde objecten en expliciete grafieken, wordt het systeem robuust tegen hallucinaties en contextverlies.
2. Schalbaarheid: Het biedt een schaalbare basis voor "Self-Driving Laboratories" en autonome wetenschappelijke ontdekking, waarbij agents niet langer beperkt worden door de contextlimieten van LLM's, maar kunnen opereren op een persistente, gestructureerde staat.
3. Toekomstperspectief: Het werk legt de basis voor een ecosysteem van "agent skills" en modulaire workflows die kunnen worden gedeeld en hergebruikt, wat essentieel is voor de democratisering van geavanceerde wetenschappelijke simulaties.

Kortom, El Agente Gráfico demonstreert dat door de integratie van type-safe uitvoeringsgrafieken en kennisgrafieken, wetenschappelijke agents kunnen evolueren van fragiele tekstgebaseerde chatbots naar robuuste, schaalbare en kostenefficiënte systemen voor complexe wetenschappelijke ontdekking.