AgentCAT: An LLM Agent for Extracting and Analyzing Catalytic Reaction Data from Chemical Engineering Literature

Dit artikel introduceert AgentCAT, een LLM-agent die katalytische reactiedata uit chemische techniekpublicaties extraheert en analyseert via een schema-gestuurde pipeline en een afhankelijkheidsbewust kennisgrafiek, waarmee de langdurige dataknelpunt in dit vakgebied wordt aangepakt en interactieve analyse in natuurlijke taal mogelijk wordt gemaakt.

De kern

Stel je voor dat chemische ingenieurs als detectives werken die proberen een enorm, verwarrend raadsel op te lossen: hoe maken we chemicaliën op de beste, goedkoopste en veiligste manier?

Deze detectives hebben duizenden oude dossiers (wetenschappelijke artikelen) nodig om hun cases op te lossen. Maar hier zit het probleem: deze dossiers zijn niet netjes in een mapje gestopt. De antwoorden zijn verspreid over de hele tekst, soms in een tabel, soms in een grafiek, en soms verstopt in een lange zin over een heel specifiek experiment.

Vroeger moesten mensen urenlang zitten om deze informatie uit te zoeken en in een spreadsheet te typen. Dat gaat veel te langzaam.

AgentCAT is de nieuwe, slimme robot-detective die dit probleem oplost. Hier is hoe het werkt, vertaald in simpele taal:

1. Het Probleem: De "Losse Pootjes"

In de chemie is alles met elkaar verbonden. Als je een machine (een katalysator) bouwt, hangt het resultaat af van hoe je hem hebt gemaakt, hoe hij eruit ziet onder een microscoop, en hoe hij zich gedraagt in een grote fabriek.

• De oude manier: Een gewone computer leest een artikel en zegt: "Ah, hier staat dat ze 5 gram materiaal hebben gebruikt." Maar de computer vergeet dat dit alleen geldt voor een heel specifiek experiment en dat de temperatuur anders was dan in het vorige artikel. Het resultaat is een rommelige hoop losse feiten die niet kloppen.
• Het risico: Het is alsof je een recept voor een taart probeert te maken door alleen de woorden "suiker" en "ei" uit verschillende boeken te halen, zonder te weten hoeveel je er nodig hebt of hoe lang je moet bakken.

2. De Oplossing: AgentCAT, de Slimme Architect

AgentCAT is geen simpele zoekmachine; het is een team van slimme robots dat samenwerkt om de puzzelstukjes op de juiste manier in elkaar te zetten.

Stap 1: De "Levende" Lijst (Schema Evolution)

Stel je voor dat je een nieuwe taal moet leren. Je begint met een basiswoordenschat. AgentCAT begint ook met een basislijst van wat belangrijk is (bijv. "materiaal", "temperatuur", "resultaat").
Maar in plaats van stug vast te houden aan die lijst, leert AgentCAT erbij. Als het een nieuw artikel ziet met een nieuw soort experiment, zegt het: "Oh, wacht even, we hebben een nieuw woord nodig voor dit." Het past zijn eigen lijst aan, net zoals een mens die nieuwe woorden leert. Zo mist hij nooit iets belangrijks.

Stap 2: De Twee-Fasen Detectivewerk (Evidence-Based)

AgentCAT is niet snel en slordig; het is langzaam en precies. Het werkt in twee stappen:

1. Zoeken: Het bladert door het document en plakt letterlijk de zinnen eruit die relevant lijken. Het doet nog niets met ze, het verzamelt ze alleen.
2. Controleren: Dan kijkt het terug naar die zinnen en vraagt het zich af: "Past dit echt hier? Is dit het juiste getal voor dit specifieke experiment?"
   Als het twijfelt of iets niet klopt, roept het een "hoofdinspecteur" (een review-agent) om het te controleren. Als de hoofdinspecteur zegt: "Nee, dit klopt niet," dan doet AgentCAT het opnieuw. Dit zorgt ervoor dat er geen fouten in de database komen.

Stap 3: De Grote Netwerkkaart (Knowledge Graph)

In plaats van de informatie in een saaie Excel-tabel te stoppen, bouwt AgentCAT een drie-dimensionaal spinnenweb (een kennisnetwerk).

• In dit web zijn alle experimenten met elkaar verbonden.
• Je kunt zien: "Als we dit materiaal gebruiken (knooppunt A), met deze temperatuur (knooppunt B), dan krijgen we dit resultaat (knooppunt C)."
• Het is alsof je een Google Maps hebt voor chemische reacties. Je kunt niet alleen zien waar je bent, maar ook welke wegen er zijn en hoe ze met elkaar verbonden zijn.

3. Wat kun je er mee? (De Vraagbaak)

Het mooiste is dat je niet hoeft te weten hoe je in zo'n complex web zoekt. Je kunt gewoon praat tegen AgentCAT, alsof je tegen een menselijke expert praat.

• Vraag: "Welke materialen werken het beste om plastic af te breken bij hoge temperaturen?"
• Antwoord: AgentCAT zoekt door duizenden artikelen, pakt de juiste stukjes uit het spinnenweb, en geeft je een duidelijk antwoord met een visuele kaart die laat zien welke materialen het beste werken.

Waarom is dit belangrijk?

Vroeger duurde het jaren om genoeg data te verzamelen om een nieuwe, betere chemische fabriek te ontwerpen. Met AgentCAT kunnen wetenschappers in een paar dagen zien wat er in de hele wereld al bekend is. Het helpt hen om sneller nieuwe medicijnen, schone brandstoffen en betere materialen te vinden.

Kort samengevat: AgentCAT is de slimme, geduldige robot die de chaos van duizenden wetenschappelijke artikelen omzet in een helder, verbandrijk verhaal, zodat ingenieurs sneller de wereld kunnen verbeteren.

Technische samenvatting

Probleemstelling

In het vakgebied van chemische engineering vormt de schaarste aan gestructureerde katalytische reactiedata een langdurige bottleneck. In tegenstelling tot pure chemie, die zich richt op reactiemechanismen, prioriteert chemische engineering de vertaling van laboratoriumexperimenten naar industriële schaalbaarheid. De data die hieruit voortvloeit, is echter complex en sterk afhankelijk van de context:

• Complexe afhankelijkheden: Katalytische processen zijn niet geïsoleerde gebeurtenissen. Ze omvatten een strakke koppeling tussen synthese, actieve plaatsen, microscopische moleculaire gedragingen, meetbewijzen en macroscopische uitkomsten.
• Beperkingen van bestaande systemen: Algemene Large Language Models (LLM's) zoals Gemini of Grok falen vaak bij het extraheren van deze data omdat ze causale consistentie missen, fijnmazige parameteruitlijning verkeerd interpreteren en domeinspecifieke logica negeren. Bestaande wetenschappelijke extractiesystemen zijn vaak te star of kunnen de complexe afhankelijkheidsstructuren niet hanteren.
• Gevolg: Experimentele feiten zijn alleen interpreteerbaar wanneer ze als een samenhangend geheel ("partial picture") langs het katalytische proces worden gelinkt, en niet als geïsoleerde datapunten.

Methodologie: AgentCAT Architectuur

AgentCAT is een multi-agent systeem dat is ontworpen volgens de principes van "plan-then-execute" en "closed-loop self-correction". Het systeem transformeert ongestructureerde PDF-literatuur naar een gestructureerde kennisgrafiek via drie progressieve fasen:

1. Adaptieve Informatie-extractie (Adaptive Information Extraction)
Dit gedeelte gebruikt een pipeline gecoördineerd door LangGraph om de drie belangrijkste fouten van standaard LLM's aan te pakken:

• Progressieve Schema-evolutie: In plaats van een statisch schema te gebruiken, werkt een Planning Agent samen met onderzoekers om een startschema te maken. Een Schema-Evolution Agent verrijkt dit schema iteratief op basis van een gestratificeerde steekproef van papers (zowel oud als nieuw). Dit zorgt voor achterwaartse compatibiliteit en aanpassing aan nieuwe onderzoeksparadigma's.
• Tweefasige bewijsgebaseerde extractie: Om hallucinaties te voorkomen, wordt een "Candidate-then-Resolve"-strategie gebruikt:
  • Fase 1 (Candidate): De agent scant documenten en haalt letterlijke tekstfragmenten op als potentieel bewijs, zonder interpretatie.
  • Fase 2 (Resolve): Deze fragmenten worden in hun originele context verwerkt om de uiteindelijke gestructureerde velden te vullen.
• Review en Kwaliteitsverdict: Een Review Agent evalueert de geëxtraheerde data en geeft een verdict: PASS, MINOR_FIX (opmaakproblemen), of MAJOR_ERROR. Bij een major fout wordt een re-extractie-lus geactiveerd waarbij foutredenen teruggekoppeld worden naar de prompt om de agent te corrigeren.

2. Constructie van de Kennisgrafiek (Knowledge Graph Construction)
De gestructureerde JSON-data wordt omgezet in een Reactie-netwerk Kennisgrafiek (opgeslagen in Neo4j).

• Kernconcept: De grafiek koppelt katalysatoren/actieve plaatsen, synthese-afgeleide beschrijvers, mechanistische claims (met bewijs) en macroscopische uitkomsten.
• Dynamische Labelbeheer: Nieuwe concepten kunnen dynamisch worden toegevoegd aan het schema zonder de structuur te schaden.
• Entiteitsnormalisatie: Een Molecular Normalizer standaardiseert chemische formules en namen (bijv. "propylene" vs "propene") en koppelt knopen terug naar de bron-PDF voor traceerbaarheid.

3. Algemene Query en Grafiekverkenning

• General Querying Agent: Onderzoekers kunnen in natuurlijke taal vragen stellen (bijv. "Welke katalysatoren zijn ontworpen voor product X?"). De agent deconstrueert deze vragen in een queryplan, voert sub-query's uit in Neo4j en synthetiseert de resultaten.
• Visualisatie: Een geïntegreerde interface visualiseert de reactienetwerken, waardoor onderzoekers patronen over verschillende publicaties heen kunnen zien en niet-verwante onderzoeksrichtingen kunnen ontdekken.

Belangrijkste Bijdragen

1. Formele Abstractie: Het paper introduceert een AI-vriendelijke abstractie van katalytische data als een "gedeeltelijk beeld" (partial picture) binnen het Synthese-Structuur-Prestatie (SSP) paradigma, waarbij de causale lijn van synthese naar prestatie centraal staat.
2. Schema-governed Extractie: Een robuuste pipeline met progressieve schema-evolutie en een tweefasige bewijsgebaseerde extractie die hallucinaties minimaliseert.
3. Afhankelijkheidsbewuste Kennisgrafiek: Een Neo4j-gebaseerde grafiek die de complexe koppelingen tussen microscopische mechanismen en macroscopische uitkomsten behoudt, inclusief traceerbaarheid naar bronliteratuur.
4. Interactieve Analyse: Een systeem dat natuurlijke taalqueries en visualisatie ondersteunt voor cross-paper analyse, wat de drempel voor data-gebaseerd onderzoek verlaagt.

Resultaten en Evaluatie

Het systeem is geëvalueerd op een dataset van ongeveer 800 peer-reviewed publicaties op het gebied van energie-katalyse.

• Schema-convergentie: Het schema stabiliseerde snel; na de eerste rondes werden slechts marginale aanpassingen nodig voor specifieke rapportagevariaties.
• Extraktiekwaliteit:
  • Drie experts beoordeelden 20 willekeurige papers. De scores voor Accuraatheid en Leesbaarheid waren consequent hoog (gemiddeld rond de 28/30). Volledigheid varieerde iets maar bleef robuust.
  • Op 4.398 geëxtraheerde secties (uit 733 papers) behaalde de pipeline een 82,0% "PASS"-rate. Slechts 2,7% vereiste een grote correctie (MAJOR_ERROR).
• Query-prestaties: De General Querying Agent bereikte een algehele correctheidsrate van 86,67% over 12 testvragen (varierend van makkelijk tot moeilijk).
  • Makkelijke en gemiddelde vragen hadden een foutpercentage van 10%, terwijl moeilijke vragen 20% hadden.
  • De uitvoeringstijd nam toe met de complexiteit (van ~96s voor makkelijk tot ~308s voor moeilijk), wat aangeeft dat de planningstijd de bottleneck is, niet de database-executie.

Betekenis en Impact

AgentCAT biedt een oplossing voor een decennialang probleem in de chemische engineering: de ontsluiting van waardevolle, maar ongestructureerde katalytische data.

• Overbrugging van de kloof: Het systeem maakt het mogelijk om data uit de literatuur om te zetten in een machine-leesbare, causaal samenhangende kennisgrafiek, wat essentieel is voor het versnellen van de ontwikkeling van schaalbare industriële processen.
• AI voor Wetenschap: Het demonstreert hoe multi-agent systemen met zelfcorrectie en bewijsgebaseerde extractie de beperkingen van generieke LLM's kunnen overwinnen in complexe, domeinspecifieke taken.
• Toekomstperspectief: Door de data gestructureerd en traceerbaar te maken, opent AgentCAT de deur voor geavanceerde data-gedreven ontdekkingen, zoals het voorspellen van nieuwe katalysatoren of het optimaliseren van reactiecondities op basis van een breed corpus aan bestaand onderzoek.

Het paper concludeert dat AgentCAT een krachtig hulpmiddel is dat niet alleen data extrahert, maar de onderliggende wetenschappelijke logica en afhankelijkheden behoudt, waardoor het een waardevol instrument is voor zowel onderzoekers als de AI-gemeenschap.