Technische Samenvatting: Op weg naar multi-agent autonome redenering in hydrodynamica

Probleemstelling

Single-agent systemen (SAS) zijn het standaardparadigma geworden voor door Large Language Models (LLM) gestuurde wetenschappelijke workflows, waarbij een enkel model verantwoordelijk is voor het routeren van planning, redenering en tool-uitvoering via één contextvenster. Naarmate wetenschappelijke onderzoeken echter complexer worden, stuiten SAS-architecturen op structurele en cognitieve plafonds. De cumulatieve instroom van tool-documentatie, observatiegeschiedenis en prompt-instructies verzadigt snel de contextlimieten van het model, wat leidt tot een verslapping van de aandacht en een verslechtering van de prestaties. Bovendien creëert het routeren van alle logica via één enkel knooppunt operationele knelpunten; als het agent faalt bij een sub-taak of moeite heeft met het integreren van concurrerende expertisegebieden, komt de volledige analytische pijplijn tot stilstand.

In het specifieke domein van de hydrodynamica worden deze uitdagingen verergerd door de inherent multi-bron aard van de data. Het karakteriseren van kustoverstromingsgevaar vereist het verzoenen van observatiegegevens van fundamenteel verschillende oorsprong (bijvoorbeeld getijmeetstations, bathymetrische opnames, remote sensing en output van modellen met ongestructureerde roosters) die verschillen in formaat, resolutie en fysische grootheden. Operationele hydrodynamica put bovendien uit atmosferische dwingende krachten, oceanische grenzen en rivierafvoer, wat leidt tot een gefragmenteerd data-landschap dat bestand is tegen eenheid in query's onder één enkel schema.

Methodologie

De auteurs presenteren een prototype van een Multi-Agent Systeem (MAS) dat is ontworpen om wetenschappelijke workflows in de hydrodynamica te automatiseren, specifiek voor het voorspellen van door orkanen veroorzaakte stormvloeden. Het systeem beweegt zich weg van monolithische architecturen naar een grafisch gestructureerde orkestratie met behulp van een Layer Execution Graph (LEG).

Kernarchitectuur

Het MAS bestaat uit dynamisch geselecteerde agenten die tijdens runtime zijn gerangschikt in een LEG. Het systeem maakt gebruik van een register om agentidentiteiten, capaciteiten en toelatingslijsten voor tools te definiëren. De agenten worden als volgt gecategoriseerd:

1. Specialist-agenten: Deze agenten opereren onder strikte toelatingslijsten voor tools en vervullen complementaire rollen op het gebied van dataklassen. Ze omvatten:
   • NHC: Haalt tropische cycloonrichtlijnen, beste tracks en adviezen op.
   • NOAA CO-OPS: Levert waargenomen en voorspelde waterstanden.
   • USGS: Verstrekt op metingen gebaseerde hoogwatermerken en evenementgegevens.
   • FEMA: Heeft toegang tot verzekeringspremies voor overstromingen en digitale gevarenlagen.
   • STOFS: Genereert contourplots van operationele stormvloedvoorspellingen.
   • OSM: Bron van Open Street Map-tegels.
2. Algemeen bruikbare agenten: Deze beheren de workflow en synthese:
   • Graph Architect: Construeert de LEG op basis van routeringsheuristieken in natuurlijke taal die zijn afgeleid uit het register. Het bepaalt of een enkele pijplijn of parallelle tracks worden gebruikt.
   • Consolidator: Voegt parallelle output uit een laag samen tot beknopte samenvattingen om de context voor downstream-agenten compact te houden.
   • Cross-Track Merge: Voegt output van meerdere parallelle tracks samen.
   • Image Agent: Analyseert afbeeldingen (bijvoorbeeld van STOFS of OSM) met behulp van geavanceerde LLM-afbeeldingsbegrijpingscapaciteiten.
   • Reporter: Synthetiseert het uiteindelijke antwoord op basis van het samengevoegde materiaal en de oorspronkelijke query.

Orkestratiestrategie

De Graph Architect koppelt gebruikersquery's aan een LEG met behulp van routeringsheuristieken in natuurlijke taal die domeinkennis vastleggen zonder starre contrologica hard te coderen. De LEG ondersteunt twee topologieën:

• Single Pipeline: Een geordende volgorde van lagen.
• Parallel Tracks: Onafhankelijke sub-vragen worden toegewezen aan aparte pijplijnen, die later worden samengevoegd.

Cruciaal is dat het systeem een contextcompacteringsstrategie hanteert. Wanneer meerdere specialisten parallel binnen een laag opereren, wordt hun output niet rauw doorgegeven aan de volgende fase. In plaats daarvan voegt een Consolidator-agent ze samen tot een coherent markdown-blok, waardoor contextvenster-saturatie wordt voorkomen. De runtime onderhoudt een gestructureerd audittrail voor elke tool-aanroep, waarbij argumenten, timing, inhoudshashes en URL's worden geregistreerd om data-provenance en auditbaarheid te ondersteunen.

Het prototype is gebaseerd op tool-aanroepen en afbeeldingsbegrip in Python, met interfaces naar API's van Anthropic en OpenAI (met name met Claude Sonnet 4.6 als backbone-model voor alle agenten in de evaluatie).

Belangrijkste bijdragen

1. Layer Execution Graph (LEG) Orkestratie: Het paper introduceert een grafisch gebaseerde coördinatiestrategie die werk groepeert in gesynchroniseerde fasen (lagen) die parallel draaien voordat ze samenkomen bij barrières. Dit verschilt van standaard Directed Acyclic Graphs (DAG's) door het afdwingen van globale laagbarrières en synchronisatie per fase, wat helpt bij contextbeheer.
2. Domeinspecifieke routeringsheuristieken: Het systeem maakt gebruik van heuristieken in natuurlijke taal binnen de Graph Architect om routeringsbeslissingen te nemen (bijvoorbeeld het ophalen van beste track-gegevens voordat stormvloedgegevens worden opgehaald, of het scheiden van waargenomen versus hypothetische specialisten) in plaats van te vertrouwen op rigide, vooraf gedefinieerde programmatische workflows.
3. Contextcompactering via Consolidatie: De introductie van een speciale Consolidator-agent om parallelle output samen te voegen, adresseert de knelpunt van 'context-saturatie' die inherent is aan single-agent systemen, waardoor het systeem complexe, multi-bron query's kan afhandelen zonder het contextvenster van de LLM te overweldigen.
4. Provenance-bewuste uitvoering: Het systeem logt elke tool-aanroep met een gedeeld trace-identificatienummer, waardoor een grootboek ontstaat voor het onderzoeken van de herkomst van gerapporteerde stellingen en grootheden.

Resultaten

Het prototype is geëvalueerd op 37 query's die zes complexiteitscategorieën bestrijken, variërend van zoekopdrachten met één specialist tot complexe, multi-track parallelle onderzoeken. Alle experimenten maakten gebruik van Claude Sonnet 4.6.

• Prestaties: Het systeem behaalde een algehele factual precision van 93,6% met een 100% slagingspercentage (nul uitvoeringsfouten).
• Nauwkeurigheid per complexiteit:
  • Single-agent query's (bijvoorbeeld NHC-stormcategorieën) behaalden 99,5% precision.
  • Multi-agent lineaire pijplijnen behaalden 90,1–95,0% precision.
  • Parallel-track query's behaalden 94,9–95,9% precision.
  • De laagste precision (82,2%) deed zich voor in de categorie "NHC→N+U", waarbij het systeem waarnemingen van meetstations moest verzoenen met opmetingen van hoogwatermerken van onafhankelijke instrumenten met verschillende verticale datums.
• Robuustheid:
  • Stress Testing: De nauwkeurigheid bleef boven de 90% zelfs bij schaling van één tot vijf onafhankelijke sub-vragen.
  • Adversarial Robustness: Het systeem hallucineerde nooit data voor onmogelijke scenario's (bijvoorbeeld niet-bestaande stormen of locaties in het binnenland) en detecteerde 4 van de 5 problematische premissen.
  • Fouttolerantie: Bij gesimuleerde API-storingen (NOAA CO-OPS, USGS of FEMA) degradeerde het systeem op een gecontroleerde manier en gaf het substantiële deeltjesantwoorden zonder te crashen.
• Ablatiestudies:
  • Het vervangen van de adaptieve Graph Architect door een statische pijplijn verlaagde de factual precision met 28,7 procentpunten, wat bevestigt dat adaptieve planning cruciaal is.
  • Het verwijderen van de Consolidator-agent verlaagde de factual precision met 4,6 punten, hoewel het de scores voor bronattributie verhoogde (vanwege de aanwezigheid van rauwe technische tokens), wat een afweging aangeeft tussen coherentie en het behoud van ruwe data.
  • Het verwijderen van de Reporter-agent verlaagde de factual precision met 10,8 punten, wat de waarde van de laatste synthestap aantoont.
• Kosten: Het systeem is computationeel efficiënt in verhouding tot het verrichte werk; specialist-agenten verbruikten 92,2% van de tokens, terwijl de orkestratie-overhead (Architect, Consolidator, Reporter) slechts ongeveer 6% voor zijn rekening nam.

Betekenis en claims

Het paper beweert dat planner-gestuurde, grafisch gestructureerde multi-agent orkestratie de knelpunten van context-saturatie die monolithische single-agent architecturen beperken, betekenisvol kan verlichten. De auteurs betogen dat Multi-Agent Systemen (MAS) weliswaar nieuwe complexiteiten introduceren met betrekking tot communicatie en latentie, maar dat ze een levensvatbare strategie zijn voor onderzoeken met hoge complexiteit en multi-schaal, zoals geowetenschappelijke modellering, waarbij de voordelen van gespecialiseerde, collaboratieve redenering de coördinatie-overhead opwegen.

Het werk suggereert dat het verdelen van staat en tool-uitvoering over meerdere contextvensters voorkomt dat een enkele agent overweldigd raakt door heterogene data. Bovendien creëert de scheiding van verantwoordelijkheden – waarbij specialist-agenten zich bezighouden met ophalen en algemeen bruikbare agenten met planning en synthese – een structureel noodzakelijke decompositie voor complexe wetenschappelijke workflows.

De auteurs blijven bescheiden over de huidige staat van het prototype, met de opmerking dat het "vrij lichtgewicht" is en zelf geen hydrodynamische modellen draait, maar sterk afhankelijk is van API's. Ze erkennen dat de huidige provenance-logstrategie mogelijk niet optimaal is voor grote workflows en dat het systeem momenteel geen "toezichthouder"-agent heeft voor redundantie en foutherstel. De resultaten geven echter aan dat deze architectuur accuraat, veerkrachtig en uitbreidbaar is naar andere subdomeinen in de geowetenschappen.