AgenticSciML: Collaborative Multi-Agent Systems for Emergent Discovery in Scientific Machine Learning

Titel: AgenticSciML: Collaboratieve Multi-Agent Systemen voor Emergente Ontdekking in Scientific Machine Learning

Auteurs: Qile Jiang en George Karniadakis (Brown University)

1. Probleemstelling

Scientific Machine Learning (SciML) integreert datagedreven inferentie met fysieke modellering om complexe problemen in wetenschap en engineering op te lossen. Hoewel methoden zoals Physics-Informed Neural Networks (PINNs) en Neural Operators succesvol zijn, blijft het ontwerp van SciML-architecturen, verliesformuleringen en trainingsstrategieën een proces dat sterk afhankelijk is van menselijke experts. Dit vereist uitgebreid experimenteren en specifieke inzichten voor elk probleem.

Bestaande geautomatiseerde benaderingen (zoals AutoML, Neural Architecture Search of symbolische regressie) zoeken meestal binnen een vast vooraf gedefinieerd hypothese-ruimte of optimaliseren alleen hyperparameters. Ze genereren zelden fundamenteel nieuwe modelleringstrategieën of aanpassingen van de modelstructuur die nodig zijn voor specifieke fysieke uitdagingingen (zoals discretisatie, inductieve bias of numerieke stabiliteit). Er is behoefte aan een systeem dat niet alleen parameters tuint, maar ook redeneert over modelstructuren en nieuwe, emergente oplossingsstrategieën kan ontdekken.

2. Methodologie: AgenticSciML Framework

AgenticSciML is een collaboratief multi-agent systeem dat bestaat uit meer dan 10 gespecialiseerde AI-agenten die samenwerken om SciML-oplossingen te proposeren, te bekritiseren, te verfijnen en te evalueren via gestructureerd redeneren en evolutionaire zoektocht.

Het systeem werkt in drie fasen:

1. Initialisatie en Evaluatiecontract:

   • De gebruiker levert gestructureerde input (probleemdefinitie, eisen, evaluatiemetrics, data).
   • Een Data Analyst-agent voert verkenning van de data uit (EDA) en genereert rapporten over wiskundige eigenschappen (bijv. discontinuïteiten, schone gradiënten).
   • Een Evaluator-agent creëert een "evaluatiecontract" (evaluate.py en guidelines.md) om consistentie in scoring te garanderen.

2. Root Solution Generatie:

   • Een enkele Root Engineer-agent genereert een baseline oplossing (solution_0) zonder toegang tot kennisbanken of multi-agent debat. Dit dient als referentiepunt.

3. Evolutionaire Boom-uitbreiding (De Kern):

   • Selectie: Een ensemble van Selector-agenten kiest ouders voor mutatie. Ze balanceren exploitatie (selectie van de beste huidige oplossing) en exploratie (selectie van veelbelovende maar minder optimale oplossingen via meerderheidsstemming).
   • Mutatie via Debate: Voor elke geselecteerde ouder doorloopt het systeem een gestructureerd debatproces (N rondes):
     • Retriever: Haalt relevante methoden op uit een persistente Kennisbank (KB) van 70 SciML-technieken.
     • Proposer & Critic: Deze agenten voeren een gestructureerd debat. Eerst analyseren ze het probleem en de ouderoplossing diep (zonder direct een oplossing te proposeren). Daarna synthetiseren ze een concreet implementatieplan. De criticus daagt het plan uit op haalbaarheid en sluitheid.
     • Engineer: Implementeert het goedgekeurde plan door de oudercode aan te passen.
     • Debugger: Lost fouten op in de gegenereerde code.
   • Evaluatie: Een Result Analyst-agent evalueert de nieuwe oplossing (inclusief visuele analyse van plots) en voegt deze toe aan de boom.

Het proces herhaalt zich totdat een stopcriterium is bereikt, waarbij de beste oplossing als "kampioen" wordt geselecteerd.

3. Belangrijkste Bijdragen

• Emergente Innovatie: Het systeem is in staat om nieuwe modelleringstrategieën te ontdekken die niet expliciet in de kennisbank staan en niet standaard zijn in de literatuur. Dit wordt bereikt door het combineren en aanpassen van bestaande technieken via redenering.
• Gestructureerd Multi-Agent Redeneren: In plaats van één grote prompt, gebruikt het systeem rollenspecialisatie (proposer, criticus, ingenieur, etc.) en een debatmechanisme om de kwaliteit van de redenering te verhogen.
• Persistente Kennisbank: Een dynamische kennisbank die eerdere oplossingen, ablatiestudies en foutanalyses opslaat, waardoor agenten kunnen leren van eerdere iteraties.
• Ensemble-Gestuurde Zoektocht: Een selectiemechanisme dat gebruikmaakt van diverse LLM-modellen om een balans te vinden tussen het verbeteren van de beste oplossing en het verkennen van nieuwe, risicovolle richtingen.

4. Resultaten

Het systeem werd getest op zes uitdagende benchmarkproblemen, variërend van functiebenadering met discontinuïteiten tot het oplossen van partiële differentiaalvergelijkingen (PDE's) en operator learning.

• Prestatieverbetering: AgenticSciML presteerde significant beter dan single-agent baselines, geautomatiseerde PINN-frameworks en AutoML/NAS-baselines. De verbetering in foutreductie liep op tot vier ordes van grootte (tot wel 11.000x) vergeleken met de single-agent root oplossing.
• Voorbeelden van Emergente Strategieën:
  • Discontinue Functies: Een "Mixture-of-Experts" (MoE) architectuur met een leerbare scharnierfunctie (gating mechanism) die is geinspireerd door adaptieve activatiefuncties, maar specifiek is aangepast voor discontinuïteiten.
  • Poisson-vergelijking (L-vormig domein): Decompositie van de oplossing in een analytisch deel en een door een PINN geleerd deel, gecombineerd met een belangrijke steekproefmethode (importance sampling) rondom de singulariteit in de hoek.
  • Burger's Vergelijking: Een driedelige trainingsstrategie: pre-training op randvoorwaarden, gevolgd door training met gradient-enhanced loss en adaptieve gewichten, en tenslotte fine-tuning met residual-based adaptive refinement.
  • Operator Learning: Een DeepONet met een lineaire, bias-vrije tak om de lineariteit van de integratie-operator te respecteren.
• Kostenefficiëntie: De totale kosten voor LLM-API's per experiment lagen in het enkele dollarbereik (tussen $2 en $11), wat aantoont dat het systeem schaalbaar is. De rekentijd wordt gedomineerd door GPU-training van de modellen, niet door de agent-coördinatie.

5. Betekenis en Conclusie

AgenticSciML toont aan dat collaboratief redeneren tussen AI-agenten kan leiden tot methodologische innovatie die verder gaat dan wat mogelijk is met directe prompting of traditionele zoektochten. Het systeem kan niet alleen bestaande methoden optimaliseren, maar ook nieuwe architecturale motieven en trainingsprocedures "ontdekken" die specifiek zijn voor de wiskundige en fysieke eigenschappen van het probleem.

Dit opent een pad naar schaalbare, transparante en autonome ontdekking in wetenschappelijk computing. In plaats van dat mensen handmatig elke stap van het SciML-ontwerp moeten doen, kan dit framework de ruimte van mogelijke oplossingsstrategieën systematisch verkennen en emergente, hoogwaardige oplossingen genereren die vaak beter zijn dan die van menselijke experts. De resultaten suggereren dat de toekomst van wetenschappelijk computing ligt in hybride systemen waar menselijke expertise wordt versterkt door gestructureerde, multi-agent AI-samenwerking.