Technische Samenvatting: Een Agentic AI Wetenschappelijke Gemeenschap voor Geautomatiseerde Neural Operator Ontdekking

Probleemstelling

Operator learning beoogt snelle surrogaten te bouwen voor PDE-solvers (partiële differentiaalvergelijking). Bestaande neurale operatorfamilies (bijv. Fourier Neural Operators, DeepONets, Wavelet-operators) coderen echter vaste inductieve biases die geschikt zijn voor specifieke regimes. Bovendien blijft het selecteren van architectuur-hyperparameters (diepte, breedte, blokcompositie) voor nieuwe PDE's een handmatig proces. De centrale vraag die wordt behandeld is of een geautomatiseerde, agentic simulatie van een onderzoekscommunity de optimale neurale operator-architectuur voor een gegeven probleem kan ontdekken zonder menselijke voorkennis of interventie.

Methodologie

Het AI Wetenschappelijke Gemeenschap Framework

De auteurs stellen een gedecentraliseerde zwerm van $N=16$ virtuele laboratoria voor die de architectuur-zoekruimte verkennen over $T=20$ iteraties. Het systeem werkt onder een "citatie-gebaseerde economie van invloed":

1. Zwermdynamiek: Goed geciteerde labs (met een hoge fitness) winnen aan invloed en voortplantingsprioriteit, terwijl niet-geciteerde labs worden vervangen. Dit bootst de echte wetenschappelijke gemeenschappen na, waar succesvolle onderzoeksrichtingen volgers aantrekken.
2. Virtuele Labstructuur: Elk lab bevat drie verschillende agenten:
   • LLM Planner: Stelt het volgende architectuur-genoom voor op basis van de geschiedenis, de globale beste resultaten en een samenvatting van de peer-labs.
   • Numerieke Worker: Een niet-LLM, gradiënt-gebaseerde trainer die de voorgestelde architectuur compileert, traint op "screening fidelity" (verminderde data/epochs voor snelheid) en de relatieve $L_2$-fout meet.
   • LLM Reviewer: Deelt deel in aan cross-lab peer review, waarbij zachte stemmen worden uitgebracht op basis van de prestaties van kandidaten en architecturale nieuwheid.
3. Zoekruimte (Genoom): Architecturen worden gedefinieerd als sequenties van blokken ($L \in [2, 8]$ afkomstig uit een vocabulaire: $\{ \text{BRANCH\_TRUNK, FOURIER, ATTENTION, WAVELET, RESIDUAL\_CONV} \}$). Het genoom bevat ook hyperparameters zoals verborgen breedte, spectrale modi en leersnelheden.
4. Fitnessfunctie: Een composiete score $F_i$ combineert nauwkeurigheid ($A_i$), robuustheid tegen ruis ($G_i$), parameterefficiëntie ($E_i$) en architecturale nieuwheid ($\nu_i$). Nauwkeurigheid is zwaar gewogen ($w_a=0.70$), maar nieuwheid en efficiëntie voorkomen de instorting naar triviale oplossingen.

LLM Ablatie Studie

Om de bijdrage van de LLM-agency te isoleren, hebben de auteurs een gecontroleerde ablatie-studie uitgevoerd. In de "rule-based" conditie werden de LLM planner en reviewer vervangen door deterministische algoritmen:

• Rule-based Planner: Gebruikt standaard particle-swarm optimization (explore/exploit) updates.
• Rule-based Reviewer: Gebruikt nauwkeurigheid-proportionele stemming.
  Beide condities delen identieke zwermgroottes, iteratie-aantallen, trainingsbudgetten en willekeurige zaden (random seeds).

Agent Auditing

Om te garanderen dat het systeem niet stilletjes degradeerde naar rule-based fallbacks (een bekend risico in agentic systemen), werd elke LLM-call (prompt, respons, parse status) gelogd en geaudit. Het systeem gebruikt een lokale gemma3:12b via Ollama om reproduceerbaarheid te waarborgen zonder betaalde API's.

Belangrijkste Resultaten

1. Ontdekking van Multi-Family Hybriden

De door LLM gestuurde gemeenschap ontdekt consistent multi-family hybride architecturen.

• Hybridisatiegraad: In 99,8% van de planner-beslissingen koos de LLM voor "HYBRIDIZE" (het samenvoegen van blokken uit verschillende families) in plaats van louter te exploreren of te exploiteren van één enkele familie.
• Regime-geschiktheid: De ontdekte architecturen pasten zich aan aan de fysica van het probleem. Voor spectrale-vriendelijke problemen (Advection, Burgers, Navier-Stokes) leidden Fourier-blokken de stacks. Voor piecewise regressie en Darcy flow waren Wavelet of DeepONet-stijl blokken prominent aanwezig.
• Prestaties:
  • Navier-Stokes (2D): De ontdekte hybride bereikte een relatieve $L_2$-fout van $0.0005 \pm 0.0000$, wat overeenkomt met de state-of-the-art FNO ($0.0002$), maar met minder parameters (1.1M vs 1.2M voor FNO).
  • Darcy Flow (2D): De hybride bereikte een fout van $0.0631 \pm 0.0083$, wat statistisch gelijk is aan DeepONet ($0.0649$) en significant beter presteert dan FNO ($0.3070$).

2. Het "No-Free-Lunch" Theorema voor Neurale Operators

De resultaten bevestigen dat geen enkele neurale operator-architectuur alle problemen domineert.

• De Navier-Stokes hybride presteerde slecht op Darcy flow (fout $\approx 0.71$), en de Darcy hybride presteerde slecht op Navier-Stokes.
• Dit valideert de hypothese dat verschillende PDE-regimes verschillende inductieve biases vereisen.

3. De Rol van LLM Agency (Ablatie Bevindingen)

Hoewel de nauwkeurigheid van de LLM en de rule-based gemeenschappen statistisch ononderscheidbaar was op de screening fidelity, verschilden de architecturale uitkomsten aanzienlijk:

• LLM Gemeenschap: Behield diversiteit en produceerde consistent parameter-arme multi-family hybriden.
• Rule-Based Gemeenschap: Had de neiging om te "collapsen" naar canonieke, single-family stacks (bijv. pure Fourier voor Navier-Stokes, pure Wavelet voor Darcy).
• Efficiëntie: Op Navier-Stokes bereikten de LLM hybriden een vergelijkbare nauwkeurigheid als de rule-based pure-Fourier stacks, maar met 2,5× minder parameters (2.2M vs 5.6M).
• Conclusie: LLM agency is noodzakelijk om architecturale diversiteit te behouden en efficiënte hybride oplossingen te ontdekken, terwijl rule-based agenten voortijdig convergeren naar standaard families.

4. Computationele Kosten

De door LLM gestuurde aanpak brengt een overhead met zich mee van ongeveer 2–4× in wall-clock tijd vergeleken met rule-based coördinatie (bijv. ~271 minuten vs ~103 minuten voor Navier-Stokes). Deze kosten worden toegeschreven aan de LLM planning en review calls (twee calls per lab per iteratie). Echter, het gebruik van "screening fidelity" (trainen in seconden in plaats van uren) maakt de swarm-aanpak haalbaar op een enkele GPU.

Betekenis en Claims

Het artikel claimt drie primaire bijdragen:

1. Een Nieuw Framework: Een agentic AI wetenschappelijke gemeenschap die erin slaagt neurale operator ontdekking te automatiseren met behulp van een zwerm van virtuele labs met LLM planners en reviewers.
2. Bewijs van LLM Noodzakelijkheid: Een ablatie-studie die aantoont dat LLM agency cruciaal is voor het behoud van architecturale diversiteit en het ontdekken van efficiënte hybride modellen, wat de instorting naar single-family oplossingen voorkomt die bij rule-based systemen wordt gezien.
3. Empirische Validatie van No-Free-Lunch: Een grootschalige simulatie die bevestigt dat er geen universele neurale operator bestaat; de "beste" architectuur is probleem-afhankelijk, en geautomatiseerde gemeenschappen kunnen deze probleem-specifieke hybriden ontdekken.

De auteurs stellen expliciet dat het systeem niet beweert de menselijk ontworpen baselines te overtreffen in rauwe nauwkeurigheid (aangezien de rule-based en LLM baselines vergelijkbaar waren in screening), maar wel in architecturale ontdekking en parameterefficiëntie. Het werk benadrukt dat de LLM fungeert als een beleid (policy) voor besluitvorming, en niet als een autonome tool-executor. Alle code, configuraties en volledige LLM-transcripten (9.623 calls) zijn vrijgegeven voor reproduceerbaarheid.