Technisches Resümee: Eine agentische KI-Wissenschaftsgemeinschaft zur automatisierten Entdeckung von Neural Operators

Problemstellung

Das Lernen von Operatoren zielt darauf ab, schnelle Surrogatmodelle für PDE-Solver (partielle Differentialgleichungen) zu entwickeln. Bestehende Familien von Neural Operators (z. B. Fourier Neural Operators, DeepONets, Wavelet-Operatoren) kodieren jedoch feste induktive Biases, die für spezifische Regime geeignet sind. Darüber hinaus bleibt die Auswahl von Architektur-Hyperparametern (Tiefe, Breite, Blockzusammensetzung) für neue PDEs ein manueller Prozess. Die zentrale Frage, die hier adressiert wird, ist, ob eine automatisierte, agentische Simulation einer Forschungsgemeinschaft die optimale Neural-Operator-Architektur für ein gegebenes Problem ohne menschliches Vorwissen oder Intervention entdecken kann.

Methodik

Das Framework der KI-Wissenschaftsgemeinschaft

Die Autoren schlagen eine dezentrale Schwarmstruktur aus $N=16$ virtuellen Laboratorien vor, die den Suchraum der Architekturen über $T=20$ Iterationen hinweg explorieren. Das System operiert unter einer „zitationsbasierten Ökonomie des Einflusses“:

1. Schwarmdynamik: Gut zitierte Labore (jene mit hoher Fitness) gewinnen Einfluss und Priorität bei der Fortpflanzung, während unzitierte Labore ersetzt werden. Dies ahmt reale wissenschaftliche Gemeinschaften nach, in denen erfolgreiche Forschungsrichtungen Anhänger anziehen.
2. Struktur des virtuellen Labors: Jedes Labor enthält drei distinkte Agenten:
   • LLM Planner: Schlägt das nächste Architektur-Genom basierend auf dessen Historie, dem globalen Bestwert und einer Zusammenfassung der Peer-Labore vor.
   • Numerical Worker: Ein Nicht-LLM-basierter, gradientenbasierter Trainer, der die vorgeschlagene Architektur kompiliert, sie bei „Screening-Fidelity“ (reduzierte Datenmenge/Epochen für höhere Geschwindigkeit) trainiert und den relativen $L_2$-Fehler misst.
   • LLM Reviewer: Nimmt an einer fachübergreifenden Peer-Review zwischen den Laboren teil und vergibt „Soft Votes“ basierend auf der Leistung und der architektonischen Neuartigkeit der Kandidaten.
3. Suchraum (Genom): Architekturen sind definiert als Sequenzen von Blöcken ($L \in [2, 8]$), die aus einem Vokabular stammen: $\{ \text{BRANCH\_TRUNK, FOURIER, ATTENTION, WAVELET, RESIDUAL\_CONV} \}$. Das Genom umfasst zudem Hyperparameter wie die verborgene Breite, Spektralmodi und Lernraten.
4. Fitnessfunktion: Ein zusammengesetzter Score $F_i$ kombiniert Genauigkeit ($A_i$), Robustheit gegenüber Rauschen ($G_i$), Parametereffizienz ($E_i$) und architektonische Neuartigkeit ($\nu_i$). Die Genauigkeit ist stark gewichtet ($w_a=0.70$), aber Neuartigkeit und Effizienz verhindern den Kollaps zu trivialen Lösungen.

LLM-Ablationsstudie

Um den Beitrag der LLM-Agentivität zu isolieren, führten die Autoren eine kontrollierte Ablationsstudie durch. In der „regelbasierten“ Bedingung wurden der LLM-Planner und der Reviewer durch deterministische Algorithmen ersetzt:

• Regelbasierter Planner: Verwendet Standard-Partikel-Schwarm-Optimierung (Explore/Exploit) Updates.
• Regelbasierter Reviewer: Verwendet eine nach Genauigkeit gewichtete Abstimmung.
  Beide Bedingungen teilen identische Schwarmgrößen, Iterationszahlen, Trainingsbudgets und Zufallssamen (Random Seeds).

Agenten-Auditierung

Um sicherzustellen, dass das System nicht lautlos zu regelbasierten Fallbacks degradiert (ein bekanntes Risiko in agentischen Systemen), wurde jeder LLM-Aufruf (Prompt, Antwort, Parse-Status) protokolliert und auditiert. Das System nutzt ein lokales gemma3:12b Modell via Ollama, um die Reproduzierbarkeit ohne bezahlte APIs zu gewährleisten.

Zentrale Ergebnisse

1. Entdeckung von Multi-Family-Hybriden

Die LLM-gesteuerte Gemeinschaft entdeckte konsistent Multi-Family-Hybrid-Architekturen.

• Hybridisierungsrate: In 99,8 % der Planner-Entscheidungen wählte das LLM „HYBRIDIZE“ (das Zusammenfügen von Blöcken aus verschiedenen Familien), anstatt rein zu explorieren oder eine einzelne Familie zu exploitieren.
• Regime-Angemessenheit: Die entdeckten Architekturen passten sich an die Physik des Problems an. Für spektral-freundliche Probleme (Advektion, Burgers, Navier-Stokes) führten Fourier-Blöcke die Stacks an. Für piecewise Regression und Darcy-Flow waren Wavelet- oder DeepONet-ähnliche Blöcke prominent.
• Performance:
  • Navier-Stokes (2D): Der entdeckte Hybrid erreichte einen relativen $L_2$-Fehler von $0,0005 \pm 0,0000$, was dem State-of-the-Art FNO ($0,0002$) entspricht, jedoch mit weniger Parametern (1,1 Mio. vs. 1,2 Mio. für FNO).
  • Darcy Flow (2D): Der Hybrid erreichte einen Fehler von $0,0631 \pm 0,0083$, was statistisch mit DeepONet ($0,0649$) gleichauf liegt und FNO ($0,3070$) signifikant übertrifft.

2. Das „No-Free-Lunch“-Theorem für Neural Operators

Die Ergebnisse bestätigen, dass kein einzelner Operator-Architekturtyp alle Probleme dominiert.

• Der Navier-Stokes-Hybrid performte schlecht bei Darcy Flow (Fehler $\approx 0,71$), und der Darcy-Hybrid performte schlecht bei Navier-Stokes.
• Dies validiert die Hypothese, dass unterschiedliche PDE-Regime unterschiedliche induktive Biases erfordern.

3. Die Rolle der LLM-Agentivität (Ablationsbefunde)

Obwohl die Genauigkeit der LLM- und der regelbasierten Gemeinschaften bei der Screening-Fidelity statistisch ununterscheidbar war, unterschieden sich die architektonischen Ergebnisse signifikant:

• LLM-Gemeinschaft: Bewahrte Diversität und produzierte konsistent parameterarme Multi-Family-Hybride.
• Regelbasiertes System: Neigte dazu, in kanonische Single-Family-Stacks zu „kollabieren“ (z. B. reine Fourier-Stacks für Navier-Stokes, reine Wavelet-Stacks für Darcy).
• Effizienz: Bei Navier-Stokes erreichten die LLM-Hybride eine vergleichbare Genauigkeit wie die regelbasierten reinen Fourier-Stacks, jedoch mit 2,5-mal weniger Parametern (2,2 Mio. vs. 5,6 Mio.).
• Fazit: LLM-Agentivität ist notwendig, um architektonische Diversität zu bewahren und effiziente Hybrid-Lösungen zu entdecken, während regelbasierte Agenten vorzeitig zu Standardfamilien konvergieren.

4. Rechenaufwand

Der LLM-gesteuerte Ansatz verursacht einen Overhead von etwa 2–4× in der Wanduhrzeit im Vergleich zur regelbasierten Koordination (z. B. ~271 Minuten vs. ~103 Minuten für Navier-Stokes). Dieser Kostenfaktor ist auf die LLM-Planning- und Review-Aufrufe zurückzuführen (zwei Aufrufe pro Labor pro Iteration). Die Nutzung von „Screening-Fidelity“ (Training in Sekunden statt Stunden) macht den Schwarm-Ansatz jedoch auf einer einzelnen GPU praktikabel.

Bedeutung und Ansprüche

Das Paper beansprucht drei primäre Beiträge:

1. Ein neuartiges Framework: Eine agentische KI-Wissenschaftsgemeinschaft, die erfolgreich die Entdeckung von Neural Operators automatisiert, indem sie einen Schwarm virtueller Labore mit LLM-Plannern und Reviewern nutzt.
2. Nachweis der Notwendigkeit von LLMs: Eine Ablationsstudie, die zeigt, dass LLM-Agentivität entscheidend ist, um architektonische Diversität zu erhalten und effiziente Hybrid-Modelle zu entdecken, wodurch der Kollaps zu Single-Family-Lösungen verhindert wird, der bei regelbasierten Systemen beobachtet wurde.
3. Empirische Validierung von „No-Free-Lunch“: Eine groß angelegte Simulation, die bestätigt, dass kein universeller Neural Operator existiert; die „beste“ Architektur ist problemabhängig, und automatisierte Gemeinschaften können diese problem-spezifischen Hybride entdecken.

Die Autoren stellen explizit klar, dass das System nicht beansprucht, die Rohgenauigkeit gegenüber von Menschen entworfenen Baselines zu übertreffen (da die LLM- und die regelbasierten Baselines im Screening vergleichbar waren), sondern vielmehr in der architektonischen Entdeckung und Parametereffizienz. Die Arbeit betont, dass das LLM als Policy für die Entscheidungsfindung fungiert und nicht als autonomes Werkzeug-Ausführungsinstrument. Alle Codes, Konfigurationen und vollständigen LLM-Transkripte (9.623 Aufrufe) werden zur Reproduzierbarkeit veröffentlicht.