🤖 AI

Model Discovery Agent: LLM-assisted Bayesian experiment design for data-efficient discovery of mechanistic world models

Dieses Paper stellt den Model Discovery Agent (MDA) vor, ein Framework, das Large Language Models zur Hypothesengenerierung synergetisch mit Bayes'schem Experimentdesign kombiniert, um effizient latente mechanistische Weltmodelle aus begrenzten Interventionsdaten über Benchmarks der Physik, Chemie und Biologie zu entdecken.

Ursprüngliche Autoren: Kevin Murphy

Veröffentlicht 2026-08-11

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Kevin Murphy

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Detektiv, der versucht, ein Rätsel zu lösen, aber Sie können nicht einfach nur daneben sitzen und dem Verdächtigen zusehen. Sie müssen mit ihm interagieren, spezifische Fragen stellen und sehen, wie er reagiert, um die Wahrheit herauszufinden. In der Welt der Wissenschaft ist dies der Unterschied zwischen bloßem Beobachten (passives Beobachten) und dem Durchführen eines Experiments (aktive Intervention). Manchmal können zwei völlig unterschiedliche Regeln genau das erklären, was man sieht, wenn man nur beobachtet. Aber wenn man das System „ansticht“ – zum Beispiel, indem man eine Variable ändert oder eine Kraft ausübt – werden die beiden Regeln anfangen, sich zu widersprechen. Um herauszufinden, welche Regel tatsächlich real ist, benötigt man ein mechanistisches Modell: ein tiefes Verständnis darüber, wie Dinge funktionieren, und nicht nur eine schicke Kurve, die die Punkte auf einem Graphen verbindet.

Das Problem ist, dass Experimente teuer sind. Ob es nun darum geht, Chemikalien in einem Labor zu mischen, ein neues Medikament an Patienten zu testen oder eine Sonde ins All zu schicken – jeder Test kostet Zeit, Geld und Ressourcen. Man kann nicht einfach eine Million Experimente durchführen, um sicher zu sein. Daher ist die große Herausforderung für Wissenschaftler die Dateneffizienz: Wie lernt man die wahren Regeln des Universums mit den wenigsten möglichen Experimenten? Dieses Paper befasst sich mit dieser Frage, indem es einen digitalen Detektiv erschafft, der das kreative Brainstorming einer superintelligenten KI mit der rigorosen Mathematik der Wahrscheinlichkeitstheorie kombiniert. Es geht darum, einem Computer beizubringen, ein besserer Wissenschaftler zu sein als zuvor – nicht dadurch, dass er mehr Fakten kennt, sondern indem er bessere Fragen stellt.

Der Model Discovery Agent: Ein Detektiv mit einem Kristallball

Der Autor stellt ein neues System namens Model Discovery Agent (MDA) vor. Betrachten Sie den MDA als eine Partnerschaft zwischen zwei sehr unterschiedlichen Charakteren. Der erste ist ein Large Language Model (LLM), das als kreativer Brainstorming-Partner fungiert. Es hat Millionen wissenschaftlicher Arbeiten gelesen und weiß viel darüber, wie die Welt vielleicht funktionieren könnte. Wenn der Agent bestimmte Daten sieht, schlägt das LLM eine Liste möglicher „Verdächtiger“ vor – verschiedene mathematische Formeln oder Mechanismen, die erklären könnten, was gerade passiert.

Der zweite Charakter ist ein Bayesianischer Statistiker, der wie ein strenger, logischer Richter agiert. Er rät nicht einfach; er berechnet die Wahrscheinlichkeiten. Er nimmt die Liste der Verdächtigen des LLMs und nutzt eine Methode namens Sequential Monte Carlo, um diese gegen die Daten abzuwägen. Er fragt: „Gegeben das, was wir bisher gesehen haben, wie wahrscheinlich ist es, dass jeder Verdächtige die Wahrheit ist?“ Er verwendet auch das Konzept des Informationswertes (Value of Information, VoI). Stellen Sie sich vor, Sie haben eine begrenzte Anzahl an Fragen, die Sie einem Zeugen stellen können. VoI ist die Mathematik, die Ihnen sagt, welche einzelne Frage Ihnen die meiste Klarheit verschaffen wird, um die meisten Verdächtigen gleichzeitig auszusortieren.

Hier geschieht der magische Trick: Das LLM schlägt eine neue Idee vor, der Statistiker testet sie, und wenn die Idee nicht perfekt zu den Daten passt, gibt das System nicht einfach auf. Stattdessen erkennt es: „Die Wahrheit liegt nicht in unserer aktuellen Liste der Verdächtigen.“ Dies wird als M-offene Einstellung (M-open setting) bezeichnet. Das System bittet das LLM dann, einen brandneuen, zuvor unvorstellten Mechanismus zu entwerfen, um ihn zur Liste hinzuzufügen. Es ist, als würde ein Detektiv erkennen, dass der Mörder nicht unter den üblichen Verdächtigen ist, und geht deshalb aus, um eine neue Person zu verhören.

Der „Aha!“-Moment: Lernen aus wenigen Hinweisen

Das Paper testet diesen Detektiv an drei verschiedenen „Tatorten“ aus der realen Welt der Wissenschaft: Physik, Chemie und Biologie.

Physik (Die Kraftgesetze): Der Agent musste die unsichtbare Kraft herausfinden, die zwei Teilchen zusammenzieht. Einige Kräfte sehen aus, als wäre man ganz nah dran, verhalten sich aber sehr unterschiedlich, wenn man weit entfernt ist. Der MDA erkannte schnell, dass er eine Sonde in die Ferne schicken musste, um den Unterschied festzustellen. Durch die Wahl dieses spezifischen Experiments mit großer Reichweite erlebte der Agent einen „Aha!“-Moment. Die Daten ließen das wahre Gesetz plötzlich aus allen falschen Gesetzen hervorstechen, und der Agent lernte die korrekte Formel in nur einer Handvoll Versuche.
Chemie (Enzymraten): Hier musste der Agent entdecken, wie schnell eine chemische Reaktion in Abhängigkeit von Temperatur, pH-Wert und Stoffmengen abläuft. Andere KI-Methoden versuchten lediglich, die Zahlen perfekt anzupassen, wodurch sie komplexe, unsinnige Formeln erzeugten, die zwar richtig aussah, aber physikalisch keinen Sinn ergab. Der MDA hingegen fand die einfache, wahre chemische Regel. Er war viel schneller darin, die Wahrheit zu lernen, und benötigte weit weniger Experimente als andere Methoden, um es richtig zu machen.
Biologie (Neuronen-Spikes): Dies war der schwierigste Test. Der Agent musste herausfinden, wie ein einzelnes Neuron im Gehirn elektrische Signale abfeuert. Die Daten waren verrauscht und chaotisch, als versuche man, ein Flüstern in einem Sturm zu hören. Der MDA nutzte einen klugen Trick: Anstatt zu versuchen, jede winzige Schwingung der Spannung abzugleichen, betrachtete er das große Ganze, wie etwa das Zählen, wie oft das Neuron „spikt“. Er entwarf Experimente, die spezifische Verhaltensweisen auslösen sollten, was es ihm ermöglichte, die verborgenen Kanäle innerhalb des Neurons zu identifizieren, die die Signale verursachten.

Das Ergebnis: Klüger, nicht härter

Das Paper zeigt, dass der MDA signifikant dateneffizienter ist als andere Methoden. Vereinfacht gesagt: Er lernt die gleiche Menge an Wahrheit mit weitaig weniger Experimenten. Bei den Physik- und Chemie-Tests erreichte der MDA eine hohe Genauigkeit mit nur etwa 8 Experimenten, während andere KI-Agenten Dutzende oder sogar Hunderte benötigten, um in die Nähe zu kommen.

Entscheidend ist, dass das Paper argumentiert, dass es nicht ausreicht, einfach nur eine leistungsstarke KI zu haben, die Formeln erraten kann. Wenn man eine KI einfach nur raten und die Daten anpassen lässt, findet sie oft übermäßig komplexe Lösungen – komplizierte Mathematik, die perfekt aussieht, aber physikalisch falsch ist. Der MDA vermeidet dies, indem er den „Informationswert“ nutzt, um Experimente zu entwerfen, die gezielt die Gleichstände zwischen konkurrierenden Theorien aufbrechen. Er zwingt das System dazu, sein wahres Wesen zu offenbaren.

Der Autor zeigt zudem, dass diese Methode selbst dann funktioniert, wenn die Daten verrauscht sind und der wahre Mechanismus etwas ist, das die KI zuvor noch nicht gesehen hat. Durch die Kombination der Fähigkeit des LLM, neue Möglichkeiten zu imaginieren, mit der Fähigkeit des Statistikers, diese rigoros zu testen, kann der MDA neue wissenschaftliche Gesetze mit einem Bruchteil der Daten entdecken, die normalerweise erforderlich wären. Es geht nicht nur darum, schneller zu sein; es geht darum, die Wahrheit finden zu können, wenn die Hinweise knapp und das Rauschen laut ist.

Technisches Resümee: Model Discovery Agent (MDA)

Problemstellung

Die zentrale Herausforderung besteht in der dateneffizienten Entdeckung mechanistischer Weltmodelle, die in der Lage sind, interventionelle „Was-wäre-wenn“-Fragen zu beantworten (z. B. die Vorhersage des Ergebnisses eines Medikaments, das nie verabreicht wurde, oder einer Richtlinie, die nie erlassen wurde). Während passive Beobachtungsdaten flexible Kurven anpassen können, bleiben die zugrunde liegenden Mechanismen oft unidentifiziert, da eine Degenerierung vorliegt; unterschiedliche kausale Strukturen können auf allen beobachteten Daten übereinstimmen, sich jedoch unter Intervention unterscheiden.

Wissenschaftliche Entdeckung erfordert die Identifizierung dieser latenten Mechanismen, aber Experimente sind teuer. Das operative Problem ist die Dateneffizienz: die Identifizierung des korrekten Mechanismus mit so wenig Interventionen wie möglich. Zudem findet wissenschaftliche Entdeckung oft in einem M-Open-Setting statt, in dem der wahre Mechanismus außerhalb der aktuellen Hypothesenklasse liegen kann. Standardmäßige Bayes-Methoden haben hier Schwierigkeiten, da sie den Hypothesenraum nicht erweitern können, wenn das derzeit beste Modell versagt.

Methodik: Der Model Discovery Agent (MDA)

Der MDA koppelt ein Large Language Model (LLM) mit standardmäßiger Bayes-Mechanik, um in einem geschlossenen Kreislauf aus Entdeckung und Design zu operieren. Das System arbeitet pro Runde in drei primären Phasen:

1. Hypothesengenerierung und -erweiterung (Der Proposer)

LLM als Proposer: Gegeben eine natürlichsprachliche Beschreibung des Fachbereichs und aktuelle Beobachtungsdaten (einschließlich Residuenfehlern), schlägt ein LLM Kandidaten für mechanistische Strukturen (Modelle) vor.
M-Open-Adaption: Der Agent verwendet einen prädiktiven Check. Wenn das derzeit beste Hypothese (MAP-Modell) eine Out-of-Sample-Interventionsprognose fehlschlägt (Residuenfehler $r^*$ übersteigt Schwellenwert $\tau_r$ ), löst das System eine M-Open-Erweiterung aus. Das LLM wird angewiesen, einen neuen, bisher unberücksichtigten Mechanismus vorzuschlagen, der mit breiten Priors ausgestattet ist. Dies ermöglicht es dem Agenten, neues Wissen zu entdecken, anstatt auf eine feste Bibliothek beschränkt zu sein.
Verwaltung des Hypothesenpools: Umgekehrt wird die Poolgröße reduziert, wenn die Posterior-Verteilung auf ein gut passendes Modell konzentriert ist, um die Proliferation von nahezu identischen Hypothesen zu verhindern.

2. Bayes-Inferenz (SMC)

Sequential Monte Carlo (SMC): Der Agent pflegt eine Posterior-Verteilung über Modelle $p(m|D)$ und deren Parameter $p(\theta|m, D)$ . Dies wird mittels adaptive-tempered SMC berechnet.
Evidenzberechnung: Die marginale Likelihood (Modell-Evidenz) $Z_m$ wird für jedes Kandidatenmodell berechnet. Diese Integration über die Parameter bietet eine automatische Occam’s Razor-Strafe, die einfachere Modelle bevorzugt, die die Daten gut erklären.
Umgang mit intratablen Likelihoods: Für stochastische Systeme (z. B. Neuronen mit Kanalrauschen), bei denen die Likelihood intratabel ist, nutzt MDA Simulation-Based Inference (SBI). Es verwendet Bootstrap-Partikelfilter oder lernt synthetische Likelihoods über Zusammenfassungsstatistiken (z. B. Spike-Counts), um die Posterior zu approximieren.

3. Experimentdesign (Value of Information)

VoI-Maximierung: Anstatt zufälliger Exploration oder gieriger Exploitation wählt der Agent das nächste Experiment $\xi$ , indem er den Value of Information (VoI) maximiert.
Mechanismus-Diskriminierung: Das VoI-Ziel ist definiert als die gegenseitige Information zwischen der Modellklasse und dem Experimentergebnis: $\xi^* = \arg\max_\xi I(M; Y_\xi | D)$ . In der Praxis reduziert sich dies bei Gaußschem Beobachtungsrauschen auf die Maximierung der Varianz zwischen den Klassen der prädiktiven Mittelwerte. Der Agent wählt die Intervention, bei der die aktuellen Überzeugungen über verschiedene Mechanismen am stärksten divergieren, um den Informationsgewinn zur Unterscheidung zwischen diesen Mechanismen zu maximieren.

Zentrale Beiträge

Die MDA-Framework: Eine neuartige Agenten-Architektur, die LLM-basierte Hypothesengenerierung mit Bayes-sequentieller Inferenz und Value-of-Information-Experimentdesign integriert.
M-Open Discovery: Eine Methode zur Handhabung des „M-Open“-Regimes, in dem die Wahrheit außerhalb der Hypothesenklasse liegt. Durch die Nutzung prädiktiver Checks zur Auslösung der LLM-gesteuerten Hypothesenerweiterung kann das System neue Mechanismen entdecken und diese mittels gezielter Experimente verfeinern.
Neuer Benchmark (NEURONBENCH): Die Erstellung eines neuen Benchmarks für die Einzelneuron-Elektrophysiologie, der partielle Beobachtbarkeit, Stochastizität (durch Kanalrauschen) und verborgene Mechanismen umfasst, die nicht aus dem Gedächtnis abgerufen werden können, und damit die Lücken bestehender Benchmarks schließt.
State-of-the-Art Performance: Demonstration einer überlegenen Dateneffizienz und Genauigkeit bei Interventionsprognosen in den Domänen Physik, Chemie und Biologie im Vergleich zu reinen LLM-Baselines und früheren SOTA-Methoden.

Experimentelle Ergebnisse

Der MDA wurde auf drei Benchmarks evaluiert:

FORCEBENCH (Physik): Entdeckung unbekannter Kraftgesetze (z. B. Yukawa, Coulomb) in 2D-Partikelsystemen. Der MDA erreichte einen ~5-fachen Vorteil in der Dateneffizienz gegenüber reinen LLM-Agenten und erreichte dieselbe Genauigkeit mit 8 Experimenten, wofür ungedrosselte LLM-Baselines ~41 Experimente benötigt hätten. Er konnte die exakten symbolischen Formen in 74 % der Durchläufe erfolgreich rekonstruieren, verglichen mit 31 % beim Baseline-Modell.
CHEMBENCH (Chemie): Entdeckung von Enzymkinetik-Geschwindigkeitsgesetzen aus 7 steuerbaren Inputs. Der MDA erreichte seine Leistungsgrenze innerhalb von ~8 Experimenten (56 % symbolische Genauigkeit), während das bisherige SOTA (LLM-AutoSciLab) 60 Experimente benötigte, um nur 4 % zu erreichen. Entscheidend ist, dass der MDA die „High-Exact/Low-Symbolic“-Pathologie vermeidete, bei der Baselines Zahlen mit unphysikalischen Ausdrücken anpassen.
NEURONBENCH (Biologie): Entdeckung von Ionenkanal-Mechanismen in Hodgkin-Huxley-Modellen. Der MDA übertraf die In-Context-LLM-Prognose und das Zufallsdesign signifikant. In der stochastischen Variante (NEURONBENCHSTOCH) handhabte der MDA intratable Likelihoods erfolgreich mittels Partikelfiltern und gelernten Zusammenfassungsstatistiken, was eine robuste Modellselektion ermöglichte, wo deterministische Likelihoods katastrophal scheiterten.

Bedeutung und Ansprüche

Das Paper behauptet, dass Entdeckung und Design sich gegenseitig verstärken: Der Experimentdesign-Schritt identifiziert die neuartigen Mechanismen, die durch den Entdeckungsschritt vorgeschlagen wurden, und die identifizierten Mechanismen verbessern die Vorhersagen, was wiederum die Detektion subtiler Residuen ermöglicht, die weitere Entdeckungen auslösen.

Der Autor stellt fest, dass der MDA einen neuen State-of-the-Art (SOTA) für dateneffizientes Modelllernen und zuverlässige interventionalistische Prognose setzt. Die Signifikanz liegt darin, über passives Curve-Fitting oder rein generative LLM-Ansätze hinauszugehen und stattdessen ein System zu schaffen, das aktiv über Unsicherheit nachdenkt, seinen eigenen Hypothesenraum erweitert, wenn nötig, und Experimente spezifisch entwirft, um die Degenerationen zwischen konkurrierenden kausalen Modellen aufzubrechen. Die Arbeit zeigt, dass die Kombination des Vorwissens von LLMs mit strenger Bayes-Inferenz eine robuste, interpretierbare und hochgradig probeneffiziente Engine für die wissenschaftliche Entdeckung liefert.