🤖 machine learning

A Probabilistic Framework for LLM-Based Model Discovery

Dieses Paper führt ModelSMC ein, ein probabilistisches Framework, das die LLM-basierte Modellentdeckung als Sequential Monte Carlo-Inferenz umformuliert, um Modellvorschlag, Verfeinerung und Selektion zu vereinheitlichen und dadurch die Entdeckung interpretierbarer mechanistischer Modelle aus Beobachtungsdaten zu ermöglichen.

Ursprüngliche Autoren: Stefan Wahl, Raphaela Schenk, Ali Farnoud, Jakob H. Macke, Daniel Gedon

Veröffentlicht 2026-06-25

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Stefan Wahl, Raphaela Schenk, Ali Farnoud, Jakob H. Macke, Daniel Gedon

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Detektiv, der versucht herauszufinden, wie eine mysteriöse Maschine funktioniert. Sie können nicht in die Maschine hineinsehen, aber Sie können beobachten, was herauskommt, wenn Sie verschiedene Eingaben einspeisen. Ihr Ziel ist es, eine Reihe von Anweisungen (ein Computerprogramm) zu schreiben, die das Verhalten der Maschine perfekt nachahmt.

Dieses Paper stellt eine neue Methode vor, wie Künstliche Intelligenz (speziell Large Language Models oder LLMs) als dieser Detektiv fungieren kann. Sie nennen ihre Methode ModelSMC.

Hier ist die Aufschlüsselung, wie es funktioniert, unter Verwendung einfacher Analogien:

Das Problem: Die „Versuch und Irrtum“-Falle

Normalerweise, wenn Wissenschaftler KI nutzen, um diese Maschinenregeln zu entdecken, behandeln sie die KI wie einen sehr klugen Praktikanten. Sie geben dem Praktikanten eine Aufgabe, der Praktikant schreibt ein Programm, es wird getestet, und wenn es falsch ist, sagen sie: „Versuch es nochmal, aber mach es schneller.“ Der Praktikant versucht es erneut.

Das Problem ist, dass dieser Prozess oft chaotisch ist. Es ist, als würde der Praktikant nur basierend auf seinem Bauchgefühl raten. Es gibt keine klare mathematische Regel, die dem Praktikanten sagt, warum eine Vermutung besser ist als eine andere, oder wie er weiß, ob er der Wahrheit näher kommt. Es ist schwer zu sagen, ob der Praktant tatsächlich lernt oder nur Glück hat.

Die Lösung: Das „Survival of the Fittest“-Team

Die Autoren, Stefan Wahl und sein Team, haben beschlossen, die KI nicht wie einen einzelnen Praktikanten zu behandeln, sondern wie ein Team von Entdeckern auf einer Überlebensmission. Sie nennen diesen Rahmen ModelSMC.

Stellen Sie sich das wie ein Spiel „Heiß oder Kalt“ vor, aber mit einem Twist:

Das Team (Partikel): Anstatt dass eine einzige KI versucht, das Rätsel zu lösen, startet ModelSMC mit einem ganzen Team von 50 verschiedenen KI-„Entdeckern“. Jeder Entdecker hat einen leicht unterschiedlichen Satz von Anweisungen (ein Computerprogramm) geschrieben, wie die Maschine funktionieren könnte.
Der Test (Likelihood): Das Team testet alle 50 Programme gegen reale Daten. Einige Programme sind schrecklich (sie sagen den falschen Output voraus). Einige sind okay. Ein paar sind wirklich gut.
Die Auslese (Resampling): Das ist der magische Teil. Das System betrachtet die Ergebnisse.
- Die Entdecker mit den schlechtesten Ergebnissen werden nach Hause geschickt (ihre Programme werden verworfen).
- Die Entdecker mit den besten Ergebnissen dürfen bleiben, aber sie dürfen sich „klonen“. Jetzt hat man statt 50 verschiedener Ideen vielleicht 40 Kopien der besten Idee und 10 Kopien der zweitbesten Idee.
Die Evolution (Propagation): Die überlebenden Entdecker kopieren nicht einfach nur den Code. Sie bitten die KI, ihre Anweisungen basierend auf dem, was sie gelernt haben, zu „verfeinern“.
- Analogie: Stellen Sie sich einen Koch vor, der eine großartige Suppe gekocht hat. Anstatt die gleiche Suppe einfach wieder zu servieren, fragt er die KI: „Wie kann ich sie noch besser machen? Vielleicht ein wenig Salz hinzufügen oder die Hitze ändern?“ Die KI schlägt eine spezifische Änderung vor, und der Koch aktualisiert das Rezept.
Wiederholung: Dieser Zyklus wiederholt sich immer und immer wieder. Das Team wird immer kleiner, aber die verbleibenden Mitglieder werden immer klüger und konvergieren auf den einen besten Satz von Anweisungen, der die Daten erklärt.

Warum ist das besser als die alte Methode?

1. Eine Karte, nicht nur ein Raten
Alte Methoden waren wie das Umherwandern im Dunkeln mit einer Taschenlampe. ModelSMC ist wie ein GPS. Da die Autoren dies als Problem der „probabilistischen Inferenz“ formuliert haben, können sie mathematisch beweisen, dass das Team – wenn man diesen Prozess lange genug durchführt – die korrekte Antwort (oder die bestmögliche Antwort gegeben die Daten) finden wird. Es ist nicht nur Magie; es ist Mathematik.

2. Es geht mit Unsicherheit um
Manchmal sind die Daten nicht eindeutig genug, um sagen zu können: „Das ist definitiv die Antwort.“

Alter Weg: Die KI wählt vielleicht eine Antwort und sagt: „Das ist sie!“, selbst wenn sie unsicher ist.
ModelSMC: Das System behält eine „Wolke“ von Möglichkeiten. Es könnte sagen: „Wir sind zu 80 % sicher, dass die Antwort die Zugabe eines 'langsamen Kaliumstroms' zur Maschine beinhaltet, und zu 20 % sicher, dass sie einen 'Natriumstrom' beinhaltet.“ Dies gibt Wissenschaftlern ein viel reichhaltigeres Bild dessen, was tatsächlich geschieht.

Reale Beispiele aus dem Paper

Das Team hat dies an drei verschiedenen „Maschinen“ getestet:

Die Niere (Pharmakologie): Sie versuchten herauszufinden, wie die Niere Kalium reguliert. Das ursprüngliche Modell fehlte ein entscheidendes Puzzleteil (wie ein Hormon namens Aldosteron wirkt). ModelSMC hat nicht nur geraten; es entdeckte eine spezifische mathematische Formel für die Wirkung dieses Hormons, die perfekt zu realen Patientendaten passte.
Das Neuron (Neurowissenschaft): Sie untersuchten, wie Gehirnzellen elektrische Impulse abgeben. Das Standardmodell (Hodgkin-Huxley) war gut, aber nicht perfekt. ModelSMC entdeckte, dass das Hinzufügen von zwei spezifischen Arten von Ionenkanälen (M-Typ und HCN) das Modell viel besser mit realen Hirnaufzeichnungen übereinstimmen ließ. Es fand nicht nur eine Lösung, sondern zeigte, dass das Hinzufügen eines M-Typ-Kanals die wahrscheinlichste Lösung war, während andere Korrekturen weniger wahrscheinlich waren.
Falsche Daten (SIR-Modell): Sie erstellten ein fiktives Modell zur Krankheitsausbreitung, bei dem sie die Antwort kannten. ModelSMC fand erfolgreich die exakte Formel, die sie darin versteckt hatten, was bewies, dass das System funktioniert.

Das Fazit

Das Paper argumentiert, dass wir aufhören sollten, die Entdeckung von KI-Modellen als eine Serie von Zufallsraten zu betrachten und statfangen sollten, es als eine „wissenschaftliche Suche“ zu behandeln. Durch die Verwendung einer Methode namens „Sequential Monte Carlo“ (was im Grunde eine schicke Art ist zu sagen: „Survival of the Fittest für Computercode“) ermöglicht ModelSMC es der KI, nicht nur bessere Modelle zu finden, sondern uns auch zu sagen, wie sicher sie sich bei diesen Modellen ist.

Es verwandelt die KI von einer „Black Box“, die einfach nur Code ausspuckt, in einen transparenten, mathematisch fundierten Partner, der Wissenschaftlern hilft, die zugrunde liegenden Regeln der Natur zu verstehen.

Technisches Resümee: Ein probabilistisches Framework für die LLM-basierte Modellentdeckung

Problemstellung

Die wissenschaftliche Entdeckung stützt sich zunehmend auf mechanistische Simulatormodelle, die Theorie mit Daten integrieren, um Interpretation und Vorhersage zu ermöglichen. Der Aufbau dieser Modelle ist jedoch arbeitsintensiv und erfordert erhebliches Fachw Wissen sowie iterative manuelle Verfeinerung. Während Large Language Models (LLMs) einen Weg zur Automatisierung dieses Prozesses durch das Generieren und Überarbeiten ausführbaren Codes direkt aus textuellen Formulierungen bieten, sind bestehende LLM-basierte Entdeckungssysteme typischerweise über handgefertigte Heuristiken, Agenten-Rollen und Interaktionsprotokolle definiert.

Diese operationalen Ansätze lassen eine explizite probabilistische Formulierung vermissen, was zu drei primären Limitationen führt:

Mangelnde Interpretierbarkeit: Das zugrunde liegende Inferenzproblem ist nicht explizit formuliert, was Fehlermodi verschleiert und prinzipielle Erweiterungen erschwert.
Theoretische Lücke: Diese Systeme lassen keine natürliche theoretische Analyse oder Konvergenzgarantien zu.
Formale Argumentation: Es ist schwierig, formal über die Notwendigkeit oder Hinlänglichkeit spezifischer Systemkomponenten zu argumentieren, wenn Rollen nur lose spezifiziert sind.

Das Paper postuliert, dass die automatisierte Modellentdeckung nicht als heuristischer Workflow, sondern als probabilistisches Inferenzproblem betrachtet werden sollte: das Sampling aus einer unbekannten Verteilung $p(m|x_o)$ über mechanistische Modelle $m$ (implementiert als Code), die in der Lage sind, beobachtete Daten $x_o$ zu erklären.

Methodik: ModelSMC

Die Autoren führen ModelSMC ein, einen Algorithmus basierend auf Sequential Monte Carlo (SMC) Sampling, der dieses probabilistische Framework instanziiert. ModelSMC behandelt Kandidatenmodelle als „Partikel“ in einer Population, die iterativ vorgeschlagen, verfeinert und durch ein LLM gewichtet werden.

Kernalgorithmus

ModelSMC approximiert die Posterior-Verteilung $p(m|x_o)$ über $K$ Iterationen mittels einer Population von $N$ Partikeln. Jeder Partikel $i$ in Iteration $k$ ist ein Tupel $(m^i_k, w^i_k, c^i_k)$ , welches den Modellcode, sein Gewicht und das kontextuelle Feedback repräsentiert. Der Prozess umfasst drei Schritte pro Iteration:

Resampling: Der Algorithmus berechnet die effektive Stichprobengröße (Effective Sample Size, ESS). Wenn die ESS unter einen Schwellenwert $\tau_{ESS}$ fällt, wird ein systematisches Resampling angewendet, um Partikel mit geringem Gewicht zu verwerfen und hochgewichtete Partikel zu replizieren, wodurch die Population regeneriert wird.
Propagation: Jeder Partikel wird über einen Mischkernel propagiert. Mit einer Wahrscheinlichkeit von $\alpha$ $α$ wird ein Partikel unverändert geklont (um Rechenressourcen zu schonen). Mit einer Wahrscheinlichkeit von $1-\alpha$ $1 - α$ wird eine neue Modellimplementierung mittels eines LLM gesampelt. Das LLM wird dabei konditioniert auf:
- Die Ahnenmodelle des resampelten Partikels.
- Kontextuelles Feedback (Leistungsbewertungen und Diagnosen) aus vorangegangenen Iterationen.
- Einen festen aufgabenspezifischen Prompt ( $c_{task}$ ), der Domänenwissen und Constraints kodiert.
Gewichtung: Jedem generierten Modell wird ein Gewicht zugewiesen, das proportional zur marginalen Likelihood der beobachteten Daten $p(x_o|m)$ ist. Da die wahre Likelihood oft intratabel ist, verwendet ModelSMC Neural Likelihood Estimation (NLE) unter Verwendung eines Ersatz-Dichtieschätzers (speziell NLE-PFN, basierend auf dem TabPFN-Foundation-Modell), um die Likelihood zu approximieren, ohne eine explizite Parameteroptimierung oder differenzierbare Modelle zu erfordern.

Theoretische Grundlage

Das Framework verbindet ModelSMC mit der klassischen SMC-Theorie. Unter idealisierten Annahmen (exakte Likelihood-Evaluierung und eine Proposal-Verteilung, die der Prior entspricht), beweisen die Autoren, dass ModelSMC eine asymptotisch unvoreingenommene Partikelapproximation der Modell-Posterior-Verteilung liefert. Während der praktische Algorithmus Ersatz-Likelihoods und kontextkonditionierte LLM-Proposals nutzt, ermöglicht diese theoretische Fundierung eine formale Analyse der Stabilität und der Konvergenzeigenschaften, die heuristischen Agenten-Workflows fehlen.

Zentrale Beiträge

Probabilistische Formulierung: Das Paper definiert die automatisierte LLM-basierte Modellentdeckung als probabilistische Inferenz über ausführbare Programme und vereinigt Vorschlag, Verfeinerung und Selektion unter einem einzigen Ziel.
ModelSMC-Algorithmus: Es schlägt eine populationsbasierte SMC-Methode vor, bei der LLMs als Proposal-Verteilung dienen, was die Exploration komplexer, offener Modellräume (mehrere hundert Zeilen Code) ohne handgefertigte Restriktionen ermöglicht.
Empirische Validierung: Die Methode wird auf synthetischen Aufgaben und realen Datensätzen in den Neurowissenschaften (Hodgkin-Huxley-Neuronen-Dynamik) und der Pharmakologie (Nieren-Aldosteron-Regulation) validiert und zeigt eine kompetitive Performance gegenüber Baselines.
Theoretische Analyse: Es demonstriert, wie die bestehende SMC-Theorie angewendet werden kann, um die automatisierte Modellentdeckung zu analysieren, was eine Linse für das Verständnis von Konvergenz und der Rolle von Systemkomponenten bietet.

Experimentelle Ergebnisse

Die Autoren evaluierten ModelSMC gegen zwei Baselines: FunSearch+ (eine an die Modellentdeckung angepasste evolutionäre Suchmethode mit Parameteroptimierung) und ModelSMC N=1 (eine sequentielle, nicht-probabilistische Variante mit einem einzelnen Partikel).

Quantitative Performance: Über synthetische (SIR-Epidemiologie-Modell) und reale Aufgaben (Nieren-Pharmakologie, Hodgkin-Huxley) hinweg erreichte ModelSMC kompetitive marginale und konditionale Likelihoods, vergleichbar mit FunSearch+ und ModelSMC N=1.
Mechanistische Entdeckung:
- Nieren-Modell: ModelSMC konnte fehlende regulatorische Dynamiken für Aldosteron erfolgreich inferieren und entdeckte eine enge Familie von Feedback-Mechanismen, die trotz begrenzter Daten eng mit der Grundwahrheit (Ground Truth) übereinstimmten.
- Hodgkin-Huxley-Modell: Der Algorithmus identifizierte strukturelle Defizite im Baseline-Modell und wies konsistent hohe Posterior-Gewichte auf Erweiterungen zu, die M-Typ langsame Kaliumströme ( $I_M$ ) gepaart mit sekundären Kanälen (z. B. persistente Natriumströme $I_{NaP}$ oder HCN $I_h$ ) beinhalten.
Posterior-Analyse: Im Gegensatz zu Methoden, die lediglich einen einzelnen Punktschätzer liefern, liefert ModelSMC eine Posterior-Verteilung über Modelle. Dies ermöglichte es den Autoren, strukturelle Unzulänglichkeiten von Parameterunsicherheit zu unterscheiden und robuste Schlussfolgerungen (z. B. die Notwendigkeit von $I_M$ ) zu identifizieren, während gleichzeitig Symmetrien und Ambiguitäten im Modellraum aufgedeckt wurden.
Ablationsstudien: Das Framework erwies sich als robust gegenüber Variationen in den Gewichtungsschemata (MSE vs. Likelihood), Simulationsbudgets, Prompt-Komplexität und LLM-Backbones (Claude Sonnet 4.6 vs. GPT-5 mini).

Bedeutung und Ansprüche

Das Paper behauptet, dass die Umformulierung der LLM-gesteuerten Modellentdeckung als probabilistische Inferenz ein vereinheitlichtes Framework schafft, das:

Annahmen klärt: Es benennt explizit das Inferenzproblem, wodurch Fehlermodi und Annahmen transparent werden.
Rigorosität ermöglicht: Es erlaubt prinzipielle Garantien für Stabilität und Konvergenz, die aus der SMC-Theorie abgeleitet sind.
Analyse erleichtert: Es ermöglicht eine formale Argumentation über Systemkomponenten und unterstützt systematische Ablationen und Erweiterungen.
Interpretierbarkeit verbessert: Durch die Marginalisierung über Parameter und die Aufrechterhaltung einer Population gewichteter Modelle zeigt es auf, welche mechanistischen Hypothesen stark gestützt, welche ausgeschlossen und welche weiterhin unsicher sind, anstatt nur ein einziges „bestes“ Modell auszuwählen.

Die Autoren betonen, dass ihr primärer Beitrag methodologischer Natur ist: die Bereitstellung eines allgemeinen Inferenz-Frameworks, in dem Fragen nach wissenschaftlicher Neuheit und Validität sinnvoll gestellt werden können. Sie behaupten nicht, dass ModelSMC inhärent in allen Fällen neue wissenschaftliche Erkenntnisse generiert, sondern merken an, dass solche Ergebnisse von der spezifischen Anwendung, den Daten und den Modellannahmen abhängen. Das Framework ist anwendbar in Settings, in denen Kandidatenmodelle ausführbar sind und zuverlässige Likelihood-Approximationen zulassen.