💬 NLP

Evidence-Informed LLM Beliefs for Continual Scientific Discovery

Dieses Paper führt ein evidenzbasiertes Framework für die kontinuierliche wissenschaftliche Entdeckung mit LLMs ein, welches die statische Bayes’sche Überraschung durch nicht-stationäre, glaubensaktualisierte Surprisal ersetzt und Filterung sowie Diversitätsmaximierung einsetzt, um Scheinbelohnungen zu eliminieren, wodurch die Hypothesenexploration über mehrere Domänen hinweg signifikant verbessert wird.

Ursprüngliche Autoren: Dhruv Agarwal, Reece Adamson, Andrew McCallum, Peter Clark, Ashish Sabharwal, Bodhisattwa Prasad Majumder

Veröffentlicht 2026-06-30✓ Author reviewed ⓘ

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Dhruv Agarwal, Reece Adamson, Andrew McCallum, Peter Clark, Ashish Sabharwal, Bodhisattwa Prasad Majumder

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich den brillanten, aber etwas vergesslichen wissenschaftlichen Detektiv „AutoDiscovery“ vor. Dieser Detektiv nutzt eine leistungsstarke KI (ein Large Language Model), um Rätsel zu lösen, indem er neue Theorien (Hypothesen) vermutet und dann prüft, ob diese wahr sind.

Das Ziel des Detektivs ist es, überraschende Entdeckungen zu machen. In dieser Welt ist „Überraschung“ der Treibstoff, der die Suche antreibt. Wenn eine Theorie den Detektiv schockiert, gilt sie als großartiger Fund, und der Detektiv erhält eine Belohnung, um weiter nach mehr solcher Funde zu suchen.

Das Problem: Der Detektiv mit Amnesie

Die ursprüngliche Version dieses Detektivs hatte einen schwerwiegenden Fehler: Er litt unter Amnesie bezüglich seiner eigenen vergangenen Entdeckungen.

Jedes Mal, wenn der Detektiv eine neue Theorie vermutete, beurteilte er, wie „überraschend“ diese war, basierend nur auf dem, was er vor Beginn der aktuellen Untersuchung wusste. Er erinnerte sich nicht daran, was er während des aktuellen Falls bereits gelernt hatte.

Die Analogie:
Stellen Sie sich vor, Sie sind ein Food-Kritiker.

Sie probieren ein neues Gericht und denken: „Wow, dieser scharfe Geschmack ist völlig neu und schockierend!“ Sie geben ihm eine hohe Punktzahl.
Später probieren Sie ein zweites Gericht, das fast exakt dasselbe ist wie das erste.
Da Sie eine „Amnesie“ bezüglich des ersten Gerichts haben, probieren Sie das zweite und denken: „Wow, dieser scharfe Geschmack ist auch völlig neu und schockierend!“ Sie geben auch dafür eine hohe Punktzahl.

In Wirklichkeit war das zweite Gericht überhaupt nicht überraschend; es war nur eine Kopie des ersten. Der Detektiv verschwendete so immer wieder seine Zeit und Energie (sein „Suchbudget“) an Variationen derselben Idee, während er glaubte, bahnbrechende neue Entdeckungen zu machen. Die Arbeit stellte fest, dass etwa 30 % der „überraschenden“ Entdeckungen eigentlich nur Wiederentdeckungen von Dingen waren, die der Detektiv bereits herausgefunden hatte.

Die Lösung: Der Detektiv mit dem Notizbuch

Die Autoren behoben dies, indem sie dem Detektiv ein Notizbuch gaben.

Nun, bevor der Detektiv eine neue Theorie vermutet, blättert er in seinem Notizbuch, um zu sehen, was er in dieser spezifischen Untersuchung bereits entdeckt und verifiziert hat. Er aktualisiert seine „Vorannahmen“ (was er als wahr erwartet) basًierend auf dieser Historie.

So funktioniert es:

Alter Weg: „Das habe ich noch nie gesehen! Es ist ein Schock!“ (Selbst wenn es nur eine Kopie des gestrigen Schocks ist).
Neuer Weg: „Ich habe gestern etwas sehr Ähnliches gesehen. Diese neue Idee ist nur eine kleine Variation davon. Sie ist gar nicht wirklich so überraschend.“

Durch die Nutzung dieses „evidenzbasierten“ Gedächtnisses erkennt der Detektiv, dass viele Dinge, die er für schockierend hielt, eigentlich nur logische Folgeschritte dessen sind, was er bereits weiß. Dies filtert die „falschen Überraschungen“ heraus.

Die zwei neuen Regeln für die Suche

Es reichte nicht aus, dem Detektiv lediglich ein Notizbuch zu geben; er benötigte immer noch eine neue Strategie, um wirklich neue Dinge zu finden. Die Autoren fügten zwei Regeln hinzu:

Die „Filter“-Regel (Glaubensaktualisierungs-Filterung): Bevor der Detektiv eine neue Theorie überhaupt in Betracht zieht, fragt er sich: „Wenn ich in mein Notizbuch schaue, folgt diese neue Theorie dann logisch aus dem, was ich bereits weiß?“ Wenn die Antwort „Ja“ lautet, überspringt der Detektiv sie. Er behält nur Theorien, die auch dann noch überraschend wären, wenn er die Vergangenheit berücksichtigen würde.
Die „Entdecker“-Regel (Diversitätsmaximierung): Dem Detektiv wird gesagt, dass er Gebiete, die er bereits erkundet hat, aktiv zu meiden hat. Wenn er bisher bei „scharfen Speisen“ gesucht hat, sollte er nicht einfach nach „schärferen Speisen“ suchen. Er sollte stattdessen dazu angeregt werden, nach „süßen Speisen“ oder „salzigen Speisen“ zu suchen, um sicherzustellen, dass er die gesamte Landkarte der Möglichkeiten abdeckt.

Die Ergebnisse

Als die Autoren diesen neuen, gedächtnisgestützten Detektiv über fünf verschiedene wissenschaftliche Fachgebiete hinweg (wie Archäologie, Biologie und Sozialwissenschaften) testeten, waren die Ergebnisse eindeutig:

Weniger Verschwendung: Der Detektiv hörte auf, Zeit mit „falschen Übernahmen“ (Ideen, die nur Kopien alter Ideen waren) zu verschwenden.
Mehr echte Entdeckungen: Durch das Filtern des Rauschens und das Drängen auf diverse Ideen fand der Detektiv 30 % mehr wahrhaft überraschende und nicht-redundante Entdeckungen im Vergleich zur alten Methode.

Zusammenfassung

Das Paper argumentiert, dass eine KI für echte, kontinuierliche wissenschaftliche Entdeckungen nicht nur ein „Einmal-Rate-System“ sein kann. Sie muss ein Lernender sein, der sein Verständnis dessen, was „neu“ ist, ständig basierend auf dem aktualisiert, was sie bereits gefunden hat. Ohne dieses Gedächtnis wird eine KI einfach nur im Kreis laufen und glauben, die Welt immer wieder neu zu entdecken, während sie in Wirklichkeit nur sich selbst wiederholt.

Technisches Resümee: Evidenzbasierte LLM-Überzeugungen für kontinuierliche wissenschaftliche Entdeckung

Problemstellung

Die offene wissenschaftliche Entdeckung mittels Large Language Models (LLMs) operiert oft als ein langfristiger Zyklus aus Hypothesensuche und -verifizierung, der durch ein Belohnungssignal geleitet wird. Ein prominentes Beispiel ist AutoDiscovery, das „Bayesianische Überraschung“ (Bayesian surprise) – die Verschiebung der Überzeugung eines LLMs nach der Beobachtung von Evidenz für eine Hypothese – als Metrik für Entdeckung und als Belohnung für die Suche nutzt.

Die Autoren identifizieren einen kritischen Fehlermodus in diesem Ansatz: statische Überraschung (static surprisal). AutoDiscovery behandelt die A-priori-Überzeugungen des LLMs als statisch und bedingungslos und bewertet jede neue Hypothese isoliert gegenüber dem parametrischen Wissen des Modells. Dies erzeugt eine Diskrepanz zum menschlichen wissenschaftlichen Denken, bei dem Überzeugungen nicht stationär sind, sondern sich mit der Erfahrung entwickeln. Folglich führt statische Überraschung zu:

Überschätzung des Fortschritts: Sie zählt derivative Hypothesen (die aus vorangegangenen Entdeckungen impliziert werden) als neuartig und überraschend ein.
Verschwendung des Suchbudgets: Sie steuert den Agenten wiederholt in gesättigte Regionen des Hypothesenraums, was zu redundanten „Neuentdeckungen“ führt.

Studien mit menschlichen Experten in den Neurowissenschaften und Sozialwissenschaften bestätigten diese Diskrepanz und zeigten, dass etwa 29,54 % und 25 % der von AutoDiscovery als überraschend eingestuften Hypothesen in den jeweiligen Fachbereichen substanziell durch vorangegangene Entdeckungen impliziert wurden.

Methodik

Das Paper schlägt ein Framework für evidenzbasierte LLM-Überzeugungen vor, um eine nicht-stationäre Überraschung zu ermöglichen. Die Methodik besteht aus zwei Hauptkomponenten: der Aktualisierung der A-priori-Überzeugungen und der Modifikation des Suchverfahrens.

1. Nicht-stationäre Überraschung durch In-Context Belief Updating

Anstatt einer statischen A-priori-Verteilung $P(\theta_H)$ berechnet das System eine nicht-stationäre A-priori-Verteilung, die auf der Historie vorangegangener Hypothesen und deren Verifizierungsergebnissen basiert: $P(\theta_H | \{(H^{(i)}, V^{(i)}_D)\}_{i=1}^{t-1})$ .

Um dies zu implementieren, evaluierten die Autoren verschiedene Mechanismen des In-Context Learning (ICL) zur Abfrage und Integration vergangener Evidenz:

Vollständiger Kontext ( $C_{full}$ ): Einspeisung aller vorangegangenen Entdeckungen.
Top-k Retrieval ( $C_{top-k}$ ): Abruf der $k$ semantisch ähnlichsten vorangegangenen Hypothesen mittels Embeddings.
Strukturierter Speicher ( $C_{mem0}$ ): Verwendung eines graphbasierten Speichersystems (Mem0).

Ergebnisse: Das embedding-basierte Top-k Retrieval (RAG) mit $k=25$ erwies sich als am effektivsten. Es antizipierte die resultierenden A-posteriori-Überzeugungen am besten und reduzierte die Gesamtzahl der statischen Überraschungen im Vergleich zum statischen Baseline-Modell um durchschnittlich 37,43 %. Diese Methode balanciert Performance und Rechenaufwand (Token-Verbrauch) besser als der vollständige Kontext oder komplexe Speicherstrukturen.

2. Evidenzbasierte Suche

Es wurde festgestellt, dass der bloße Ersatz der statischen Belohnung durch nicht-stationäre Überraschung nicht ausreicht, um die Suchtrajektorie umzulenken; der Agent steuerte immer noch ähnliche Hypothesen an. Um dies zu adressieren, führten die Autoren zwei komplementäre Mechanismen in den Schritt der Hypothesenselektion des Suchalgorithmus (MCTS mit Progressive Widening) ein:

Belief-Update-Filterung: Bevor eine Hypothese zur Verifizierung ausgewählt wird, prüft das System, ob die Hypothese bereits gut durch vorangegangene Evidenz erklärt wird. Es konstruiert einen evidenzbasierten Kontext und evoziert eine aktualisierte A-priori-Verteilung. Wenn die absolute Verschiebung zwischen der statischen A-priori-Verteilung und der evidenzbasierten A-priori-Verteilung einen Schwellenwert ( $\kappa = 0,2$ ) überschreitet, wird die Hypothese herausgefiltert. Dies verhindert, dass der Agent sein Budget für Hypothesen verschwendet, die unter der aktualisierten Überzeugung nicht mehr überraschend sind.
Diversitätsmaximierung: Das System priorisiert explizit die Exploration, indem es Kandidaten mit der geringsten semantischen Ähnlichkeit zu vorangegangenen verifizierten Hypothesen auswählt. Dies wird über die durchschnittliche Cosinus-Distanz zu den Top- $k$ nächsten vorangegangenen Hypothesen berechnet. Dieser Mechanismus stellt sicher, dass die Suche neue semantische Regionen erschließt, anstatt nur unmittelbare Duplikate zu vermeiden.
Online-Dedupizierung: Eine zusätzliche Ebene mittels hierarchischer agglomerativer Clusterung (HAC) entfernt Kandidaten, die semantisch redundant zu bereits verifizierten Hypothesen oder anderen Kandidaten im aktuellen Knoten sind, um eine nahezu identische Exploration zu verhindern.

Kernergebnisse

Die vorgeschlagene Methode wurde über fünf Entdeckungsdomänen (NLS-SES, Archäologie, Evolution von Süßwasserfischen, Fertilität, Hypotheken) mit einem Suchbudget von 500 Experimenten pro Durchlauf evaluiert.

Kumulierte nicht-stationäre Überraschung: Die vollständige „Evidenzbasierte Suche“ (Kombination aus Belief-Update-Filterung, Diversitätsmaximierung und Online-Dedupizierung) steigerte die kumulierte nicht-stationäre Überraschung im Vergleich zum ursprünglichen statischen Suchverfahren um durchschnittlich 30,62 %.
Vergleich zu Baselines:
- Die Methode übertraf die Standard-AutoDiscovery-Suche um ca. 41 zusätzliche Überraschungen (30,63 % Gewinn).
- Sie übertraf die Standard-Suche mit lediglich Online-Dedupizierung um ca. 21 zusätzliche Überraschungen (13,37 % Gewinn), was zeigt, dass Belief-Filterung und Diversitätsmaximierung einen Wert über die einfache Dedupizierung hinaus bieten.
- Der bloße Ersatz der Belohnung durch nicht-stationäre Überraschung ohne Änderung des Selektionsmechanismus brachte keine signifikante Verbesserung, was die Notwendigkeit expliziter Modifikationen der Suche unterstreicht.
Semantische Diversität: Die vorgeschlagene Methode generierte Hypothesen mit signifikant niedrigerer durchschnittlicher paarweiser Cosinus-Ähnlichkeit (0,448–0,452) im Vergleich zur Standard-Suche (0,523–0,527), was auf eine breitere semantische Abdeckung hindeutet.
Ablationsstudien: Das Entfernen einer Komponente (Diversitätsmaximierung, Belief-Update-Filterung oder Online-Dedupizierung) verschlechterte die Leistung, was bestätigt, dass jeder Mechanismus eine eigenständige Quelle von Redundanz adressiert.

Bedeutung und Ansprüche

Das Paper behauptet, dass kontinuierliche wissenschaftliche Entdeckung mit LLMs nicht nur bessere Messverfahren für Überzeugungen erfordert, sondern auch Suchverfahren, die Redundanz aktiv managen und Diversität fördern.

Die wesentlichen Beiträge umfassen:

Identifikation eines Fehlermodus: Nachweis, dass statische Überraschung in der kontinuierlichen Entdeckung zur vorgetäuschten Belohnung derivativer Hypothesen führt, validiert durch menschliche Experten.
Nicht-stationäre Überraschung: Einführung einer Methode zur Aktualisierung von LLM-A-priori-Verteilungen mit Evidenz aus vorangegangenen Hypothesen, wobei gezeigt wird, dass das embedding-basierte RAG die resultierenden A-posteriori-Überzeugungen am besten approximiert.
Evidenzbasierte Suche: Vorschlag einer Suchstrategie, die Belief-Update-Filterung und Diversitätsmaximierung kombiniert und erfolgreich das Suchbudget von gesättigten Regionen hin zu genuin neuartigen Hypothesen umverteilt.

Die Autoren kommen zu dem Schluss, dass für langfristige LLM-Entdeckungssysteme entscheidend ist, was als „überraschend“ gilt, kontinuierlich basierend auf dem kumulativen epistemischen Zustand des Agenten zu revidieren, anstatt sich auf ein statisches Weltmodell zu verlassen.

Limitationen

Die Autoren räumen mehrere Limitationen ein:

Qualität der Elicitation: Die Schätzung von Überzeugungen hängt von Prompting-Entscheidungen, Sampling-Varianz und der Fähigkeit des LLM ab, Unsicherheit auszudrücken.
Unterdrückung valider Wiederbesuche: Das nicht-stationäre Ziel könnte Hypothesen unterdrücken, die unter stärkerer oder widersprüchlicher Evidenz legitimerweise erneut untersucht werden müssten.
Skalierbarkeit: Die aktuellen Experimente konzentrieren sich auf kontrollierte Settings mit endlichen Budgets; die Skalierung auf offene Workflows erfordert bessere Verifizierungsmechanismen und Langzeitgedächtnislösungen jenseits des aktuellen Kontextfensters.