🤖 machine learning

Can In-Context Learning Support Intrinsic Curiosity?

Diese Arbeit untersucht, ob In-Context-Learning die teuren Gradienten-Updates für intrinsisch neugiergetriebene Datenselektion ersetzen kann, wobei nachgewiesen wird, dass eine unverzerrte Schätzung des Lernfortschritts in allgemeinen Markov-Entscheidungsprozessen zwar unmöglich ist, in nicht-temporalen Kontexten wie Active Learning und Bayesian Experimental Design jedoch erreichbar und effektiv ist.

Ursprüngliche Autoren: Eric Elmoznino, Sangnie Bhardwaj, Johannes von Oswald, Rajai Nasser, Blaise Agüera y Arcas, João Sacramento, Rif A. Saurous, Guillaume Lajoie

Veröffentlicht 2026-06-19

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Eric Elmoznino, Sangnie Bhardwaj, Johannes von Oswald, Rajai Nasser, Blaise Agüera y Arcas, João Sacramento, Rif A. Saurous, Guillaume Lajoie

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Detektiv, der versucht, ein Rätsel in einem Raum zu lösen, den Sie noch nie zuvor gesehen haben. Sie haben ein Notizbuch (Ihr „Weltmodell“), in dem Sie aufschreiben, was Ihrer Meinung nach gerade passiert. Um besser darin zu werden, das Rätsel zu lösen, müssen Sie entscheiden, worauf Sie als Nächstes schauen sollten.

Sollten Sie eine flackernde Glühbirne anstarren, die sich zufällig verändert? Oder sollten Sie eine verschlossene Box untersuchen, die vielleicht einen Hinweis enthalten könnte?

Diese Arbeit stellt die Frage: Kann eine superintelligente KI lernen, neugierig zu sein und die richtigen Dinge auszuwählen, ohne ständig ihr eigenes Gehirn umschreiben zu müssen?

Hier ist die Aufschlüsselung ihrer Entdeckung unter Verwendung einfacher Analogien.

1. Der alte Weg: Das „Schreibe-dein-Gehirn-um“-Problem

Traditionell wurde eine Methode namens „Learning Progress“ (Lernfortschritt) verwendet, um eine KI darauf zu trainieren, neugierig zu sein.

Die Idee: Die KI schaut sich etwas an, aktualisiert ihr Gehirn (schreibt ihr Notizbuch um) und prüft dann: „Habe ich das nach dem Anschauen besser verstanden?“ Wenn ja, erhält sie eine „Neugier-Belohnung“.
Das Problem: Um dies zu tun, muss die KI anhalten, eine komplexe mathematische Simulation in ihrem eigenen Kopf durchführen, um ihr Gehirn zu aktualisieren, und dann das Ergebnis prüfen. Es ist, als würde man versuchen, eine neue Sprache zu lernen, indem man nach jedem Satz anhält, um das gesamte Wörterbuch neu zu schreiben, bevor man weiter spricht. Das ist zu langsam und zu teuer für große KI-Modelle.

2. Das neue Werkzeug: „In-Context Learning“ (Der instantane Orakel-Effekt)

Die Autoren verwenden eine spezielle Art von KI (ähnlich wie die hinter modernen Chatbots), die über In-Context Learning (ICL) verfügt.

Die Analogie: Stellen Sie sich einen Genie vor, der jedes Buch in der Bibliothek gelesen hat. Sie müssen ihm nichts Neues lehren. Stattdessen übergeben Sie ihm einfach ein paar Seiten einer Geschichte (den „Kontext“), und er weiß sofort, was als Nächstes passiert. Er muss nicht sein Gehirn umschreiben; er nutzt einfach die Geschichte, die Sie ihm gegeben haben, um eine Vorhersage zu treffen.
Das Ziel: Können wir diesen „instanten Genie“-Trick nutzen, um unserer Agentur zu sagen, worauf sie schauen soll, ohne dass die Agentur anhalten und ihr Gehirn umschreiben muss?

3. Die große Entdeckung: Es kommt auf den Raum an

Die Arbeit beweist, dass dieser „instante Genie“-Trick in einigen Situationen funktioniert, in anderen jedoch versagt.

❌ Die Falle: Der „Rauschhafte Fernseher“ (Allgemeine Umgebungen)

In einer unordentlichen, komplexen Welt (wie einem allgemeinen Videospiel) lässt sich das instantane Genie täuschen.

Die Analogie: Stellen Sie sich vor, der Raum hat einen Fernseher, der statisches Rauschen spielt. Ein einf্যaches Neugier-System sagt: „Wow, dieser Fernseher ist unvorhersehbar! Ich erhalte eine riesige Belohnung, wenn ich ihn anstarrre!“
Das Ergebnis: Die KI sitzt ewig vor dem statischen Rauschen und lernt nichts Nützliches. Die Arbeit beweist, dass man das „instante Genie“ in diesen chaotischen Welten nicht leichtfertig dazu bringen kann, das Rauschen zu ignorieren und sich auf die echten Hinweise zu konzentrieren. Die Mathematik funktioniert hier nicht ohne die teuren Gehirn-Updates.

✅ Der Erfolg: Das „Kontrollierte Labor“ (Bayesianisches Experimentelles Design)

In einer spezifischen Art von Umgebung jedoch, in der Sie eine Reihe von Experimenten durchführen (wie das Testen verschiedener Medikamente oder das Knacken eines Codes), funktioniert der Trick perfekt.

Die Analogie: Stellen Sie sich vor, Sie sind in einem Labor, in dem Sie einen Ball fallen lassen und sehen, wo er landet. Das „Rauschen“ (Wind, Unebenheiten) ist von dem „Hinweis“ (Gravitation) getrennt.
Das Ergebnis: Die Autoren haben eine neue Art entwickelt, Neugier zu messen (genannt $r_{sum}$ ), die das „instante Genie“ nutzt.
- Sie fragt: „Wenn ich diesen spezifischen Hinweis nicht gesehen hätte, wie viel schlechter wären meine Vorhersagen für den Rest des Experiments gewesen?“
- Wenn die Antwort lautet: „Sehr viel schlechter“, weiß die KI, dass sie einen entscheidenden Hinweis gefunden hat.
- Wenn die Antwort lautet: „Nicht viel schlechter“, war es nur Rauschen.

4. Die Experimente: Die Theorie testen

Das Team testete dies in drei verschiedenen „Räumen“:

Der Kartograf (Gauß-Prozess): Versuch, eine glatte Karte eines hügeligen Geländes zu zeichnen.
- Ergebnis: Die alte Methode (das Anstarrren von Rauschen) scheiterte kläglich. Die neue Methode ( $r_{sum}$ ) ignorierte die hügeligen, verrauschten Teile erfolgreich und konzentrierte sich auf die glatten, wichtigen Teile.
Der Code-Knacker (Mastermind): Versuch, einen geheimen Farbcodes zu erraten.
- Ergebnis: Als sie „bösartiges“ Zufallsrauschen zum Spiel hinzufügten, wurde die alte Methode verwirrt und spielte zufällig. Die neue Methode löste den Code weiterhin perfekt.
Der Alchemist (Alchemie): Versuch herauszufinden, welche Tränke Steine in andere Steine verwandeln.
- Ergebnis: Auch hier ignorierte die neue Methode die falschen, zufälligen Reaktionen und lernte die echten Regeln.

Das Fazit

Die Arbeit behauptet, dass In-Context Learning „intrinsische Neugier“ unterstützen kann, aber nur, wenn man sich in einer kontrollierten experimentellen Umgebung befindet.

Was es bewirkt: Es ermöglicht einer KI, herauszufinden, welche Daten wertvoll zu sammeln sind, ohne ständig anhalten und ihr Gehirn neu trainieren zu müssen.
Was es vermeidet: Es vermeidet das „Rauschhafte TV“-Problem, bei dem die KI durch zufälliges Chaos abgelenkt wird.
Die Einschränkung: Es funktioniert am besten, wenn die KI eine Reihe unabhängiger Experimente durchführt (wie ein Wissenschaftler im Labor), und nicht unbedingt, wenn sie eine chaotische, kontinuierliche Welt navigiert (wie ein Videospiel oder ein selbstfahrendes Auto – zumindest noch nicht).

Kurz gesagt: Sie haben einen Weg gefunden, eine KI mittels eines „Vorausschau“-Tricks neugierig zu machen, aber es ist derzeit eine Superkraft für Wissenschaftler in Laboren, noch nicht für Entdecker in der Wildnis.

Technische Zusammenfassung: Kann In-Context Learning intrinsische Neugier unterstützen?

Problemstellung
Effektives maschinelles Lernen beruht nicht nur auf der Modellierung von Daten, sondern auch auf der automatisierten Auswahl von Daten, einem Prozess, der oft als „intrinsische Neugier“ bezeichnet wird. Der theoretische Goldstandard für intrinsische Neugier ist der Bayesian Information Gain (BIG), der den erwarteten Informationsgewinn über die latenten Parameter ( $\theta$ ) einer Umgebung durch eine Beobachtung misst. Die Berechnung von BIG ist jedoch im Allgemeinen unpraktikabel, da sie eine explizite Bayessche Inferenz über einen Hypothesenraum erfordert.

Klassische Alternativen, wie etwa der Learning Progress (LP), belohnen Agenten basierend auf der Verbesserung der Vorhersagefähigkeit eines Weltmodells nach dem Erwerb neuer Daten. Während LP theoretisch fundiert ist, erfordern traditionelle LP-Implementierungen teure innere Schleifen von Gradientenabstieg-Updates des Weltmodells für jeden Trajektorienschritt. Dieser rechnerische Engpass macht LP für großskalige Sequenzmodelle unpraktisch. Die zentrale Frage dieser Arbeit ist, ob In-Context Learning (ICL) – bei dem Sequenzmodelle als amortisierte, update-freie Prädiktoren fungieren – als effiziente Weltmodell dienen kann, um den BIG durch die Approximation ohne explizite Parameter-Updates zu berechnen.

Methodik
Die Autoren formalisieren das Setting als einen Bayes-adaptiven Markov-Entscheidungsprozess (BAMDP), in dem eine Policy $\pi_\phi$ mit Umgebungen interagiert, die aus einem Prior $p(\theta)$ gesampelt wurden. Das Ziel ist es, die gegenseitige Information $I(s_t; \theta | h_t)$ (BIG) unter Verwendung lediglich der Vorhersagefehler eines fixierten, vortrainierten Sequenzmodells $\rho$ (einem In-Context Learner) zu maximieren.

Die Autoren schlagen und analysieren drei Arten von intrinsischen Belohnungen, die aus $\rho$ abgeleitet sind:

Surprisal ( $r_{sur}$ ): Die negative Log-Likelihood der Beobachtung, $-\log \rho(s_t | h_t)$ .
Description Length Reduction ( $r_{dl}$ ): Die Verbesserung der Log-Likelihood, falls die aktuelle Transition in das Kontext des Modells einbezogen würde; dies erfordert theoretisch ein kontrafaktisches Update der Posterior-Verteilung.
Summed Future Improvement ( $r_{sum}$ ): Eine neuartige Belohnung, die die teleskopische Summe der Vorhersagefehler-Verbesserungen für alle zukünftigen Schritte in einer Trajektorie misst, falls der aktuelle Zustand beobachtet worden wäre im Vergleich dazu, wenn er maskiert wäre. Dies ist definiert als:
$r_{sum}^t := \sum_{t'=t+1}^T [\log \rho(s_{t'} | h_{t'}) - \log \rho(s_{t'} | h_{t' \setminus t})]$
wobei $h_{t' \setminus t}$ die Historie mit maskiertem $s_t$ darstellt.

Die theoretische Analyse untersucht, ob diese Belohnungen BIG in allgemeinen BAMDPs gegenüber dem eingeschränkten Bayesian Experimental Design (BED) (wo Übergänge gegeben die Aktion und die latenten Parameter bedingt unabhängig sind, z. B. aktives Lernen) erwartungstreu schätzen können.

Wesentliche Beiträge

Theoretische Grenzen in allgemeinen BAMDPs:
Die Autoren beweisen, dass für allgemeine BAMDPs keine endliche Horizont-Belohnung, die über die Schnittstelle eines In-Context Learners implementierbar ist, ein erwartungstreuer Schätzer für BIG sein kann.
- Surprisal ( $r_{sur}$ ) wird gezeigt, dass es durch aleatorische Entropie verzerrt wird (das „Noisy TV“-Problem), was unvorhersehbares Rauschen belohnt statt lernbarer Strukturen.
- Learning Progress ( $r_{dl}$ ) kann im Allgemeinen nicht via ICL implementiert werden, da es eine Modifikation der Posterior-Verteilung des Modells erfordert, was außerhalb der Standard-Prädiktionsschnittstelle eines fixierten Sequenzmodells liegt.
- Summed Improvement ( $r_{sum}$ ) ist implementierbar, leidet aber unter einem persistenten „abduktiven“ Bias (eine Kopplung zwischen dem aktuellen Zustand und der nächsten Beobachtung, die nicht durch $\theta$ erklärt wird) sowie einem Restterm, der erst für $T \to \infty$ verschwindet.
Positive Ergebnisse im Bayesian Experimental Design (BED):
In BED-Settings (wo $p(s_t | s_{t-1}, a_{t-1}, \theta) = p(s_t | a_{t-1}, \theta)$ ) verschwinden die strukturellen Hindernisse:
- Der abduktive Bias in $r_{sum}$ verschwindet, wodurch er ein asymptotisch erwartungstreuer Schätzer von BIG für $T \to \infty$ wird.
- $r_{dl}$ wird über eine kontrafaktische Aktions-Commitment (Wiederverwendung der Aktion) implementierbar und konvergiert gegen BIG als $t \to \infty$ , begrenzt durch eine Jensen-Lücke.
- Die Autoren etablieren, dass $r_{sum}$ und $r_{dl}$ jeweils untere bzw. obere Schranken für BIG in BED-Settings darstellen.
Empirische Validierung:
Experimente wurden in drei Umgebungen durchgeführt: Gaussian Process (GP) Funktionsschätzung, Mastermind (Code-Knacken) und Alchemy (Regelentdeckung).
- Rauschrobustheit: In verrauschten Varianten dieser Umgebungen versagten Policies, die mit $r_{sur}$ trainiert wurden, oft signifikant und schnitten aufgrund des Noisy-TV-Problems häufig schlechter ab als Random-Baselines.
- Performance: Mit $r_{sum}$ und $r_{dl}$ trainierte Policies lernten erfolgreich, aleatorisches Rauschen zu ignorieren und sich auf epistemische Unsicherheit zu konzentrieren, wobei sie eine Performance erreichten, die mit aufgabenspezifischen Belohnungen ( $r_{task}$ ) vergleichbar oder diesen sogar überlegen war.
- Modelleffizienz: Die Experimente zeigten, dass vortrainierte Sequenzmodelle (Prior-Fitted Networks) effektiv die komplexen Bayesschen Orakel für diese Belohnungen approximieren können, was den Einsatz von ICL für intrinsische Neugier validiert.

Bedeutung und Behauptungen
Das Paper behauptet, die erste rigorose theoretische Charakterisierung des Zusammenhangs zwischen prädiktionsbasierten intrinsischen Belohnungen und dem Bayesian Information Gain unter Verwendung von In-Context Learnern geliefert zu haben. Es stellt fest, dass, obwohl ICL BIG in allgemeinen sequentiellen Entscheidungsprozessen aufgrund inhärenter Biases und Interface-Beschränkungen nicht perfekt replizieren kann, es intrinsische Neugier in BED-Settings erfolgreich unterstützt.

Die Bedeutung liegt in der Demonstration eines recheneffizienten Pfades zu neugiergetriebener Exploration, der die Notwendigkeit teurer gradientenbasierter Weltmodell-Updates umgeht. Durch den Beweis, dass $r_{sum}$ und $r_{dl}$ in spezifischen, relevanten Settings (wie aktivem Lernen) asymptotisch BIG wiederherstellen können, legt die Arbeit nahe, dass große Sequenzmodelle als effektive „Weltmodelle“ für Datensammel-Policies dienen können, was es Agenten ermöglicht, optimal zu explorieren, ohne explizite Aufgabenstellungen oder Parameter-Updates zu benötigen. Die Autoren bleiben bescheiden und merken an, dass die Erweiterung dies auf allgemeine BAMDPs mit zeitlicher Struktur eine offene Herausforderung bleibt, die weitere architektonische oder methodische Innovationen erfordert.