Can In-Context Learning Support Intrinsic Curiosity?

Technische Samenvatting: Kan In-Context Learning Intrinsieke Nieuwsgierigheid Ondersteunen?

Probleemstelling
Effectief machinaal leren rust niet alleen op het modelleren van data, maar ook op de automatische selectie van data, een proces dat vaak wordt aangeduid als "intrinsieke nieuwsgierigheid". De theoretische gouden standaard voor intrinsieke nieuwsgierigheid is Bayesiaanse Informatiewinst (BIG), die de verwachte informatieverandering meet die wordt verkregen over de latente parameters ($\theta$) van een omgeving door middel van een observatie. Het berekenen van BIG is echter over het algemeen onhandelbaar omdat het expliciete Bayesiaanse inferentie vereist over een hypotheseruimte.

Klassieke alternatieven, zoals Learning Progress (LP), belonen agenten op basis van de verbetering in het voorspellend vermogen van een wereldmodel na het verwerven van nieuwe data. Hoewel theoretisch solide, vereisen traditionele LP-implementaties dure innerlijke lussen van gradiëntafdaling-updates van het wereldmodel voor elke trajectstap. Deze computationele bottleneck maakt LP onpraktisch voor grootschalige sequentiemodellen. De centrale vraag van dit werk is of In-Context Learning (ICL)—waarbij sequentiemodellen fungeren als geamortiseerde, update-vrije voorspellers—als een levensvatbaar wereldmodel kan dienen om de intrinsieke nieuwsgierigheidsbeloningen efficiënt te berekenen, specifiek door BIG te benaderen zonder expliciete parameterupdates.

Methodologie
De auteurs formaliseren de setting als een Bayes-Adaptieve Markov Beslissingsproces (BAMDP) waarbij een beleid $\pi_\phi$ interacteert met omgevingen gesampled uit een prior $p(\theta)$. Het doel is om de wederzijdse informatie $I(s_t; \theta | h_t)$ (BIG) te maximaliseren met behulp van enkel de voorspellingsfouten van een bevroren, vooraf getraind sequentiemodel $\rho$ (een in-context learner).

De auteurs stellen drie soorten intrinsieke beloningen voor en analyseren deze, afgeleid van $\rho$:

1. Surprisal ($r_{sur}$): De negatieve log-likelihood van de observatie, $-\log \rho(s_t | h_t)$.
2. Description Length Reduction ($r_{dl}$): De verbetering in log-likelihood als de huidige transitie zou worden opgenomen in de context van het model, wat theoretisch een contrafeitelijke update van de posterior vereist.
3. Summed Future Improvement ($r_{sum}$): Een nieuwe beloning die de telescopische som van voorspellingsfoutverbeteringen meet voor alle toekomstige stappen in een traject als de huidige staat geobserveerd zou zijn versus gemaskeerd. Dit wordt gedefinieerd als:
   $$r_{sum}^t := \sum_{t'=t+1}^T [\log \rho(s_{t'} | h_{t'}) - \log \rho(s_{t'} | h_{t' \setminus t})]$$
   waarbij $h_{t' \setminus t}$ de historie vertegenwoordigt met $s_t$ gemaskeerd.

Theoretische analyse wordt uitgevoerd om te bepalen of deze beloningen BIG onbevooroordeeld kunnen schatten in algemene BAMDP's versus de beperkte Bayesian Experimental Design (BED) setting, waar transities conditioneel onafhankelijk zijn gegeven de actie en latente parameters (bijv. actieve leerprocessen).

Belangrijkste Bijdragen

1. Theoretische Limieten in Algemene BAMDP's:
   De auteurs bewijzen dat voor algemene BAMDP's geen eindige-horizon beloning die implementeerbaar is via de interface van een in-context learner, een onbevooroordeelde estimator van BIG kan zijn.

   • Surprisal ($r_{sur}$) wordt aangetoond bevoordeeld te zijn door aleatorische entropie (het "noisy TV"-probleem), wat onvoorspelbare ruis beloont in plaats van leerbare structuren.
   • Learning Progress ($r_{dl}$) kan over het algemeen niet worden geïmplementeerd via ICL omdat het vereist dat de posterior distributie van het model wordt gewijzigd, wat buiten de standaard predictieve interface van een bevroren sequentiemodel valt.
   • Summed Improvement ($r_{sum}$) is implementeerbaar maar lijdt onder een hardnekkige "abductieve" bias (een koppeling tussen de huidige staat en de volgende observatie die niet door $\theta$ wordt verklaard) en een residu-term die alleen verdwijnt wanneer de trajectlengte $T \to \infty$ gaat.

2. Positieve Resultaten in Bayesian Experimental Design (BED):
   In BED-settings (waar $p(s_t | s_{t-1}, a_{t-1}, \theta) = p(s_t | a_{t-1}, \theta)$), verdwijnen de structurele obstructies:

   • De abductieve bias in $r_{sum}$ verdwijnt, waardoor het een asymptotisch onbevooroordeelde estimator van BIG wordt wanneer $T \to \infty$.
   • $r_{dl}$ wordt implementeerbaar via een contrafeitelijke actie-committent (hergebruik van de actie) en convergeert naar BIG als $t \to \infty$, begrensd door een Jensen-gap.
   • De auteurs stellen vast dat $r_{sum}$ en $r_{dl}$ respectievelijk een ondergrens en een bovengrens bieden op BIG in BED-settings.

3. Empirische Validatie:
   Experimenten werden uitgevoerd in drie omgevingen: Gaussian Process (GP) functie-estimatie, Mastermind (code-breken), en Alchemy (regelontdekking).

   • Ruisrobuustheid: In ruizige varianten van deze omgevingen faalden beleidsregels getraind met $r_{sur}$ aanzienlijk, en presteerden ze vaak slechter dan willekeurige baselines vanwege het noisy TV-probleem.
   • Prestaties: Beleidsregels getraind met $r_{sum}$ en $r_{dl}$ leerden succesvol om aleatorische ruis te negeren en zich te richten op epistemische onzekerheid, waarbij ze prestaties bereikten die vergelijkbaar met of zelfs hoger waren dan die van beleidsregels getraind met taakspecifieke beloningen ($r_{task}$).
   • Model-efficiëntie: De experimenten toonden aan dat vooraf getrainde sequentiemodellen (Prior-Fitted Networks) effectief de complexe Bayesiaanse orakels voor deze beloningen kunnen benaderen, wat het gebruik van ICL voor intrinsieke nieuwsgierigheid valideert.

Betekenis en Claims
Het artikel claimt de eerste rigoureuze theoretische karakterisering te bieden van de relatie tussen voorspellingsgebaseerde intrinsieke beloningen en Bayesiaanse Informatiewinst bij het gebruik van in-context learners. Het stelt vast dat hoewel ICL BIG niet perfect kan repliceren in algemene sequentiële besluitvormingsprocessen vanwege inherente biases en interface-beperkingen, het succesvol intrinsieke nieuwsgierigheid ondersteunt in BED-settings.

De betekenis ligt in het demonstreren van een computationeel efficiënt pad naar nieuwsgierigheid-gestuurde exploratie dat de noodzaak voor dure gradiënt-gebaseerde wereldmodel-updates omzeilt. Door te bewijzen dat $r_{sum}$ en $r_{dl}$ in specifieke, relevante settings (zoals actieve leerprocessen) asymptotisch BIG kunnen herstellen, suggereert dit werk dat grote sequentiemodellen effectieve "wereldmodellen" kunnen dienen voor datacollectie-beleid, waardoor agenten optimaal kunnen exploreren zonder expliciete taakdefinities of parameterupdates. De auteurs blijven bescheiden en merken op dat het uitbreiden hiervan naar algemene BAMDP's met temporele structuur een openstaande uitdaging blijft die verdere architecturale of methodologische innovaties vereist.