🤖 machine learning

What does a Bayes-filtered transformer believe? A predictive Monte Carlo approach

Dit artikel introduceert Predictive Monte Carlo (PMC), een nieuwe interpreteerbaarheidsmethode die uitsluitend gebruikmaakt van next-token generatie om direct de impliciete prior- en posteriorverdelingen over de geleerde latente taken door Bayes-gefilterde transformers te benaderen, waardoor de beperkingen van fragiele vergelijkingen in de voorspellingsruimte worden overwonnen.

Oorspronkelijke auteurs: Afiq Abdillah Effiezal Aswadi, Haotong Ma, Susan Wei

Gepubliceerd 2026-07-21

📖 9 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Afiq Abdillah Effiezal Aswadi, Haotong Ma, Susan Wei

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een detective bent die probeert te achterhalen wat een mysterieuze, superintelligente robot denkt. Je kunt niet in zijn brein kijken of zijn dagboek lezen; je kunt alleen toekijken hoe hij een spelletje "raad het volgende woord" speelt. Elke keer als je de robot een zin geeft, voorspelt hij het volgende woord met ongekende nauwkeurigheid. Maar dit is het puzzelstukje: is de robot gewoon een enorme lijst met antwoorden aan het onthouden die hij tijdens zijn training heeft gezien, of is hij daadwerkelijk de verborgen regels van het universum aan het leren om slimme voorspellingen te doen over nieuwe situaties? Deze vraag staat centraal in een vakgebied genaamd machine learning, specifiek bij het bestuderen van hoe AI-modellen leren van context. Om dit te begrijpen, moeten we weten over "priors" (de initiële gok van een robot voordat hij aanwijzingen ziet) en "posteriors" (hoe die gok verandert nadat hij bewijs heeft gezien). Wetenschappers vragen zich al lang af of deze robots werkelijk de wiskunde van Bayesiaanse redenering uitvoeren — een chique manier om overtuigingen bij te stellen op basis van nieuwe gegevens — of dat ze alleen de schijn van die wiskunde nabootsen zonder het werkelijk te begrijpen.

Dit artikel introduceert een slimme nieuwe truc om achter het gordijn te kijken. De onderzoekers, die werkten met "Bayes-gefilterde transformers" (een type AI getraind op sequenties gegenereerd door verborgen regels), hebben een methode ontwikkeld genaamd Predictive Monte Carlo (PMC). Denk aan de AI als een chefkok die miljoenen soepen heeft geproefd. Als je de chef vraagt om het recept te beschrijven, zegt hij misschien gewoon: "het smaakt naar kip." Maar als je hem vraagt om een nieuwe batch soep te koken op basis van een specifiek ingrediënt dat jij hem geeft, en je proeft die nieuwe batch vervolgens om te achterhalen wat hij werkelijk denkt dat het recept is, krijg je een veel duidelijker beeld. De auteurs gebruiken deze "kookmethode" om duizenden nep-toekomstige sequenties van de AI te genereren. Door deze nep-toekomsten te analyseren, kunnen zij de verborgen "overtuigingen" van de AI over de wereld reconstrueren.

De studie testte dit op drie verschillende soorten puzzels: een spel waarbij gekleurde ballen uit een urn worden getrokken, een lineaire regressie-taak (het vinden van een lijn door verspreide punten) en een spel waarbij men tussen toestanden beweegt zoals in een bordspel. In elk geval trainden ze de AI op een mix van verschillende "taken" (verschillende recepten) en gebruikten ze vervolgens PMC om te zien wat de AI daadwerkelijk geloofde. Ze ontdekten dat de interne overtuigingen van de AI op fascinerende manieren verschuiven. Wanneer de AI wordt getraind op slechts enkele soorten taken, gedraagt hij zich als een onthouder, waarbij hij strikt vasthoudt aan de specifieke voorbeelden die hij heeft gezien. Maar naarmate de variëteit aan trainingsopdrachten groter wordt, verschuift de AI naar een "generaliseerder", die de bredere regels leert die voor alles gelden. Interessant genoeg laten de auteurs zien dat deze verschuiving niet vloeiend verloopt; op bepaalde punten gedraagt de AI zich kortstondig als een geniale generaliseerder voordat hij weer terugvalt in een modus van onthouden. Cruciaal is dat de auteurs aantonen dat het kijken naar alleen de uiteindelijke voorspellingen van de AI (het "raad het volgende woord"-gedeelte) niet voldoende is om dit te zien. Twee verschillende interne overtuigingssystemen kunnen exact dezelfde voorspellingen produceren, waardoor de ware aard van de AI onzichtbaar blijft totdat je PMC gebruikt om in de verborgen "latente ruimte" te kijken waar het echte denken plaatsvindt.

Het Nieuwe Gereedschap van de Detective

Dus, hoe werkt dit nieuwe instrument, PMC, precies? Stel je voor dat de AI een waarzegger is die getraind is op een specifieke set regels. Je geeft de waarzegger een prompt, zoals "De lucht is blauw omdat..." en zij begint de volgende woorden te voorspellen. Meestal neem je alleen de eerste voorspelling en ga je verder. Maar met PMC stop je daar niet mee. Je vraft de waarzegger om door te gaan, door een heel lang verhaal te genereren op basis van dat begin. Je doet dit honderden keren, waardoor je honderden verschillende mogelijke verhalen creëert.

Zodra je deze lange, nepverhalen hebt, kijk je naar de patronen binnen hen. Als de AI getraind is in een wereld waar "blauw" altijd volgt op "lucht", zullen de verhalen dat weerspiegelen. Maar belangrijker nog: door het gehele van deze gegenereerde verhalen te analyseren, kun je de regels van het spel die de AI denkt te kennen, terugbrengen naar de bron. Het is alsoals wanneer je een goochelaar ziet een konijn uit een hoed toveren, en in plaats van alleen het konijn te zien, kijk je hoe hij duizend verschillende konijnen uit duizend verschillende hoeden haalt om precies te begrijpen hoe de hoed is gemanipuleerd. Dit stelt de onderzoekers in staat om de "prior" van de AI (wat hij geloofde voordat je hem een prompt gaf) en de "posterior" (wat hij gelooft nadat hij je prompt heeft gezien) in kaart te brengen.

De Grote Verschuiving: Onthouder versus Generaliseerder

De onderzoekers gebruikten deze methode om een grote vraag in AI te testen: leert het model specifieke voorbeelden te onthouden, of leert het regels te generaliseren? Ze zetten experimenten op met drie verschillende "families" van taken.

Eerst keken ze naar Balls-and-Urns. Stel je een urn voor gevuld met rode en blauwe ballen. De taak van de AI is om de volgende bal te raden. De "taak" is de specifieke mix van rode en blauwe ballen in de urn. Als de AI wordt getraind op slechts een paar specifieke urnen, wordt hij een Onthouder. Hij leert: "Oh, deze specifieke urn heeft 80% rode ballen, dus ik gok rood." Maar als de AI wordt getraind op een enorme variëteit aan urnen met verschillende mengsels, wordt hij een Generaliseerder. Hij leert de regel: "De mix van ballen is willekeurig, dus ik moet naar de geschiedenis kijken om de volgende te raden."

Het artikel vond een "drempelwaarde" voor deze verschuiving. Wanneer het aantal verschillende taken (verschillende urn-mengsels) waarop de AI wordt getraind klein is, gedraagt hij zich als een onthouder. Maar naarmate het aantal taken groeit, schakelt de AI plotseling over naar het gedrag van een generaliseerder. Dit bevestigt een fenomeen dat de Task-Diversity Threshold wordt genoemd.

Maar hier wordt het nog interessanter. De onderzoekers keken ook naar Transient Generalization (tijdelijke generalisatie). Dit is als het observeren van een student die een nieuw onderwerp leert. In het begin proberen ze misschien het grote plaatje te begrijpen (generaliseren), maar dan raken ze in de war en beginnen ze specifieke feiten te onthouden om de toets te halen. Het artikel liet zien dat de AI tijdens het trainingsproces, bij een gemiddeld niveau van taakdiversiteit, daadwerkelijk begint als een generaliseerder, maar dat hij naarmate de training vordert, weer richting een onthouder drijft. Het is een tijdelijke fase van genialiteit voordat hij zich zetelt in een rigider gewoontenpatroon.

Waarom kijken naar het antwoord niet genoeg is

Een van de belangrijkste bevindingen van dit artikel is dat je niet kunt zien wat de AI doet door alleen naar zijn antwoorden te kijken. De auteurs gebruiken een treffende analogie: stel je twee verschillende landkaarten van een stad voor. De ene kaart is een gedetailleerde, nauwkeurige tekening van de straten. De andere kaart is een schets die alleen de hoofdwegen laat zien. Als je beide kaarten vraagt om de weg naar een specifieke koffiebar te beschrijven, kunnen ze je exact dezelfde instructies geven. Als je alleen naar de instructies kijkt (de voorspellingen), kun je niet zien welke kaart de echte is.

In de wereld van AI kunnen verschillende interne "overtuigingen" (posteriors) leiden tot exact dezelfde voorspellingen. Het artikel betoogt dat eerdere studies, die alleen de voorspellingen van de AI vergeleken met een "gouden standaard", kwetsbaar waren omdat ze niet het onderscheid konden maken tussen een model dat de regels echt begreep en een model dat toevallig hetzelfde had geraden. Door PMC te gebruiken om in de "latente ruimte" (het verborgen overtuigingssysteem) te kijken, konden de onderzoekers zien dat de interne kaart van de AI inderdaad veranderde van de schets van een onthouder naar de gedetailleerde kaart van een generaliseerder, en weer terug.

De Limieten van de Kristallen Bol

De auteurs merken er voorzichtig bij op dat deze methode geen toverstaf is die alles oplost. De geldigheid van PMC rust op het voldoen aan bepaalde wiskundige voorwaarden, die moeilijk te bewijzen zijn voor de massale AI-modellen uit de echte wereld. In hun experimenten gebruikten ze synthetische taken (zoals de balls-and-urns en eenvoudige wiskundeproblemen) waarvan zij de grondwaarheid kenden. Ze vonden dat PMC daar uitstekend werkte en de verborgen overtuigingen van de AI succesvol herstelde.

Ze geven echter toe dat voor de gigantische AI-modellen die in de echte wereld worden gebruikt (zoals de modellen die essays schrijven of met je chatten), we nog niet weten of de wiskunde daar perfect standhoudt. Het is mogelijk dat de interne logica van de AI zo complex is dat onze "waarzegmethode" enkele nuances kan missen. Maar zelfs met deze beperkingen biedt het artikel een krachtige nieuwe manier om AI te onderzoeken. Het suggereert dat we, door de eigen "wat als"-scenario's van de AI te genereren en te analyseren, eindelijk kunnen beginnen te begrijpen wat deze modellen werkelijk denken, in plaats van alleen wat ze zeggen.

Uiteindelijk vertelt dit artikel ons niet alleen hoe AI leert; het geeft ons een nieuwe lens om het leerproces zelf te bekijken. Het laat zien dat AI niet slechts een statische database van feiten is, maar een dynamisch systeem dat schakelt tussen onthouden en begrijpen, en dat we deze verschuivingen kunnen volgen als we weten hoe we de juiste vragen moeten stellen.

Technische Samenvatting: "Wat gelooft een Bayes-gefilterde transformer? Een predictieve Monte Carlo-benadering"

Probleemstelling

Bayes-gefilterde transformers (BFT's) zijn modellen die getraind zijn op sequenties die hiërarchisch zijn gegenereerd: een latente taak wordt getrokken uit een prior, en observaties worden gegenereerd voorwaardelijk op die taak. Onder ideale omstandigheden (oneindige capaciteit, oneindige data, perfecte optimalisatie) minimaliseert een BFT de autoregressieve log-loss om de Bayesiaanse posterieure voorspellende distributie (PPD) te worden. Echter, in de praktijk zijn getrainde BFT's slechts benaderingen van dit ideaal.

Dit roept een cruciale interpreteerbaarheidsvraag op: welke prior en posterieure over de latente taak heeft een getrainde BFT daadwerkelijk geïnternaliseerd? Bestaande literatuur behandelt dit door de voorspellingen van de BFT te vergelijken met "referentie"-posteriores (bijv. een memoriserende prior versus een generaliserende prior). De auteurs stellen dat deze vergelijking in de voorspellingsruimte fragiel is: verschillende posteriores kunnen identieke voorspellingen opleveren (bijv. identieke posterieure gemiddelden), waardoor het onmogelijk is om de onderliggende geloofstructuren uitsluitend via outputmetrieken te onderscheiden.

Methodologie: Predictive Monte Carlo (PMC)

Het artikel introduceert Predictive Monte Carlo (PMC) als een algemene interpreteerbaarheidstool om de evaluatie van de voorspellingsruimte naar de latente ruimte te verplaatsen. PMC herstelt de impliciete prior en posterieure van een getrainde BFT met behulp van alleen next-token generatie, zonder de interne mechanismen van het model te inspecteren.

De procedure werkt als volgt:

Rollout: Gegeven een prompt $y_{1:\ell}$ (die leeg kan zijn), genereert de BFT autoregressief $R$ onafhankelijke rollouts van lengte $N$ .
Evaluatie: Voor elke voltooide rollout wordt de latente taakparameter $\hat{\theta}$ $\hat{θ}$ berekend als een functie van de volledige sequentie.
- Balls-and-urns: Empirische tokenfrequenties.
- Lineaire regressie: Ordinary Least Squares (OLS) estimator op de $(x, y)$ -paren.
- Markovketens: Empirische transitiematrix (met Laplace-smoothing).
Inferentie:
- Met een lege prompt benadert de distributie van $\{\hat{\theta}^{(r)}\}$ de impliciete prior van de BFT.
- Met een niet-lege prompt benadert de distributie de impliciete posterieure van de BFT.

De geldigheid van dit herstel berust op het feit dat het door de BFT geïnduceerde proces voldoet aan representatiestellingen (de Finetti voor uitwisselbare processen; Diaconis–Freedman voor Markov-uitwisselbare processen), wat garandeert dat de latente taak een functie is van het oneindige pad.

Belangrijkste Bijdragen

Unificatie: De auteurs verenigen drie uiteenlopende synthetische In-Context Learning (ICL) studies (balls-and-urns, lineaire regressie en Markovketens) onder het kader van $k$ -Markov uitwisselbare BFT's.
Evaluatie in de latente ruimte: Zij hergebruiken PMC als een black-box tool om ICL direct in de latente ruimte te evalueren, waarbij de ambiguïteit van vergelijkingen in de voorspellingsruimte wordt omzeild.
Eerste toepassing: Dit is de eerste toepassing van PMC op BFT's.
Fenomenologische reproductie: De studie reproduceert twee bekende ICL-fenomenen — de taak-diversiteitsdrempel en transiënte generalisatie — direct in de latente ruimte van de overtuigingen van het model.

Resultaten

De auteurs pasten PMC toe op BFT's getraind op drie taakfamilies met variërende taakdiversiteit ( $M$ ):

Herstel in de latente ruimte: In alle families kwam de door PMC herstelde prior nauw overeen met de trainingsprior (empirische prior $\Pi_M$ ), en de posterieure kwam overeen met de bijbehorende conjungte of referentie-posterieure wanneer geconditioneerd op in-distributie prompts.
Taak-diversiteitsdrempel: Naarmate het aantal pretraining-taken ( $M$ ) toenam, verschoof de door PMC herstelde posterieure van het volgen van de memoriserende baseline (empirische prior) naar de generaliserende baseline (populatieprior). Deze transitie was observeerbaar in de latente ruimte, zelfs wanneer metrieken in de voorspellingsruimte geen duidelijke transitie lieten zien (bijv. in de balls-and-urns setting).
Transiënte generalisatie: Bij een gemiddelde taakdiversiteit ( $M=32$ voor lineaire regressie, $M=32$ voor balls-and-urns, $M=8$ voor Markovketens), benaderde de BFT tijdens de training aanvankelijk de generaliserende baseline voordat deze later specialiseerde naar de memoriserende baseline. Deze dynamiek werd gevangen in de evolutie van de latente posterieure, wat bevestigt dat dit fenomeen bestaat in de interne overtuigingen van het model, en niet alleen in de outputs.
Out-of-Distribution (OOD) gedrag: Bij OOD-prompts week de PMC-posterieure vaak af van beide referentie-baselines, wat suggereert dat het model in deze regimes mogelijk niet strikt aan een van beide schema's voldoet, of dat de voldoende voorwaarden voor de geldigheid van PMC onder druk staan.

Betekenis en Claims

De paper stelt dat identificeerbaarheid de primaire motivatie is voor het verplaatsen van ICL-evaluatie naar de latente ruimte. Omdat verschillende posteriores identieke voorspellingen kunnen produceren, zijn diagnostische middelen in de voorspellingsruimte onvoldoende om te bepalen wat een model "gelooft". Door PMC te gebruiken, demonstreren de auteurs dat:

BFT's niet enkel Bayesiaanse updates nabootsen; ze internaliseren specifieke prior/posterieure structuren die direct meetbaar zijn.
De "taak-diversiteitsdrempel" en "transiënte generalisatie" robuuste fenomenen zijn die voortbestaan in de latente geloofsruimte van het model.
PMC een rigoureuze, model-agnostische methode biedt om de interne Bayesiaanse mechanica van transformers getraind op hiërarchische data te onderzoeken.

De auteurs blijven bescheiden over de overdraagbaarheid van deze bevindingen naar grootschalige fundamentele modellen (LLM's). Zij merken op dat de voldoende voorwaarden voor de geldigheid van PMC (asymptotische uitwisselbaarheid) theoretisch moeilijk te verifiëren zijn voor echte transformers en empirisch veeleisend zijn (het vereist enorme Monte Carlo-budgetten). Daarom, hoewel BFT's dienen als een gecontroleerde testomgeving voor deze fenomenen, blijft de directe toepassing op grensverleggende LLM's een open vraag die verdere verificatie van deze theoretische voorwaarden vereist.