🤖 machine learning

In-Context Learning as Implicit Policy Gradient

Dit artikel legt een theoretische link tussen score-geconditioneerd in-context leren en policy gradient-optimalisatie vast, waarbij wordt aangetoond dat self-attention mechanismen impliciet beloningsgewogen updates kunnen implementeren en door middel van empirische validatie wordt bewezen dat grote taalmodellen effectief evaluatiescores benutten om de outputdistributies te verschuiven naar hoogpresterende exemplaren.

Oorspronkelijke auteurs: Masahiro Kaneko, Timothy Baldwin

Gepubliceerd 2026-07-28

📖 8 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Masahiro Kaneko, Timothy Baldwin

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een wereld voor waarin computers niet alleen een strikt recept volgen, maar ook ter plekke kunnen leren, midden in een gesprek. Dit is het domein van Large Language Models (LLM's), de superintelligente AI-hersenen achter tools die verhalen schrijven, wiskundige problemen oplossen en met ons chatten. Normaal gesproken moeten wetenschappers, om deze AI's een nieuwe truc te leren, in de diepe code van de computer duiken en de interne instellingen aanpassen—een beetje zoals het herbedraden van een robotbrein. Maar onlangs werd er een fascinerend fenomeen ontdekt genaamd "In-Context Learning". Het blijkt dat deze modellen kunnen leren door simpelweg de voorbeelden te lezen die je in de chatprompt geeft, zonder een enkele regel van hun code te veranderen. Denk aan een student die, in plaats van de hele week voor een toets te studeren, plotseling de stof perfect begrijpt, simpelweg omdat je hem vlak voor het examen een paar oefenvragen hebt laten zien.

Nog verbazingwederlijkker ontdekten onderzoekers dat als je deze modellen voorbeelden geeft van hun eigen vorige antwoorden samen met een "score" (zoals een cijfer of een beoordeling), ze die feedback kunnen gebruiken om hun volgende antwoord direct te verbeteren. Het is alsof de AI zegt: "Oh, dat laatste verhaal kreeg een 6/10? Ik zie wat ik fout heb gedaan; laat me het opnieuw proberen en mikken op een 10." Maar hier is het grote mysterie: hoe "leert" een machine eigenlijk van een score door deze alleen maar te lezen? Heeft het een geheime leraar binnenin? Of is het gewoon aan het gokken? Een nieuw artikel van de COLM 2026 conferentie duikt in deze vraag om uit te zoeken welke verborgen wiskundige magie hieraan ten grondslag ligt.

De Grote Ontdekking van het Papier: De Geheime "Beloningsspier" van de AI

Dit artikel, getiteld "In-Context Learning as Implicit Policy Gradient", stelt een slimme verklaring voor hoe deze AI-modellen scores gebruiken om beter te worden. De auteurs, Masahiro Kaneko en Timothy Baldwin, suggereren dat wanneer een AI een lijst van zijn vorige antwoorden en de bijbehorende scores leest, hij niet alleen deze aan het onthouden is. In plaats daarvan voert hij stiekem een wiskundige truc uit die exact lijkt op een beroemde leermethode die wordt gebruikt in reinforcement learning, genaamd Policy Gradient.

Om dit te begrijpen, stel je voor dat de AI een chef is die probeert het perfecte gerecht te bereiden.

De Oude Manier (Supervised Learning): Normaal gesproken, als je wilt dat een chef beter kookt, laat je hem een foto zien van het perfecte gerecht (de "input") en het perfecte recept (de "output"). Ze leren door het verschil te kopiëren tussen wat ze maakten en wat hen verteld is te maken.
De Nieuwe Manier (Score-Conditioned ICL): In dit nieuwe scenario heeft de chef geen perfect recept. In plaats daarvan heeft hij een lijst van gerechten die hij gisteren heeft gemaakt, en voor elk gerecht gaf een criticus een score (bijv. "Deze soep was een 4/10, maar deze taart was een 9/10"). De chef kijkt naar deze lijst en besluit: "Ik moet mijn volgende gerecht meer laten smaken naar de taart en minder naar de soep."

Het papier bewijst dat het interne mechanisme van de AI, de Self-Attention, fungeert als een superintelligente rekenmachine die deze vorige gerechten weegt. Het blijkt dat het aandachtmechanisme van de AI wiskundig gezien de hoog scorende voorbeelden kan "grijpen" en ze dichter bij zijn huidige denkproces kan treken, terwijl het de laag scorende voorbeelden wegduwt. Het is alsof de AI een magnetische hand heeft die alleen de "goede" antwoorden oppakt op basis van hun scores en ze gebruikt om zijn eigen denken in de juiste richting te duwen.

De Wiskundige Magie: Hoe de AI de Goede Antwoorden "Grijpt"

De auteurs laten zien dat dit niet zomaar een gelukkige gok is; het is een structureel kenmerk van hoe deze modellen zijn gebouwd. Ze leveren een "proof of concept" die laat zien dat als je de interne gewichten van de AI (de knoppen en regelaars binnenin zijn brein) op een specifieke manier instelt, het aandachtmechanisme een reward-weighted aggregator wordt.

Hier is de analogie: Stel je voor dat de AI een student is die een toets maakt.

De Input: De student ziet een lijst met vorige vragen en de scores die hij daarop kreeg.
Het Aandachtmechanisme: Dit is het brein van de student dat beslist op welke vorige voorbeelden hij zich moet concentreren.
De Magie: Het artikel laat zien dat het brein van de AI zo geconfigureerd kan worden dat de "focus" die het aan een eerder voorbeeld geeft, recht evenredig is aan de score die het kreeg. Als een voorbeeld een hoge score kreeg, besteedt de AI er veel aandacht aan. Als het een lage score kreeg, kijkt de AI er nauwelijks naar.

De auteurs demonstreren dat dit proces wiskundig identiek is aan een methode genaamd REINFORCE, een standaardmanier om AI-agenten te leren om beloningen te maximaliseren. In eenvoudige bewoordingen berekent de AI een "gradiënt" (een richting om te bewegen) op basis van de scores, en zegt effectief: "Beweeg mijn interne staat naar de hoog scorende voorbeelden."

Het Veiligheidsnet: Waarom de AI Niet Doordraait

Een van de meest opwindende delen van het artikel is dat het ook uitlegt waarom dit leerproces veilig en stabiel is. In de wereld van AI-training, als je een model te hard dwingt om te veranderen, kan het alles vergeten wat het eerder wist of begint het vreemde, onzinnige antwoorden te geven. Dit wordt "distribution shift" genoemd.

De auteurs bewijzen dat omdat de AI slechts naar een beperkt aantal voorbeelden kijkt (een "context") en de scores begrensd zijn (ze kunnen niet oneindig hoog of laag zijn), de verandering in het gedrag van de AI ook begrensd is. Ze leiden een wiskundige limiet af, vergelijkbaar met een "trust region", die garandeert dat het nieuwe antwoord van de AI niet te veel zal verschillen van het oude. Het is als een veiligheidsrail op een achtbaan: de AI mag versnellen en bochten maken om betere antwoorden te vinden, maar de wiskunde zorgt ervoor dat hij nooit van het spoor vliegt.

Wat de Experimenten Lieten Zien

Om te controleren of dit niet alleen een mooie theorie was, testten de auteurs het op enkele van de krachtigste AI-modellen ter wereld, waaronder Llama-3, Olmo-3, Qwen-3, GPT-4o, en anderen. Ze voerden experimenten uit waarbij ze de modellen lijsten van hun eigen outputs met scores gaven en observeerden wat er gebeurde.

Dit is wat ze vonden:

Scores Doen Er Toe: Wanneer ze de scores door elkaar haalden (een slecht antwoord een hoge score gaven en een goed antwoord een lage score), veranderde het gedrag van de AI volledig. Dit bewees dat de AI de cijfers daadwerkelijk las, en niet alleen de tekst.
De "Focus" Komt Overeen met de Score: Ze keken in het brein van de AI en ontdekten dat de "attention weights" (hoeveel aandacht de AI aan elk voorbeeld besteedde) sterk gecorreleerd waren met de scores. Hoe hoger de score, hoe meer de AI zich op dat voorbeeld concentreerde.
Het Werkt als Reinforcement Learning: Wanneer ze het gedrag van de AI vergeleken met een traditioneel reinforcement learning-algoritme (dat expliciet gradiënten berekent), waren de richtingen waarin de AI bewoog bijna identiek. De AI voerde dezelfde wiskunde uit, zonder dat hij daar expliciet toe is aangestuurd.
Het Wordt Beter Over Tijd: Wanneer ze de AI dit iteratief lieten doen (een antwoord genereren, een score krijgen, een beter antwoord genereren, een betere score krijgen), verbeterden de modellen consequent hun prestaties op taken zoals wiskundige redenering en prompt optimalisatie.

Wat Dit Betekent (en Wat Het Niet Betekent)

Het artikel is zeer voorzichtig in wat het niet claimt. Het zegt niet dat de AI op een menselijke manier "denkt" of "begrijpt". Het zegt niet dat de AI op de achtergrond een complex optimalisatieprogramma draait. In plaats daarvan laat het zien dat de architectuur van de AI van nature een vorm van optimalisatie implementeert via zijn aandachtmechanisme.

De auteurs benadrukken dat dit een "structurele correspondentie" is. Dit betekent dat de wiskunde op dezelfde manier werkt, zelfs als de AI er niet actief naar "streeft". Ze merken ook op dat hun bewijs rust op enkele vereenvoudigde aannames (zoals lineaire aandacht), maar hun experimenten op echte, complexe modellen laten zien dat hetzelfde gedrag in de praktijk standhoudt.

Kortom, dit artikel lost een mysterie op over hoe AI-modellen leren van feedback zonder hun code te veranderen. Het onthult dat wanneer een AI naar een lijst van "goede" en "slechte" voorbeelden kijkt, hij zijn aandachtmechanisme gebruikt om zichzelf wiskundig naar de "goede" voorbeelden te trekken, waardoor hij effectief een policy gradient update uitvoert. Het is een prachtig voorbeeld van hoe complexe leergedragingen kunnen voortkomen uit eenvoudige, goed ontworpen wiskundige structuren, waardoor de AI verandert in een zelfverbeterende student die leert van zijn eigen cijfers.

Technische Samenvatting: In-Context Learning als Impliciete Policy Gradient

Probleemstelling

Large Language Models (LLM's) hebben aangetoond dat ze hun outputs iteratief kunnen verbeteren door gegenereerde samples en de bijbehorende evaluatiescores als in-context voorbeelden op te nemen (bijv. OPRO, self-rewarding mechanismen). Hoewel dit empirisch succesvol is, blijft het theoretische fundament van dit "score-geconditioneerde" In-Context Learning (ICL) onvoldoende begrepen. Bestaande theoretische kaders voor ICL analyseren primair supervised learning-settings met diverse input-output paren $(x, y)$ , waarbij ICL wordt geframed als impliciete gradiëntafdaling of Bayesiaanse inferentie. Deze kaders houden echter geen rekening met het reward-gebaseerde leersysteem waarbij modellen conditioneren op output-score paren $(y, r)$ voor een vaste input $x$ . Dit artikel adresseert het gat in het begrip van welk leeralgoritme score-geconditioneerde generatie implementeert en waarom dit werkt.

Methodologie

De auteurs stellen een theoretisch kader voor dat een structurele correspondentie vaststelt tussen score-geconditioneerd ICL en policy gradient optimalisatie, specifiek het REINFORCE-algoritme. De methodologie bestaat uit drie hoofdcomponenten:

Constructieve Theoretische Bewijzen:
- Lineaire Aandacht (Linear Attention): De auteurs leveren een constructief bewijs dat lineaire self-attention mechanismen reward-gewogen aggregatie kunnen implementeren. Door de gewichtsmatrices ( $W_Q, W_K, W_V, W_P$ ) zo te configureren dat de query-key product de scorecomponent extraheert ( $q^\top k = r$ ) en de value projectie de output embedding extraheert, voert het aandachtmechanisme een gewogen som van outputs uit die proportioneel is aan hun scores.
- Softmax Aandacht: Het kader wordt uitgebreid naar softmax attention, waarbij wordt aangetoond dat dit Boltzmann-gewogen aggregatie implementeert, waarbij voorbeelden worden gewogen door de exponent van hun scores ( $\exp(r/\tau)$ ).
- Policy Gradient Correspondentie: Het artikel bewijst dat onder specifieke condities (gecentreerde scores en een identiteit output-layer mapping) de hidden-state update geïnduceerd door dit aandachtmechanisme exact equivalent is aan de REINFORCE policy gradient estimator.
- Begrensde KL Shift: Binnen een vereenvoudigd output-layer model leiden de auteurs een exacte bovengrens af voor de Kullback-Leibler (KL) divergentie geïnduceerd door een begrensde aandacht-update. Dit vestigt een "trust-region-achtige" eigenschap, waarbij wordt aangetoond dat de distributieverschuiving begrensd is door de magnitude van de scores en de update stapgrootte, zonder dat een expliciet KL-gepenalty objective vereist is.
Empirische Validatie:
- Modellen: Experimenten werden uitgevoerd op meerdere open-weight LLM's (Llama-3, Olmo-3, Qwen-3) en closed-weight modellen (GPT-4o, Gemini 2.5, Claude Sonnet 4).
- Taken: De studie evalueerde prompt optimalisatie (DROP, GSM8K) en jailbreak prompting (HH-RLHF, JailbreakBench).
- Mechanistische Analyse: De auteurs analyseerden aandachtgewichten, hidden state representaties en voerden causale interventies uit (ablatie en amplificatie van specifieke aandacht-heads) om de theoretische voorspellingen te verifiëren.

Belangrijkste Bijdragen

Structurele Correspondentie met REINFORCE: Het artikel stelt vast dat score-geconditioneerd ICL een structurele correspondentie heeft met policy gradient optimalisatie. Het bewijst dat self-attention een reward-gewogen aggregatie kan implementeren die analoog is aan het REINFORCE-algoritme, waarbij de aandacht voorbeelden weegt op basis van hun scores in plaats van input-gelijkenis.
Begrensde Distributieverschuiving: De auteurs leiden een exacte padwijze bovengrens af voor de KL-shift geïnduceerd door aandacht-updates. Dit biedt een theoretische rechtvaardiging voor de stabiliteit van iteratief ICL, analoog aan trust-region methoden in expliciete policy optimalisatie, zonder te beweren dat ICL expliciet een KL-geregulariseerde objective optimaliseert.
Mechanistisch Bewijs: Door middel van uitgebreide experimenten demonstreert het artikel:
- Voorbeeldscores zijn positief gerang-gecorreleerd met log-waarschijnlijkheidsveranderingen ( $\Delta \log p$ ).
- Aandachtgewichten correleren sterk met voorbeeldscores, met name in latere lagen.
- Er bestaan "score-gespecialiseerde" aandacht-heads waar de key-query dot product correleert met scorewaarden.
- Causale interventies op deze heads (het versterken of onderdrukken ervan) moduleren direct de kracht van het score-gewogen gedrag.
- De distributieverschuivingen geïnduceerd door ICL en expliciete REINFORCE fine-tuning zijn directioneel uitgelijnd.

Resultaten

Correlatieanalyse: Er werden significante positieve Spearman-correlaties gevonden tussen voorbeeldscores en log-waarschijnlijkheidsveranderingen in alle modellen en taken ( $p < 0.01$ ). Het husselen van score-labels verminderde deze correlatie tot bijna nul, wat bevestigt dat het effect wordt gedreven door expliciete numerieke scores.
Schaalgedrag: De magnitude van de distributieverschuiving ( $|\Delta \log p|$ ) nam af met de contextgrootte $N$ volgens een $1/N$ schaling, wat consistent is met de theoretische learning rate schaling in de bewijzen.
Iteratieve Verbetering: Iteratief score-geconditioneerd ICL resulteerde in consistente scoreverbeteringen over 10 iteraties voor alle geteste modellen, waarbij de winsten in de loop van de tijd afvlakten.
Alignment met REINFORCE: De cosinus-gelijkenis tussen de distributieverschuivingsvectoren van ICL en expliciete REINFORCE fine-tuning overschreed 0.45 voor alle model-taak paren, wat bevestigt dat ze distributies in vergelijkbare richtingen verschuiven.
Causale Verificatie: Het ablateren van score token representaties in latere lagen verstoorde de score-waarschijnlijkheidscorrelatie, terwijl het versterken van "score-gespecialiseerde" heads (geïdentificeerd door een hoge Score Extraction Index) de correlatie aanzienlijk versterkte, wat een causaal verband bevestigt.

Betekenis en Claims

Het artikel beweert de eerste principiële theoretische verklaring te bieden voor waarom score-geconditioneerd ICL werkt, door het te framen als een impliciete vorm van policy gradient optimalisatie. De auteurs benadrukken dat dit een existentie-resultaat is dat de capaciteit van de transformer architectuur aantoont om dergelijke mechanismen te implementeren; zij beweren niet dat getrainde modellen exact de afgeleide gewichtsmatrix configuraties adopteren. In plaats daarvan suggereert empirisch bewijs dat getrainde modellen functioneel vergelijkbare mechanismen aanleren.

De betekenis van dit werk ligt in:

Theoretische Fundering: Het overbrugt de kloof tussen de empirische successen van OPRO en self-rewarding modellen en formele optimalisatietheorie, door ICL te verbinden met het goed gevestigde veld van reinforcement learning.
Mechanistisch Inzicht: Het identificeert specifieke interne mechanismen (score-gespecialiseerde aandacht-heads) die verantwoordelijk zijn voor dit gedrag, waardoor men verder gaat dan observationeel gedrag naar mechanistische verklaringen.
Praktische Implicaties: De bevindingen suggereren dat inference-time alignment en self-improvement pipelines deze impliciete optimalisatie-eigenschappen kunnen benutten zonder de computationele kosten van fine-tuning. De begrensde KL-shift eigenschap biedt een theoretische basis voor de stabiliteit van iteratieve prompting methoden.

De auteurs blijven bescheiden over hun claims en merken op dat de exacte wiskundige correspondentie standhoudt onder simplificerende aannames (lineaire aandacht, enkele laag, identiteit output mapping). Zij erkennen dat het uitbreiden van formele garanties naar volledig niet-lineaire, multi-layer architecturen een richting is voor toekomstig werk, maar stellen dat de kwalitatieve voorspellingen en empirische bewijzen de voorgestelde analogie robuust ondersteunen.