💬 NLP

Self-Improving In-Context Learning

Dit artikel stelt een kalibratiemethode voor tijdens het testen voor in-context learning voor die continue prompt-embeddings optimaliseert door een zelftoezicht-gebaseerde betrouwbaarheidsproxy te maximaliseren die is afgeleid van de log-kansen van het model, waardoor de prestaties op zowel classificatie- als generatietaken worden verbeterd zonder fijnafstemming, token-generatie of externe data.

Oorspronkelijke auteurs: Baturay Saglam, Dionysis Kalogerias

Gepubliceerd 2026-05-25

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Baturay Saglam, Dionysis Kalogerias

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een briljante maar licht nerveuze student (het AI-model) hebt die voor een toets zit. De leraar geeft de student vlak voor de echte vraag een paar voorbeeldproblemen met hun antwoorden (zogenaamde "demonstraties"). De student moet deze voorbeelden bekijken, het patroon doorgronden en het nieuwe probleem oplossen. Dit heet In-Context Learning.

Het probleem is dat deze student ongelooflijk fragiel is. Als je de volgorde van de voorbeelden door elkaar haalt, of als de voorbeelden op een wat onhandige manier zijn geschreven, kan de student in de war raken en falen, zelfs als hij het antwoord wel weet.

Dit artikel stelt een slimme truc voor om de student vlak voor het begin van de toets beter te laten presteren, zonder hem iets nieuws te leren of zijn brein te veranderen.

De Kernidee: Het "Mentale Vibe" Afstemmen

Meestal, wanneer we een AI willen verbeteren, doen we een van de volgende dingen:

Nieuwe feiten leren (Fine-tuning): Alsof je de student een heel nieuw leerboek geeft.
Betere voorbeelden kiezen (Selectie): Alsof je de perfecte oefenopgaven vindt.
De voorbeelden herschikken (Ordening): Alsof je de oefenopgaven in de meest logische volgorde zet.

Dit artikel doet iets anders. Het behandelt de prompt (de voorbeelden) niet als vaste tekst, maar als een continue "vibe" of "gevoel" die de AI voelt. Denk aan de prompt als een radiofrequentie. De tekst die je leest is slechts het label op de draaiknop, maar de AI "hoort" eigenlijk het ruisen en de signaalsterkte (de wiskundige embedding) eronder.

De auteurs beseften dat, zelfs voordat de AI probeert het nieuwe antwoord te geven, het al "nagedacht" heeft over de voorbeelden. Het heeft een betrouwbaarheidsscore toegekend aan zijn eigen antwoorden voor die voorbeelden.

De "Zelfverbeterende" Truc

Hier is de stap-voor-stap analogie van hun methode:

De Stille Check: De AI kijkt naar de voorbeelden en fluistert: "Als ik deze voorbeelden zou beantwoorden, hoe zeker zou ik dan zijn?" Het schrijft de antwoorden niet daadwerkelijk op; het controleert gewoon zijn eigen interne zekerheid.
De "Duw": De onderzoekers gebruiken een wiskundig hulpmiddel (zogenaamde Zeroth-Order Optimization) om de "radioknop" (de onderliggende wiskunde van de prompt) zachtjes een duwtje te geven. Ze vragen: "Als ik de knop een heel klein beetje naar links beweeg, voelt de AI zich dan zekerder over de voorbeelden? En wat als ik naar rechts ga?"
De Klim: Ze blijven de knop duwen in de richting die de AI zich zekerder laat voelen over de voorbeelden. Ze zeggen in feite: "Hé AI, pas je focus iets aan zodat deze voorbeelden meer zin voor je hebben."
Het Resultaat: Zodra de AI zich maximaal zeker voelt over de voorkeuren, stellen ze hem de echte vraag. Omdat de AI nu beter "ingesteld" is op het patroon, lost hij het nieuwe probleem nauwkeuriger op.

Waarom is dit speciaal?

Het artikel benadrukt drie grote superkrachten van deze methode:

Geen Nieuwe Kennis Vereist: Ze hoeven de AI niet opnieuw te trainen of nieuwe data te geven. Ze tunen gewoon de bestaande "instellingen" van de prompt.
Werkt voor Alles: De meeste eerdere methoden werkten alleen voor meerkeuzevragen (zoals "Is dit Waar of Onwaar?"). Deze methode werkt ook voor vrij geschreven tekst. Of de AI nu een letter moet kiezen of een gedicht moet schrijven, deze "afstemming" helpt.
Het is Zelfcontrolerend: De methode gebruikt het eigen vertrouwen van de AI als leidraad. Het is alsof een student een oefentoets maakt, beseft dat hij het niet zeker weet over de concepten, en mentaal zijn focus aanpast totdat de oefentoets makkelijk voelt. Zodra de oefening makkelijk voelt, gaan ze de echte toets aan.

De Resultaten

De onderzoekers testten dit op een verscheidenheid aan lastige taken, van het kopiëren van patronen tot het oplossen van logische puzzels.

De Uitkomst: De "afgestemde" AI presteerde bijna altijd even goed als, of beter dan, de originele AI.
Het Bewijs: Ze vonden een direct verband: telkens wanneer de "betrouwbaarheidsscore" van de AI op de voorbeelden omhoog ging, ging ook zijn werkelijke toetsscore omhoog. Dit bewijst dat de methode niet zomaar gokt; het helpt de AI de taak daadwerkelijk beter te begrijpen.

In het Kort

Stel je voor dat je probeert een oude radio af te stemmen om een zwak station te vangen. Je kunt het station zelf niet veranderen, en je kunt geen nieuwe luidsprekers toevoegen. Maar je kunt de afstemknop draaien (de prompt-embeddings) totdat het ruisen verdwijnt en de muziek (het patroon) kristalhelder wordt.

Dit artikel geeft ons een manier om automatisch die perfecte "draai" voor de AI te vinden, waardoor het slimmer wordt in het volgen van instructies zonder ooit weer naar school te hoeven gaan.

Technische Samenvatting: Zelfverbeterend In-Context Leren

Probleemstelling

In-context learning (ICL) stelt grote taalmodellen (LLMs) in staat om nieuwe taken uit te voeren door te conditioneren op een few-shot prompt, zonder modelparameters bij te werken. Deze capaciteit is echter berucht kwetsbaar; de prestaties zijn uiterst gevoelig voor de keuze, opmaak en volgorde van demonstraties. Bestaande methoden voor verbetering tijdens het testen vallen over het algemeen in drie categorieën: selectie van demonstraties, ordening van demonstraties en output-calibratie. Deze benaderingen delen structurele beperkingen: ze opereren vaak op discrete beslissingen op prompt-niveau, vereisen een vooraf gedefinieerde eindige labelset (wat hen beperkt tot classificatietaken), of vertrouwen op externe data en modelinterne details. Bijgevolg ontbreekt het aan algemene, tijdens het testmoment toepasbare calibratiemethoden die ICL kunnen verbeteren voor zowel classificatie- als vrij-vorm-generatietaken, zonder finetuning of externe middelen te vereisen.

Methodologie

De voorgestelde methode, Zelfverbeterend In-Context Leren, adresseert deze beperkingen door de continue embedding van een vaste few-shot prompt tijdens het testen te optimaliseren. De kernstrategie bestaat erin de prompt als een black box te behandelen en iteratief de embeddingmatrix aan te passen om een zelftoezicht-gebaseerde betrouwbaarheidsproxy te maximaliseren, die volledig is afgeleid van de eigen voorspellingen van het model.

1. Het Optimalisatiesignaal (Betrouwbaarheidsproxy)

De methode vertrouwt op de observatie dat de log-probabiliteiten die een model toekent aan zijn gedemonstreerde outputs (verkrijgbaar via een enkele teacher-forced forward pass zonder token-generatie) een betekenisvol signaal bieden voor de kwaliteit van taakinferentie. Dit signaal wordt geformaliseerd als een gebonden, scalair proxy $f(X)$ , waarbij $X$ de embeddingmatrix van de prompt is. De proxy is een gewogen lineaire combinatie van drie componenten:

Absolute Voorspellende Betrouwbaarheid ( $\bar{C}$ ): Een lengte-genormaliseerd gemiddelde van het geometrisch gemiddelde van token-probabiliteiten over alle gedemonstreerde outputspannen. Dit zorgt voor vergelijkbaarheid tussen labels van verschillende lengtes.
Gepoolde Robuustheid ( $R$ ): Een maat voor staartkwetsbaarheid. In plaats van uitsluitend te vertrouwen op het gemiddelde, berekent deze component een vaste quantiel (bijvoorbeeld het 10e percentiel) van alle echte-token-probabiliteiten over alle demonstraties. Dit straft gevallen af waarbij een label gemiddeld betrouwbaar lijkt, maar lage-probabiliteit outlier-tokens bevat.
Informatiewinst ( $G$ ): Een maat voor progressieve verbetering. Het houdt bij of de betrouwbaarheid van het model toeneemt naarmate het latere demonstraties verwerkt, wat de sequentiële aard van autoregressieve taakinferentie weerspiegelt.

De definitieve proxy wordt gedefinieerd als $f(X) = \alpha\bar{C}(X) + \beta R(X) + \gamma G(X)$ , met gewichten die optellen tot 1.

2. Zeroth-Order Optimalisatie

Omdat de proxy niet-glad is en backpropagatie door het model tijdens het testen prohibitief duur is, maakt de methode gebruik van zeroth-order optimalisatie (specifiek, Gaussische smoothing) om de gradiënt van de proxy met betrekking tot de input-embeddings te schatten.

Proces: Het algoritme schat de gradiënt door de proxy te evalueren op de huidige embeddings en op embeddings die zijn verstoord met ruis die is bemonsterd uit een Gaussische verdeling.
Beperkingen: Om te voorkomen dat embeddings afdrijven naar gebieden buiten de verdeling, maakt de methode gebruik van:
- Gradiënt-Clipping: Om grote updates te begrenzen.
- Cosine-Verwantschapsbeperking: Om ervoor te zorgen dat bijgewerkte embeddings richtingvergelijkbaar blijven met het origineel.
- Initiële Proxy-poort: Optimalisatie wordt overgeslagen als de initiële proxy-waarde te laag is, aangezien het gradiëntsignaal exponentieel vlak is in de buurt van nul.
Scope: Verstoringen zijn beperkt tot het demonstratiegebied van de prompt; query-tokens worden niet verstoord, aangezien hun log-probabiliteiten niet deel uitmaken van de proxy-berekening onder causale aandacht.

3. Calibratie tijdens het Testen

De procedure is volledig plug-and-play. Het vereist geen toegang tot modelparameters, geen externe data, geen vooraf gedefinieerde labelset en geen token-generatie tijdens de optimalisatiefase. Het opereert uitsluitend op de input-embeddings en de log-probabiliteiten van het model.

Belangrijkste Bijdragen

Interventie in Embeddingruimte: Het artikel stelt een fundamenteel andere strategie voor dan discrete prompt-engineering door direct in te grijpen op de continue embeddingmatrix van de prompt, waardoor de outputverdeling wordt herschapen terwijl de menselijk leesbare input intact blijft.
Taken-agnostische Proxy: De voorgestelde betrouwbaarheidsproxy is toepasbaar op zowel classificatie- als vrij-vorm-generatietaken, waardoor de structurele beperking van bestaande baselines wordt overwonnen die eindige labelsets vereisen.
Zelftoezicht-signaal: De methode leidt haar optimalisatiesignaal uitsluitend af uit de eigen voorspellingen van het model op de verstrekte demonstraties, zonder ground-truth labels voor de query of een externe orakel te vereisen.
Zeroth-Order Efficiëntie: Door zeroth-order optimalisatie te gebruiken, vermijdt de methode de rekenkosten van backpropagatie en de geheugenoverhead van het opslaan van gradiënten, waardoor het haalbaar wordt voor toepassing tijdens het testen op grote modellen.

Experimentele Resultaten

De methode werd geëvalueerd op ICLEval, een benchmark die is ontworpen om ICL-vaardigheid te isoleren van pretrainingkennis door hash-strings en regel-leertaken te gebruiken. De evaluatie omvatte 12 taken (exact kopiëren en regel leren) over drie modellen: Llama 3.1-8B, Qwen3-4B en Gemma 2-2B.

Prestaties: De voorgestelde methode kwam consistent overeen met of verbeterde de basismodellen over alle taken en modellen. Het veroorzaakte nooit degradatie.
- Llama 3.1-8B: De gemiddelde nauwkeurigheid verbeterde van 0,67 naar 0,71 (+6,0%).
- Qwen3-4B: De gemiddelde nauwkeurigheid verbeterde van 0,65 naar 0,72 (+10,8%).
- Gemma 2-2B: De gemiddelde nauwkeurigheid verbeterde van 0,45 naar 0,48 (+6,7%).
Statistische Significantie: Eenzijdige McNemar-tests bevestigden statistisch significante verbeteringen voor alle drie de modellen ( $p < 0,05$ ).
Vergelijking met Baselines: Op het classificatiesubset presteerde de methode beter dan of gelijk aan classificatiespecifieke baselines (Contextual Calibration, DC-PMI, DEmO) op de meeste taken, ondanks dat het opereerde zonder een vooraf gedefinieerde labelruimte.
Proxy-Prestatie Correlatie: Er werd een statistisch significante positieve correlatie gevonden tussen de verbetering in de proxy-waarde en de downstream-nauwkeurigheidswinst over taken, wat bevestigt dat de proxy een betrouwbaar optimalisatiesignaal encodeert.

Betekenis en Claims

Het artikel beweert dat de voorgestelde methode aantoont dat log-probabiliteiten van demonstraties een betrouwbaar optimalisatieoppervlak vormen voor in-context learning. De stijgingsrichting van dit oppervlak komt overeen met downstream-prestaties, wat suggereert dat de interne betrouwbaarheid van het model op zijn eigen voorbeelden een voldoende signaal is voor zelfverbetering.

De auteurs benadrukken dat deze benadering orthogonaal is aan bestaande families van ICL-verbetering (selectie, ordening, calibratie) en met hen kan worden samengesteld. De betekenis van de methode ligt in het vermogen om de betrouwbaarheid van ICL te verbeteren zonder:

Modelparameters te finetunen.
Tokens te genereren tijdens de calibratiefase.
Een vooraf gedefinieerde labelset te vereisen (wat toepassing op vrij-vorm-generatie mogelijk maakt).
Toegang te hebben tot externe data of modelinterne details buiten de embeddinglaag.

Het werk suggereert dat embedding-calibratie tijdens het testen een levensvatbaar, algemeen mechanisme is om de robuustheid van in-context learning te versterken over diverse taaktypen en modelgroottes heen.