💬 NLP

Many-Shot CoT-ICL: Making In-Context Learning Truly Learn

Dit artikel onthult dat chain-of-thought in-context learning met veel voorbeelden zich gedraagt als in-context leren tijdens het testen in plaats van als eenvoudige patroonherkenning, wat aantoont dat standaard schaalwetten falen voor redeneertaken, en stelt Curvilinear Demonstration Selection (CDS) voor om de volgorde van voorbeelden te optimaliseren voor aanzienlijke prestatiewinst.

Oorspronkelijke auteurs: Tsz Ting Chung, Lemao Liu, Mo Yu, Dit-Yan Yeung

Gepubliceerd 2026-05-14

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Tsz Ting Chung, Lemao Liu, Mo Yu, Dit-Yan Yeung

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert een zeer slimme maar onervaren student te leren hoe een complex raadsel opgelost moet worden. Je hebt een enorm notitieboek (het "lange contextvenster") waarin je honderden voorbeelden kunt opschrijven om hen te helpen.

Dit artikel onderzoekt wat er gebeurt als je dat notitieboek vult met honderden voorbeelden die niet alleen de vraag en het antwoord bevatten, maar ook het stap-voor-stap denkproces (zogenaamde "Chain-of-Thought") dat wordt gebruikt om het op te lossen.

Hier is de eenvoudige uiteenzetting van wat de onderzoekers vonden:

1. De Oude Regel versus de Nieuwe Realiteit

De Oude Regel (voor Simpele Taken):
Als je een student leert post te sorteren (een simpele taak), maakt het niet veel uit of je hen 20 voorbeelden of 200 laat zien, of in welke volgorde je ze laat zien. Hoe meer voorbeelden je geeft, hoe beter ze worden, en de volgorde maakt echt niet uit. Het is als een hoop rode ballen in een emmer gooien; ze zien er allemaal hetzelfde uit, dus de volgorde is irrelevant.

De Nieuwe Realiteit (voor Redeneertaken):
Wanneer de taak moeilijk is—zoals het oplossen van een meetkundig bewijs of een detectiveverhaal—breken de oude regels.

Meer is niet altijd beter: Als je gewoon honderden redeneervoorbeelden in het notitieboek dump voor een standaard AI-model, raakt het vaak in de war en presteert het slechter.
Volgorde maakt veel uit: In tegenstelling tot post sorteren, is de volgorde waarin je deze complexe redeneerstappen presenteert cruciaal. Als je te snel springt van een simpel concept naar een supermoeilijk één, raakt de student de weg kwijt.

2. Waarom "Vergelijkbare" Voorbeelden Falen

Meestal, wanneer we een student willen helpen, zoeken we naar voorbeelden die er vergelijkbaar uitzien als het huidige probleem.

De Valstrik: Het artikel vond dat voor redeneertaken het kiezen van voorbeelden die er op lijken (bijvoorbeeld twee wiskundeproblemen die beide over driehoeken gaan) eigenlijk een slecht idee is.
De Analogie: Stel je voor dat je iemand leert een cake te bakken. Je laat ze een recept zien voor een chocoladecake, en dan vraag je hen om een biscuitcake te bakken. Ze lijken op elkaar (beide zijn cakes), maar het proces (de stappen) is anders. Als de student probeert de chocoladestappen te kopiëren voor de biscuitcake, zullen ze falen.
De Bevinding: Voor redeneren zijn de "stappen" (de procedure) belangrijker dan het "onderwerp" (de oppervlakkige gelijkenis). Twee problemen kunnen op elkaar lijken maar vereisen volledig verschillende denkpaden. Als de AI probeert het verkeerde pad te kopiëren, faalt het.

3. De "Curriculum"-Aanpak

De auteurs realiseerden zich dat voor een AI om echt te "leren" van een lange lijst voorbeelden, de lijst moet fungeren als een schoolcurriculum, niet zomaar een stapel boeken.

Principe 1: Begrijpelijkheid. De voorbeelden moeten op een manier zijn geschreven die de specifieke AI kan begrijpen. Als de AI "zwak" is, kan het te verwarrend zijn om voorbeelden te laten zien die geschreven zijn door een "geniale" AI. Het leert het beste van voorbeelden die overeenkomen met zijn eigen huidige denkniveau.
Principe 2: Vlotte Overgangen. De voorbeelden moeten zo worden gerangschikt dat de concepten soepel van het ene naar het andere vloeien. Je kunt niet springen van "optellen" naar "calculus" zonder de stappen er tussenin.

4. De Oplossing: "Curvilinear Demonstration Selection" (CDS)

Om het rangschikkingsprobleem op te lossen, bedachten de onderzoekers een methode genaamd CDS.

De Metafoor: Stel je voor dat de voorbeelden punten zijn op een kaart. Als je ze in een willekeurige volgorde verbindt, moet je misschien scherpe, duizelingwekkende bochten maken (hoge "kromming"). Als je ze zo rangschikt dat het pad soepel en zacht is (lage "kromming"), kan de student het pad gemakkelijk bewandelen.
Het Resultaat: Door de honderden voorbeelden zo te rangschikken dat het "denkpad" soepel en geleidelijk is, verbeterden ze de prestaties van de AI op meetkundeproblemen met ongeveer 5,4% in vergelijking met willekeurige rangschikking.

Samenvatting

Het artikel betoogt dat het geven van honderden redeneervoorbeelden aan een AI niet alleen gaat om "meer data". Het gaat om hoe die data wordt gepresenteerd.

Doe niet alsof je gewoon vergelijkbare voorbeelden pakt.
Doe wel ze rangschikken als een soepel lesplan, waarbij je zachtjes beweegt van makkelijke concepten naar moeilijkere.
Doe wel ervoor zorgen dat de voorbeelden zijn geschreven in een taal die de specifieke AI daadwerkelijk kan begrijpen.

Door de lange lijst voorbeelden te behandelen als een gestructureerde les in plaats van een ophopingsbuffer, kan de AI het redeneerproces in realtime daadwerkelijk "leren", in plaats van alleen maar te gokken op basis van patronen.

Technische Samenvatting: Many-Shot CoT-ICL: In-Context Learning Echt Laten Leren

1. Probleemstelling

Hoewel is aangetoond dat In-Context Learning (ICL) Large Language Models (LLMs) aan nieuwe taken aanpast zonder parameterupdates, is het huidige begrip van het schaalgedrag grotendeels afgeleid van niet-redenerende taken (bijv. classificatie). Met de komst van modellen met lange contexten is "many-shot" ICL (het gebruik van tientallen tot honderden voorbeelden) opgekomen, en prestaties die vergelijkbaar zijn met fine-tuning worden bereikt. Het blijft echter onduidelijk of de gevestigde principes van many-shot ICL – specifiek dat de volgorde van demonstraties minder belangrijk wordt en dat op gelijkenis gebaseerde retrievel effectief is – overdraagbaar zijn naar Chain-of-Thought (CoT) ICL voor redeneertaken.

Het onderzoek onderzoekt of het verstrekken van meer redeneer-demonstraties leidt tot betrouwbare verbetering of nieuwe instabiliteiten introduceert. Het stelt de vraag of many-shot CoT-ICL slechts grootschalige patroonherkenning is of een vorm van echt in-context leren dat pedagogische principes volgt.

2. Methodologie

De auteurs stellen een experimenteel kader op dat drie dimensies bestrijkt:

Taa types: Niet-redenerende taken (classificatie, NLU, detectie van bankintenties) versus redeneertaken (wiskundig redeneren op GSM8K/MATH, narratief redeneren op DetectiveQA).
Modeltypes: Niet-redenerende LLM's (bijv. LLaMA 3.1/3.3, Qwen 2.5) versus op redenering gerichte LLM's (bijv. Qwen 3, QwQ, DeepSeek-R1) die expliciete redeneersegmenten blootleggen (bijv. <thought>-tokens).
ICL-configuraties: Traditionele ICL versus CoT-ICL (prompten die invoer, redeneerketen en uitvoer bevatten).

De studie evalueert schalingseffecten door het aantal demonstraties ( $n$ ) te variëren van few-shot tot many-shot (tot $n=128$ ). Belangrijke experimentele analyses omvatten:

Schaaldispariteit: Het vergelijken van prestatietrends naarmate $n$ toeneemt over verschillende model- en taakcombinaties.
Op gelijkenis gebaseerde retrievel: Het construeren van "meest-geleken" en "meest-ongeleken" demonstratiesets op basis van vraagniveau-embeddingsimilariteit om de retrievelhypothese te testen.
Ordgevoeligheid: Het meten van de standaardafwijking van de nauwkeurigheid over willekeurige permutaties van dezelfde demonstratieset.
Procedurale ablatie: Het vervangen van specifieke CoT-rationales door statische ketens om te isoleren of modellen procedures leren of slechts invoer-uitvoerpakketten matchen.
Principes voor demonstratie-selectie: Het testen van de impact van "Gemak van begrip" (het gebruik van zelfgegenereerde versus dataset-voorgestelde CoTs) en "Vloeiendheid van informatiestroom" (het ordenen van demonstraties om conceptuele kromming te minimaliseren).

3. Belangrijkste Bevindingen

A. Schaalgroei afhankelijk van de setting

Niet-redenerende taken: Many-shot ICL schaalt betrouwbaar; de prestaties verbeteren gestaag naarmate het aantal demonstraties toeneemt, en de gevoeligheid voor de volgorde van demonstraties neemt af.
Redeneertaken (Niet-redenerende LLM's): Many-shot CoT-ICL is instabiel. Het verhogen van het aantal demonstraties leidt vaak tot prestatiedegradatie of negatieve winst voor standaard instructie-getrainde modellen, zelfs bij grote parametergroottes (bijv. LLaMA 3.3 70B).
Redeneertaken (Op redenering gerichte LLM's): Modellen met expliciete redeneercapaciteiten (bijv. Qwen 3, DeepSeek-R1) tonen consistente, bijna monotoon toenemende prestatieverbeteringen met meer CoT-demonstraties. Dit suggereert dat het profiteren van lange CoT-contexten mechanismen vereist om redeneersignalen te interpreteren (bijv. denk-tokens) in plaats van oppervlakkige patroonherkenning.

B. Falen van op gelijkenis gebaseerde retrievel

Niet-redenerend: Semantische gelijkenis tussen vragen is een betrouwbare proxy voor labelgelijkenis; het ophalen van vergelijkbare voorbeelden verbetert de prestaties.
Redenerend: Semantische gelijkenis op vraagniveau faalt om procedurele compatibiliteit te voorspellen. Twee wiskundig vergelijkbare vragen kunnen verschillende oplossingsstrategieën vereisen. Bijgevolg levert het ophalen van de "meest-geleken" CoT-demonstraties vaak slechtere prestaties op dan het gebruik van ongelijksoortige of niet-gecurateerde sets, omdat dit conflicterende tussenstappen kan induceren.

C. Orde-schaal effect

In tegenstelling tot niet-redenerende taken, waarbij de ordgevoeligheid afneemt met schaal, vertonen redeneertaken een orde-schaal effect: de prestatievariatie neemt toe naarmate het aantal CoT-demonstraties groeit. Dit geeft aan dat de volgorde van demonstraties de geïnduceerde redeneringstraject cruciaal vormgeeft.

D. Mechanisme: In-Context Test-Time Learning

Het paper herformuleert many-shot CoT-ICL niet als patroonherkenning, maar als in-context test-time learning. Bewijs toont aan dat redenerende modellen specifieke procedures uit demonstraties absorberen in plaats van alleen labels te memoriseren. Wanneer rationale worden corrumpeerd (vervangen door statische ketens), daalt de prestatie significant bij hoge shot-aantallen, wat bevestigt dat modellen de procedurele stappen internaliseren.

4. Voorgestelde Principes en Methode (CDS)

Gebaseerd op de bevinding dat CoT-ICL werkt als een leerproces, stellen de auteurs twee principes voor voor effectief demonstratieontwerp:

Gemak van begrip: Demonstraties moeten aansluiten bij de huidige kennis en generatiedistributie van het model. Zelfgegenereerde CoTs (zelfs met enkele fouten) presteren vaak beter dan ground-truth CoTs voor zwakkere modellen, omdat deze voor het doelmodel "begrijpelijker" zijn.
Vloeiendheid van kennisprogressie: Demonstraties moeten zo worden gerangschikt dat een vloeiende conceptuele overgang ontstaat, waarbij abrupte sprongen in redeneerstrategieën worden vermeden.

Om het tweede principe operationeel te maken, introduceren de auteurs Curvilinear Demonstration Selection (CDS).

Methode: CDS behandelt de reeks demonstraties als een traject in de embedding-ruimte. Het rangschikt demonstraties om de totale conceptuele kromming te minimaliseren (de som van draaihoeken tussen opeenvolgende embeddingvectoren).
Implementatie: Het maakt gebruik van een op TSP gebaseerde heuristiek (naaste buur + 2-opt) met een kostfunctie die Euclidische nabijheid en krommingsminimalisatie in evenwicht brengt.
Resultaten: CDS levert consistente winst op, met tot een verbetering van 5,42 procentpunten op meetkundetaken met 64 demonstraties. Het presteert beter dan willekeurige ordening en baselines met hoge kromming op zowel wiskunde- als narratieve redeneertaken.

5. Betekenis en Claims

Het paper claimt dat het begrip van lange contextvensters wordt herformuleerd van een eenvoudige "retrievelbuffer" naar een "gestructureerd curriculum" voor in-context test-time learning.

Theoretische bijdrage: Het toont aan dat de regels die many-shot ICL voor classificatie beheersen, niet overdraagbaar zijn naar redeneren. Het betoogt dat effectief redenerend ICL afhankelijk is van het vermogen van het model om procedurele signalen te interpreteren en te internaliseren, niet slechts oppervlakkige patroonherkenning.
Praktische bijdrage: Het biedt een eenvoudige, goedkope, parameterloze methode (CDS) om de prestaties van redeneren te verbeteren door de volgorde van demonstraties te optimaliseren op basis van conceptuele vloeiendheid.
Beperkingen: De auteurs merken op dat de voordelen van CDS het meest uitgesproken zijn wanneer de basisordening suboptimaal is (hoge kromming) en dat de winsten kleiner kunnen zijn bij taken waar de basalnauwkeurigheid al zeer hoog is (bijv. getaltheorie).

Het werk suggereert dat voor op redeneren capabele LLM's het lange contextvenster dient als een dynamische leeromgeving waarbij de structuur van de prompt (het curriculum) even kritisch is als de inhoud van de voorbeelden.