🤖 machine learning

When Correct Demonstrations Hurt: Rethinking the Role of Exemplars in In-Context Learning

Dit artikel daagt de aanname uit dat correcte demonstraties In-Context Learning altijd ten goede komen, door aan te tonen dat taakbehoudende verstoringen de prestaties kunnen verslechteren via een "shift in contextuele evidentie", en laat zien dat de bruikbaarheid van voorbeelden afhangt van hoe deze de contextuele inferentie beïnvloeden en niet louter van hun correctheid.

Oorspronkelijke auteurs: Chenghao Qiu, Chunli Peng, Yufeng Yang, Kuan-Hao Huang, Yi Zhou

Gepubliceerd 2026-05-27

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Chenghao Qiu, Chunli Peng, Yufeng Yang, Kuan-Hao Huang, Yi Zhou

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Idee: "Kloppend" Is Niet Altijd "Helpend"

Stel je voor dat je probeert een robot te leren hoe je was te sorteren. Je laat hem een paar voorbeelden zien:

Voorbeeld 1: Een rode sok gaat in de "Rode" stapel.
Voorbeeld 2: Een blauw overhemd gaat in de "Blauwe" stapel.

De robot leert snel. Dit heet In-Context Learning (ICL). De robot kijkt naar de voorbeelden die je hem geeft (de "demonstraties") en raadt hoe hij het nieuwe item moet behandelen dat je zojuist hebt aangeleverd.

Het gangbare geloof was: "Zolang de voorbeelden die ik aan de robot laat zien feitelijk correct zijn, leert de robot beter."

Dit paper bewijst dat dit geloof verkeerd is.

De auteurs ontdekten een vreemd fenomeen: je kunt de robot voorbeelden geven die 100% feitelijk correct zijn, maar als je verandert hoe die voorbeelden eruitzien of klinken, kan de robot in de war raken en slechter presteren dan wanneer je hem helemaal geen voorbeelden had gegeven.

Het Experiment: De "Taakbehoudende" Truc

Om dit te testen, bedrogen de onderzoekers de robot niet met foute antwoorden. In plaats daarvan speelden ze een spel van "dezelfde taak, ander verhaal". Ze noemden dit Task-Preserving Perturbation (taakbehoudende verstoring).

Denk eraan als het leren van iemand om te rijden.

De Standaard Manier: Je laat ze een video zien van een auto die stopt bij een rood licht. (Correct voorbeeld).
De "Verstoorde" Manier: Je laat ze een video zien van een andere auto die stopt bij een rood licht, maar deze keer is de auto een felgele cabriolet, is het weer zonnig en draagt de bestuurder een hoed. De actie (stoppen bij een rood licht) is nog steeds correct. De regel is niet veranderd.

De onderzoekers ontdekten echter dat als je de robot te veel van deze "anders uitziende maar correcte" voorbeelden laat zien, de robot begint in de war te raken over wat de echte regel is. Hij begint te denken: "Oh, misschien gaat de regel wel over gele cabriolets bij zonnig weer", in plaats van "Stop bij rode lichten".

Het Kernconcept: "Contextuele Bewijsverschuiving"

Het paper introduceert een ingewikkelde term voor deze verwarring: Contextual Evidence Shift (contextuele bewijsverschuiving).

Stel je voor dat de robot een detective is die een mysterie probeert op te lossen. De voorbeelden die je hem geeft zijn "aanwijzingen".

Schone Aanwijzingen: Alle aanwijzingen lijken op elkaar en wijzen duidelijk naar dezelfde verdachte.
Verstoorde Aanwijzingen: De aanwijzingen zijn technisch gezien nog steeds waar, maar ze zien er heel anders uit. Sommige zijn in rode inkt geschreven, sommige in blauw; sommige zijn lange verhalen, sommige zijn korte notities.

Hoewel elke aanwijzing waar is, verandert de mix van aanwijzingen. De detective (de robot) begint zich te richten op de verkeerde details (zoals de kleur van de inkt) in plaats van op de hoofdmisdrijf. Het "bewijs" dat de robot gebruikt om een beslissing te nemen, is verschoven, zelfs al zijn de feiten niet veranderd.

Wat Ze Vonden

De onderzoekers testten dit op drie soorten taken:

Sentimentanalyse: Bepalen of een filmrecensie positief of negatief is.
Logisch Redeneren: Oplossen van puzzels zoals "Als A waar is, en A impliceert B, is B dan waar?"
Wiskundige Woordproblemen: Oplossen van eenvoudige wiskundige verhalen.

De Resultaten:

Kleine Robots Krijgen Meer Kwaad: Kleinere, minder krachtige modellen (zoals een model met 7 miljard parameters) raakten zeer in de war wanneer de voorbeelden er anders uitzagen. Hun nauwkeurigheid daalde aanzienlijk.
Grote Robots Zijn Sterker: Grotere, slimmere modellen (zoals 70 miljard parameter modellen) waren veel beter in het negeren van de "ruis" en vasthouden aan de echte regel. Ze raakten niet zo snel in de war.
Meer Verwarring = Slechtere Resultaten: Hoe meer "anders uitziende" voorbeelden ze toevoegden, hoe slechter de kleine robots presteerden. In sommige gevallen deed de robot het slechter met deze "correcte" voorbeelden dan wanneer ze hem geen voorbeelden hadden gegeven.

Een Eenvoudige Analogie: De Muziekplaylist

Stel je voor dat je probeert een DJ te leren "Upbeat Pop" muziek te spelen.

Standaard Voorbeelden: Je geeft hen een playlist van 10 upbeat popnummers. Ze leren de sfeer perfect.
Verstoorde Voorbeelden: Je geeft hen 10 nummers die nog steeds upbeat pop zijn, maar je verandert de hoes, de albumnamen en de volgorde van de tracks. De muziek is hetzelfde genre, maar de "verpakking" is raar.

Als je de DJ een mix geeft van standaard en raar verpakte nummers, kan een beginnende DJ in de war raken en langzame jazz gaan spelen omdat ze zich richten op de rare albumhoezen in plaats van op het ritme. Een expert DJ (het grote model) negeert gewoon de hoezen en speelt de juiste muziek.

De Conclusie

Het paper concludeert dat wanneer we proberen AI-modellen te leren met voorbeelden, we niet alleen moeten vragen: "Is dit voorbeeld correct?"

We moeten ook vragen: "Past dit voorbeeld bij het patroon van de andere voorbeelden?"

Als de voorbeelden allemaal "correct" zijn maar er te verschillend uitzien, kunnen ze de leermogelijkheid van de AI juist schaden. De AI heeft een consistente "sfeer" of "context" nodig om de regels te begrijpen, niet gewoon een hoop feitelijk waar maar stijlvol chaotische data.

Kortom: Correctheid is noodzakelijk, maar het is niet genoeg. De manier waarop je de correcte informatie presenteert, is net zo belangrijk als de informatie zelf.

Technische Samenvatting: Wanneer Correcte Demonstraties Schade Toebrengen: Heroverweging van de Rol van Voorbeelden in In-Context Learning

Probleemstelling
In-context learning (ICL) stelt grote taalmodellen (LLM's) in staat om zich aan te passen aan nieuwe taken door te conditioneren op een kleine set input-output demonstraties zonder parameters bij te werken. Een heersende intuïtie suggereert dat demonstraties gunstig zijn omdat ze correcte voorbeelden bieden van de taakmapping. Dit werk identificeert echter een tegenintuïtief fenomeen: correctheid van voorbeelden garandeert niet hun nut. De auteurs tonen aan dat demonstraties individueel geldig kunnen zijn onder de taakdefinitie (d.w.z. het input-output paar voldoet aan de taakmapping) en toch de ICL-prestaties kunnen verslechteren wanneer ze als contextueel bewijs worden gebruikt. Deze "correctheid-nut-gap" ontstaat omdat het model niet enkel een mapping leert van individuele paren, maar een latente taak, inputregime en beslissingsregel infereert uit het mengsel van alle geleverde voorbeelden.

Methodologie: Taalbehoudende Perturbaties
Om het onderscheid tussen correctheid en nut te isoleren, introduceren de auteurs taalbehoudende perturbaties. Dit kader omvat het modificeren van de inputzijde van in-context voorbeelden, terwijl de taakdefinitie, promptformaat en demonstratievolgorde strikt behouden blijven. Cruciaal is dat elk geperturbeerd voorbeeld wordt gekoppeld aan het doel dat wordt gegenereerd door dezelfde taakmapping $g_T$ , zodat de demonstratie geïsoleerd "correct" blijft.

Het kader omvat twee regimes:

Label-updatende Perturbaties: Taakrelevante semantics worden gewijzigd en het doel wordt opnieuw berekend volgens de taakmapping (bijvoorbeeld het wijzigen van een sentimentzin van positief naar negatief en het updaten van het label).
Strikt Doelbehoudende Perturbaties: Het oorspronkelijke doel blijft geldig, maar de input wordt gemodificeerd om afleidingen toe te voegen of te herschikken (bijvoorbeeld het toevoegen van irrelevante numerieke feiten aan een wiskundeprobleem of het invoegen van afleidende premissen in logisch redeneren).

De auteurs definiëren de perturbatieverhouding $\rho$ als het aandeel voorbeelden dat wordt vervangen door deze taalbehoudende varianten. Zij formaliseren de resulterende faalmodus als verschuiving van contextueel bewijs: perturbaties veranderen het effectieve mengsel van bewijs dat het model gebruikt voor inferentie, waardoor de door het model geïnfereerde beslissingscontext verschuift, zelfs als de onderliggende taakmapping onveranderd blijft.

Belangrijkste Bijdragen

Identificatie van de Correctheid-Nut-gap: Het artikel stelt vast dat een demonstratie kan voldoen aan de voorwaarde van correctheid ( $y_i = g_T(x_i)$ ) terwijl het negatief nut heeft (het risico op schone queries vergroot) vanwege de interactie met de bredere context.
Methodologisch Kader: De introductie van taalbehoudende perturbaties als een gecontroleerde interventie. In tegenstelling tot eerdere adversariale studies die labels of taaksemantics wijzigen, behoudt deze methode de taakmapping om specifiek te testen hoe verschuivingen in inputverdeling ICL beïnvloeden.
Theoretische Formalisering: Het concept van verschuiving van contextueel bewijs wordt geformaliseerd, waarbij wordt aangetoond hoe perturbaties het effectieve bewijsmengsel ( $m_\theta$ ) veranderen dat wordt gebruikt voor contextuele inferentie, waardoor de nominale perturbatieverhouding wordt gescheiden van het effectieve gewicht dat het model toekent aan geperturbeerd bewijs.

Experimentele Resultaten
De auteurs evalueerden open-gewicht instructiegetrainde modellen (Llama-2, Llama-3.1, Qwen2.5/3.5, Gemma-4) over drie domeinen: sentimentclassificatie (SST-2), logisch redeneren (ProverQA) en wiskundige woordproblemen (PROBLEMATHIC).

Prestatieverslechtering: Bij alle taken verslechterde het verhogen van de perturbatieverhouding $\rho$ de ICL-prestaties aanzienlijk. In sommige gevallen (bijvoorbeeld SST-2 met kleinere modellen) daalde de prestatie onder de zero-shot baselines.
Schaalgevoeligheid van het Model: De verslechtering was sterk schaalafhankelijk. Kleinere modellen (bijvoorbeeld 7B–14B) vertoonden aanzienlijke kwetsbaarheid, terwijl grotere modellen (bijvoorbeeld 70B+) relatief stabiel bleven. Op SST-2 daalde de nauwkeurigheid van Llama-2-7B bijvoorbeeld van 96,4% naar 56,9% bij 100% perturbatie, terwijl Llama-3.1-70B dicht bij 100% bleef.
Taakmoeilijkheid: Moeilijkere taken (bijvoorbeeld complex logisch redeneren of wiskundeproblemen) toonden een grotere gevoeligheid voor perturbaties, met name voor kleinere modellen.
Positionele Effecten: Perturbaties die dicht bij de query werden geplaatst (staartperturbaties) waren disproportioneel schadelijk voor kleinere modellen, die sterke recentheidsgevoeligheid vertoonden. Analyse van de attentiekarten onthulde dat grotere modellen beter in staat waren om aandacht opnieuw toe te wijzen aan vroege, schone voorbeelden, waardoor de verschuiving in bewijs werd verzacht.
Controle-experimenten: Het vervangen van voorbeelden door taakirrelevante feitelijke uitspraken veroorzaakte slechts een lichte verslechtering, wat bevestigt dat de schade voortkomt uit taakgeldig maar distributieverschoven bewijs in plaats van generieke promptverstoring of falen in taakherkenning.

Betekenis en Claims
Het artikel betoogt dat robuuste ICL vereist dat niet alleen wordt geëvalueerd of demonstraties correct zijn, maar ook hoe ze contextuele inferentie beïnvloeden. De auteurs claimen dat de effectiviteit van een set demonstraties afhangt van de globale samenstelling en het resulterende bewijsmengsel, en niet alleen van de kwaliteit van individuele voorbeelden.

De studie concludeert dat de "correctheid" van een voorbeeld een lokaal kenmerk is, terwijl "nut" contextafhankelijk is. Bijgevolg kunnen standaard ICL-pijplijnen die voorbeelden selecteren op basis van uitsluitend correctheid of gelijkenis, onbedoeld schadelijk contextueel bewijs introduceren. De auteurs positioneren hun werk als een verklarende abstractie (verschuiving van contextueel bewijs) in plaats van een volledig mechanistisch verslag, met aandacht voor beperkingen zoals de focus op tekst-only ICL en gecontroleerde perturbaties. Zij suggereren dat toekomstig werk verdedigingsmechanismen moet verkennen die demonstraties selecteren of wegen op basis van nut in plaats van uitsluitend correctheid.