💬 NLP

Emergence of Context Characteristics Sensitivity in Large Language Models

Dit artikel onderzoekt hoe de gevoeligheid van grote taalmodellen voor contextkenmerken evolueert tijdens de fasen van supervised fine-tuning, direct preference optimization en reinforcement learning, waarbij wordt onthuld dat deze voorkeuren in elke fase actief worden hervormd en de cruciale belangrijkheid van gebalanceerde instructie-fine-tuning datasets voor robuust contextgebruik wordt benadrukt.

Oorspronkelijke auteurs: Nadya Yuki Wangsajaya, Haeun Yu, Isabelle Augenstein

Gepubliceerd 2026-06-09

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Nadya Yuki Wangsajaya, Haeun Yu, Isabelle Augenstein

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een Large Language Model (LLM) voor als een zeer slimme student die in een klaslokaal zit. Deze student heeft een enorme bibliotheek aan feiten in zijn hoofd opgeslagen (parametrische kennis), maar de leraar overhandigt hem voor elke vraag ook een specifieke pagina uit een tekstboek (de context). Het doel is dat de student die pagina leest en de vraag beantwoordt op basis alleen van wat hij zojuist heeft gelezen, waarbij hij negeert wat hij al weet.

Dit onderzoek onderzoekt hoe deze student leert om het tekstboek te gebruiken tijdens drie specifieke "trainingskampen" (Instruction Fine-Tuning fasen): SFT, DPO en RLVR. De onderzoekers wilden weten: Leert de student om de tekst nauwgezet te lezen, of begint hij sluiproutes te nemen op basis van hoe het boek eruitziet?

Hier is de uitslag van hun bevindingen met behulp van eenvoudige analogieën:

1. De Drie Trainingskampen

Beschouw de opleiding van de student als een proces dat in drie fasen plaatsvindt:

Fase 1: SFT (Supervised Fine-Tuning): Dit is alsof de student huiswerk maakt met een antwoordenblad. Hem worden veel voorbeelden getoond van "Vraag + Tekstboekpagina = Correct Antwoord."
Fase 2: DPO (Direct Preference Optimization): Dit is als een debatclub. De student krijgt twee verschillende antwoorden op dezelfde vraag te zien. Een leraar zegt: "Ik vind Antwoord A beter dan Antwoord B." De student leert het "geprefereerde" antwoord na te bootsen.
Fase 3: RLVR (Reinforcement Learning with Verifiable Rewards): Dit is als een eindexamen waarbij de student alleen punten krijgt als hij het antwoord exact goed heeft. (Het paper merkt op dat deze fase erg duur is om uit te voeren, dus ze hebben vooral de eerste twee bestudeerd).

2. De "Sluiproutes" geleerd in Fase 1 (SFT)

Tijdens het eerste trainingskamp (SFT) leert de student een zeer specifieke, enigszins luie gewoonte. Hij begint te beoordelen of hij de tekstboekpagina moet vertrouwen op basis van hoe makkelijk deze te lezen is, in plaats van of de informatie daadwerkelijk waar is.

De onderzoekers vonden dat de student de voorkeur gaat geven aan:

Langere Tekst: Ze denken: "Als de tekst lang is, moet het wel belangrijk zijn." (Eigenlijk geven ze vaak de voorkeur aan kortere teksten omdat deze makkelijker te verwerken zijn, maar het paper merkt een complexe relatie op; over het algemeen geven ze de voorkeur aan teksten die makkelijk te verwerken zijn).
Bekende Woorden: Als de tekstboekpagina exact dezelfde woorden gebruikt als de vraag, denkt de student: "Aha! Dit is de juiste pagina!" zelfs als de betekenis fout is.
Vloeiendheid (Fluency): Als de tekst geschreven is in vloeiende, perfecte grammatica, vertrouwt de student het. Als de tekst onhandig is of typefouten bevat, negeert de student het, zelfs als de onhandige tekst de juiste feiten bevat.

De Metafoor: Stel je voor dat de student een rechter is in een wedstrijd. In plaats van de inhoud van de toespraak te beoordelen, beoordeelt hij de lettergrootte en de vloeiendheid van de stem. Als de toespraak luid en duidelijk is, stemt hij "Ja". Als het zacht of hakkelend is, stemt hij "Nee", ongeacht de waarheid.

3. De "Correctie" in Fase 2 (DPO)

In het tweede kamp (DPO) probeerden de onderzoekers deze slechte gewoonten te corrigeren. Ze verwachtten dat de student deze sluiproutes zou afleren en de inhoud zorgvuldig zou gaan lezen.

De Twist: De uitkomst hing volledig af van wat de leraar aan het onderwijzen was.

Als de leraar de student voorbeelden gaf waarbij de "goede" antwoorden toevallig lang en vloeiend waren, en de "slechte" antwoorden kort en onhandig, dan versterkte de student zijn slechte gewoonten. Hij leerde dat "Lang en Vloeiend = Goed."
Echter, als de leraar de voorbeelden zorgvuldig in balans hield — door ervoor te zorgen dat het "goede" en "slechte" antwoord er hetzelfde uitzagen (dezelfde lengte, dezelfde vloeiendheid) — dan leerde de student de sluiproutes af. Hij stopte met het vertrouwen op hoe de tekst eruitzag en begon te vertrouwen op de eigenlijke inhoud.

De Metafoor: Het is als een coach die een atleet traint. Als de coach alleen atleten prijst die rode schoenen dragen, zal de atleet denken dat rode schoenen hem sneller maken. Als de coach wil dat de atleet zich concentreert op de hardlooptechniek, moet hij atleten die zowel rode als blauwe schoenen dragen evenveel prijzen. Als de coach onzorgvuldig is, blijft de atleet zich richten op de schoenen in plaats van op het hardlopen.

4. De Belangrijkste Conclusie

Het paper concludeert dat het vermogen van een model om context te gebruiken geen vaststaand kenmerk is; het wordt actief gevormd bij elke stap van de training.

SFT leert modellen van nature om sluiproutes te nemen op basis van hoe "makkelijk" de tekst oogt (vloeiendheid, woordoverlap).
DPO kan dit ofwel erger maken, ofwel oplossen, afhankelijk van de zorgvuldige selectie van de trainingsdata.

De Les: Als je een model wilt dat de informatie die je het geeft betrouwbaar gebruikt (en niet wordt afgeleid door hoe "mooi" de tekst is), kun je niet simpelweg data in het trainingsproces dumpen. Je moet je datasets zorgvuldig cureren om ervoor te zorgen dat de "goede" en "slechte" voorbeelden gebalanceerd zijn in termen van lengte, vloeiendheid en woordkeuze. Doe je dat niet, dan leert het model simpelweg het boek te beoordelen op de kaft.

Technische Samenvatting: Emergentie van Gevoeligheid voor Contextkenmerken in Large Language Models

Probleemstelling

Large Language Models (LLM's) bezitten het vermogen om de verstrekte context te gebruiken om vragen te beantwoorden, een eigenschap die essentieel is voor toepassingen zoals retrieval-augmented generation (RAG) en toolgebruik. Dit gebruik is echter vaak fragiel; modellen kunnen de context negeren ten gunste van parametrische kennis of worden afgeleid door irrelevante informatie. Hoewel eerder onderzoek heeft vastgesteld dat er correlaties bestaan tussen specifieke contextkenmerken (bijv. lengte, vloeiendheid, gelijkenis) en contextgebruik tijdens inferentie, blijven de mechanismen waarmee modellen deze gevoeligheden verwerven tijdens training onverkend. Specifiek is het onduidelijk hoe instructie-fijnafstemming (Instruction Fine-Tuning, IFT) de afhankelijkheid van het model van deze kenmerken vormgeeft.

Methodologie

De auteurs onderzoeken de evolutie van "gevoeligheid voor contextkenmerken"—gedefinieerd als de mate waarin de waarde van een kenmerk invloed heeft op de vraag of een model de verstrekte context gebruikt—over drie afzonderlijke IFT-fasen: Supervised Fine-Tuning (SFT), Direct Preference Optimization (DPO) en Reinforcement Learning met Verifieerbare Beloningen (RLVR).

Experimentele Opzet

Modellen: De studie evalueert vier modellen: Llama-3.1-8B, Llama-3.2-1B, OLMo-2-1B en OLMo-2-7B. Voor stapsgewijze analyse (het volgen van veranderingen binnen een fase) wordt Llama-3.2-1B fijn afgestemd op dezelfde datasets die voor OLMo-2-1B worden gebruikt.
Datasets: Drie datasets worden gebruikt om diversiteit in taakformaten en context-kennisrelaties te waarborgen:
- ConflictQA en Context-Reliance: Open-ended QA-taken met contrafeitelijke contexten, waarbij nauwkeurigheid de zuivere context-utilisatie reflecteert.
- DRUID: Een taak voor beweringverificatie die realistische context-kennisinteracties weerspiegelt.
Contextkenmerken: Drie families van kenmerken worden geëxtraheerd en gemeten:
1. Gelijkenis: Jaccard-gelijkenis (token overlap) en query-entiteit overlap.
2. Vloeiendheid: Flesch Reading Ease score en Perplexity.
3. Lengte: Ruwe karakteraantallen voor context en query.
Evaluatiemetriek: Gevoeligheid wordt gekwantificeerd met behulp van de Area Under the Receiver Operating Characteristic (AUROC) curve. Dit meet hoe goed de waarde van een specifelijk kenmerk accurate voorbeelden (waarbij het model de context correct gebruikte) boven inaccurate voorbeelden rangschikt. Een AUROC > 0,5 geeft aan dat hogere waarden van het kenmerk correleren met correct contextgebruik.

Belangrijkste Resultaten

1. Vorming van Gevoeligheid tijdens SFT

De studie stelt vast dat SFT consistent een specifieke set gevoeligheden installeert in alle modellen en datasets. Tijdens SFT ontwikkelen modellen een sterke voorkeur voor "gemakkelijk te begrijpen" contexten:

Gelijkenis: De AUROC voor context-query Jaccard-gelijkenis neemt toe, wat aangeeft dat modellen zwaarder leunen op lexicale overlap.
Vloeiendheid: De AUROC voor Perplexity neemt af (wat betekent dat een lagere perplexiteit correleert met accuratesse), wat aantoont dat modellen de voorkeur geven aan vloeiende, natuurlijk klinkende tekst.
Lengte: De AUROC voor contextlengte neemt af, wat suggereert dat modellen kortere contexten verkiezen, waarschijnlijk omdat deze gemakkelijker te integreren zijn.

Cruciaal is dat de auteurs opmerken dat hoewel deze gevoeligheden toenemen tijdens SFT, ze niet vertalen naar verbeterde accuratesse. Dit suggereert dat modellen deze kenmerken exploiteren als shortcuts om contextgebruik te signaleren, in plaats van de relevantie of waarachtigheid van de inhoud werkelijk te beoordelen.

2. DPO en Datasetkenmerken

De impact van DPO is niet uniform; het is sterk afhankelijk van de kenmerken van de preferentie-dataset (het verschil tussen "gekozen" en "afgewezen" responsen).

Resolutie vs. Versterking: In sommige gevallen (bijv. Llama-3.2-1B) lost DPO de tijdens SFT geleerde gevoeligheden op, waardoor ze terugkeren naar het niveau van vóór de SFT.
Dataset-imbalans: In andere gevallen (bijv. Llama-3.1-8B) versterkt DPO bestaande gevoeligheden. De auteurs schrijven dit toe aan statistische verschillen ( $\Delta$ ) in de lexicale kenmerken van de gekozen versus de afgewezen responsen in de trainingsdata. Als de gekozen responsen in de preferentie-dataset significant verschillen van de afgewezen responsen in termen van lengte of vloeiendheid, versterkt DPO de bias van het model naar die specifieke kenmerken.
Taakafhankelijkheid: Het effect van DPO lijkt minder consistent op de DRUID claim-verificatietaak vergeleken met open-ended QA-taken.

3. RLVR-trends

Hoewel RLVR niet stapsgewijs is geanalyseerd vanwege de computationele kosten, wijzen de resultaten erop dat RLVR grotendeels de richting van de effecten die door DPO zijn vastgesteld, behoudt, wat consistent is met hun gedeelde KL-geregulariseerde doelstellingen.

Betekenis en Bijdragen

De primaire bijdrage van het paper is de demonstratie dat contextgebruik geen statische modeleigenschap is, maar actief wordt hervormd in elke IFT-fase.

SFT als Shortcut Learner: De auteurs onthullen dat SFT modellen leert om oppervlakkige kenmerken (vloeiendheid, lengte, overlap) te exploiteren als proxies voor relevantie, in plaats van een robuuste contextbeoordeling te bevorderen.
Imperatief voor Data-curatie: De bevindingen onderstrepen dat het ontwerp van de preferentie-dataset in DPO cruciaal is. Om de tijdens SFT gevormde biases tegen te gaan en robuust contextgebruik te waarborgen, moeten de gekozen en afgewezen responsen in de preferentie-dataset zorgvuldig gecureerd worden, zodat zij vergelijkbare contextkenmerken delen. Imbalans in deze datasets kan onbedoeld niet-robuust gedrag versterken.

Beperkingen

De auteurs erkennen dat de studie beperkt is tot twee modelfamilies (Llama en OLMo) met elk twee schalen. Hoewel dit passend is voor het analyseren van trainingsdynamiek, blijft bredere dekking over verschillende architecturen heen een openstaand gebied voor toekomstig werk. Daarnaast richt de studie zich op drie goed onderbouwde families van kenmerken (gelijkenis, vloeiendheid, lengte), hoewel andere factoren die contextgebruik beïnvloeden ook aanwezig kunnen zijn.