💬 NLP

On the Limits of LLM Adaptability: Impact of Model-Internalized Priors on Annotation Task Performance

Dit artikel toont aan dat de prestaties van Large Language Models bij annotatietaken primair worden beperkt door de afstemming tussen hun geïnternaliseerde priors en taakdefinities in plaats door tekstniveau-memorisatie, wat onthult dat bijna twee derde van de zero-shot fouten resistent blijft tegen prompt-gebaseerde correctie.

Oorspronkelijke auteurs: Etienne Casanova, Rafal Kocielnik, R. Michael Alvarez

Gepubliceerd 2026-06-02

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Etienne Casanova, Rafal Kocielnik, R. Michael Alvarez

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Idee: De "Eigenwijze Stagiaire"

Stel je voor dat je een hoogopgeleide stagiair (de AI) inhuurt om een stapel brieven te sorteren. Je geeft hen een specifieke regel: "Markeer elke brief die onbeleefd is als 'Toxic' (giftig)."

Je zou aannemen dat als je de regel duidelijk uitlegt, de stagiaire deze perfect zal volgen. Dit artikel stelt echter dat de stagiair geen onbeschreven blad is. Voordat je hen inhuurde, hebben ze jarenlang miljoenen boeken, websites en sociale media-berichten gelezen. Ze hebben al een eigen intern idee gevormd van wat "onbeleefd" betekent.

Het artikel vraagt: Als jouw regel botst met het interne idee van de stagiaire, wie wint er dan?

Het antwoord is verrassend: Het interne idee van de stagiaire wint meestal. Zelfs als je een perfect geschreven regel geeft, houden ze vaak vast aan hun eigen onderbuikgevoel, en dat doen ze met vol vertrouwen.

De Drie Hoofdexperimenten

De onderzoekers testten dit met 9 verschillende AI-modellen en 5 verschillende soorten "toxiciteit"-datasets (zoals gaming-chats, nieuwsreacties en sociale media). Dit zijn de drie dingen die zij ontdekten:

1. De "Geheugen"-mythe versus de "Concept"-match

De Vraag: Doet de AI het beter omdat hij de specifieende brieven die je vraagt te sorteren heeft onthouden, of omdat hij het concept van "toxiciteit" echt begrijpt zoals jij dat doet?

De Analogie: Stel je een student voor die een toets maakt.

Geheugen: De student heeft deze exacte vragen eerder gezien en herinnert zich de antwoorden.
Concept Match: De student begrijpt de leerstof echt en kan de regels toepassen op nieuwe vragen.

De Bevinding: De onderzoekers ontdekten dat geheugen niet helpt. Sterker nog, als een AI de tekst heeft onthouden, kan hij juist slechter presteren omdat hij alleen oude data opzegt in plaats van na te denken.
In plaats daarvan hangt de prestatie af van Definition-Specific Familiarity (DSF). Dit is een chique manier om te meten: "Komt de interne definitie van de AI van 'toxiciteit' overeen met jouw geschreven definitie?"

Als de interne "onbeleefdheidsdetector" van de AI overeenkomt met jouw regel, doet hij het geweldig.
Als hun interne detector anders is (bijv. zij denken dat "onbeleefd" betekent "haatzaaien tegen een groep", terwijl jij "elke gemene opmerking" bedoelde), dan faalt de AI, zelfs als het een zeer slim model is.

2. De "Plakkerige" Fout

De Vraag: Als de AI een fout maakt, kun je dit dan oplossen door hem meer voorbeelden of betere instructies te geven?

De Analogie: Stel je voor dat de stagiaire een brief als "Veilig" markeert terwijl deze eigenlijk "Toxic" is. Jij zegt: "Nee, kijk naar dit voorbeeld! Dit is toxic."

De Bevinding: Het is alsoals proberen kauwgom van een schoen te halen. De meeste fouten (ongeveer 65%) kunnen niet worden opgelost.
De onderzoekers noemen dit "Decision Stickiness" (Beslissingsplakkerigheid). Zodra de AI een beslissing heeft genomen, is het heel moeilijk om zijn mening te veranderen.
De Vertrouensklem: Het ergste is dat de AI vaak het meest koppig is wanneer hij het meest zelfverzekerd is. Als de AI zegt: "Ik weet voor 99% zeker dat dit veilig is," en hij heeft het fout, dan zullen jouw instructies zijn mening bijna nooit veranderen. Het is als een zelfverzekerde chauffeur die weigert naar de GPS te kijken, zelfs als hij duidelijk de verkeerde kant op rijdt.

3. De "Vertrouwens"-val

De Vraag: Als je de AI een verkeerde regel geeft (een "misaligned" definitie), zal de AI dan beseffen dat hij in de war is en zijn betrouwbaarheidsscore verlagen?

De Analogie: Stel je voor dat je de stagiaire vertelt: "Eigenlijk sorteren we vandaag op kleur, niet op onbeleefdheid."

De Bevinding: De AI volgt je nieuwe, verkeerde regel vrolijk op. Maar hier komt het enge deel bij: Hij raakt niet in de war. Hij blijft zeggen: "Ik weet voor 90% zeker dat ik dit goed doe."
De AI verlaagt zijn betrouwbaarheidsscore niet alleen omdat de instructies vreemd of fout zijn. Hij past de nieuwe regel gewoon toe met hetzelfde hoge vertrouwen als voorheen.
Het Resultaat: Je kunt de "betrouwbaarheidsscore" van de AI niet vertrouwen om te zien of hij je instructies correct opvolgt. Hij kan een volkomen verkeerde definitie volgen, maar hij zal beweren dat hij er 100% zeker van is.

De Les voor Mensen

Als je AI wilt gebruiken om gegevens te labelen of te sorteren (zoals het vinden van giftige reacties), suggereren de onderzoekers drie eenvoudige regels:

Vertrouw niet op de "roem" van de AI. Alleen omdat een model enorm groot is of veel data heeft gezien, betekent dat niet dat het jouw specifieke taak goed zal uitvoeren.
Controleer eerst de "Concept Match". Controleer voordat je begint of het interne idee van de AI over de taak overeenkomt met jouw definitie. Als ze niet overeenkomen, zal geen enkele instructie (prompting) het probleem oplossen.
Vertrouw de betrouwbaarheidsmeter niet. Als de AI zegt dat hij "zeer zelfverzekerd" is, betekent dat niet dat hij gelijk heeft. Hij kan ook gewoon zelfverzekerd de verkeerde instructies opvolgen.

Kortom: De AI is geen onbeschreven blad dat wacht op jouw instructies. Hij komt met zijn eigen "brein" en "gewoontes" aan. Als jouw instructies niet aansluiten bij die gewoontes, zal de AI je waarschijnlijk negeren, fouten maken en met vol vertrouwen beweren dat hij gelijk heeft.

Technische Samenvatting: Over de Limieten van LLM-Aanpassingsvermogen

Probleemstelling

Large Language Models (LLM's) worden steeds vaker ingezet voor zero-shot annotatie en "LLM-als-rechter"-taken, uitgaande van de impliciete veronderstelling dat door de gebruiker verstrekte prompts (taakdefinities) het gedrag van het model volledig aansturen. Echter, LLM's zijn geen onbeschreven bladen; ze bezitten geïnternaliseerde priors die zijn ontwikkeld tijdens pre-training, instructie-tuning en reinforcement learning from human feedback (RLHF). Deze priors vormen impliciete opvattingen over concepten (bijv. "toxiciteit") die mogelijk niet overeenkomen met specifieke gebruikersdefinities. Het kernprobleem dat wordt onderzocht is de spanning tussen deze geïnternaliseerde concepten en gebruikersinstructies: in welke mate kan prompting de interne priors van een model overrulen, en hoe beperken deze priors de prestaties en betrouwbaarheid van annotaties?

Methodologie

De auteurs evalueerden 9 instructie-getunede LLM's (variërend van dense tot mixture-of-experts architecturen, inclusief Llama, Mistral, DeepSeek en propriëtaire modellen) over 5 primaire datasets voor toxiciteitsdetectie (dekend sociale media, gaming, nieuws en fora) en aanvullende niet-veiligheidstaken.

De studie behandelde drie onderzoeksvragen (RQ's) met behulp van specifieke metrieken en experimentele condities:

RQ1 (Familiariteit versus Alignment): Correleert prestatie met tekstmemorisatie of conceptuele alignment?
- Tekstfamiliariteit: Gemeten via ROUGE-L, BERTScore en embedding cosine similarity door modellen te vragen om tekstinstanties voort te zetten (40% prefix) en de output te vergelijken met de grondwaarheid van de suffix.
- Definitie-specifieke Familiariteit (DSF): Een nieuwe metriek die de semantische alignment tussen het interne concept van een model en de datasetdefinitie kwantificeert. Dit werd berekend door het model te vragen het doelconcept in eigen woorden te beschrijven en de cosine similarity te meten tussen deze beschrijving en de officiële definitie van de dataset. DSF werd berekend als een consensus over zes diverse zin-encoders om robuustheid te garanderen.
- Analyse: Partiële correlaties werden gebruikt om dataset-niveau confounders (bijv. moeilijkheidsgraad, domein) te controleren.
RQ2 (Decision Stickiness): Kunnen zero-shot fouten worden gecorrigeerd via prompting?
- Rescue Rate: Gedefinieerd als $P(\text{Correct} | \text{Prompted}, \text{Zero-Shot Wrong})$ .
- Condities: Zero-shot, Aligned Definition, Few-Shot, Few-Shot + Definition, en DSPy-geoptimaliseerde prompts.
- Confidence Analyse: Onderzocht de relatie tussen zero-shot confidence scores en de waarschijnlijkheid van foutcorrectie.
RQ3 (Misalignment Susceptibility): Hoe gedragen modellen zich onder incorrecte definities?
- Concept Substitutie: Definities van verschillende datasets (bijv. "Hate Speech" versus "Gaming Toxicity") werden toegepast op doel-datasets om misaligned condities te creëren.
- Metrieken: Gemeten via Change Rate, Rescue Rate, Corruption Rate, Prediction Bias en zelfgerapporteerde confidence levels onder misalignment.

Belangrijkste Resultaten

1. Conceptuele Alignment stuurt Prestaties aan (RQ1)

Memorisatie is niet voorspellend: Na controle voor dataset-moeilijkheidsgraad vertoonden drie verschillende tekstmemorisatie-metrieken (ROUGE-L, BERTScore, embedding similarity) geen positieve associatie met annotatie-accuratesse (partiële $r \approx -0,15$ tot $-0,19$). In sommige gevallen correleerde hogere memorisatie zelfs met lagere prestaties.
DSF is voorspellend: Definitie-Specifieke Familiariteit (DSF) vertoonde een significante positieve associatie met zero-shot accuratesse (partiële $r = +0,41$ , $p=0,003$ ). Modellen waarvan de interne concepten overeenkwamen met de taakdefinitie presteerden significant beter. Deze bevinding hield stand in zowel veiligheids- (toxiciteit) als niet-veiligheidsdomeinen (ironie, subjectiviteit).

2. Hoge Decision Stickiness (RQ2)

Beperkte Rescue: De algemene Rescue Rate was slechts 34,8%, wat betekent dat bijna twee derde van de zero-shot fouten voortbestond, zelfs wanneer er gealigneerde definities, few-shot voorbeelden of geautomatiseerde prompt-optimalisatie (DSPy) werden verstrekt.
Confidence Barrière: Fouten met een hoge confidence waren bijzonder resistent tegen correctie. De rescue-waarschijnlijkheid daalde naar 20,8% voor fouten waarbij het model een hoge confidence uitte (>0,9), vergeleken met een piek van 51,8% bij gematigde confidence.
Iteratief Falen: Multi-turn prompting (het toevoegen van voorbeelden, definities en verzoeken tot heroverweging) verbeterde de rescue rates slechts marginaal (van 7,5% naar 18,7% over drie beurten), wat bevestigt dat decision stickiness robuust is tegen iteratieve correctie.
Model Grootte: Steerability was niet monotoon met modelgrootte; kleinere modellen (bijv. Mistral-Small-24B) vertoonden soms hogere rescue rates dan grotere modellen (bijv. Llama-3.1-70B).

3. Misalignment en Calibratiefalen (RQ3)

Gedragsverschuiving: Modellen pasten hun voorspellingsdrempels aan om overeen te komen met misaligned definities (bijv. nauwe definities leidden tot onder-voorspelling, brede definities tot over-voorspelling), wat aantoont dat ze instructies letterlijk opvolgen.
Confidence Blindheid: Cruciaal is dat modellen zeer zelfverzekerd bleven (84–91%) zelfs wanneer ze misaligned definities toepasten. De confidence levels daalden niet onder misalignment, wat een fundamenteel calibratiefalen vertegenwoordigt. Praktische gebruikers kunnen niet vertrouwen op confidence scores om te detecteren wanneer een model een incorrecte definitie toepast.
Prestatie Variantie: De keuze van de definitie veroorzaakte grotere prestatieschommelingen (tot 17% variatie in accuratesse) dan de keuze van het model (ongeveer 5% variatie).

Betekenis en Claims

Het paper betoogt dat voor annotatietaken de conceptuele alignment tussen de geïnternaliseerde priors van een model en de taakdefinitie de primaire determinant van prestaties is, wat superieur is aan tekst-niveau memorisatie of modelschaal.

Limieten van Prompting: Prompt-gebaseerde sturing heeft fundamentele limieten. "Decision stickiness" impliceert dat prompting effectiever is in het consolideren van correcte antwoorden dan in het redden van fouten, in het bijzonder de hoog-confidence fouten.
Betrouwbaarheidsrisico's: Het onvermogen van confidence scores om definitie-misalignment te signaleren vormt een kritiek risico voor "LLM-als-rechter"-pipelines, aangezien modellen zelfverzekerd incorrecte criteria kunnen toepassen zonder dat dit wordt opgemerkt door onzekerheid-gebaseerde waarborgen.
Praktische Implicaties: De auteurs stellen voor dat annotatie-pipelines prioriteit moeten geven aan het meten van definitie-alignment (bijv. via DSF-achtige checks) voordat grootschalige implementatie plaatsvindt, en dat men niet moet vertrouwen op confidence scores als proxy voor de validiteit van een definitie. Zij suggereren dat definitie-ontwerp een eerstegraads experimentele factor is, die vaak impactvoller is dan modelselectie.

De studie concludeert dat hoewel LLM's krachtige instrumenten zijn, hun geïnternaliseerde priors hun gedrag verankeren op manieren die de effectiviteit van prompt-gebaseerde sturing beperken, wat strikte validatie van model-definitie paren noodzakelijk maakt in plaats van modellen te behandteren als flexibele, onbeschreven annotatoren.