💬 NLP

Impact of Task Phrasing on Presumptions in Large Language Models

Deze studie toont aan dat de formulering van taken de vorming van aannames in grote taalmodellen significant beïnvloedt, wat hun aanpasbaarheid en logisch redeneren beïnvloedt in besluitvormingstaken zoals het herhaalde gevangenen-dilemma, en aldus de kritische noodzaak benadrukt van neutrale formulering om veiligheid en betrouwbaarheid te waarborgen.

Oorspronkelijke auteurs: Kenneth J. K. Ong

Gepubliceerd 2026-05-04

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Kenneth J. K. Ong

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slimme, goed gelezen robot leert een spel spelen. Deze robot heeft miljoenen boeken, artikelen en verhalen gelezen, dus het kent de "regels van de wereld" zeer goed. Maar hier zit de adder onder het gras: soms is de robot zo goed in het onthouden van wat het meestal ziet, dat het stopt met kijken naar wat er werkelijk voor het neus staat.

Dit artikel is als een detectiveverhaal dat precies dat probleem onderzoekt. De auteur, Kenneth Ong, wilde zien of Large Language Models (LLM's) – de hersenen achter AI-chatbots – vastlopen in hun eigen aannames wanneer de regels van een spel veranderen.

Het Spel: Een Draai aan het "Gevangene Dilemma"

Om dit te testen, gebruikte de auteur een klassiek scenario uit de speltheorie genaamd het Iterated Prisoner's Dilemma (Iteratief Gevangene Dilemma). Denk hierbij aan een spel tussen twee verdachten in een politiebureau.

De Normale Regels: Als beiden stil blijven (Samenwerken), krijgen ze een korte gevangenisstraf. Als één de ander verraadt (Verraden), gaat de verrader vrijuit en krijgt de stille een lange straf.
De Valstrik: De auteur creëerde een "omgedraaide" versie van het spel. In deze versie zijn de beloningen omgedraaid. Nu leidt het verraden van de ander eigenlijk tot een slechter resultaat voor jou, terwijl stil blijven de beste zet is.

Het doel was simpel: Als de AI echt logisch is, zou het naar de nieuwe regels moeten kijken en zijn strategie moeten aanpassen. Als het alleen vertrouwt op "veronderstellingen" (wat het denkt dat het spel zou moeten zijn), zal het blijven spelen zoals in het oude spel, zelfs al zijn de regels veranderd.

De Drie Experimenten: Hoe de Robot werd Gevraagd om te Spelen

De auteur voerde drie verschillende tests uit, waarbij elke keer de manier waarop de instructies waren geschreven, veranderde.

1. De "Naamnoeming" Test (Expliciete Naamgeving)

De Opzet: De prompt vermeldde expliciet: "Je speelt het Iterated Prisoner's Dilemma." Het gebruikte de woorden "gevangene", "samenwerken" en "verraden".
Het Resultaat: De AI faalde volledig. Zelfs toen de regels werden omgedraaid, bleef de AI kiezen voor "samenwerken" (of "verraden", afhankelijk van het model) precies zoals in het originele spel.
De Analogie: Het is als een chef vertellen: "Maak me een klassieke Beef Wellington," maar hen vervolgens een recept voor een vegetarische stoofpot te geven. De chef, die "Beef Wellington" hoort, negeert het nieuwe recept en begint toch vlees te koken omdat dat is wat de naam impliceert. De AI was zo gefocust op de beroemde naam van het spel dat het de werkelijke cijfers op de pagina negeerde.

2. De "Vage Beschrijving" Test (Verborgen Naam)

De Opzet: De prompt verwijderde de woorden "Gevangene Dilemma" maar gebruikte nog steeds de woorden "gevangene", "samenwerken" en "verraden".
Het Resultaat: De AI had nog steeds moeite. Het leek te begrijpen dat het om een "Gevangene Dilemma" ging, puur door de contextclues (de gevangenisstraffen en de specifieke termen). Het bleef vertrouwen op zijn trainingsdata in plaats van de nieuwe, omgedraaide regels.
De Analogie: Dit is als het beschrijven van een "Beef Wellington" zonder de naam te gebruiken, maar wel te zeggen: "Het is een beroemd Brits gerecht met bladerdeeg en rundvlees." De chef weet nog steeds wat je wilt en negeert de nieuwe instructies.

3. De "Neutrale Code" Test (Abstracte Variabelen)

De Opzet: De prompt verwijderde alles wat bekend was. Geen "gevangenen", geen "samenwerken", geen "verraden". In plaats daarvan werden abstracte labels gebruikt: "Keuze X" en "Keuze Y", en "dollars verliezen" in plaats van "gevangenisstraf".
Het Resultaat: Succes! Toen de AI niet kon vertrouwen op zijn geheugen van het beroemde spel, keek het daadwerkelijk naar de nieuwe regels. Toen de regels werden omgedraaid, paste de AI zijn strategie aan om te passen bij de nieuwe wiskunde.
De Analogie: Dit is als de chef een lijst met ingrediënten en instructies geven zonder de naam van het gerecht te noemen. "Meng bloem, boter en rundvlees." Als je de instructies verandert in "Meng bloem, boter en tofu", volgt de chef de nieuwe lijst omdat hij niet wordt afgeleid door de naam van het gerecht.

De Verrassende Wending: Denken Kan Het Erger Maken

Een van de meest interessante bevindingen ging over "redeneren". De auteur vroeg de AI om "stap-voor-stap te denken" voordat het antwoordde.

De Bevinding: In de eerste twee tests maakte het vragen aan de AI om na te denken het juist hardnekkiger. De AI schreef een lange, logische paragraaf waarin uitlegde waarom het de "Tit-for-Tat" strategie zou moeten volgen (een beroemde strategie voor het originele spel), en negeerde volledig het feit dat de regels waren veranderd.
De Analogie: Het is als een student die het antwoorden voor een wiskundetoets heeft uit het hoofd geleerd. Als je de getallen in de opgave verandert maar hen vraagt om "hun werk te tonen", schrijven ze misschien een perfecte, logische uitleg waarom het oude antwoord goed is, en missen ze volledig dat de vraag zelf is veranderd.

De Conclusie

Het artikel concludeert dat AI-modellen lijken op studenten die te hard hebben gestudeerd voor een specifiek examen. Ze kennen de "standaard" antwoorden zo goed dat ze, als je de vraag iets verandert, het misschien niet merken.

Het Probleem: Wanneer we AI taken geven met bekende namen of scenario's (zoals "Gevangene Dilemma"), vertrouwt de AI op zijn "veronderstellingen" over die scenario's in plaats van op de specifieke instructies die je zojuist hebt gegeven.
De Oplossing: Om de AI te laten voldoen aan de werkelijke regels die je geeft, moet je de taak op een neutrale, abstracte manier beschrijven. Vertel het niet wat het spel is; vertel het gewoon wat de regels zijn.

Kortom: Als je wilt dat een AI zich aanpast aan een nieuwe situatie, herinner het dan niet aan de oude. Praat in "variabelen" (X en Y) in plaats van "beroemde namen".

1. Probleemstelling

Het paper adresseert een kritiek veiligheids- en betrouwbaarheidsprobleem bij het inzetten van Large Language Models (LLMs) voor agentische AI-taken: de vatbaarheid van LLMs voor "presumpties" die voortvloeien uit voorgeprogrammeerde kennis en de formulering van de taak.

De Kernkwestie: LLMs zijn getraind op enorme datasets met veelvoorkomende scenario's (bijvoorbeeld het Iterated Prisoner's Dilemma). Wanneer ze geconfronteerd worden met een taak, vertrouwen ze vaak op deze interne presumpties in plaats van strikt vast te houden aan de specifieke parameters die in de prompt worden gegeven.
Het Risico: In real-world toepassingen waar taakparameters kunnen afwijken van standaardaannames (bijvoorbeeld gewijzigde beloningsstructuren), kan een LLM die vertrouwt op presumpties suboptimale of onlogische beslissingen nemen, zelfs wanneer deze expliciet wordt gevraagd om te redeneren.
Onderzoeksvraag: Pasen LLMs hun besluitvorming aan aan specifieke, gewijzigde taakparameters, of vallen ze terug op "geleerde" strategieën die geassocieerd worden met de naam of context van de taak?

2. Methodologie

De auteurs onderzochten dit fenomeen met behulp van het Iterated Prisoner's Dilemma (IPD) als gecontroleerde casestudy.

Experimenteel Ontwerp

Het onderzoek gebruikte twee modellen:

GPT-4o (Closed-source)
Mistral-Nemo-Instruct-2407 (Open-source)

De experimenten werden uitgevoerd onder twee voorwaarden voor de beloningsmatrix:

Standaard Matrix: De klassieke IPD-uitbetalingsstructuur (Samenwerken/Samenwerken = 1 jaar; Verraden/Samenwerken = 0/5 jaar, etc.).
Omgekeerde Matrix: De beloningen en straffen waren omgekeerd (bijvoorbeeld: Wederzijds Verraden resulteert in 1 jaar, Wederzijds Samenwerken resulteert in 3 jaar). In een omgekeerde matrix keert de logisch optimale strategie zich om.

Het onderzoek was verdeeld in drie fasen om de impact van de formulering te isoleren:

Experiment 1 (Expliciete IPD-context): De prompt stelde expliciet: "Je speelt een Iterated Prisoner's Dilemma." De modellen werden getest met en zonder "Chain-of-Thought" (redeneerstappen).
Experiment 2 (Impliciete context): De prompt verwijderde de zin "Iterated Prisoner's Dilemma", maar behield de termen "gevangene", "samenwerken" en "verraden", samen met de standaard beloningsregels.
Experiment 3 (Neutrale/Symbolische Formulering): De prompt verwijderde alle specifieke IPD-terminologie.
- "Gevangenen" $\rightarrow$ "Spelers"
- "Samenwerken/Verraden" $\rightarrow$ "Keuze X/Y"
- "Gevangenisjaren" $\rightarrow$ "Verloren dollars"
- De beloningsmatrix werd puur gepresenteerd als een reeks regels voor X en Y.

Maten: De primaire maatstaf was het verraadpercentage (of het equivalente percentage "Y"-selecties) in de eerste ronde van het spel.

Hypothese: Als het model logisch is, zou het verraadpercentage omkeren wanneer de matrix wordt omgekeerd. Als het model vertrouwt op presumpties, blijft het verraadpercentage constant, ongeacht de verandering in de matrix.

3. Belangrijkste Resultaten

Experiment 1: Expliciete IPD-context

Resultaat: Zowel GPT-4o als Mistral-Nemo vertoonden een verraadpercentage van 0% in zowel de Standaard- als de Omgekeerde conditie.
Analyse: De modellen negeerden de omgekeerde beloningsmatrix volledig. Hun redeneerstappen onthulden dat ze terugvielen op de "Tit-for-Tat"-strategie (beginnen met samenwerken), een bekende heuristiek voor standaard IPD. Ze faalden om zich aan te passen aan de gewijzigde prikkels.
Observatie: Het opnemen van redeneerstappen voorkwam dit falen niet; in feite gebruikten de modellen redenering om hun op presumpties gebaseerde keuze te rationaliseren.

Experiment 2: Impliciete context (Termen behouden)

Resultaat:
- Mistral-Nemo: Bleef op ongeveer 0% verraadpercentage in beide condities (faalde om zich aan te passen).
- GPT-4o: Toonde gedeeltelijke aanpassing. Het verraadpercentage steeg van 0% (Standaard) naar 0,35% (Omgekeerd met redenering) en 0,70% (Omgekeerd zonder redenering).
Analyse: GPT-4o begon de regels te interpreteren, maar had nog steeds moeite. Zelfs met redenering hallucineerde het vaak de regels of slaagde het er niet in om zijn strategie volledig om te keren, wat suggereert dat de aanwezigheid van termen zoals "gevangene" en "samenwerken" nog steeds sterke vooroordelen activeerde.

Experiment 3: Neutrale/Symbolische Formulering

Resultaat: Beide modellen toonden aanzienlijke aanpassing.
- GPT-4o: Het verraadpercentage verschuifde van 0,05 (Standaard) naar 1,00 (Omgekeerd).
- Mistral-Nemo: Het verraadpercentage verschuifde van 0,11 (Standaard) naar 0,75 (Omgekeerd).
Analyse: Toen de specifieke IPD-terminologie werd verwijderd en vervangen door abstracte variabelen (X/Y), analyseerden de modellen succesvol de verstrekte beloningsmatrix en keerden ze hun strategie om om aan te sluiten bij de nieuwe prikkels.
Nuance: GPT-4o concludeerde af en toe nog steeds dat "Y" gelijkstond aan "samenwerken" op basis van de structuur, wat aangeeft dat er nog enige residuale presumptie bestaat, maar de logische trouw aan de expliciete regels van de prompt was aanzienlijk verbeterd.

4. Belangrijkste Bijdragen

Aantonen van Presumptie-bias: Het paper levert empirisch bewijs dat LLMs vaak vooraf getrainde kennis prioriteren (bijvoorbeeld "Tit-for-Tat is de beste IPD-strategie") boven expliciete, tegenstrijdige taakparameters.
De "Redeneer-valstrik": Een tegenintuïtieve bevinding dat Chain-of-Thought (CoT) redenering niet noodzakelijkerwijs presumptie-bias vermindert. In Experiment 1 werden redeneerstappen gebruikt om de incorrecte, op presumpties gebaseerde strategie te rationaliseren in plaats van deze te corrigeren.
Fase-gevoeligheid: Het onderzoek kwantificeert hoe specifieke sleutelwoorden ("Prisoner's Dilemma", "Cooperate") fungeren als triggers voor latente vooroordelen, terwijl neutrale, symbolische formulering het model dwingt om te vertrouwen op de directe context.
Methodologisch Kader: Een driedelige experimentele opzet isoleert effectief de impact van semantische context van logische regeltoepassing.

5. Betekenis en Implicaties

Veiligheid in Agentische AI: Voor AI-agenten die opereren in dynamische, real-world omgevingen (bijvoorbeeld gezondheidszorg, financiën) kan het vertrouwen op "standaard" aannames gevaarlijk zijn. Als een agent uitgaat van een standaard risicoprofiel maar de omgeving verandert, kan het catastrofaal falen.
Best Practices voor Prompt Engineering: De auteurs concluderen dat om betrouwbaarheid te garanderen, taakbeschrijvingen symbolisch en neutraal moeten zijn. Het vermijden van verwijzingen naar goed bestudeerde scenario's (zoals IPD, schaken of specifieke medische diagnoses) voorkomt dat het model de "gaten opvult" met zijn trainingsdata.
Beperkingen van Huidige LLMs: De resultaten suggereren dat de huidige redeneercapaciteiten niet robuust genoeg zijn om sterke priors te overrulen wanneer de taakcontext semantisch geladen is. De modellen zijn "contextueel stijf" in plaats van "logisch flexibel" wanneer bekende concepten worden opgeroepen.

Kortom, betoogt het paper dat taakformulering een kritieke controlevariabele is bij de inzet van LLMs. Om echte aanpasbaarheid te bereiken, moeten ontwikkelaars semantische triggers verwijderen die presumpties uitnodigen, waardoor het model wordt gedwongen zich strikt te bezighouden met de verstrekte logische beperkingen.