💬 NLP

Production and Perception in LLMs: A Token Probability Approach

Deze studie toont aan dat grote taalmodellen een duidelijke productie-perceptie-asymmetrie vertonen in hun tokenwaarschijnlijkheidsverdelingen, waarbij loutere prompt-framing significant andere waarschijnlijkheden induceert voor gegenereerde tekst vergeleken met geëvalueerde tekst, een fenomeen dat zich reproduceert over diverse modelarchitecturen en afneemt naarmate de sequentiecontext zich ophoopt.

Oorspronkelijke auteurs: Anna Marklová, Jiří Milička, Martina Vokáčová, Rudolf Rosa

Gepubliceerd 2026-07-14

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Anna Marklová, Jiří Milička, Martina Vokáčová, Rudolf Rosa

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een superintelligente robotpoëet hebt. Je vraagt de robot om een gedicht over een egel te schrijven, en dat doet hij. Maar hier komt de twist: deze robot "denkt" en "spreekt" niet simpelweg zoals een mens dat doet. Hij gebruikt exact dezelfde hersencircuit voor het lezen van wat jij schreef als voor het terugschrijven van zijn eigen woorden. Het is alsof het een eenrichtingsweg is waar auto's beide kanten op rijden met dezelfde motor.

Vanwege dit, vroegen wetenschappers zich af: heeft deze robot eigenlijk een verschil tussen het "schrijven" van een gedicht en het "lezen" van een gedicht? Of is het gewoon hetzelfde proces in omgekeerde richting?

De Grote Ontdekking: Het "Rollenspel"-effect

De onderzoekers ontdekten dat ja, de robot inderdaad anders handelt, maar niet omdat hij gevoelens of intenties heeft. Hij verandert zijn gedrag op basis van de prompt — de specifieke manier waarop je hem iets vraagt te doen.

Denk aan de robot als een methode-acteur.

Scenario A (Productie): Je zegt: "Schrijf alstublieft een gedicht over een egel." De robot zet een "Schrijver"-hoed op. Hij begint woorden te genereren en wijst een bepaald niveau van vertrouwen (waarschijnlijkheid) toe aan elk woord dat hij kiest.
Scenario B (Perceptie): Je neemt het exacte zelfde gedicht dat de robot net schreef, en je zegt: "Hier is een gedicht over een egel. Beoordeel het alstublieft." De robot zet een "Lezer/Criticus"-hoed op. Hij genereert geen nieuwe woorden; in plaats daarvan evalueert hij de woorden die hij net zag opnieuw.

De studie mat hoe de "vertrouwen" van de robot in elk woord veranderde tussen deze twee scenario's.

Het Resultaat: Wanneer de robot overschakelde van "Schrijver"-modus naar "Lezer"-modus, verschoof zijn vertrouwen in de woorden aanzienlijk. Het verschil was enorm. Sterker nog, de kloof tussen hoe de robot het gedicht "schreef" en hoe de robot het gedicht "las", was ongeveer 1,8 keer groter dan de kloof tussen twee verschillende manieren om hem te vragen het gedicht te schrijven.

Om het in cijfers uit te drukken:

Wanneer de robot werd gevraagd om op twee licht verschillende manieren te schrijven (bijv. "Schrijf een gedicht" versus "Ik zou graag willen dat u een gedicht schrijft"), was het verschil in zijn woordkeuze klein (ongeveer 0,010).
Maar wanneer hij overschakelde van schrijven naar lezen, sprong het verschil naar 0,034.

Dit suggereert dat het simpelweg veranderen van de "inkadering" van de vraag — de robot vragen om een maker te zijn versus een criticus — voldoende is om de interne wiskunde van de robot anders te laten werken, ook al gebruikt hij voor beide taken dezelfde hersendelen.

Wat de Robot NIET Doet

Het artikel is heel duidelijk over wat dit NIET is.

Het is niet omdat de robot plotseling menselijke intenties of een ziel heeft gekregen. De robot "wil" niet echt schrijven of "willen" lezen.
Het is niet omdat de robot beter is in de ene taak dan de andere.
Het is niet simpelweg een foutje veroorzaakt door de specifieke woorden in de prompt. De onderzoekers hebben dit getest door vier verschillende manieren te gebruiken om om een gedicht te vragen en drie verschillende manieren om om een beoordeling te vragen. Het effect trad elke keer op, ongeacht hoe ze de vraag formuleerden.

De "Eerste Indruk"-regel

Er is nog een interessant detail over wanneer dit gebeurt. Het verschil tussen "schrijven" en "lezen" is het sterkst aan het begin van het gedicht.

Stel je voor dat de prompt een luide stem is die instructies schreeuwt bij de start van een race.

Aan het begin (Token 1–10): De "Lezer"-stem is erg luid, en het vertrouwen van de robot verschuift veel.
Naarmate het gedicht vordert: De robot begint zijn eigen woorden te lezen. Het verhaal dat hij vertelt (de context) begint de oorspronkelijke instructie te overstemmen. Het verschil tussen de "Schrijver"- en "Lezer"-modi wordt steeds kleiner naarmate het gedicht langer wordt.

De onderzoekers modelleerden dit verval en ontdekten dat de initiële "schok" van de prompt wegsterft, maar dat er zelfs aan het einde nog een klein beetje verschil overblijft.

Hoe Zeker Zijn Ze?

Het team heeft niet alleen geraden; ze hebben de cijfers gecontroleerd over 1.089 verschillende gedichten (ongeveer 93.000 woorden in totaal) met behulp van vijf verschillende robotmodellen (waaronder Llama-3.1-8B, EuroLLM-9B, en anderen).

Ze vonden het effect in alle vijf de modellen, inclus\t bij zowel de "ruwe" basismodellen als de modellen die getraind zijn om behulpzame assistenten te zijn.
Het verschil was zo consistent dat de resultaatbereiken van "schrijven" en "lezen" elkaar totaal niet overlapten.

De auteurs zijn echter voorzichtig en zeggen dat dit suggereert dat er een functioneel verschil is, niet dat de robot een menselijke geest heeft. Ze merken op dat hoewel het verschil statistisch echt en meetbaar is, we nog niet weten of het "groot genoeg" is om te betekenen dat de robot echt denkt zoals een mens die onderscheid maakt tussen spreken en luisteren.

De Kern van het Verhaal

Deze studie laat zien dat, hoewel Large Language Models een enkele, symmetrische motor gebruiken voor zowel lezen als schrijven, de manier waarop je tegen hen praat verandert hoe ze de woorden verwerken.

Als je de robot vertelt een dichter te zijn, denkt hij op één manier. Als je hem vraagt een criticus te zijn, denkt hij op een andere manier. Het is een beetje als een kameleon: de interne "kleuren" van de robot (zijn waarschijnlijkheidsverdelingen) verschuiven om te passen bij de rol die je hem geeft, wat bewijst dat de context van het gesprek net zo belangrijk is als de woorden zelf.

Technische Samenvatting: Productie en Perceptie in LLM's: Een Benadering van Tokenwaarschijnlijkheid

Probleemstelling
In de menselijke psycholinguïstiek bestaat een goed gedocumenteerde asymmetrie tussen taalproductie (het coderen van een boodschap met een intentie) en perceptie (het afleiden van betekenis uit context). Het blijft echter onduidelijk of Large Language Models (LLM's) een functioneel analoge distinctie vertonen. In tegenstelling tot eerdere encoder-decoder architecturen die gescheiden paden behielden voor input en output, vertrouwen hedendaagse decoder-only LLM's op één onderliggend mechanisme—next-token prediction—voor zowel het verwerken van input als het genereren van output. Deze architecturale symmetrie suggereert dat LLM's mogelijk een fundamenteel onderscheid tussen productie en perceptie missen. Bovendien hebben eerdere gedragsonderzoeken die deze distinctie probeerden te meten via metalinguïstische prompting (bijv. het vragen aan modellen om tekst te beoordelen of te scoren) inconsistente resultaten opgeleverd, waarbij ze vaak faalden om mensachtige asymmetrieën te repliceren.

Methodologie
Om deze beperkingen aan te pakken, stellen de auteurs een methodologische verschuiving voor: het direct meten van het productie-perceptie-onderscheid via tokenwaarschijnlijkheidsverdelingen in plaats van te vertrouwen op gegenereerde metalinguïstische oordelen. De auteurs verwijzen naar Hu en Levy (2023) en beargumenteren dat geprompte evaluatieve reacties afwijken van de onderliggende waarschijnlijkheden van een model; daarom biedt directe waarschijnlijkheidsmeting een zuiverder signaal van de interne staat van het model.

Het experimentele ontwerp omvat de volgende stappen:

Generatie: Een basismodel (Llama-3.1-8B) genereert een sequentie van tokens (gedichten over 1.089 dierenthema's) onder een primaire productieprompt (bijv. "Schrijf een gedicht over X"). De tokenwaarschijnlijkheden ( $p_0$ ) worden tijdens deze generatie geregistreerd.
Her-scoring (Controle): Dezelfde gegenereerde tokensequentie wordt token voor token geëvalueerd onder een geherformuleerde productieprompt (bijv. "Ik zou graag willen dat je een gedicht schrijft over X"). Dit levert waarschijnlijkheden ( $p_1$ ) op voor de Productie–Productie (prod-prod) conditie.
Her-scoring (Experimenteel): Dezelfde gegenereerde tokensequentie wordt opnieuw geëvalueerd onder een perceptie-georiënteerde prompt (bijv. "Hier is een gedicht over X, beoordeel het alstublieft"). Dit levert waarschijnlijkheden ( $p_2$ ) op voor de Productie–Perceptie (prod-perc) conditie.
Analyse: De studie kwantificeert de divergentie tussen $p_0$ $p_{0}$ en $p_1$ $p_{1}$ versus $p_0$ $p_{0}$ en $p_2$ $p_{2}$ met behulp van:
- Pearson-correlaties per gedicht.
- Gemiddelde absolute afstanden per gedicht ( $|p_0 - p_1|$ vs. $|p_0 - p_2|$ ).
- Temporele analyse die de afname van deze afstanden over de eerste 100 tokens modelleert met een exponentiële vervalfunctie ( $y = ae^{-bx} + c$ ).

Het experiment werd gerepliceerd over meerdere promptvariaties (4 productie-, 3 perceptieprompts) en uitgebreid naar vier aanvullende open-weight modellen (EuroLLM-9B, gemma-2-9b-it, Mistral-7B-Instruct-v0.3, en Qwen2.5-7B-Instruct), waarbij zowel base- als instruction-tuned varianten werden behandeld.

Belangrijkste Resultaten

Systematische Divergentie: De studie vindt een consistente en substantiële divergentie in tokenwaarschijnlijkheden wanneer de inkadering verschuift van productie naar perceptie. De gemiddelde absolute afstand in de prod-perc conditie is ongeveer 1,8× groter dan in de prod-prod conditie bij het primaire model (Llama-3.1-8B), met niet-overlappende 95% betrouwbaarheidsintervallen.
Specificiteit aan Inkadering: De prod-prod controleconditie vertoont bijna-plafondcorrelaties, wat aangeeft dat eenvoudige herformulering van de prompt de waarschijnlijkheden niet significant verandert. De geobserveerde divergentie is specifiek voor de verandering in communicatieve inkadering (producent versus interpreteerder).
Temporele Dynamiek: Het effect is het sterkst aan het begin van de sequentie. De divergentie neemt af naarmate de gegenereerde context zich ophoopt, volgens een exponentieel vervalpatroon. Echter, de initiële magnitude van de divergentie in de prod-perc conditie is ongeveer 8 keer groter dan in de prod-prod conditie, en de curves convergeren niet volledig binnen het venster van 100 tokens voor alle modellen.
Generaliseerbaarheid: De asymmetrie repliceert zich over alle vijf de geteste modellen (zowel base als instruction-tuned), waarbij de prod-perc afstanden groter zijn dan de prod-prod afstanden met factoren variërend van 1,53× tot 2,11×. Dit suggereert dat het effect geen artefact is van een specifieke modelarchitectuur of de afwezigheid van alignment (RLHF).

Significantie en Claims
Het artikel doet een aantal belangrijke claims:

Functioneel Onderscheid in Decoder-Only Architecturen: Ondanks het gedeelde parameter, decoder-only ontwerp dat theoretisch een aparte productie- en perceptiepad voorkomt, is prompt-inkadering alleen al voldoende om een functioneel betekenisvolle asymmetrie in waarschijnlijkheidsverdelingen te induceren. Dit daagt de aanname uit dat LLM's input- en outputverwerking in alle contexten identiek behandelen.
Methodologische Validatie: De studie valideert het gebruik van directe tokenwaarschijnlijkheidsmetingen boven metalinguïstische prompting voor het onderzoeken van cognitie-achtige distincties in LLM's. Door het genereren van evaluatieve tekst te vermijden, isoleert de methode het effect van inkadering op de interne representaties van het model zonder het te verwarren met het vermogen van het model om over taal te praten.
Robuustheid van het Effect: Het productie–perceptie onderscheid is geen artefact van specifieke promptformuleringen of een enkele modelfamilie; het blijft bestaan over verschillende modelgroottes, architecturen (base vs. instruction-tuned) en promptcombinaties.

Beperkingen
De auteurs merken op dat de studie beperkt is tot het bereik van 7–9B parameters en een enkel creatief domein (poëzie). Ze erkennen dat hoewel er een statistisch betrouwbaar verschil bestaat, de magnitude van dit verschil ten opzichte van menselijk gedrag een open interpretatieve vraag blijft. Daarnaast maakte de studie gebruik van waarschijnlijkheden van de laatste laag; toekomstig werk zou kunnen onderzoeken of deze divergentie uniform is over de interne lagen of geconcentreerd is bij specifieke dieptes.