Position: Stop Anthropomorphizing Intermediate Tokens as Reasoning/Thinking Traces!

Dit position paper waarschuwt dat het antropomorfiseren van intermediaire tokens als 'redenering' of 'gedachtegang' gevaarlijk is omdat het de aard van taalmodellen verwarrend maakt, leidt tot twijfelachtig onderzoek en een onjuiste interpretatie van hun werking in de hand werkt.

De kern

Titel: Stop met het denken dat je AI "nadenkt" als hij praat

Stel je voor dat je een zeer slimme, maar soms wat verwarde robot hebt die een lastige puzzel moet oplossen. Om het antwoord te vinden, begint deze robot eerst te mompelen. Hij zegt dingen als: "Hmm, laten we eens kijken... wacht even, misschien is het dit... oh, ik heb het!" en schrijft pagina's vol tekst voordat hij het echte antwoord geeft.

Veel mensen in de tech-wereld kijken naar die mompelende tekst en denken: "Kijk eens! De robot denkt net als een mens! Hij heeft een 'aha-moment' gehad. Hij redeneert!"

De auteurs van dit paper, een groep onderzoekers van de Arizona State University, zeggen: Stop daarmee! Dat is gevaarlijk.

Hier is de uitleg in simpele taal, met een paar analogieën:

1. De "Mompelende Chef-kok" Analogie

Stel je een chef-kok voor die een perfecte taart bakt. Maar voordat hij de taart uit de oven haalt, begint hij te mompelen tegen zichzelf in het Frans, terwijl hij eigenlijk in het Nederlands denkt.

• De menselijke interpretatie: "Oh, hij mompelt in het Frans, dus hij is een echte Franse chef die diep nadenkt over de receptuur!"
• De realiteit: De chef mompelt gewoon omdat hij dat zo heeft geleerd tijdens zijn training. Het mompelen helpt hem misschien om de taart beter te maken, maar de woorden zelf zijn niet per se een eerlijke weergave van wat er in zijn hoofd gebeurt.

De onderzoekers zeggen dat we de "tussenstappen" (de mompelende tekst) van AI niet moeten zien als een raam in zijn gedachten. Het is meer zoals een rekenmachine die hardop uitrekent. Als de rekenmachine "1 plus 1 is 2, en 2 plus 2 is 4" zegt, betekent dat niet dat hij begrijpt wat wiskunde is. Hij zegt het gewoon omdat het helpt om het juiste eindresultaat te krijgen.

2. Waarom is dit "denken" gevaarlijk?

Als we geloven dat de AI echt nadenkt, krijgen we een vals gevoel van vertrouwen.

• Het "Aha!"-moment: Soms schrijft de AI het woord "aha!" in zijn tekst. Mensen denken dan: "Wow, hij heeft een idee gekregen!" Maar voor de AI is "aha!" gewoon een woordje dat hij heeft geleerd dat vaak voorkomt voor het juiste antwoord. Het is alsof een parrotje "Aha!" zegt, niet omdat het iets begrepen heeft, maar omdat het weet dat dat woord vaak gevolgd wordt door een beloning.
• De leugen van de lengte: Als de AI heel veel tekst schrijft voordat hij het antwoord geeft, denken mensen: "Hij doet veel moeite, hij denkt hard na!" De onderzoekers tonen aan dat dit niet waar is. De AI kan gewoon heel veel onzin praten (of "hallucineren") en toch het juiste antwoord krijgen. De lengte van de tekst zegt niets over hoe slim hij is.

3. Het Experiment met de "Valse Kaartjes"

De onderzoekers deden een slim experiment (zoals in Figuur 4 in het paper).
Stel je voor dat je een student leert wiskunde maken.

• Groep A: Krijgt de juiste uitleg bij de som.
• Groep B: Krijgt een volledig verkeerde, onzinnige uitleg bij de som, maar het eindantwoord is wel correct.

Het verrassende resultaat? Groep B werd net zo goed in het maken van de sommen als Groep A.
Dit bewijst dat de AI niet echt "leert" door de uitleg te lezen. Hij leert gewoon het patroon: "Als ik dit soort tekst schrijf, krijg ik het juiste antwoord." De inhoud van de tekst (de "redenatie") is voor de AI vaak irrelevant, zolang het maar in het juiste ritme past.

4. Waarom doen ze het dan?

De AI schrijft die lange teksten niet om jou te overtuigen of om jou te laten zien hoe slim hij is. Hij schrijft het voor zichzelf.
Het is alsof je een ingewikkelde puzzel oplost en je schrijft getallen op een kladblaadje. Dat kladblaadje helpt jou om de puzzel op te lossen. Maar als je het kladblaadje aan iemand anders geeft, hoeft dat niet te betekenen dat die persoon ook de oplossing ziet.

De AI gebruikt die "tussenstappen" als een hulpmiddel om het juiste antwoord te vinden, maar die stappen zijn vaak niet logisch of begrijpelijk voor mensen.

5. Wat moeten we doen? (De Oplossing)

De onderzoekers roepen de hele wereld op om te stoppen met het menselijk maken van deze AI's.

• Stop met het vertrouwen op de "redenatie": Kijk niet naar de lange tekst die de AI schrijft om te zien of hij betrouwbaar is.
• Vertrouw op het eindresultaat: Als je zekerheid wilt, moet je het antwoord controleren (bijvoorbeeld met een rekenmachine of een expert), niet de weg die de AI daar naartoe nam.
• Laat de AI doen wat hij wil: Misschien moet de AI in de toekomst helemaal geen menselijke tekst meer schrijven om te "denken". Misschien kan hij denken in een eigen, onbegrijpelijke code die voor hem sneller werkt, en ons alleen het juiste antwoord geven.

Kortom:
De AI is geen mens die nadenkt. Het is een super-snel systeem dat patronen herkent. De "gedachten" die het schrijft, zijn vaak net zo waardevol als een parrotje dat "Aha!" zegt. Laten we stoppen met het geven van een ziel aan een machine en in plaats daarvan kijken of het antwoord klopt.

Technische samenvatting

Probleemstelling

Het artikel adresseert een wijdverbreide en potentieel schadelijke trend in de AI-gemeenschap: het anthropomorfiseren van "intermediate tokens" (tussenliggende tokens) die door grote taalmodellen (LLMs) worden gegenereerd voordat het uiteindelijke antwoord wordt gegeven.

• De Aannames: Modellen zoals DeepSeek R1 en andere "Long Chain-of-Thought" (CoT) systemen genereren lange reeksen tokens die vaak worden aangeduid als "redeneringssporen" (reasoning traces) of "gedachten". De gemeenschap neigt hierin te zien als menselijke denkprocessen, die inzicht geven in hoe het model tot een oplossing komt en die interpreteerbaar zijn voor de eindgebruiker.
• Het Kernprobleem: De auteurs betogen dat deze interpretatie niet slechts een onschuldig metafoor is, maar gevaarlijk. Het leidt tot:
  1. Valse zekerheid over de correctheid en betrouwbaarheid van de oplossingen.
  2. Misverstanden over de aard van deze modellen.
  3. Questionable (twijfelachtige) onderzoeksrichtingen die focussen op het "menselijk maken" van deze tokens in plaats van op de daadwerkelijke prestaties.
  4. De veronderstelling dat de lengte van de trace of de aanwezigheid van bepaalde woorden (zoals "aha!") correleert met inspanning of complexiteit, wat niet noodzakelijk waar is.

Methodologie en Onderbouwing

Het paper is een position paper dat geen nieuw experimenteel model presenteert, maar wel een kritische synthese maakt van bestaande literatuur en recente bevindingen om hun stelling te onderbouwen. De auteurs analyseren de architectuur van "Large Reasoning Models" (LRMs) en de effecten van post-training.

1. Analyse van Trainingsparadigma's:

   • De auteurs onderscheiden tussen Test-time Inference (zoals self-consistency of zoekalgoritmen) en Post-training (supervised fine-tuning en Reinforcement Learning met verifieerbare beloningen, RLVR).
   • Ze wijzen erop dat bij RLVR (zoals gebruikt door DeepSeek R1) de modelparameters worden bijgesteld om waarschijnlijkheid te geven aan trajecten die eindigen in een correct antwoord, zonder dat er directe optimalisatiekracht wordt uitgeoefend op de inhoud of correctheid van de tussenliggende tokens zelf.

2. Evidentie uit Gerelateerd Onderzoek:
   De auteurs citeren een reeks studies die de semantische waarde van deze tokens ontkrachten:

   • Correlatie tussen Trace en Antwoord: Studies (bijv. [58]) tonen aan dat er slechts een losse correlatie is tussen de correctheid van de trace en de correctheid van het eindantwoord. Modellen getraind op "verkeerde" of "verwisselde" traces presteren soms zelfs beter dan die getraind op correcte traces.
   • Robuustheid tegen Semantische Ruis: Onderzoek (bijv. [35], [55]) toont aan dat LLMs robuust zijn tegen semantische ruis. Zelfs als de wiskundige bewerkingen in de trace incorrect zijn, kan het model het juiste antwoord genereren.
   • De "Aha"-moment Illusie: Het verschijnen van tokens als "aha!" of "wacht even" wordt gezien als menselijk inzicht, maar is waarschijnlijk slechts een statistische correlatie met succesvolle trajecten, zonder dat het model een interne staat van realisatie heeft.
   • Adaptiviteit van Berekening: De lengte van de trace correleert niet noodzakelijk met de moeilijkheidsgraad van het probleem. Modellen kunnen extreem lange traces genereren voor simpele problemen, mede door de manier waarop beloningen in RL worden toegewezen (credit assignment).

3. Vergelijking met Menselijk Denken:
   De auteurs benadrukken dat menselijke post-facto rationalisaties (uitleg geven na het feit) vaak bedoeld zijn om een luisteraar te overtuigen en niet noodzakelijk de werkelijke denkstappen weergeven. Het toekennen van deze eigenschap aan LLM-tokens is een fundamentele fout.

Belangrijkste Bijdragen

1. Conceptueel Kader: Het paper biedt een scherp onderscheid tussen "intermediate tokens" (de ruwe output van het model) en "post-facto rationalisaties" (samenvattingen die soms door de ontwikkelaars worden gegenereerd, zoals bij OpenAI o1).
2. Kritische Evaluatie van Anthropomorfisme: Het identificeert specifiek hoe het antropomorfiseren van tokens leidt tot misleidende conclusies over modelcapaciteiten en interpretatie.
3. Onderzoek naar "Leerkracht" vs. "Leerling": Het stelt dat deze tokens primair dienen om het model zelf te helpen bij het vinden van een oplossing (intern proces), en niet om de menselijke gebruiker te informeren.
4. Aanbeveling voor de Gemeenschap: Het paper pleit voor een fundamentele verschuiving in hoe de gemeenschap deze tokens bekijkt: stop met het zoeken naar menselijke interpretatie in deze tokens.

Resultaten en Bevindingen

De analyse leidt tot de volgende conclusies:

• Geen Garandeerde Semantiek: Er is geen garantie dat intermediate tokens semantisch betekenisvol zijn voor de eindgebruiker. Ze kunnen volledig willekeurig zijn of "kletsen" (babbling) zonder logische structuur, terwijl het model toch het juiste antwoord vindt.
• Valse Vertrouwen: Het tonen van deze tokens aan gebruikers creëert een "halo-effect" van betrouwbaarheid, zelfs als de redenering incorrect is.
• Onderzoeksfouten: Het streven naar "interpreteerbare" traces (bijvoorbeeld door het filteren van tokens die niet in het Engels zijn, zoals bij DeepSeek R1) kan de prestaties van het model zelfs verslechteren, zoals bleek toen DeepSeek een model trainde met menselijk gecurateerde Engelse traces, wat leidde tot een daling in oplossingsnauwkeurigheid.
• RL en Token Lengte: De toename van de lengte van tokens tijdens RL-training is vaak een bijproduct van de beloningsstructuur (credit assignment) en niet per se een teken van "dieper nadenken".

Betekenis en Call to Action

De betekenis van dit paper ligt in het waarschuwen voor de gevaren van het projecteren van menselijke cognitieve eigenschappen op statistische modellen.

• Stop met Anthropomorfisme: De onderzoeksgemeenschap moet stoppen met het behandelen van intermediate tokens als "gedachten" of "redenering".
• Verificatie van Antwoorden: Vertrouwen in een AI-systeem moet komen uit de verificatie van het eindantwoord (via formele verifiers of externe bronnen), niet uit het inspecteren van de tussenstappen.
• Optimalisatie voor Prestatie: Als tokens puur dienen om het model te helpen, moeten ze geoptimaliseerd worden voor oplossingsnauwkeurigheid, zelfs als ze er niet menselijk uitzien of niet in natuurlijke taal zijn. Dit opent de deur voor het gebruik van niet-linguïstische tokens (vectors) die voor mensen onleesbaar zijn, maar voor het model efficiënter werken.
• Transparantie: Het is ironisch dat de onderzoeksgemeenschap nog steeds interpreteerbare traces eist, terwijl de toonaangevende bedrijven (OpenAI, Google, Anthropic) hun intermediate tokens al verbergen vanwege proprietary concerns, waarschijnlijk omdat ze inderdaad niet interpreteerbaar of betrouwbaar zijn.

Kortom, het paper roept op tot een realistische kijk op Large Reasoning Models: ze zijn krachtige gereedschappen voor het vinden van antwoorden, maar hun "interne monoloog" is geen venster naar hun denken, maar een statistisch hulpmiddel dat niet voor menselijke interpretatie is ontworpen.