💬 NLP

Linear Probes Detect Task Format, Not Reasoning Mode in Language Model Hidden States

Dit artikel toont aan dat hoewel lineaire probes op de verborgen toestanden van LLM's een hoge nauwkeurigheid bereiken bij het onderscheiden van deductieve, inductieve en abductieve redeneertaken, deze scheiding volledig wordt gedreven door verwarrende factoren in de taatformaat in plaats van door onderscheidende computationele representaties van de redeneermodi zelf.

Oorspronkelijke auteurs: Subramanyam Sahoo, Vinija Jain, Aman Chadha, Divya Chaudhary

Gepubliceerd 2026-06-03

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Subramanyam Sahoo, Vinija Jain, Aman Chadha, Divya Chaudhary

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

De Grote Vraag: Hebben AI-hersenen verschillende "Modi"?

Stel je voor dat je probeert uit te zoeken hoe een chef-kok kookt. Je merkt dat wanneer hij een salade maakt, hij een groen schort draagt, en wanneer hij een biefstuk grilt, hij een rood schort draagt. Je zou kunnen raden: "Ah! Het groene schort betekent dat hij een 'salade-strategie' gebruikt, en het rode schort betekent dat hij een 'biefstuk-strategie' gebruikt."

Dit is precies wat onderzoekers hebben gedaan met Large Language Models (LLM's). Ze kijken naar de "verborgen toestanden" van de AI (de interne hersenactiviteit) en gebruiken een eenvoudige test genaamd een lineaire probe om te zien of de AI wisselt tussen verschillende "redeneermodi" (zoals deductief, inductief en abductief), net zoals een chef van schort wisselt.

Een lange tijd zag de data er perfect uit. Het "groene schort" (deductieve taken) en het "rode schort" (inductieve taken) bevonden zich in totaal verschillende delen van de AI-hersenen. Onderzoekers dachten: "Geweldig! De AI heeft voor verschillende soorten denken onderscheidende interne circuits gebouwd."

Dit paper zegt: "Wacht eens even. Je ziet niet het denken; je ziet het uniform."

Het Onderzoek: Wat is er werkelijk aan de hand?

De onderzoekers hebben de AI (specifiek een model genaamd Qwen3-14B) nauwkeuriger onderzocht met drie verschillende soorten logische puzzels:

Deductief: Logische puzzels (zoals een wiskundig bewijs).
Inductief: Wetenschappelijke vragen (patronen vinden).
Abductief: Mysterie-oplossing (de beste verklaring raden).

Ze ontdekten dat de hersenactiviteit van de AI voor elk type inderdaad totaal anders leek. Maar ze vermoedden een trucje.

De Verwarring met het "Uniform"

Denk er zo over na:

De Deductieve puzzels kwamen van een website waar elk vraagstuk 4 mogelijke antwoorden heeft en een lang verhaal.
De Indievectieve puzzels kwamen van een andere website waar elk vraagstuk ook 4 mogelijke antwoorden heeft, maar wetenschappelijke termen gebruikt.
De Abductieve puzzels kwamen van een derde website waar elk vraagstuk slechts 2 mogelijke antwoorden heeft en erg kort is.

De onderzoekers realiseerden zich dat de AI niet noodzakelijkerwijs van denkstijl wisselde. In plaats daarvan reageerde de AI simpelweg op het formaat van de vraag. Het was alsoal de chef een groen schort draagt, niet omdat hij een salade maakt, maar omdat de keuken waar de salade wordt gemaakt groen geschilderd is.

De Drie Tests (Het "Detectiewerk")

Om hun theorie te bewijzen, voerden de onderzoekers drie specifieke tests uit:

1. De "Strip het Uniform" Test (Residuele Analyse)
Ze namen de hersenactiviteit van de AI en verwijderden wiskundig de details van het formaat (zoals het aantal antwoorden, de lengte van de tekst en van welke website de vraag afkomstig was).

Resultaat: Zodra ze het "uniform" (het formaat) hadden verwijderd, verdwenen het "groene schort" en het "rode schort". De hersenactiviteit voor alle drie de taken zag er exact hetzelfde uit. De perfecte scheiding was weg en zakte terug naar het niveau van toeval.
Analogie: Als je de groene en rode schorten weghaalt, ziet de chef er exact hetzelfde uit, of hij nu een salade of een biefstuk maakt.

2. De "Gedragstoets" (Trace-Mode Agreement)
Ze keken naar de daadwerkelijke woorden die de AI schreef tijdens het oplossen van de problemen. Handelde de AI echt anders bij het oplossen van een logische puzzel versus een mysterie?

Resultand: Nee. De AI loste alle drie de typen problemen correct op (86% nauwkeurigheid), maar de manier waarop de AI de oplossing uitlegde, was voor alle drie bijna identiek. De AI wisselde niet van strategie; hij gebruikte één "superstrategie" voor alles.
Analogie: De chef gebruikt exact dezelfde snijtechnieken en hakbewegingen, of hij nu een tomaat of een wortel snijdt. Hij gebruikt geen "tomaat-techniek" versus een "wortel-techniek".

3. De "Duw"-test (Causal Steering)
Onderzoekers probeerden de AI-hersenen in een specifieke richting te "duwen" om de AI te dwingen te handelen alsof hij in de "Deductieve Modus" of "Inductieve Modus" was. Ze vergeleken dit met het duwen in een willekeurige richting.

Resultaat: Duwen in de "Deductieve" richting werkte niet beter dan duwen in een willekeurige richting. De geometrie van de hersenen bepaaldet niet daadwerkelijk de stijl van het denken.
Analogie: Proberen de chef te dwingen van schort te wisselen door hem een duwtje te geven, veranderde niets aan wat hij kookte. Het schort was slechts een toevalligheid, geen oorzaak van de kookstijl.

De Conclusie

Het paper concludeert dat een hoge nauwkeurigheid in deze tests niet bewijst dat de AI over verschillende interne redeneercircuits beschikt.

Wanneer onderzoekers verschillende datasets gebruiken voor verschillende soorten redeneren (wat standaardpraktijk is), leert de AI het formaat van de dataset te herkennen (het "uniform") in plaats van de logica van de taak. De "onderscheidende geometrie" die onderzoekers in de hersenen van de AI zien, is slechts een reflectie van het vraagformaat, en niet een reflectie van een speciale denkwijze.

De Kernboodschap:
Alleen omdat de hersenen van een AI er anders uitzien voor verschillende taken, betekent dit niet dat de AI ook anders denkt. Het kan zijn dat de AI gewoon een ander uniform draagt. Om echt te begrijpen hoe AI redeneert, moeten we het formaat weghalen en kijken of het denken daadwerkelijk verandert. In dit geval lijkt de AI één krachtige, uniforme strategie te gebruiken om alle soorten logische problemen op te lossen, in plaats van te wisselen tussen gespecialiseerde modi.

De pipeline bestaat uit vijf stadia:

Layer-wise Linear Probing: Een logistische regressie-probe wordt op elke laag getraind om de redeneermodus te voorspellen vanuit de verborgen toestanden (hidden states). De manifold-geometrie (intrinsieke dimensionaliteit, kromming, hull-contaminatie) wordt geanalyseerd op de best presterende laag.
Format Confound Decomposition: Een vierstaps residu-analyse pipeline wordt geïntroduceerd:
- Source Prediction: Probing voor de identiteit van de datasetbron om de equivalentie met modus-voorspelling te controleren.
- Option Count Probe: Testen of het scalaire aantal opties (2 vs. 4) alleen al de modi scheidt.
- Format-Controlled Comparison: De analyse beperken tot taken met 4 opties (LogiQA + ARC).
- Residual Analysis: Gebruik van Ridge-regressie om verborgen toestanden te voorspellen vanuit een format-kenmerkvector (source one-hot, aantal opties, responslengte) en het verwijderen van deze lineaire informatie. De probe wordt vervolgens opnieuw geëvalueerd op de residuen.
Trace-Mode Agreement: De gegenereerde redeneersporen (reasoning traces) van het model worden ingebed en vergeleken met handmatig vervaardigde ankerbeschrijvingen voor elke modus. Overeenkomsten worden gemeten om te bepalen of het observeerbare gedrag van het model zich aanpast aan het type taak.
Causal Steering met Random Controls: Activatie-steering wordt toegepast met behulp van vectoren afgeleid van de centroid-verschillen tussen modi. Cruciaal is dat dit wordt vergeleken met random-direction controls ( $N=20$ ) van gelijke magnitude om te testen of de geometrische structuur een functionele causale link heeft met redeneren, of dat elke perturbatie van die grootte vergelijkbare effecten produceert.

Belangrijkste Bijdragen

Format Confound Decomposition: Het artikel introduceert een residu-analyse pipeline die aantoont dat wanneer format-kenmerken (bronidentiteit, aantal opties, responslengte) worden weg-geregresseerd, de probe-accuratesse instort naar het niveau van toeval.
Trace-Mode Agreement Analyse: De auteurs tonen aan dat hoewel het model een hoge algehele accuratesse bereikt (86%), de redeneersporen slechts 42,5% overeenkomst vertonen met de beoogde modi (vs. 33,3% kans), wat wijst op een gebrek aan strategie-adaptatie.
Causale Controls met Random Baselines: De studie implementeert random-direction controls voor steering-experimenten, een methode die vaak ontbreekt in eerder werk, om vast te stellen dat de geobserveerde geometrische verschuivingen niet causaal verbonden zijn met de redeneermodus-selectie.
Methodologische Aanbevelingen: Het artikel stelt voor dat format deconfounding en random-direction controls standaardpraktijk moeten worden in probing-gebaseerde interpreteerbaarheid.

Resultaten

1. Schijnbare Perfecte Separatie

Op laag 32 (80% van de netwerkdiepte) bereiken lineaire probes een 100% cross-validated accuratesse bij het onderscheiden van de drie redeneermodi. De manifold-geometrie op deze laag vertoont duidelijke clusters met variërende intrinsieke dimensionaliteiten (20,6 voor deductief, 28,5 voor inductief, 33,6 voor abductief) en minimale convexe hull-contaminatie ( $\le 1,5\%$ ).

2. Separatie is Volledig Format-Gedreven

De residu-analyse zet de initiële bevinding onderuit:

Source Equivalence: Een probe die de datasetbron voorspelt, bereikt 100% accuratesse, identiek aan de modus-voorspelling.
Option Count: Een probe die enkel het aantal opties gebruikt, bereikt 33,3% accuratesse (de prior voor de 2-keuze klasse), wat bevestigt dat structurele kenmerken exploiteerbaar zijn.
Residual Collapse: Na het verwijderen van lineaire format-informatie daalt de probe-accuratesse voor zowel de redeneermodus als de datasetbron naar $\approx 33,5\%$ , wat niet te onderscheiden is van toeval. De "redeneermodus-geometrie" is volledig een artefact van de taakformat.

3. Uniform Redeneerstrategie

Het model bereikt 86% accuratesse over alle taaltypen, maar vertoont slechts 42,5% trace-mode overeenkomst. Dit geeft aan dat het model zijn redeneestrategie niet substantieel verandert bij het schakelen tussen deductieve, inductieve en abductieve taken; het gebruikt waarschijnlijk een algemeen mechanisme.

4. Geen Functionele Link in Geometrie

Causale steering-experimenten laten zien dat steering langs de centroid-verschilrichting niet significant andere resultaten produceert dan random perturbaties van gelijke magnitude. De empirische p-waarde is 0,286, en conflict-injectie veroorzaakt coherentie-instorting voor zowel de doelgerichte als de random paren. Dit bevestigt dat de geometrische separatie geen functionele causale rol speelt bij het selecteren van redeneermodi.

Betekenis en Claims

Het artikel betoogt dat hoge lineaire probe-accuratesse niet voldoende bewijs is van interne computationele structuur wanneer redeneringslabels geconfundeerd zijn met datasetbronnen. De "distinct representations" die in eerdere literatuur werden geobserveerd, zijn waarschijnlijk artefacten van het standaard multi-source evaluatieontwerp in plaats van bewijs voor gespecialiseerde redeneercircuits.

De auteurs beweren dat het model goed redeneert over alle drie de typen, maar dat het dit doet met een grotendeels uniforme strategie in plaats van met onderscheidende computationele modi. Daarom pleit het artikel voor een verschuiving in de praktijk van mechanistische interpreteerbaarheid:

Onderzoekers moeten de bron-voorspellingsaccuratesse rapporteren naast de modus-voorspellingsaccuratesse.
Residu-analyse om format-kenmerken te verwijderen moet een standaard controle worden.
Steering-experimenten moeten random-direction controls bevatten om de directionaliteit te verifiëren.
Toekomstige benchmarks moeten identieke oppervlakte-formats afdwingen over redeneertypes heen om genuante redeneerverschillen te isoleren.

De studie concludeert dat hoewel LLM's over redeneercapaciteiten beschikken, de aanname dat ze verschillende interne geometrieën gebruiken voor verschillende redeneermodi, niet ondersteund wordt wanneer format-confounds correct worden gecontroleerd.