💬 NLP

Beyond Decodability: Reconstructing Language Model Representations with an Encoding Probe

Dit artikel introduceert een "Encoding Probe" die taalkundige modelrepresentaties reconstrueert uit interpreteerbare kenmerken om de beperkingen van traditionele decoding-probes te overwinnen, en onthult hoe akoestische, syntactische en lexicaal kenmerken onafhankelijk bijdragen aan interne representaties in zowel tekst- als spraaktransformators.

Oorspronkelijke auteurs: Gaofei Shen, Martijn Bentum, Tom Lentz, Afra Alishahi, Grzegorz Chrupała

Gepubliceerd 2026-05-04

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Gaofei Shen, Martijn Bentum, Tom Lentz, Afra Alishahi, Grzegorz Chrupała

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Plaatje: Hoe We AI-Breinen Bekijken

Stel je een zeer slimme, maar mysterieuze robot voor die boeken leest en naar mensen luistert. Je wilt weten: Wat gebeurt er eigenlijk in zijn brein wanneer hij een zin verwerkt?

Lange tijd hebben wetenschappers een methode genaamd "Decoding" (decoderen) gebruikt om een kijkje te nemen. Denk hierbij aan een omgekeerde vertaler. Je neemt de interne "gedachten" van de robot (zijn datapatronen) en vraagt: "Kan ik raden welk woord dit is?" of "Kan ik raden wie er spreekt?". Als je het goed raadt, ga je ervan uit dat de robot die informatie "kent".

De auteurs van dit artikel betogen echter dat deze oude methode twee grote blinde vlekken heeft. Zij stellen een nieuwe methode voor, de "Encoding Probe" (encoderingsprik), om deze problemen op te lossen.

De Twee Problemen met de Oude Methode (Decoding)

1. Het "Scorebord"-Probleem (Je kunt Scores niet Vergelijken)

Stel je voor dat je wilt uitvinden of een student beter is in Wiskunde of Geschiedenis.

Je geeft hen een Wiskundetoets met 10 vragen. Ze krijgen er 9 goed (90%).
Je geeft hen een Geschiedenistoets met 100 vragen. Ze krijgen er 50 goed (50%).

Als je alleen naar de percentages kijkt, zou je kunnen denken dat ze beter zijn in Wiskunde. Maar wacht! De Geschiedenistoets was veel moeilijker omdat er meer vragen waren. Je kunt de scores niet direct vergelijken omdat de toetsen verschillend waren.

In het artikel: Wetenschappers trainden vroeger twee verschillende "gokspelletjes" (probes) op het brein van de robot. Eén gokte de Identiteit van de Spreker (wie er spreekt), en de ander gokte het Fonetische Geluid (welk geluid er wordt gemaakt).

Het Sprekerspelletje was misschien 95% makkelijk.
Het Geluidsspelletje was misschien 58% moeilijk.
De Fout: Je kunt niet zeggen "De robot geeft meer om de spreker" alleen omdat de score hoger is. De spelletjes waren van verschillende grootte en moeilijkheidsgraad. De oude methode kon je niet vertellen welk kenmerk voor het brein van de robot echt belangrijker was.

2. Het "Spiekbriefje"-Probleem (Gecorreleerde Kenmerken)

Stel je voor dat je de Schoolklas van een student probeert te raden op basis van hun Schoenen.

Je merkt op dat bijna iedereen die "schoenmaat 48" draagt, in klas 12 zit.
Je bouwt een machine die "Klas 12" raadt door alleen naar de schoenen te kijken, en deze raadt het 90% goed!
De Fout: Heeft de machine iets geleerd over "Schoolklas"? Nee. Het heeft alleen geleerd dat "Grote Schoenen = Klas 12". Het heeft gesjoemeld door een gecorreleerde aanwijzing (schoenmaat) te gebruiken in plaats van het daadwerkelijke concept (schoolklas).

In het artikel: Wetenschappers ontdekten dat robots gemakkelijk Grammatica (zoals "zelfstandig naamwoord" of "werkwoord") konden raden. Maar ze vermoedden dat de robot gewoon sjoemelde. Het leerde geen grammatica; het herkende gewoon het Woord zelf. (Bijvoorbeeld: Het woord "lopen" is bijna altijd een werkwoord). De oude methode kon de "Woord"-aanwijzing niet van de "Grammatica"-aanwijzing scheiden.

De Nieuwe Oplossing: De "Encoding Probe"

De auteurs keren de boel om. In plaats van te vragen: "Kunnen we het kenmerk raden vanuit het brein?", vragen ze: "Kunnen we de gedachten van het brein herbouwen met behulp van de kenmerken?"

Denk hierbij aan Lego-herconstructie.

De Oude Manier: Je kijkt naar een afgewerkt Lego-kasteel en probeert te raden: "Is dit een kasteel of een huis?"
De Nieuwe Manier: Je hebt een hoop Lego-blokjes (de kenmerken: geluiden, woorden, grammatica, sprekeridentiteit). Je probeert het kasteel (de breintoestand van de robot) te bouwen met alleen die blokjes.

Als je een perfect kasteel kunt bouwen met alleen de "Spreker"-blokjes, dan is de spreker zeer belangrijk. Als je de "Grammatica"-blokjes nodig hebt om het dak te voltooien, dan is grammatica ook belangrijk.

Hoe dit de problemen oplost:

Eerlijke Vergelijking: Omdat je hetzelfde kasteel bouwt met verschillende sets blokjes, kun je precies meten hoeveel de "Spreker"-blokjes hielpen versus de "Grammatica"-blokjes. Je kunt ze eerlijk vergelijken.
Geen Sjoemelen: Je kunt het kasteel bouwen met zowel "Woord"-blokjes als "Grammatica"-blokjes tegelijkertijd. Als je de "Grammatica"-blokjes verwijdert en het kasteel valt uit elkaar, weet je dat grammatica echt belangrijk is, zelfs als de "Woord"-blokjes ook aanwezig waren.

Wat Ze Vonden (De Experimenten)

Het team testte deze nieuwe methode op robots die tekst lezen en robots die spraak luisteren.

Experiment 1: Wie Spreekt? (Sprekeridentiteit)

Het Oude Kijkpunt: De robots konden gemakkelijk raden wie er sprak.
Het Nieuwe Kijkpunt (Encoding):
- Bij een robot die getraind was om spraak te herkennen (zoals een spraakassistent), droegen de "Spreker"-blokjes zeer weinig bij aan het bouwen van de gedachten van het brein. De robot gaf vooral om de geluiden en fonetiek.
- Echter, bij een robot die specifiek getraind was om te identificeren wie er spreekt, werden de "Spreker"-blokjes de belangrijkste bouwstenen. Het brein van de robot bestond in zijn bovenste lagen bijna volledig uit "Spreker"-informatie.
- Kerninzicht: Alleen omdat je de spreker kunt raden, betekent niet dat de robot aan de spreker denkt. Het hangt af van hoe de robot getraind is.

Experiment 2: Grammatica versus Woorden

Het Oude Kijkpunt: Robots konden grammaticaregels gemakkelijk raden.
Het Nieuwe Kijkpunt (Encoding):
- Bij het proberen om het brein van de robot te herbouwen, waren Woorden (lexicon) de grootste bouwstenen.
- Echter, Grammatica voegde nog steeds unieke blokjes toe die Woorden niet konden bieden. Zelfs toen je alle Woord-blokjes had, werd het kasteel slechter als je de Grammatica-blokjes verwijderde.
- Kerninzicht: De robots leren grammatica wel, maar ze vertrouwen er minder op dan op het kennen van de woorden zelf. De oude methode kon dit niet bewijzen omdat het de twee niet kon scheiden.

De Conclusie

Het artikel betoogt dat Decoding (het raden van het kenmerk) ons vertelt of informatie aanwezig is, maar dat Encoding (het herbouwen van het brein) ons vertelt hoe belangrijk die informatie is in verhouding tot alles anders.

Door deze nieuwe "Lego-herbouw"-aanpak te gebruiken, toonden de auteurs aan dat:

We verschillende soorten informatie eerlijk kunnen vergelijken (zoals geluid versus spreker).
We robots kunnen laten stoppen met "sjoemelen" door gecorreleerde aanwijzingen te gebruiken.
We kunnen zien dat de interne focus van een robot drastisch verandert afhankelijk van waarvoor het getraind is.

Het artikel concludeert dat deze nieuwe methode ons een helderder, eerlijker beeld geeft van wat er eigenlijk gebeurt in de "black box" van AI-modellen.

1. Probleemstelling

Het artikel behandelt kritieke beperkingen in de standaard Decoding Probe-aanpak die wordt gebruikt om Large Language Models (LLM's) en spraakmodellen te analyseren. Hoewel decoding-probes (die modelrepresentaties $X$ afbeelden op linguïstische eigenschappen $Y$ ) bepalen of informatie aanwezig is, kampen ze met twee grote problemen:

Niet-vergelijkbare bijdragen van kenmerken: Decoderingsnauwkeurigheidscores (bijvoorbeeld 95% voor spreker-ID versus 58% voor fonetiek) kunnen niet direct worden vergeleken om relatieve belangrijkheid te bepalen, omdat ze afhankelijk zijn van taakspecifieke factoren zoals het aantal klassen en labelverdelingen.
Artefacten door kenmerkkorrelatie: Hoge correlaties tussen kenmerken (bijvoorbeeld woordidentiteit en grammaticale categorie) kunnen ertoe leiden dat probes zich op één kenmerk (lexicale identiteit) verlaten om een ander te voorspellen (syntaxis), waardoor misleidende conclusies ontstaan over wat het model daadwerkelijk encodeert.

De auteurs betogen dat het veld een methode nodig heeft om relatieve bijdragen van kenmerken te kwantificeren terwijl er gecontroleerd wordt op correlaties.

2. Methodologie: De Encoding Probe

De auteurs stellen een nieuwe Encoding Probe voor die de traditionele proberichting omkeert. In plaats van representaties op labels af te beelden ( $f: X \to Y$ ), beelden Encoding Probes interpreteerbare kenmerken af op modelrepresentaties ( $g: Y \to X$ ).

Kernmechanisme: De probe gebruikt multivariate Ridge-regressie om de interne verborgen staat-activaties ( $X$ ) van een doelmodel te reconstrueren op basis van een set interpreteerbare invoerkenmerken ( $Y$ ).
Kenmerksets: De studie maakt gebruik van diverse kenmerksets afgeleid van audiogolven en tekst, waaronder:
- Acoustiek: Toonhoogte, formanten, MFCC's.
- Fonetiek: Fonetische posteriorgrams (PPG's).
- Sprekeridentiteit: One-hot gecodeerde sprekerlabels.
- Syntaxis: POS-tags, afhankelijkheidslabels, boomdiepte.
- Lexicon: FastText statische woordembeddings.
Evaluatiemetric: De prestaties worden gemeten aan de hand van Onverklaarde Variantie (UV), gedefinieerd als $1 - R^2$ . Een lagere UV geeft een betere reconstructie aan.
Ablatiestrategie: Om de bijdrage van specifieke kenmerken te kwantificeren, voeren de auteurs kenmerkablatie uit. Ze vergelijken de UV van een "Volledige" probe (alle kenmerken) met probes waarbij specifieke kenmerken zijn verwijderd (bijvoorbeeld $Volledig \setminus Syntaxis$ $V o l l e d i g ∖ S y n t a x i s$ ).
- De toename in UV bij het verwijderen van een kenmerk vertegenwoordigt de unieke, conditionele bijdrage van dat kenmerk aan de representatie, onafhankelijk van andere gecorreleerde kenmerken.
Geteste Modellen:
- Spraak: Wav2vec2 (Base, ASR-geoptimaliseerd, Speaker-ID-geoptimaliseerd).
- Tekst: BERT (Base).
- Data: LibriSpeech (spraak) en standaard tekstcorpora.

3. Belangrijkste Bijdragen

Paradigmaswitch: Introduceert de Encoding Probe als een complementair instrument voor de Decoding Probe, waarbij de focus verschuift van "kunnen we dit extraheren?" naar "hoeveel verklaart dit de representatie?".
Statistische Strenge Toepassing: Past principes van standaard regressieanalyse (specifiek variantiedecompositie) toe op interpreteerbaarheid, waardoor directe vergelijking van kenmerkbelang mogelijk is over verschillende typen kenmerken heen (bijvoorbeeld acoustisch versus semantisch).
Controle op Correlaties: Demonstreert een robuuste methode om gecorreleerde kenmerken te ontwarren (bijvoorbeeld het scheiden van de bijdrage van syntaxis van woordidentiteit) door de reconstructie te conditioneren op meerdere kenmerksets tegelijkertijd.
Unificerend Kader: Biedt een enkel kader om zowel tekst- als spraakmodaliteiten te analyseren, en onthult hoe trainingsdoelstellingen (zelftoezicht, ASR, SID) de interne representatieruimte veranderen.

4. Belangrijkste Resultaten

Experiment 1: Sprekeridentiteit in Spraakmodellen

Decoding versus Encoding: Hoewel sprekeridentiteit uit alle Wav2vec2-varianten decodeerbaar is, onthult de Encoding Probe dat de werkelijke bijdrage drastisch varieert afhankelijk van trainingsdoelstellingen.
Base- en ASR-modellen: In standaard en ASR-geoptimaliseerde modellen dragen acoustische en fonetische kenmerken aanzienlijk meer bij aan de reconstructie van verborgen staten dan sprekeridentiteit. Sprekeridentiteit draagt slechts een klein deel van de variantie bij.
SID-geoptimaliseerde Modellen: In modellen die specifiek zijn fijngefineerd voor Sprekeridentificatie (SID), zijn de bovenste lagen bijna uitsluitend gewijd aan het coderen van sprekeridentiteit. Hier veroorzaakt het verwijderen van sprekerkenmerken een enorme piek in reconstructiefout, terwijl het verwijderen van fonetische/acoustische kenmerken een verwaarloosbaar effect heeft.
Inzicht: Decoding-probes toonden aan dat spreker-ID aanwezig is in ASR-modellen, maar Encoding-probes onthulden dat het marginaal is voor de structuur van de representatie in vergelijking met fonetiek.

Experiment 2: Syntaxis versus Lexicon

Onafhankelijkheid: De studie bevestigt dat syntactische en lexicaal kenmerken onafhankelijke bijdragen leveren aan modelrepresentaties. Het verwijderen van syntaxis verhoogt de reconstructiefout, zelfs wanneer lexicaal kenmerken aanwezig zijn.
Relatieve Belangrijkheid: Lexicale kenmerken vertegenwoordigen consistent een groter deel van de variantie dan syntactische kenmerken, zowel in tekst (BERT) als in spraakmodellen.
Modaliteitsverschillen: De bijdrage van syntaxis en lexicon is prominenter in BERT (tekst) dan in Wav2vec2 (spraak), wat suggereert dat spraakmodellen zwaarder leunen op acoustische/fonetische signalen.
ASR-impact: Fijnfineeren voor ASR maakt representaties in absolute termen moeilijker te reconstrueren, maar verhoogt de relatieve bijdrage van lexicaal en syntactische kenmerken in vergelijking met het basismodel.

5. Betekenis en Conclusie

Het artikel stelt vast dat decodeerbaarheid niet gelijkstaat aan belangrijkheid. Een kenmerk kan gemakkelijk decodeerbaar zijn (hoge nauwkeurigheid) en toch zeer weinig bijdragen aan de algehele structuur van de representatie van het model (lage variantieverklaring).

Complementair Perspectief: De Encoding Probe biedt een noodzakelijk tegenwicht voor decoding-probes. Het verlegt het veld van binaire "ja/nee"-vragen over informatieaanwezigheid naar kwantitatieve vragen over informatiesamenstelling.
Implicaties voor Interpreteerbaarheid: Door te controleren op correlaties kunnen onderzoekers valse positieven vermijden waarbij een probe slaagt vanwege een gecorreleerd proxy-kenmerk in plaats van het doelkenmerk zelf.
Toekomstige Richtingen: De auteurs wijzen op beperkingen, zoals de afhankelijkheid van lineaire regressie (die niet-lineaire relaties kan missen) en het observationele karakter van de methode (het toont associatie, niet causaliteit). Het kader biedt echter een strenge, statistisch onderbouwde methode om de "black box" van transformer-representaties te ontleden.

Kortom, de Encoding Probe is een krachtig instrument voor het kwantificeren van de relatieve en conditionele bijdragen van linguïstische kenmerken aan neurale representaties, en biedt een genuanceerder begrip van hoe modellen taal en spraak coderen.