🤖 AI

Inference Time Causal Probing in LLMs

Dit artikel stelt Hidden-state Driven Margin Intervention (HDMI) voor, een proefloze, op gradiënten gebaseerde methode die LLM-verborgen toestanden direct stuurt met behulp van de native output van het model om betrouwbaardere causale interventies te realiseren dan bestaande op klassificatoren afhankelijke benaderingen, en die bovendien een lookahead-variant introduceert voor tekstbewerking.

Oorspronkelijke auteurs: Sadegh Khorasani, Saber Salehkaleybar, Negar Kiyavash, Matthias Grossglauser

Gepubliceerd 2026-05-11

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Sadegh Khorasani, Saber Salehkaleybar, Negar Kiyavash, Matthias Grossglauser

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Plaatje: De "Black Box" Oplossen

Stel je een Large Language Model (LLM) voor als een superslimme, maar enigszins ondoorzichtige chef in een keuken. Deze chef kan prachtige verhalen schrijven, maar als je vraagt: "Waarom heb je zout aan deze soep toegevoegd?", heeft de chef misschien geen duidelijk antwoord. Ze "weten" gewoon dat het goed smaakt.

Wetenschappers willen begrijpen hoe deze chef beslissingen neemt. Specifiek willen ze weten: Gebruikt de chef het concept van meervoud (zoals "katten") daadwerkelijk om het werkwoord "rennen" te kiezen, of is dat gewoon toeval?

Om dit te testen, gebruiken onderzoekers een techniek genaamd Causale Probing. Het is als een "wat-als"-experiment. Ze willen zeggen: "Oké, laten we doen alsof het onderwerp meervoud is in plaats van enkelvoud. Verandert de chef het werkwoord van 'rennt' naar 'rennen'?"

Het Probleem met Oude Methoden: Het "Vertaler"-Probleem

Voorheen, om dit experiment uit te voeren, moesten onderzoekers een vertaler huren (een "probe" genoemd).

Ze trainden deze vertaler om de geheime notities van de chef (de verborgen toestanden) te lezen en te raden of het onderwerp enkelvoud of meervoud was.
Vervolgens gebruikten ze de feedback van de vertaler om de notities van de chef een duwtje te geven om de betekenis te veranderen.

De Tekortkoming: Deze vertaler spreekt misschien niet perfect de taal van de chef. De vertaler kan zijn eigen regels hebben voor hoe "meervoud" eruit ziet, die niet overeenkomen met hoe de chef eigenlijk denkt. Het is alsof je probeert een motorkap te repareren met een handleiding die voor een ander automerk is geschreven. Je duwt misschien de juiste knop in, maar je kunt iets anders breken omdat je het ware ontwerp van de motor niet begrijpt.

De Nieuwe Oplossing: HDMI (De "Directe Duw")

De auteurs stellen een nieuwe methode voor genaamd HDMI (Hidden-state Driven Margin Intervention).

De Analogie: In plaats van een vertaler te huren, praat HDMI direct met het hoofd van de chef.

Het Doel: De chef staat op het punt om "rennt" te zeggen (enkelvoud). Je wilt dat ze "rennen" zeggen (meervoud).
De Oude Manier: Vraag een vertaler om de "meervoud"-knop te vinden en in te drukken.
De HDMI-Manier: HDMI kijkt naar het uiteindelijke beslissingsproces van de chef (de output). Het berekent de exacte wiskundige "duw" die nodig is om het woord "rennen" iets waarschijnlijker te maken en "rennt" iets minder waarschijnlijk. Dit doet het door te kijken naar het verschil (de marge) tussen de twee woorden.

Waarom het beter is:

Geen Vertaler Nodig: Het hoeft geen apart AI-model te trainen om het concept te begrijpen. Het gebruikt het eigen brein van het model om uit te zoeken hoe de output moet worden veranderd.
Precisie: Omdat het de eigen "geometrie" van het model gebruikt (hoe het woorden van nature ordent), sluit het perfect aan bij hoe het model eigenlijk denkt.
Efficiëntie: Het is een eenvoudige, snelle berekening, zoals een snelle tik op het stuur in plaats van een lange omweg.

De "Vooruitkijkende" Upgrade: LA-HDMI

Het artikel introduceert ook een geavanceerde versie genaamd LA-HDMI (Lookahead HDMI) voor tekstbewerking.

Het Scenario: Stel je voor dat je een verhaal schrijft: "De kat sliep." Je wilt het veranderen in "De katten sliepen."

Het Probleem: Als je gewoon "sliep" verandert in "sliepen", kan de zin kapotgaan omdat het woord ervoor ("De") of het woord erna misschien ook moet veranderen om de grammatica vloeiend te houden.
De LA-HDMI Oplossing: Deze methode kijkt niet alleen naar het huidige woord; het kijkt vooruit. Het simuleert de volgende paar stappen van de zin terwijl het de verandering doorvoert.
- Het ziet dat als het "sliep" verandert in "sliepen", het "De" niet hoeft te veranderen, maar misschien het lidwoord voor het zelfstandig naamwoord moet aanpassen als het zelfstandig naamwoord verandert.
- Het stuurt de verborgen gedachten van het model zachtjes voordat het woord zelfs maar is geschreven, zodat de hele zin soepel en vloeiend blijft, niet alleen het ene woord dat je hebt veranderd.

Denk erom als een GPS die je niet alleen vertelt om nu linksaf te slaan, maar de hele route vooruit berekent zodat je later niet vast komt te zitten in een doodlopende straat.

Werkte Het? (De Resultaten)

De auteurs testten dit op twee grote "sportzalen" (datasets) die zijn ontworpen om grammatica en logica te testen:

LGD Agreement: Controleren of onderwerpen en werkwoorden overeenkomen (bijv. "hij is" vs. "zij zijn").
CausalGym: Een complexe reeks grammaticapuzzels.

Het Scorebord:
Ze maten twee dingen:

Volledigheid: Hebben we de betekenis succesvol veranderd? (Bijv. Is "rennt" veranderd in "rennen"?)
Selectiviteit: Hebben we per ongeluk andere dingen kapotgemaakt? (Bijv. Hebben we per ongeluk de tijd of de betekenis van de hele zin veranderd?)

Het Oordeel:
HDMI scoorde consequent hoger dan de oude methoden. Het was beter in het precies veranderen van wat het moest veranderen, zonder de rest van de zin in de war te sturen. Het werkte goed op verschillende soorten AI-modellen (zoals Llama en Pythia), wat bewijst dat het een robuust hulpmiddel is.

Samenvatting

Oude Manier: Gebruik een apart hulpmiddel om te raden hoe je het brein van de AI moet veranderen (vaak onnauwkeurig).
HDMI: Gebruik de eigen output van de AI om de perfecte duw te berekenen om zijn brein te veranderen (nauwkeurig en efficiënt).
LA-HDMI: Gebruik HDMI met een "glazen bol" om tekst vloeiend te bewerken, zodat de hele zin natuurlijk loopt, niet alleen het bewerkte woord.

Het artikel concludeert dat deze "directe duw"-benadering een betrouwbaardere manier is om te begrijpen en te controleren hoe AI-modellen denken en schrijven.

Technische Samenvatting: Causaal Probing tijdens Inferentie in LLM's (HDMI)

1. Probleemstelling

Het artikel behandelt de beperkingen van huidige methoden voor causaal probing die worden gebruikt om te begrijpen hoe Large Language Models (LLM's) interne representaties gebruiken voor voorspelling.

Beperking van Correlatief Probing: Traditionele methoden trainen hulpklassificatoren ("probes") op verborgen toestanden om taalkundige eigenschappen te detecteren (bijvoorbeeld het aantal van het onderwerp). Hoewel deze aantonen wat is gecodeerd, bewijzen ze niet hoe het model die informatie gebruikt om de volgende token te genereren.
Beperking van Causaal Probing: Bestaande causale benaderingen proberen in te grijpen op verborgen toestanden om eigenschappen te wijzigen (bijvoorbeeld het veranderen van enkelvoud naar meervoud) en veranderingen in de output te observeren. Deze methoden vertrouwen echter doorgaans op het trainen van een aparte probe om de richting van de interventie te bepalen (bijvoorbeeld het gebruik van de gradiënt van de probe om een label om te draaien).
- Nadelen: Dit introduceert extra trainingskosten, vereist eigenschapsspecifiek toezicht en loopt het risico op misalignement. De classificatiegrens van de probe komt mogelijk niet overeen met de interne "voorspellende geometrie" van het model, wat leidt tot interventies die de generatie van het model niet effectief sturen of per ongeluk niet-gerelateerde eigenschappen veranderen.

De auteurs stellen Inference-Time Causal Probing voor, een kader waarin interventies volledig tijdens de inferentie worden toegepast zonder het model opnieuw te trainen of hulpprobes te trainen.

2. Methodologie: Hidden-state Driven Margin Intervention (HDMI)

De kernbijdrage is HDMI, een probe-vrije, gradiëntgebaseerde techniek die direct gebruikmaakt van de native output-head van het generatieve model om verborgen toestanden te sturen.

2.1 Kernmechanisme

HDMI werkt door een marge-objectief te definiëren tussen een "bron"-token (de oorspronkelijke voorkeur van het model voor voortzetting) en een "doel"-token (de gewenste contrafactuele voortzetting).

Doel: De logit-marge maximaliseren $L(x) = \phi(x)_\tau - \phi(x)_\sigma$ , waarbij $\phi(x)$ de logit-vector is, $\tau$ de index van het doeltoken en $\sigma$ de index van het brontoken.
Interventie: De methode voert gradiëntascentie uit op de verborgen toestand $h_\ell(x)$ op een specifieke laag $\ell$ om de waarschijnlijkheid van het doeltoken te verhogen en die van het brontoken te verlagen.
Berekenings-efficiëntie: Voor de laatste laag is de gradiënt een gesloten-vorm matrix-vectorproduct: $\nabla_{h_L} L(x) = W_U^\top (e_\tau - e_\sigma)$ . Dit elimineert de noodzaak voor iteratieve probe-training.
Extensie naar Meerdere Tokens: De methode ondersteunt sets van tokens (bijvoorbeeld meerdere geldige meervoudige werkwoorden) door logits op te tellen over doelsets ( $T^+$ ) en bronsets ( $T^-$ ), gedefinieerd als $L_{set}(x) = \sum \phi(x)_{\tau_i} - \sum \phi(x)_{\sigma_j}$ .

2.2 Lookahead HDMI (LA-HDMI) voor Tekstbewerking

Om tekstbewerking aan te pakken waarbij een gebruiker een gewijzigde sequentie aanlevert, introduceren de auteurs LA-HDMI.

Uitdaging: Standaard autoregressieve generatie staat niet toe dat verborgen toestanden op stap $t$ bewust zijn van toekomstige bewerkingen op $t' > t$ .
Oplossing: LA-HDMI introduceert een "lookahead"-mechanisme dat gradiënten terugpropageert via de verwachte token-embeddings.
- Het ontkoppelt de forward-pass (met een lage temperatuur $\beta_f$ om vloeiendheid te behouden) van het gradiëntpad (met een hoge temperatuur $\beta_g$ om verwachte embeddings te berekenen).
- De objectieve functie $J_t(h_t)$ cumuleert marge-objectieven voor toekomstige bewerkingsposities ( $S_{max}$ stappen vooruit), waarbij de huidige verborgen toestand $h_t$ wordt aangepast om toekomstige generaties te sturen naar de bewerkingen van de gebruiker, terwijl vloeiendheid in niet-bewerkte gebieden behouden blijft.

3. Evaluatiekader

Het artikel evalueert interventies met twee primaire metrieken, volgens het kader van Canby et al. [2024]:

Volledigheid: Meet of de interventie de gerichte eigenschap succesvol verschuift (bijvoorbeeld het veranderen van het aantal van het onderwerp) in de verborgen toestand, geverifieerd door een aparte validatie-probe.
Selectiviteit: Meet of niet-gerelateerde eigenschappen (nuisance-variabelen, bijvoorbeeld het aantal van niet-onderwerp zelfstandige naamwoorden) stabiel blijven na interventie.
Betrouwbaarheid: Het harmonisch gemiddelde van Volledigheid en Selectiviteit, dienend als de algehele maat voor de kwaliteit van de interventie.

4. Belangrijkste Resultaten

De auteurs hebben HDMI geëvalueerd op Meta-Llama-3-8B-Instruct en Pythia-70M met behulp van het LGD agreement corpus en de CausalGym-benchmark.

Prestaties: HDMI bereikt consistent hogere Betrouwbaarheid dan probe-gedreven baselines (AlterRep, FGSM, PGD) over de meeste taken.
- In agreement suites (bijvoorbeeld onderwerp-werkwoord overeenstemming) bereikt HDMI vaak perfecte Volledigheid en hoge Selectiviteit.
- In tegenstelling tot baselines is de prestatie van HDMI onafhankelijk van de kwaliteit van een interventie-probe, aangezien deze geen enkele gebruikt. Baselines zoals AlterRep en PGD vertoonden significante prestatiedalingen op kleinere modellen (Pythia-70M) wanneer de probe-accuraatheid lager was.
Robuustheid: HDMI behoudt consistente betrouwbaarheid over verschillende modelgroottes en taken, terwijl op probe gebaseerde methoden gemengde resultaten lieten die gevoelig waren voor de specifieke eigenschap en het model.
Tekstbewerking: LA-HDMI heeft succesvol aangetoond dat het generatie kan sturen naar door de gebruiker gespecificeerde bewerkingen (bijvoorbeeld het veranderen van "girl" in "owl" of "was" in "were") terwijl het grammaticale vloeiendheid behoudt en de noodzakelijke context aanpast (bijvoorbeeld het veranderen van "a" in "an").

5. Betekenis en Claims

Het artikel claimt dat HDMI een verschuiving vertegenwoordigt van probe-afhankelijk naar model-natief causaal probing.

Alignement: Door het eigen output-head van het model te gebruiken om de interventierichting te definiëren, zorgt HDMI ervoor dat de verstoring aligneert met de daadwerkelijke voorspellende geometrie van het model, waardoor de risico's van misalignement van externe probes worden vermeden.
Efficiëntie: De methode is computatie-lightweight en vereist alleen gradiëntascentie op verborgen toestanden zonder de overhead van het trainen van hulpklassificatoren.
Generaliteit: De benadering breidt zich natuurlijk uit tot eigenschappen met meerdere tokens en biedt een mechanisme voor vloeiende tekstbewerking via lookahead-gradiënten.

De auteurs erkennen beperkingen, waaronder gevoeligheid voor hyperparameters (stapgrootte, temperatuur, horizon) en de potentiële verzwakking van gradiënten in taken voor tekstbewerking op lange afstand. Zij suggereren toekomstig werk op het gebied van adaptieve laagselectie en planning van de stapgrootte om de selectiviteit verder te verbeteren zonder in te boeten aan volledigheid.