💬 NLP

Automated Attribution Graph Interpretation via Probe Prompting

Dit artikel introduceert "probe prompting", een transparante regelgebaseerde pijplijn die kenmerken in attributiegrafieken groepeert in concept-gealigneerde supernodes met behulp van Cross-Prompt Activation Signatures, waarmee het succesvol het causale sturingsgedrag over feitelijke domeinen valideert met minimale computationele overhead.

Oorspronkelijke auteurs: Giuseppe Birardi, Gonçalo Paulo

Gepubliceerd 2026-06-09

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Giuseppe Birardi, Gonçalo Paulo

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een Large Language Model (LLM) voor als een enorme, bruisende stad met miljoenen werkers (neuronen) die briefjes naar elkaar doorgeven om een vraag te beantwoorden. We weten precies hoe de briefjes worden doorgegeven (de wiskunde), maar de stad is zo groot en de briefjes zo complex dat het voor een mens onmogelijk is om naar de kaart te kijken en te zeggen: "Ah, deze specifieke groep werkers is verantwoordelijk voor het feit dat de hoofdstad van Texas Austin is."

Dit artikel introduceert een nieuwe manier om die stad in kaart te brengen, genaamd Probe Prompting. Zo werkt het, met behulp van eenvoudige analogieën:

1. Het Probleem: Een Stad die te Groot is om te Lezen

Voorheen probeerden onderzoekers het model te begrijpen door te kijken naar "attribution graphs" (toeschrijvingsgrafieken). Denk aan blauwdrukken die laten zien welke werkers een invloed hadden op het uiteindelijke antwoord.

Het Probleem: Zelfs voor een simpele vraag zoals "Wat is de hoofdstad van Texas?" heeft de blauwdruk duizenden lijnen en knooppunten. Het is alsof je een roman probeert te lezen door elke letter afzonderlijk te bekijken. Het kost uren om slechts één pad te traceren, en dit doen voor duizenden vragen is onmogabel.
De Oude Manier: Sommige onderzoekers probeerden een AI te vragen om deze werkers te labelen ("Deze gaat over 'Texas'"). Maar vaak gokte de AI alleen op basis van wat de werker meestal doet, niet op wat de werker in dat specifieke moment daadwerkelijk deed.

2. De Oplossing: De "Probe" Detective

De auteurs creëerden een transparant, op regels gebaseerd systeem genaamd Probe Prompting. In plaats van te gokken, behandelen ze het model als een verdachte in een detectivegame.

De Opzet: Ze nemen een specifieke vraag (bijv. "De hoofdstad van Texas is...") en genereren een kleine set "probe" vragen die bijna identiek zijn, maar waarbij de details worden gewisseld (bijv. "De hoofdstad van Florida is...", "De hoofdstad van New York is...").
De Test: Ze observeren hoe specifieke werkers (features) reageren op deze probes.
- Analogie: Stel je voor dat je een beveiligingsbeambte hebt in een gebouw. Om te zien wat hij doet, kijk je niet slechts één keer naar hem. Je vraagt hem: "Wat doe je als er een persoon genaamd 'John' binnenkomt?" Daarna: "En wat met 'Mary'?" En daarna: "En wat met 'Bob'?"
- Als de bewaker alleen reageert wanneer "John" binnenkomt, is hij een John-Detector.
- Als hij op elke naam reageert, is hij een Naam-Detector.
- Als hij reageert wanneer iemand "is" of "de" zegt, is hij een Grammatica-Helper.

3. Het Groeperen van de Werkers: "Supernodes"

Op basis van deze reacties groepeert het systeem duizenden individuele werkers in Supernodes.

De Magie: In plaats van naar 5.000 individuele werkers te kijken, zegt het systeem: "Oké, deze 50 werkers gedragen zich allemaal als 'Texas Detectors', dus laten we hen één groot team noemen: Team Texas."
Het Resultaat: De enorme, verwarrende stadskaart is nu gecomprimeerd tot een eenvoudig, leesbaar diagram met slechts een paar benoemde teams (bijv. Team Texas, Team Austin, Team "Hoofdstad").

4. Het Bewijs: Het "Swap" Experiment

Hoe weten we dat deze labels echt zijn en geen gelukkige gok? De auteurs voeren een Causale Swap uit.

Het Experiment: Ze nemen een vraag over Dallas (waar het antwoord Dallas zou moeten zijn) en proberen het model te dwingen om Minnesota te antwoorden (waar het antwoord St. Paul is).
De Methode: Ze "draaien het volume omlaag" bij de werkers die gelabeld zijn als Team Dallas en "draaien het volume omhoog" bij de werkers die gelabeld zijn als Team Minnesota.
De Uitkomst:
- Wanneer ze hun Probe Prompting labels gebruikten, slaagde het model erin om het antwoord van Dallas naar Minnesota te veranderen in ongeveer 73% van de gevallen.
- Wanneer ze een Random Control gebruikten (het kiezen van willekeurige werkers om te wisselen, zonder rekening te houden met de labels), veranderde het model het antwoord bijna nooit correct.
- Wanneer ze een Influence Control gebruikten (het kiezen van de "luidste" werkers ongeacht wat ze doen), faalde het model ook om het antwoord correct te veranderen.

5. Belangrijkste Bevindingen in Gewonemensentaal

Het Werkt: Het systeem heeft succesvol geïdentificeerd welke werkers daadwerkelijk specifieke feiten controleren. Door ze te groeperen, hebben ze het "brein" van het model leesbaar gemaakt.
Minder is Meer: Soms, wanneer men probeert elk deel van de zin te controleren (de stadsnaam, de plaatsnaam en de hoofdstad), raakt het model in de war. Het werkt beter als men alleen de specifieke delen aanpast die gerelateerd zijn aan het antwoord (de staat en de hoofdstad).
Het is Transparant: In tegen tegenstelling tot sommige AI-methoden die "black boxes" zijn, gebruikt dit systeem heldere, voor mensen leesbare regels. Als een onderzoeker het werk wil controleren, kan hij precies zien waarom een werker bij een specifiek team is ingedeeld.

Samenvatting

Het artikel presenteert een hulpmiddel dat een chaotische, onleesbare kaart van het brein van een taalmodel transformeert in een schoon, gelabeld diagram. Dit doen ze door te testen hoe de onderdelen van het model reageren op licht gewijzigde vragen, vergelijkbare onderdelen samen te groeperen, en te bewijzen dat deze groepen daadwerkelijk het gedrag van het model controleren door in een gecontroleerd experiment succesvol antwoorden te wisselen.

Wat het paper NIET beweert:

Het beweert niet dat dit voor elke AI-taak werkt (zoals het schrijven van code of het voeren van een gesprek); het werd specifiek getest op feitelijke vragen (zoals hoofdsteden, boekauteurs en oprichters van bedrijven).
Het beweert niet het model te repareren of slimmer te maken; het helpt mensen alleen om te begrijpen hoe het werkt.
Het beweert niet dat het werkt voor alle talen of alle modelgroottes; de tests werden uitgevoerd op een specifiek Engels model (Gemma-2-2B).

Technische Samenvatting: Automatische Interpretatie van Attributie-grafen via Probe Prompting

Probleemstelling
Hoewel de computationele paden van input naar output in Large Language Models (LLMs) theoretisch bekend zijn, maakt de enorme dichtheid van deze berekeningen ze ondoorzichtig voor menselijke interpretatie. Bestaande methoden voor mechanistische interpreteerbaarheid, zoals Sparse Autoencoders (SAEs) en Cross-Layer Transcoders (CLTs), deconstrueren succesvol dichte modelactivaties in ijle (sparse) features. Echter, de resulterende attributie-grafen blijven te groot voor handmatige analyse; een enkele korte feitelijke prompt kan grafen genereren met 600–5.000 nodes. Huidige geautomatiseerde interpretatietechnieken, die vaak vertrouwen op LLM-scoring van corpus-activaties, slagen er niet in om causale validatie of inzichten in interacties op circuitniveau te bieden. Er is een kritieke behoefte aan geautomatiseerde, gedragsgebonden groeperingsmethoden die kunnen schalen van individuele casestudies naar grote catalogi van circuits zonder dat handmatige tracing vereist is.

Methodologie: Probe Prompting
Het artikel introduceert probe prompting, een transparante, regelgebaseerde pipeline ontworpen om complexe attributie-grafen om te zetten in een compacte set concept-gealigneerde "supernodes". De methodologie verloopt via vier afzonderlijke stadia:

Attributie-grafiek Generatie: Met behulp van Neuronpedia en CLT-dictionaries genereert het systeem attributie-grafen voor seed-prompts (bijv. "The capital of the state containing Dallas is").
Probe Prompt Generatie: Voor elke seed genereert een LLM een kleine set concept-gerichte probe-prompts. Deze probes behouden de syntactische structuur van de seed (preposities, positie van het antwoord), maar variëren de inhoudelijke entiteiten.
Cross-Prompt Activation Signatures (CPAS): Het systeem meet feature-activaties over de probe-set. In plaats van te vertrouwen op een enkele prompt-piek (die ambigu is), aggregeert het metrieken zoals piekconsistentie, ijle (sparsity) en cosinus-gelijkenis ten opzichte van de seed. Deze aggregatie vormt een CPAS voor elke feature.
Regelgebaseerde Supernode Formatie: Een deterministische beslisboom brengt CPAS-metrieken in kaart naar één van vier functionele rollen:
- Semantic-Dictionary (SEM-DICT): Features die consistent pieken op een enkele semantische token (bijv. "Texas").
- Semantic-Concept (SEM-CONC): Features die pieken op een familie van gerelateerde tokens (bijv. namen van artiesten).
- Relationship (REL): Features met diffuse activatiepatronen die relaties coderen in plaats van entiteiten.
- Say-X (SAY-X): Features die pieken op functionele tokens (bijv. "is", "the") in voorspelbare posities ten opzichte van een semantisch doel, wat effectief de output bevordert.
  Features die dezelfde rol en naam delen, worden samengevoegd tot een supernode.

Causaal Validatieprotocol
Om het nut van deze supernodes te valideren, hanteert de auteur een causaal interventieprotocol bestaande uit entity-swap experimenten. Voor een bron-doel paar (bijv. Dallas $\to$ Austin) ableert het systeem de features die geassocieerd zijn met de bron en versterkt het de features geassocieerd met het doel. Succes wordt gemeten aan de hand van de vraag of de voorspelling van het model wordt omgeleid naar de doel-entiteit.

Cruciaal is dat het artikel twee rigoureuze baselines introduceert om te waarborgen dat de resultaten geen artefacten zijn van het aantal features of de invloed op de grafiek:

Matched-Random Control: Een willekeurige set features met hetzelfde aantal en dezelfde laagverdeling als de gelabelde set, getrokken uit buiten de concept-gealigneerde supernodes.
Influence-Matched Top-K Control: Een baseline die de top- $K$ features selecteert op basis van grafiek-invloed om het cumulatieve invloedsbudget van de gelabelde interventie te matchen.

Belangrijkste Resultaten
De methode werd geëvalueerd over vier feitelijke domeinen (hoofdsteden van Amerikaanse staten, boekpersonages, oprichters van bedrijven en schilders) met behulp van het Gemma-2-2B model met een publieke CLT-dictionary, in totaal 44.596 interventieruns.

Superioriteit ten opzichte van Baselines: De gelabelde supernodes presteerden significant beter dan zowel de willekeurige als de invloed-gematchte baselines. In het Amerikaanse domein behaalde de gelabelde aanpak een Hit% van 72,8% (succesvolle omleiding) vergeleken met 0,7% voor matched-random en 4,2% voor de invloed-gematchte Top-K baseline.
Efficiëntie vs. Menselijke Annotatie: In een casestudy waarbij de geautomatiseerde pipeline werd vergeleken met een door mensen gecureerde grafiek voor de Dallas/Austin prompt, bereikte de geautomatiseerde methode vergelijkbare succespercentages (40/49 bronnen vs. 38/49 voor mens) maar vereiste het een grotere feature-set (96,5 features vs. 4 features per call). De geautomatiseerde methode slaagde er echter in om omleidingspaden te identificeren die menselijke curatie miste voor specifieke bronstaten, wat duidt op non-redundantie.
Veld-additiviteit (Field Additivity): De studie vond dat "minder meer is". Interventies die zich richten op tussenliggende en antwoordvelden (bijv. de staat en de hoofdstad) waren significant effectiever dan het opnemen van het inputveld (de stad), dat vaak decodeert wat het model leest in plaats van wat het moet produceren.
Stuurkracht (Steering Strength): De optimale amplificatie-multiplier ( $M$ ) bleek bimodaal te zijn (met pieken rond $M \approx 2.4$ en $M \approx 6.9$ ), wat de standaard $M=20$ default gebruikt bij single-feature steering uitdaagt.

Betekenis en Claims
Het artikel claimt dat probe prompting aantoont dat circuit-niveau interpreteerbaarheid gedeeltelijk geautomatiseerd kan worden via een transparante, regelgebaseerde pipeline. De primaire bijdragen zijn:

Automatisering van Circuit Groepering: Het biedt een schaalbare methode om duizenden features te groeperen in concept-gealigneerde supernodes zonder handmatige interventie.
Causaal Validatiekader: Het stelt een robuust, methode-agnostisch harnas op voor het evalueren van groeperingskwaliteit door middel van matched-random en influence-matched controles, waarmee wordt ingegaan op de kritiek dat interpreteerbaarheids-scores behaald kunnen worden door willekeurig geïnitialiseerde modellen.
Operationeel Nut: De resulterende labels zijn niet alleen beschrijvend; ze zijn operationeel nuttig voor het uitvoeren van entity-swaps, wat dient als een snelle test om te bepalen of features correct gegroepeerd zijn op basis van hun werkelijke gedrag in de computationele grafiek.

De auteurs merken bescheiden op dat hun claims momenteel niveaus 1 en 2 van causale abstractie dekken (het identificeren van features en hun functionele rollen), maar nog niet niveau 3 claimen (volledige mechanistische identificatie van latente variabelen). Ze erkennen beperkingen, waaronder de huidige restrictie tot two-hop feitelijke herinnering, het bevriezen van aandacht tijdens grafiekgeneratie (hoewel niet tijdens interventie), en de afhankelijkheid van Engelse functionele token-vocabulaire. Het werk wordt gepresenteerd als een herbruikbaar harnas voor het kalibreren van toekomstige groeperingsmethoden tegen causale interventies.