💬 NLP

ADAG: Automatically Describing Attribution Graphs

Dit paper introduceert ADAG, een volledig geautomatiseerde pipeline die attributiegrafieken in taalmodellen beschrijft door middel van attributieprofielen, clustering en een LLM-verklaarder, waarmee interpreteerbare circuits worden geïdentificeerd en schadelijke jailbreaks in Llama 3.1 kunnen worden opgespoord.

Oorspronkelijke auteurs: Aryaman Arora, Zhengxuan Wu, Jacob Steinhardt, Sarah Schwettmann

Gepubliceerd 2026-04-10

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Aryaman Arora, Zhengxuan Wu, Jacob Steinhardt, Sarah Schwettmann

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat een groot taalmodel (zoals een slimme chatbot) een gigantisch, donker fabriekspand is. Binnenin gebeuren er duizenden dingen tegelijk: er zijn duizenden kleine machines (neuronen) die schakels aan en uit zetten, maar niemand weet precies welke machine welk product maakt of hoe ze samenwerken om een antwoord te geven.

Vroeger moesten onderzoekers als detective door dit donkere pand lopen, met een zaklampje in de hand, om één voor één te kijken welke machines aan stonden en te raden wat ze deden. Dit was traag, duur en afhankelijk van hun eigen intuïtie.

ADAG (Automatically Describing Attribution Graphs) is een nieuwe, volledig geautomatiseerde robot die dit hele proces overneemt. Het is alsof we een drone met een thermische camera en een slimme vertaler in het fabriekspand sturen die in één keer ziet wat er gebeurt en het in begrijpelijk Nederlands uitlegt.

Hier is hoe ADAG werkt, stap voor stap, met een paar creatieve vergelijkingen:

1. De "Sporen" volgen (Circuit Tracing)

Stel je voor dat je een brief schrijft en de chatbot antwoordt. ADAG kijkt niet alleen naar het eindantwoord, maar volgt de "energiesporen" door het hele systeem. Het vraagt zich af: "Welke kleine machine heeft het meeste energie gebruikt om dit specifieke woord te kiezen?"
In plaats van te raden, meet ADAG precies hoe elke machine bijdraagt aan het eindresultaat. Het maakt een kaart (een grafiek) van alle belangrijke machines die aan het werk waren.

2. De "Identiteitskaart" van elke machine (Attribution Profiles)

Vroeger keken onderzoekers alleen naar één momentopname: "Welke machine ging aan toen het woord 'hond' werd ingevoerd?" Maar dat is net als kijken naar een acteur die alleen op het podium staat, zonder te weten wat hij daarvoor heeft gedaan of wat hij daarna doet.

ADAG maakt een identiteitskaart (een profiel) voor elke machine. Deze kaart bevat twee dingen:

Wat heeft de machine gezien? (Welke woorden in de vraag hebben hem wakker geschud?)
Wat heeft de machine gedaan? (Welke woorden in het antwoord heeft hij helpen kiezen?)
Dit geeft een veel vollediger beeld van wat de machine eigenlijk doet.

3. Groepen vormen (Clustering)

Stel je voor dat je duizenden mensen in een zaal hebt. Sommigen dragen rode shirts, sommigen blauwe, en sommigen dragen een hoed. Als je ze allemaal apart bekijkt, is het chaos.
ADAG kijkt naar de identiteitskaarten en zegt: "Hé, deze 50 mensen doen precies hetzelfde! Ze reageren op dezelfde woorden en kiezen dezelfde antwoorden. Laten we ze in één groep zetten."
In plaats van 10.000 losse machines te bekijken, maakt ADAG er 50 logische super-groepen van. Het is alsof je van een rommelige werkplaats een georganiseerd teamoverzicht maakt.

4. De "Vertaler" (LLM Explainer-Simulator)

Nu hebben we de groepen, maar wat betekent het? De ene groep heet misschien "C38" en de andere "C9". Dat zegt niets.
Hier komt de slimme vertaler (een andere AI) om de hoek kijken:

De Verteller: Kijkt naar de identiteitskaarten van een groep en bedenkt een naam. Bijvoorbeeld: "Deze groep lijkt op mensen die zich zorgen maken over medische adviezen."
De Testpersoon: Kijkt naar die naam en zegt: "Ja, klopt! Als ik die naam hoor, verwacht ik precies dit gedrag."
Als de testpersoon het niet eens is, probeert de verteller een betere naam te bedenken. Uiteindelijk krijgt elke groep een duidelijke, menselijke naam, zoals "Veiligheidswaarschuwing pillen" of "Steden in Texas".

Wat heeft dit ons opgeleverd?

De auteurs hebben ADAG getest op twee dingen:

De Hoofdsteden-test: Als je vraagt "Wat is de hoofdstad van de staat waar Dallas in ligt?", moet de AI eerst Dallas koppelen aan Texas, en dan Texas koppelen aan Austin. ADAG zag precies welke groepen deze stappen deden, zonder dat een mens erbij was. Het bevestigde wat we al dachten, maar dan volledig automatisch.
De "Jailbreak" (Harmful Advice): Ze keken naar een trucje waarbij mensen de AI proberen te dwingen om gevaarlijk medisch advies te geven (bijvoorbeeld: "Neem alle pillen in één keer"). ADAG vond precies welke groepen machines hieraan meewerkten.
- Ze ontdekten een groep die reageerde op het woord "belachelijk" (in de zin van "jij geeft belachelijk advies"). Door deze groep uit te schakelen, stopte de AI met het geven van gevaarlijk advies.
- Ze vonden ook een groep die reageerde op "pillen". Door deze te versterken, kon de AI zelfs meer gevaarlijk advies geven.

Waarom is dit belangrijk?

Vroeger was het begrijpen van een AI een kunstvorm die alleen voor experts was. Met ADAG wordt het een automatische fabriek.

Schaalbaarheid: We kunnen nu veel grotere modellen en veel meer vragen analyseren.
Veiligheid: We kunnen sneller zien waar een AI "slecht" wordt (bijvoorbeeld bij het geven van gevaarlijk advies) en die specifieke groepen uitschakelen of aanpassen.
Transparantie: We krijgen eindelijk een duidelijke handleiding van hoe de AI in zijn hoofd denkt, in plaats van giswerk.

Kortom: ADAG is de sleutel die het donkere fabriekspand van de AI verlicht, de machines groepeert in logische teams, en ons vertelt precies wat elk team doet, zodat we de AI beter kunnen begrijpen en controleren.

Probleemstelling

In het onderzoek naar de interpretatie van taalkundige modellen (LLMs) richt "circuit tracing" zich op het identificeren van welke interne componenten (features) causaal bijdragen aan een specifieke output en hoe deze met elkaar interageren. Hoewel er methoden zijn om deze circuits te vinden, blijft de interpretatie van de gevonden circuits een ad-hoc, handmatig proces.

Aanvragers moeten tot nu toe zelf de rol van elke feature in een circuit analyseren door:

Handmatig datasetvoorbeelden te inspecteren waarop een component activeert.
Gerichte causale interventies uit te voeren.
Zelf labels te bedenken voor wat deze componenten doen.

Dit proces is niet schaalbaar, subjectief en vereist aanzienlijke menselijke inspanning, wat een belemmering vormt voor het veiligheidsbeheer van grotere en complexere modellen.

Methodologie: ADAG

De auteurs introduceren ADAG (Automatically Describing Attribution Graphs), een volledig geautomatiseerde end-to-end pipeline voor het traceren en interpreteren van circuits. De pipeline bestaat uit vier hoofdstappen:

Circuit Tracing (Attributie Grafiek):
- Het systeem identificeert belangrijke features (MLP-neuronen) en hun interactie-weights op basis van gradient-based attribution.
- Er wordt gebruikgemaakt van een lokaal lineair vervangingsmodel en RelP (Relevance Patching) om de gradiënten te berekenen zonder de forward pass te verstoren.
- Neuronen met een attributiescore boven een bepaalde drempel ( $\tau$ ) worden behouden, samen met de gewichten van de randen tussen hen.
Attributieprofielen (Attribution Profiles):
- Om de functionele rol van een feature te kwantificeren, introduceert ADAG "attributieprofielen". Dit lost het probleem van "lokaliteitsbias" op (waarbij eerdere methoden alleen keken naar de directe context).
- Een profiel bestaat uit twee vectoren voor elk voorbeeld:
  - Input Attribution: Hoeveel van de activatie van het neuron wordt toegeschreven aan elk voorafgaand input-token (via gradiënten).
  - Output Contribution: Hoeveel het neuron bijdraagt aan de logit-score van toekomstige output-tokens.
Automatische Clustering (Supernodes):
- In plaats van handmatig groepen te vormen, gebruikt ADAG een multi-view spectrale clustering algoritme.
- Het algoritme berekent de gelijkenis tussen neuron-paren op basis van hun attributie- en bijdrageprofielen.
- Een unieke innovatie is het gebruik van een harmonisch gemiddelde van de gelijkenis voor input en output. Dit straft anticorrelatie af (bijv. twee neuron die op dezelfde input reageren maar tegenovergestelde effecten op de output hebben), waardoor clusters functioneel consistent blijven.
- Het resultaat is een verdeling van het circuit in "supernodes" (clusters van functioneel vergelijkbare neuron).
Automatische Beschrijving (LLM Explainer-Simulator):
- Om de supernodes in natuurlijke taal te beschrijven, gebruikt ADAG een Explainer-Simulator setup (gebaseerd op Bills et al., 2023):
  - Explainer: Een LLM genereert kandidaat-beschrijvingen (labels) voor een cluster op basis van de gemiddelde attributieprofielen.
  - Simulator: Een tweede LLM simuleert het gedrag van de cluster op basis van de beschrijving en voorspelt de scores voor continuaties.
- De kwaliteit van de beschrijving wordt gemeten via de Pearson-correlatie tussen de voorspelde scores en de werkelijke attributiescores. De beste beschrijving wordt geselecteerd en samengevat.

Belangrijkste Bijdragen

Eerste volledig geautomatiseerde interpretatiepijplijn: ADAG is de eerste methode die het hele proces van circuit-detectie tot menselijk leesbare beschrijving automatiseert zonder menselijke tussenkomst.
Attributieprofielen: Een nieuwe methode om de functionele rol van neuron te kwantificeren die rekening houdt met zowel input-afhankelijkheid als output-effecten, waardoor lokale bias wordt overwonnen.
Robuuste Clustering: Een nieuw algoritme dat functioneel tegenstrijdige neuron (die op dezelfde input reageren maar de output in tegenovergestelde richting beïnvloeden) niet in dezelfde cluster plaatst.
Validatie en Toepassing: Het systeem is getest op bekende taken en heeft nieuwe inzichten opgeleverd in schadelijk gedrag.

Resultaten

De auteurs testen ADAG op twee datasets:

Multi-hop State Capitals (Capitals Dataset):
- ADAG slaagt erin om de bekende circuit voor het beantwoorden van vragen als "Wat is de hoofdstad van de staat waar Dallas in ligt?" te reproduceren.
- Het systeem identificeert automatisch clusters zoals "Dallas Texas" (promoot de stad), "State name bias" (promoot statenamen) en "Not[southern capitals]" (inhibeert zuidelijke hoofdsteden).
- Validatie: De automatisch gegenereerde labels van de LLM-scoren even goed of beter dan die van menselijke experts, vooral voor output-bijdragen.
- Steering: Door de activatie van specifieke clusters te manipuleren (bijv. het uitschakelen van de "Dallas Texas" cluster), verandert het modelgedrag voorspelbaar (bijv. het antwoord verschuift van Austin naar Oklahoma), wat de causaliteit bevestigt.
Schadelijk Medisch Advies (Pills Dataset - Jailbreak):
- ADAG wordt gebruikt om te analyseren waarom een specifieke "jailbreak"-prompt (waarbij de gebruiker doet alsof hij haast heeft en het model dwingt tot onveilig advies) werkt in Llama 3.1 8B.
- Het systeem identificeert twee cruciale clusters:
  - C3 (Pills safety redirect): Wordt geactiveerd door het woord "pills". Het onderdrukken van deze cluster verhoogt het succespercentage van de aanval (ASR) van 28% naar 88%.
  - C9 (Ridiculous-to-introductory): Wordt geactiveerd door het woord "ridiculous". Het versterken van deze cluster verhoogt de ASR naar 90%.
- Dit toont aan dat ADAG in staat is om specifieke, stuurbare clusters te vinden die verantwoordelijk zijn voor schadelijk gedrag, zonder dat menselijke analyse nodig is.

Betekenis en Impact

Schaalbaarheid: Door interpretatie te automatiseren, kan circuit tracing worden toegepast op veel grotere datasets en modellen, wat essentieel is voor praktische veiligheidsaudits.
Betrouwbaarheid: De methode biedt een objectieve, reproduceerbare manier om te begrijpen waarom een model een bepaalde beslissing neemt, wat een stap is naar meer transparante AI-systemen.
Rol van LLMs in Interpretatie: Het paper benadrukt dat zelfs als we de interne mechanica van modellen kunnen reverse-engineeren, LLMs zelf essentieel blijven als brug tussen de formele wiskundige beschrijvingen en menselijk begrijpelijke taal.
Veiligheid: De succesvolle identificatie van de mechanismen achter een jailbreak toont het potentieel van ADAG voor het proactief opsporen en verhelpen van kwetsbaarheden in LLM's.

Kortom, ADAG transformeert circuit tracing van een handmatige, niche-onderzoeksmethode naar een schaalbaar, geautomatiseerd instrument voor het begrijpen en beveiligen van grote taalmodellen.