Causal Interpretation of Neural Network Computations with Contribution Decomposition

Each language version is independently generated for its own context, not a direct translation.

Stel je voor dat een kunstmatig neurale netwerk (zoals een AI die foto's herkent) een enorm, complex fabriek is. In deze fabriek werken miljoenen kleine robots (de "neuronen") samen om een eindproduct te maken: bijvoorbeeld de conclusie "dit is een panda".

Tot nu toe hebben onderzoekers vooral gekeken naar wie er aan het werk was. Ze keken naar welke robots hun lampjes liet oplichten (activaties) en dachten: "Ah, deze robot ziet een oor, dus hij helpt bij het herkennen van een panda."

Maar dit is alsof je een orkest bekijkt door alleen naar te kijken welke muzikanten hun instrument vasthouden. Je ziet niet of ze wel of niet spelen, of ze een foutje maken, of ze juist een ander instrument dempen.

CODEC (Contribution Decomposition) is een nieuwe manier om in deze fabriek te kijken. In plaats van te kijken naar wie er "aan" staat, kijkt CODEC naar wie er daadwerkelijk bijdraagt aan het eindresultaat en hoe.

Hier is hoe het werkt, vertaald in alledaagse taal:

1. Het probleem: Het verschil tussen "aanwezig" en "belangrijk"

Stel je voor dat je een taart bakt.

Activatie: Je ziet dat er bloem, suiker, eieren en zout in het mengsel zitten.
Bijdrage (Contribution): CODEC kijkt niet alleen naar wat erin zit, maar naar wat elk ingrediënt doet voor de smaak.
- De bloem zorgt voor de structuur (positieve bijdrage).
- Het zout versterkt de smaak (positieve bijdrage).
- Maar stel dat er per ongeluk een heel klein beetje azijn in is gegaan. Die azijn is ook "aanwezig" (het lampje gaat aan), maar het werkt tegen de taart (negatieve bijdrage).

Eerdere methoden zagen de azijn en dachten: "Oh, azijn is een ingrediënt, dus het is belangrijk." CODEC zegt: "Nee, deze azijn probeert de taart te ruïneren. We moeten weten dat hij negatief bijdraagt."

2. De oplossing: CODEC als een "Bouwmeester"

CODEC doet twee dingen die het zo slim maken:

A. Het scheidt de bouwstenen van de instructies
In de fabriek werken de robots niet allemaal los van elkaar. Ze werken in groepjes.

CODEC groepeert de robots die samenwerken om een specifiek doel te bereiken.
Het noemt deze groepjes "motieven" (of modes).
Vergelijking: In plaats van te kijken naar elke losse bakker, ziet CODEC een "Panda-team" dat samenwerkt om de oren te tekenen, en een "Zwarte Weduwe-team" (een spin) dat samenwerkt om de poten te tekenen.

B. Het ziet het onzichtbare (Positief vs. Negatief)
CODEC ontdekte iets verrassends: naarmate de informatie door de fabriek stroomt (van laag naar laag), worden de robots steeds beter in het scheiden van hun taken.

In de beginlagen werken robots vaak door elkaar heen: één robot helpt soms mee en soms remt hij af.
In de hogere lagen worden de robots gespecialiseerd: sommige robots zijn puur voor het "bouwen" (positief) en andere zijn puur voor het "remmen" (negatief). Ze werken niet meer door elkaar, maar in perfecte harmonie.

3. Wat levert dit op?

Het kan de AI "knijpen" om te zien wat er gebeurt
Omdat CODEC precies weet welke groep robots (motieven) verantwoordelijk is voor een bepaalde uitkomst, kunnen onderzoekers die groepen uitschakelen of juist versterken.

Voorbeeld: Als je alle robots van het "Panda-team" uitschakelt, ziet de AI geen panda's meer, maar herkent hij nog steeds auto's en bomen. Als je ze juist versterkt, wordt de AI extreem goed in panda's. Dit is als het uitschakelen van een specifieke machine in de fabriek om te zien welke producten dan niet meer worden gemaakt.

Het maakt de "black box" transparant
CODEC kan ook laten zien waar op de foto de AI naar kijkt.

Als de AI een viool herkent, kan CODEC laten zien dat het "Viool-team" in de fabriek specifiek kijkt naar de glanzende houten textuur en de vorm van de hals. Het maakt de abstracte berekeningen van de AI zichtbaar voor ons mensen.

4. Toepassing in de natuur (Het oog)

De onderzoekers hebben CODEC ook gebruikt om te kijken naar het netvlies van dieren (biologische neurale netwerken).

Ze ontdekten dat de cellen in het netvlies ook werken in deze gespecialiseerde groepen.
Het laat zien hoe het oog dynamisch zijn "focus" aanpast door verschillende groepen cellen te combineren, afhankelijk van wat er te zien is. Het is alsof je ontdekt dat je ogen niet één camera zijn, maar een team van specialisten die samenwerken om beweging, kleur en vorm te detecteren.

Samenvatting

Kortom: CODEC is een nieuwe bril waarmee we naar kunstmatige intelligentie (en biologische hersenen) kunnen kijken. In plaats van te vragen "Wie is er aan het werk?", vraagt CODEC: "Wat doet deze groep precies voor het eindresultaat, en hoe werken ze samen?"

Het helpt ons niet alleen om te begrijpen hoe AI werkt, maar geeft ons ook de knoppen om het gedrag van AI te sturen en te controleren, wat essentieel is voor het bouwen van veilige en betrouwbare systemen.

Each language version is independently generated for its own context, not a direct translation.

Hier is een gedetailleerde technische samenvatting van het paper "Causal Interpretation of Neural Network Computations with Contribution Decomposition", gepresenteerd op ICLR 2026.

Titel: Causal Interpretation of Neural Network Computations with Contribution Decomposition

Auteurs: Joshua Brendan Melander, Zaki Alaoui, Shenghua Liu, Surya Ganguli, Stephen A. Baccus (Stanford University)

1. Het Probleem

Bestaande methoden voor het interpreteren van neurale netwerken (zowel biologisch als kunstmatig) focussen voornamelijk op activaties in de verborgen lagen. Hoewel deze methoden patronen kunnen identificeren die correleren met menselijk interpreteerbare concepten, beantwoorden ze niet de fundamentele causale vraag: Hoe dragen interne componenten actief bij aan het uiteindelijke netwerk-uitvoer?

Beperking van activatie-analyse: Activaties tonen alleen het "receptieve veld" (sensitiviteit voor input), maar niet het "projectieve veld" (effect op output). Een sterk actieve eenheid kan bijvoorbeeld inhiberend werken op de output, wat niet zichtbaar is in de activatie zelf.
Gebrek aan groepsdynamiek: Bestaande causale methoden (zoals ablaties of perturbaties) analyseren vaak individuele eenheden. Ze missen echter inzicht in hoe groepen eenheden gecoördineerd samenwerken om specifieke uitkomsten te genereren.
Doel: Een raamwerk ontwikkelen dat de causale bijdrage van verborgen neuronen direct kwantificeert en de georganiseerde "motieven" (modes) blootlegt die samen de netwerkoutput construeren.

2. Methodologie: CODEC (Contribution Decomposition)

De auteurs introduceren CODEC, een methode die neurale netwerkberekeningen ontbindt in spaarzame motieven van neuronale bijdragen. Het proces bestaat uit vier hoofdstappen:

Bijdrage-target (Contribution Target):
In plaats van alleen naar de logit van een klasse te kijken, definiëren de auteurs een scalair doel (bijv. de top-logit, de som van de top-k logits, of de entropie van de outputverdeling). Dit voorkomt ingewikkelde 3D-decomposities.
Bijdrage-algoritme (Contribution Algorithm):
De auteurs gebruiken geavanceerde attributiemethoden om de bijdrage van elke verborgen eenheid te berekenen.
- Ze gebruiken Integrated Gradients (IG) als standaardmethode, omdat deze de eigenschap van "completeness" heeft (de som van de bijdragen is gelijk aan de outputverandering).
- De bijdrage wordt berekend als een combinatie van het receptieve veld (input-sensitiviteit) en het projectieve veld (gradient naar de output).
- Voor convolutielaagjes wordt er ruimtelijk gesommeerd om één netto-bijdragewaarde per kanaal te krijgen. Deze waarden kunnen positief (excitatorisch) of negatief (inhibitorisch) zijn.
Decompositie van bijdragen (Contribution Decomposition):
Dit is de kerninnovatie. De matrix van bijdragen (kanalen $\times$ afbeeldingen) wordt ontbonden in een set van modi (modes) met behulp van een Sparse Autoencoder (SAE).
- De SAE leert een woordenboek van modi (dictionaries) en ladingen (loadings) per afbeelding.
- De ladingen worden gesparseerd (via drempelwaarden) om te zorgen dat elke afbeelding slechts door een klein aantal modi wordt gerepresenteerd.
- Dit onthult georganiseerde patronen van neuronale samenwerking die causaal relevant zijn voor de output.
Visualisatie in input-ruimte:
De auteurs koppelen de geselecteerde modi terug naar de inputafbeelding om te visualiseren welke visuele kenmerken (pixels) deze specifieke modi activeren.

3. Belangrijkste Resultaten

A. Evolutie van bijdragen in CNN's (ResNet-50)

Toename van spaarzaamheid en dimensionaliteit: Naarmate het netwerk dieper wordt, worden de bijdragen spaarzamer (minder kanalen zijn actief per beslissing) en hoger dimensionaal (meer unieke combinaties nodig om de output te verklaren) dan activaties.
Decorrelatie van positieve en negatieve effecten: In lagere lagen correleren positieve en negatieve bijdragen sterk binnen een kanaal. In diepere lagen decorreleren ze echter progressief. Dit suggereert dat het netwerk complexe mechanismen ontwikkelt waarbij specifieke kanalen zowel excitatorisch als inhibitorisch werken op verschillende manieren om output te verfijnen.
Superieure correlatie met klassen: De ontdekte bijdrage-modi correleren sterker met ImageNet-klassen dan activatie-modi of individuele kanalen, vooral in de tussengelegen lagen. Dit toont aan dat CODEC patronen vindt die direct causaal zijn voor de classificatie.

B. Controle en Manipulatie van Netwerkgedrag

Gerichte Ablatie en Behoud: Door kanalen te verwijderen (ablatie) of te behouden (preservatie) die behoren tot de meest correlerende bijdrage-modi voor een specifieke klasse, kunnen de auteurs de classificatie nauwkeurig sturen.
- Het verwijderen van slechts 2% van de meest relevante kanalen voor een klasse (bijv. "zwarte weduwe") vernietigt de classificatie voor die klasse, terwijl de prestaties voor andere klassen intact blijven.
- CODEC is effectiever dan op activaties gebaseerde methoden; het vereist minder kanalen om een doelklasse te ableren.

C. Toepassing op Biologische Netwerken (Retina)

CODEC werd toegepast op CNN-modellen die de activiteit van retinale ganglioncellen nabootsen.
De methode onthulde combinatorische acties van model-interneuronen.
Het identificeerde de bronnen van dynamische receptieve velden: wanneer meerdere modi een cel tegelijkertijd aandrijven, varieert het receptieve veld dynamisch (van center-surround tot georiënteerde patronen), wat overeenkomt met complexe visuele verwerking in het biologische systeem.

D. Toepassing op Vision Transformers (ViT)

CODEC werd succesvol toegepast op ViT-B. Hoewel de architectuur anders is (tokens in plaats van ruimtelijke pixels), bleek dat bijdragen spaarzamer zijn dan activaties.
Bijdrage-modi bleven effectiever voor gerichte perturbaties dan activatie-modi, wat aangeeft dat causale informatie ook in transformer-architecturen verborgen zit die niet zichtbaar is via standaard activatie-analyse.

4. Significatie en Impact

Nieuw Analytisch Unit: CODEC introduceert "bijdragemodi" als een informatieve eenheid van analyse, in plaats van alleen individuele neuronen of activatiepatronen.
Causaal Inzicht: Het biedt een principieel pad om te begrijpen hoe niet-lineaire berekeningen evolueren over hiërarchische lagen, door direct te kijken naar de causale stroom van input naar output.
Brug tussen Biologie en AI: De methode werkt zowel op kunstmatige netwerken (CNNs, ViTs) als op modellen van biologische systemen (retina), wat suggereert dat er universele principes zijn in hoe neurale netwerken informatie combineren en verwerken.
Controle en Veiligheid: De mogelijkheid om specifieke computationele paden te isoleren en te manipuleren, is cruciaal voor het bouwen van veiligere AI-systemen en het begrijpen van "black box" modellen.
Efficiëntie: De resultaten suggereren dat netwerkoutput kan worden begrepen als een relatief kleine set input-specifieke berekeningen, wat kan leiden tot efficiëntere architecturen en transfer learning.

Conclusie

CODEC verschuift de focus van "wat ziet het netwerk?" (activaties) naar "wat doet het netwerk?" (bijdragen). Door de decompositie van deze bijdragen in spaarzame, causale motieven, biedt het een rijk en interpreteerbaar raamwerk dat zowel de mechanistische werking van AI-modellen als de principes van biologische neurale verwerking dieper onthult.