🤖 AI

Bucketing the Good Apples: A Method for Diagnosing and Improving Causal Abstraction

Dit artikel introduceert een diagnostische methode voor causale abstractie in neurale netwerken die de inputruimte partitioneert in goed interpreteerbare en onder-geïnterpreteerde gebieden op basis van uitwisselingsinterventies, waardoor onderzoekers kunnen pinpointen waar interpretaties falen en waardoor praktische heuristieken worden geboden om hoge-niveau causale hypothesen te verfijnen en te verbeteren.

Oorspronkelijke auteurs: Li Puyin, Jiyuan Tan, Ahmad Jabbar, Thomas Icard, Atticus Geiger

Gepubliceerd 2026-05-06

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Li Puyin, Jiyuan Tan, Ahmad Jabbar, Thomas Icard, Atticus Geiger

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slimme, maar lichtjes mysterieuze robotchef hebt. Je wilt precies begrijpen hoe hij beslist of een gerecht "heerlijk" is of "niet heerlijk". Je hebt een theorie (een hypothese) over hoe het werkt: misschien denk je dat hij gewoon controleert of het zout goed is.

Om je theorie te testen, probeer je een standaardmethode genaamd Causale Abstraktie. Dit is vergelijkbaar met het wisselen van ingrediënten tussen twee verschillende gerechten om te zien of de beslissing van de robot precies verandert zoals je theorie voorspelt. Als je theorie perfect is, zou het wisselen van het zout de beslissing altijd op een voorspelbare manier moeten veranderen.

Het probleem is dat in de echte wereld je theorie zelden 100% van de tijd perfect is. Meestal krijg je één enkele score, zoals "78% nauwkeurigheid". Deze score vertelt je dat de theorie "goed genoeg" is, maar het vertelt je niet waarom het faalt of waar het faalt. Is de robot in de war over pittig eten? Werkt het alleen op soepen maar faalt het op salades? Een enkel getal verbergt al die details.

Dit paper introduceert een nieuwe methode genaamd "Het Sorteren van de Goede Appels" om dit op te lossen. In plaats van naar de hele hoop fruit (alle gerechten) te kijken en er één gemiddelde score aan te geven, suggereren de auteurs om het fruit in verschillende emmers te sorteren op basis van hoe goed je theorie voor elk werkt.

Hier is hoe de methode stap voor stap werkt, met eenvoudige analogieën:

1. Het Probleem: De "Gemiddelde" Score is Misleidend

Stel je voor dat je een theorie test die zegt: "De robot beslist dat een gerecht goed is als het kaas bevat."

Scenario A: Je test het op 100 pizza's. Je theorie werkt perfect.
Scenario B: Je test het op 100 salades. Je theorie faalt volledig omdat salades meestal geen kaas bevatten.
De Oude Manier: Je mengt ze allemaal samen en zegt: "De theorie is 50% accuraat." Dit is nutteloos. Het vertelt je niet dat de theorie eigenlijk geweldig is voor pizza en terrible voor salade.

2. De Oplossing: Sorteren in Emmers

De auteurs stellen een recept met vier stappen voor om de invoer (de gerechten) te sorteren in "Goede Emmers" (waar de theorie werkt) en "Slechte Emmers" (waar het faalt).

Stap 1: Kies de Betrouwbare Gerechten
Kijk eerst alleen naar de gerechten die de robot daadwerkelijk goed had. Als de robot een fout maakte op een pizza, geven we om die pizza voor deze test niet; we geven alleen om de gevallen waar de robot zeker en correct was. Dit zorgt ervoor dat we onze theorie testen, niet het basisvermogen van de robot om te koken.

Stap 2: Vind de "Wissel"-Connectie
Vervolgens kijken de onderzoekers naar paren gerechten. Ze vragen: "Als ik het 'kaas'-deel van Pizza A neem en het in Salade B stop, verandert de beslissing van de robot dan op precies de manier die mijn theorie zegt dat het zou moeten?"

Als de wissel perfect werkt voor een paar, zijn ze "uitwisselings-consistent".
Als de wissel faalt, zijn ze dat niet.

Stap 3: De "Emmering" (Het Kernidee)
Nu tekenen ze een kaart. Ze verbinden gerechten die goed samenwerken met lijnen.

Als je een groep gerechten hebt waar elk enkel paar goed werkt bij het wisselen, vormt die groep een strakke cluster, of een "Emmer".
In ons voorbeeld zouden alle Pizza's één strakke emmer vormen (omdat het wisselen van kaas tussen pizza's altijd werkt).
De Salades zouden misschien een rommelige, losgekoppelde groep vormen waar niets goed wisselt.
De Ontdekking: De onderzoekers ontdekten dat de "Goede Emmer" vaak een verborgen regel onthult. Bijvoorbeeld, ze beseffen misschien: "Oh! De theorie 'Controleer op Kaas' werkt alleen als het gerecht een Pizza is. Als het gerecht een Salade is, kijkt de robot eigenlijk naar iets anders (zoals 'versheid')."

Stap 4: Een Detective Leren
Tenslotte trainen ze een simpel computerprogramma (een classifier) om naar een nieuw gerecht te kijken en te raden in welke emmer het hoort.

Hoort het bij de "Pizza-Emmer" (waar de kaastheorie werkt)?
Of bij de "Salade-Emmer" (waar de kaastheorie faalt)?
Als het programma dit nauwkeurig kan doen, bewijst het dat het verschil tussen de emmers echt en structureel is, en niet slechts een willekeurige fluke.

Wereldwijde Voorbeelden uit het Paper

De auteurs testten dit op drie verschillende "keukens" (taken):

Het Logica Raadsel (Toy Taak):
Ze hadden een model dat een wiskundig-achtig logica-probleem oplost. Hun initiële theorie was te simpel. Door de invoer te bucketen, realiseerden ze zich dat het model eigenlijk een twee-staps proces gebruikte: eerst één voorwaarde controleren, dan een andere. De bucketing hielp hen om de volledige, correcte logica stap voor stap te "reverse engineeren", waardoor een vaag idee veranderde in een precieze kaart van hoe het model denkt.
Het "Wie Zei Wat?" Spel (Entiteit Binding):
Stel je een verhaal voor met veel personages. Het model moet onthouden wie wat deed. De onderzoekers dachten dat het model gewoon keek naar de "positie" van de naam in de zin.
- Het Resultaat: De bucketing toonde aan dat de theorie alleen werkte voor namen aan het begin of het einde van het verhaal. Voor namen in het midden raakte het model in de war. De "Slechte Emmer" onthulde dat het model worstelt met het midden van lange lijsten, een nuance die de oude "gemiddelde score" miste.
De Taal Mixer (Feitelijke Herinnering):
Ze probeerden het model te leren "Taal" (bijv. Engels vs. Spaans) te scheiden van andere feiten (zoals "Land").
- Het Resultaat: De methode toonde aan dat de "Taal-detector" van het model eigenlijk gewoon een "Engels/Spaans-detector" was. Het werkte geweldig voor Engelse en Spaanse invoer, maar faalde volledig voor andere talen. De bucketing onthulde dat het model geen algemeen "Taal"-concept had geleerd; het had gewoon twee specifieke talen onthouden.

De Grote Conclusie

Het paper stelt dat we niet zomaar een enkele "goed/slecht"-score moeten accepteren voor hoe goed we een AI begrijpen. In plaats daarvan moeten we de wereld van de AI partitioneren.

Door de invoer te sorteren in "Goede Appels" (waar de theorie standhoudt) en "Slechte Appels" (waar het breekt), kunnen we:

Diagnostiseren precies waar een theorie faalt.
Ontdekken verborgen variabelen of stappen die het model gebruikt waarvan we niets wisten.
Verbeteren onze theorieën door de inzichten uit verschillende emmers te combineren.

Het verandert het proces van het begrijpen van AI van een vaag "het is ongeveer 70% goed" in een precieze, constructieve kaart van precies hoe de machine denkt.

Technische Samenvatting: Het Indelen van de Goede Appels

Probleemstelling

Causale abstractie is een rigoureus kader voor mechanistische interpretabiliteit dat evalueert of een hoog-niveau causaal model ( $H$ ) een laag-niveau neurale netwerken ( $L$ ) nauwkeurig abstracteert onder contrafactuele interventies. Deze evaluatie berust doorgaans op Interchange Intervention Accuracy (IIA), een scalair maatstaf dat de overeenkomst samenvat tussen het gedrag van het laag-niveau model onder interventie en de voorspellingen van het hoog-niveau model.

Het artikel identificeert een kritieke beperking in de huidige stand van de techniek: IIA is een globale samenvattende statistiek. Hoewel het aangeeft of een hypothese over het algemeen trouw is, faalt het om te onthullen waar in de inputruimte de hypothese slaagt of faalt. Intermediaire IIA-scores zijn bijzonder moeilijk te interpreteren en bieden weinig richtlijnen voor het verfijnen van een hypothese die slechts gedeeltelijk correct is. Bovendien zijn bestaande workflows grotendeels evaluerend in plaats van constructief; ze kunnen diagnosticeren dat een hypothese imperfect is, maar bieden geen mechanisme om deze te verbeteren of ontbrekende tussenvariabelen te ontdekken.

Methodologie

De auteurs stellen een diagnostische pijplijn van vier stappen voor die de eenheid van analyse verschuift van een globale score naar de structuur van de inputruimte. Het kernidee is om de inputruimte te partitioneren in "goed-geïnterpreteerde" regio's (doel-emmers) en "onder-geïnterpreteerde" regio's op basis van paarsgewijze interchange-interventie-gedrag.

1. Formalisering: Interchange-consistente Subsets

De methode formaliseert het concept van een Interchange-consistent Paar: twee inputs $i_1, i_2$ zijn consistent als het wisselen van hun interne representaties outputs oplevert die in beide richtingen overeenkomen met de hoog-niveau contrafactuele voorspellingen.

Interchangeerbaarheidsgrafiek: De inputruimte wordt gemodelleerd als een grafiek waarbij hoekpunten inputs zijn en randen interchange-consistente paren verbinden.
Doel-emmers: Een subset van inputs wordt beschouwd als een "doel-emmer" als deze een clique vormt (of een hoge-dichtheid $\gamma$ -quasi-clique) in deze grafiek. Binnen deze emmers is de abstractie bijna perfect; tussen emmers faalt deze.

2. De Diagnostische Pijplijn van Vier Stappen

De auteurs concretiseren dit kader in een praktisch recept:

Taak en Inputruimte Specificeren: Definieer een taak waarbij het laag-niveau model $L$ betrouwbaar presteert. De analyse wordt beperkt tot de subset van correcte voorspellingen ( $I_{correct}$ ) om interpretabiliteitsfouten te isoleren van taakfouten.
Een Kandidaat-uitlijning Vinden: Identificeer een kandidaat-uitlijning $\Pi$ tussen een hoog-niveau variabele en een laag-niveau feature met standaardmethoden (bijv. Distributed Alignment Search (DAS), full-vector patching). Deze stap levert vaak intermediaire IIA-scores op die verdere diagnose motiveren.
De Inputruimte Indelen: Construeer de interchangeerbaarheidsgrafiek over $I_{correct}$ . Zoek naar dichte quasi-cliques (doel-emmers) waar de abstractie geldt. Het overige deel van de ruimte vormt de "andere emmer". Deze stap lokaliseert specifieke faalmodi.
Generaliseren en Karakteriseren: Train een classifier om lidmaatschap van de emmer te voorspellen voor ongezette inputs. De classifier gebruikt ofwel hand-gelabelde features of model-interne features (bijv. Sparse Autoencoder (SAE) activeringen) om te bepalen of de ontdekte partitionering een stabiele structurele grens weerspiegelt in plaats van een artefact van de eindige steekproef.

Belangrijkste Bijdragen

Diagnostische Verschuiving: Het artikel verplaatst causale abstractie van een puur globale evaluatie naar een diagnostisch hulpmiddel dat onthult waar een interpretatie werkt en waar deze faalt.
Constructieve Verfijning: Door de structuur van goed-geïnterpreteerde versus onder-geïnterpreteerde regio's te analyseren, biedt de methode heuristieken voor het verbeteren van interpretaties. Het kan ontbrekende onderscheidingen in een hoog-niveau hypothese identificeren, ongemodelleerde tussenvariabelen ontdekken en gedeeltelijke interpretaties combineren.
Recursieve Hypothese-ontdekking: De pijplijn ondersteunt een iteratief proces waarbij een ruwe hypothese wordt verfijnd tot een fijnkorreliger causaal model door de bucketing-procedure recursief toe te passen op de nieuw ontdekte faalmodi.

Experimentele Resultaten

De auteurs valideren de methode in drie settings van toenemende complexiteit:

Toy Logica Taak:
- Opzet: Een fine-tuned GPT-2-small model lost een logica-taak op $o_5 = (o_1 \land o_2) \lor o_3$ .
- Resultaat: Beginnen met een hypothese die alleen de outputvariabele $o_5$ bevat, identificeerde de pijplijn een uitlijning met intermediaire IIA. Bucketing onthulde dat de uitlijning alleen trouw was wanneer $o_1 \land o_2$ onwaar was.
- Verfijning: Door de ontbrekende tussenvariabele $o_4 = o_1 \land o_2$ te promoveren en de diagnose opnieuw uit te voeren, herstelden de auteurs recursief de volledige hoog-niveau causale hiërarchie ( $o_1, o_2, o_3 \to o_4 \to o_5$ ), wat aantoont dat het model de beoogde factorisatie gebruikt in plaats van een extensioneel equivalent alternatief.
Entiteit Binding Taak:
- Opzet: Met Gemma-2-2B-Instruct betreft de taak het ophalen van entiteiten uit getemplateerde groepen op basis van een gevraagde groepspositie ( $q_{group}$ ).
- Resultaat: Een positionele hypothese toonde een U-vormige uitlijningscurve (hoge trouw aan de randen van de sequentie, laag in het midden). Bucketing isoleerde deze regio's automatisch zonder handmatige inspectie.
- Generalisatie: Classifiers getraind op interne SAE-features generaliseerden deze grens succesvol naar ongezette inputs, met een IIA van 98% op de doel-emmer, wat bevestigt dat het onderscheid is gecodeerd in de representaties van het model.
Verstrengeld Feitelijk Herinneren (RAVEL Benchmark):
- Opzet: Het isoleren van het LANGUAGE-attribuut van verstrengelde attributen (bijv. COUNTRY, TIMEZONE) in Llama-3.1-8B met Multi-task DAS (MDAS).
- Resultaat: Ondanks dat MDAS is ontworpen voor disentangling, was de globale IIA laag (14,3%). Bucketing onthulde dat de geleerde deelruimte geen algemene abstractie van "taal" was, maar de inputruimte in elkaar liet storten tot grove, taalspecifieke clusters (bijv. Engelse en Spaanse emmers met hoge IIA, maar lage cross-taal IIA).
- Inzicht: Dit blootlegde een structurele mismatch waarbij de representatie binnen-taal structuur behield, maar faalde bij cross-taal interchangeabiliteit.

Betekenis en Claims

Het artikel claimt dat het partitioneren van de inputruimte een cruciale stap is naar meer precieze, constructieve en schaalbare mechanistische interpretabiliteit.

Van Evaluatie naar Constructie: De methode transformeert "imperfecte" abstracties naar actievolle diagnostische objecten, waardoor onderzoekers kunnen bewegen van post-hoc evaluatie naar de constructieve ontdekking van hoog-niveau hypothesen.
Schaalbaarheid: De aanpak blijkt breed bruikbaar over verschillende modelgroottes (fine-tuned en vooraf getraind) en uitlijningsmethoden (DAS, MDAS, patching).
Beperkingen: De auteurs merken bescheiden op dat de methode afhankelijk is van een voorafgaande taakconstrual en kandidaat-abstractie (het is een gestructureerde programmazoektocht, geen onbeperkte automatische interpretatie) en zich momenteel richt op hypothesen met één variabele. Zij suggereren dat toekomstig werk zich moet richten op multi-variabele interacties en grotere inputruimten.

Het artikel concludeert dat onderzoekers door "de goede appels in te delen" de specifieke voorwaarden kunnen identificeren waaronder causale abstracties gelden, waardoor abstractiefouten worden omgezet in bewijs voor het verfijnen en ontdekken van de onderliggende mechanismen van neurale netwerken.