🤖 machine learning

Unsupervised Causal Abstractions Discovery

Dit artikel behandelt de uitdaging van ongesuperviseerde ontdekking van causale abstractie door aan te tonen dat laag-rang causale grafen identificeerbare hoog-niveau latente variabelen induceren en door een praktische doelstelling voor te stellen om deze hoog-niveau structurele causale modellen direct uit laag-niveau metingen te leren.

Oorspronkelijke auteurs: Théo Saulus, Simon Lacoste-Julien, Dhanya Sridhar

Gepubliceerd 2026-06-19

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Théo Saulus, Simon Lacoste-Julien, Dhanya Sridhar

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert te begrijpen hoe een enorm, complex orkest een symfonie speelt. Je hebt een opname van elk afzonderlijk instrument (de "laagniveau"-data: 100 violen, 50 fluiten, 20 drums). Maar het luisteren naar 170 individuele tracks is overweldigend. Je wilt de muziek zelf begrijpen—de melodie, de harmonie, het ritme (de "hoogniveau"-concepten).

Normaal gesproken, om de muziek te begrijpen, zou een dirigent (een expert) raden: "Ik denk dat de violen de melodie spelen," en dan de opname controleren om te zien of hij gelijk heeft. Dit is de oude manier: Hypothesetoetsing. Je hebt een gok nodig voordat je kunt controleren.

Dit artikel stelt een andere vraag: Kunnen we de "muziek" automatisch ontdekken door alleen naar de instrumenten te luisteren, zonder dat er eerst een dirigent een gok hoeft te geven?

De auteurs zeggen "Ja," maar alleen als het orkest een specifiek, georganiseerd patroon volgt. Hier is hoe ze het doen, met behulp van eenvoudige analogieën:

1. Het Probleem: Te veel variabelen, te weinig aanwijzingen

In complexe systemen (zoals een brein of een diep lerend computerprogramma) zijn er duizenden kleine onderdelen (neuronen of variabelen) die met elkaar interageren. Als je probeert in kaart te brengen hoe elk onderdeel met elk ander onderdeel communiceert, is het een chaos. Het is alsof je probeert het plot van een film te begrijpen door elke individuele filmframe afzonderlijk te bekijken zonder het verhaal te zien.

2. Het Geheime Ingrediënt: De "Low-Rank" Structuur

De auteurs gaan ervan uit dat het systeem een verborgen eenvoud bezit. Ze noemen dit een "Low-Rank" structuur.

De Analogie: Stel je een koor voor waarbij de zangers niet allemaal willekeurige noten zingen. In plaats daarvan zijn ze gegroepeerd in 5 duidelijke secties (Sopranen, Altens, Tenoren, Baritons, Bassen).

Het laagniveau-perspectief ziet 100 individuele stemmen.
Het hoogniveau-perspectief ziet slechts 5 secties.

Het artikel gaat ervan uit dat veel individuele stemmen slechts kopieën of variaties zijn van deze 5 secties. Als je de 5 secties kent, kun je het hele koor verklaren. In wiskundige termen kan het complexe web van verbindingen tussen 100 mensen worden gecomprimeerd naar een kleiner web dat slechts 5 groepen verbindt.

3. De Ontdekking: Het vinden van de "Ankers"

Hier wordt het lastige deel: als je alleen naar het koor luistert, hoe weet je dan welke zangers bij welke sectie horen? Misschien zijn de Sopranen gemengd met de Tenoren. Hoe scheid je hen?

De auteurs introduceren een regel genaamd de "Anchor Assumption" (Anker-aanname).

De Analogie: Stel je voor dat er in dit koor een paar "Super-Zangers" zijn.

De In-Anchor: Een zanger die alleen luistert naar de leider van de Sopranensectie en naar niemand anders.
De Out-Anchor: Een zanger die alleen zingt wat de leider van de Sopranensectie hem vertelt, en door niemand anders wordt beïnvloed.

Als je deze "Super-Zangers" (Ankers) in de data vindt, kun je hen als een kaart gebruiken. Omdat zij zo uniek verbonden zijn met één specifieke sectie, fungeren zij als een vuurtoren. Zodra je de vuurtoren hebt gevonden, kun je ontdekken welke andere zangers bij diezelfde sectie horen.

Het artikel bewijst dat als deze "Ankers" bestaan, je wiskundig kunt garanderen dat je de juiste hoogniveau-groepen (de 5 secties) zult vinden zonder dat je daarvoor eerst een gok hoeft te doen.

4. Het Resultaat: Een nieuwe manier om systemen te "sturen"

Zodra de computer deze hoogniveau-groepen heeft geleerd (de "Causale Abstractie"), kan hij het systeem beter begrijpen.

Oude manier: "Ik denk dat als ik de Sopranensectie verander, de melodie verandert. Laat me eens proberen 50 individuele zangers te veranderen om te zien of ik gelijk heb." (Langzaam, duur, vereist gokken).
Nieuwe manier: De computer heeft al begrepen: "Ah, de melodie wordt gecontroleerd door de 'Sopranengroep'." Nu, als je de melodie wilt veranderen, kun je direct ingrijpen op de "Sopranengroep".

Het artikel testte dit op twee zaken:

Fictieve Data: Ze creëerden een fictief systeem waarvan ze het antwoord kenden. De computer vond de verborgen groepen succesvol, wat bewees dat de wiskunde werkt.
Een Simpel Neuraal Netwerk: Ze trainden een computerprogramma om te controleren of een getal deelbaar is door 6. Het programma ontdekte dat het neurale netwerk in het geheim twee hoofdconcepten gebruikte: "Is het deelbaar door 2?" en "Is het deelbaar door 3?". Het vond deze hoogniveau-ideeën door simpelweg naar de laagniveau-wiskunde te kijken, zonder dat het verteld werd waar het naar moest zoeken.

Samenvatting

Dit artikel biedt een recept voor het automatisch vinden van de "grote plaatjes"-regels binnen een complex systeem.

Het gaat ervan uit dat het systeem is georganiseerd in enkele verborgen groepen (Low-Rank).
Het zoekt naar speciale "Anker"-signalen die die groepen uniek identificeren.
Als deze ankers bestaan, kan het wiskundig bewijzen dat het de juiste hoogniveau-structuur heeft gevonden.

Dit betekent dat we op een dag naar een complexe AI of een biologisch systeem kunnen kijken en kunnen zeggen: "Dit zijn de 5 belangrijkste concepten die het gebruikt," zonder dat een expert ons hoeft te vertellen wat die concepten zijn.

Technische Samenvatting: Ongecontroleerde Ontdekking van Causale Abstracties

Probleemstelling

Het artikel behandelt de uitdaging om hoogwaardige causale abstracties direct uit laag-niveau metingen te ontdekken zonder te vertrouieren op door experts voorgestelde hypothesen. Terwijl bestaand werk in mechanistische interpreteerbaarheid en causale abstractie grotendeels een hypothese-toetsingsparadigma volgt — waarbij een expert een kandidaat hoog-niveau Structureel Causaal Model (SCM) voorstelt om te verifiëren of een laag-niveau systeem (bijv. een Deep Neural Network) dit implementeert — is deze aanpak kostbaar en onhaalbaar voor systemen die niet volledig begrepen worden. De auteurs beogen het complementaire probleem op te lossen: het direct leren van een hoog-niveau SCM uit laag-niveau observaties op een ongecontroleerde wijze.

Methodologie

Theoretisch Kader: Factor DAGs en Low-Rank Structuur

De auteurs maken gebruik van het concept van Factor Directed Acyclic Graphs (f-DAGs), een familie van modellen waarbij laag-niveau variabelen worden geparametriseerd door een klein aantal latente factoren. Dit berust op de aanname dat de adjacency matrix $A$ van de laag-niveau causale graaf een low-rank structuur vertoont (specifiek een Booleaanse rang $m < n$ ).

Factorisatie: De laag-niveau adjacency matrix $A$ wordt gedecomposeerd in $A = Q \diamond R^\top$ , waarbij $Q$ de randen vertegenwoordigt van geobserveerde variabelen naar latente factoren ( $X \to Z$ ) en $R$ de randen vertegenwoordigt van factoren terug naar variabelen ( $Z \to X$ ).
Causale Abstractie: De auteurs formaliseren de relatie tussen het laag-niveau SCM ( $L$ ) en het hoog-niveau SCM ( $H$ ) over latente factoren. Ze bewijzen dat als het laag-niveau systeem wordt gegenereerd door een f-SCM, het gecomprimeerde SCM over de factoren een uniforme transformatie vormt van het laag-niveau SCM. Dit betekent dat het hoog-niveau model het interventionele gedrag van het laag-niveau systeem behoudt onder specifieke staat- en interventiemaps.

Identificeerbaarheid en de Anchor-aanname

Een cruciale bijdrage is het vaststellen van de voorwaarden waaronder deze latente factoren identificeerbaar zijn.

De Anchor-aanname: Geïnspireerd door topic modeling, introduceren de auteurs de "anchor"-conditie. Voor elke latente factor $Z$ moet er ten minste één in-anchor (een laag-niveau variabele $X$ die een kind is alleen van $Z$ ) en één out-anchor (een laag-niveau variabele $X$ die een ouder is alleen van $Z$ ) bestaan.
Identificeerbaarheidsresultaten: Onder deze aanname (samen met standaard causale sufficiëntie- en getrouwheidsaannames), bewijzen de auteurs:
1. De Booleaanse factorisatie van de adjacency matrix is uniek tot een permutatie van factoren.
2. De mechanismen van de f-SCM zijn identificeerbaar tot eenvoudige herparameterisaties (specifiek affine transformaties indien de mechanismen lineair zijn).

Praktische Implementatie: UCAD

De auteurs stellen een praktisch algoritme voor, Unsupervised Causal Abstractions Discovery (UCAD), dat het leerprobleem formuleert als een geoptimaliseerd taak met beperkingen.

Doelstelling: Het model maximaliseert de waarschijnlijkheid van geobserveerde data onder een geparametriseerd graafmodel terwijl het aan specifieke beperkingen voldoet.
Beperkingen:
1. Acyclicity (CDAG): Dwingt af dat de geleerde graaf een DAG is, aangepast voor de low-rank structuur om blok-boven-triangulariteit in gelaagde systemen te waarborgen.
2. Anchors (Canchors): Dwingt het bestaan van in-anchors en out-anchors af voor elke factor om identificeerbaarheid te garanderen.
3. Sparsity: Een $L_1$ -beperking om overfitting te voorkomen.
Benaderende Transformatie: De leerdoelstelling is gekoppeld aan het theoretische doel via een "benaderende transformatie"-grens. De auteurs tonen aan dat het minimaliseren van de leerdoelstelling (negatieve log-likelihood) lineair de fout in het benaderen van de hoog-niveau causale abstractie begrenst.

Belangrijkste Resultaten

Synthetische Experimenten

De auteurs hebben UCAD gevalideerd op synthetische f-SCMs met variërende complexiteiten (lineaire/niet-lineaire mechanismen, gelaagde/niet-gelaagde structuren, ruisniveaus).

Herstel van Latenten: De methode slaagde erin de grondwaarheid van de latente factoren te herstellen. Wanneer mechanismen lineair waren, bereikte de Mean Correlation Coefficient (MCC) tussen geleerde en ware factoren een gemiddelde van 0,83.
Niet-lineaire Casussen: In volledig niet-lineaire settings daalde de MCC (Pearson) (zoals verwacht door willekeurige bijectieve transformaties), maar de Randomized Dependence Coefficient (MCC-RDC) bleef hoog (0,70–0,79), wat duidt op succesvol herstel van de onderliggende structuur tot aan de niet-lineaire herparameterisatie.
Robuustheid: De prestaties waren grotendeels invariant voor het aantal variabelen (16–128) en factoren (3–8).

Interpretatie van Neurale Netwerken

De methode werd toegepast op een Deep Neural Network (MLP) dat getraind was om een deelbaarheid-door-6 taak op te lossen.

Conceptherstel: Het model identificeerde succesvol factoren die overeenkomen met de intuïtieve concepten van deelbaarheid door 2 ( $c_2$ ) en deelbaarheid door 3 ( $c_3$ ).
Metrieken: De geleerde factoren vertoonden een sterke uitlijning met de hypothetische concepten (MCC-RDC van 0,72 voor positieve concepten) vergeleken met negatieve controles (irrelevante priemgetallen), die een bijna nul-uitlijning vertoonden (0,07).
Specifieke Bevindingen: Eén geleerde factor vertoonde een Pearson-correlatie van 0,80 met het concept van deelbaarheid door 2, wat suggereert dat het netwerk deze logica consistent implementeert.

Betekenis en Claims

Het artikel claimt de eerste theoretische en praktische framework te bieden voor de ongecontroleerde ontdekking van causale abstracties uit enkel laag-niveau data.

Theoretische Bijdrage: Het overbrugt low-rank causale ontdekking met causale abstractietheorie, en bewijst dat low-rank aannames van nature geldige hoog-niveau abstracties induceren. Het stelt vast dat de "anchor-aanname" voldoende is om deze latente factoren identificeerbaar te maken tot triviale equivalentie.
Praktische Bijdrage: Het vertaalt deze theoretische garanties naar een differentieerbare leerdoelstelling (UCAD) die kan worden toegepast op real-world systemen zoals DNN's.
Bescheidenheid: De auteurs erkennen beperkingen, waarbij zij opmerken dat de huidige aanpak vereist dat het aantal latente factoren bekend is en dat het schalen naar grotere, complexere systemen (bijv. Large Language Models) verdere optimalisatieonderzoek vereist. Ze merken ook op dat hoewel de methode factoren identificeert, het interpreteren van de specifieke geleerde heuristieken door DNN's uitdagend blijft, aangezien een lage overeenkomst met een concept kan wijzen op een andere onderliggende strategie in plaats van een falen van de methode.

Dit werk positioneert zich als een stap naar het automatiseren van de ontdekking van hoog-niveau causale structuren in complexe systemen, voorbij de afhankelijkheid van expert-intuïtie voor het genereren van hypothesen.