Causal Neural Probabilistic Circuits

Dit paper introduceert Causal Neural Probabilistic Circuits (CNPC), een model dat conceptbottleneck-architecturen combineert met causale probabilistische circuits om causale afhankelijkheden tussen concepten te respecteren en zo de nauwkeurigheid te verbeteren bij interventies.

De kern

Het Probleem: De "Blinde" Expert

Stel je voor dat je een zeer slimme, maar soms verwarde AI-arts hebt. Deze arts kijkt naar een patiënt (de invoer) en maakt een diagnose (de uitkomst). Om te begrijpen waarom hij tot die diagnose komt, gebruiken we een speciaal type model genaamd een Concept Bottleneck Model (CBM).

In plaats van direct te zeggen "Het is longkanker", denkt de AI eerst in stappen:

1. "Is de patiënt een roker?"
2. "Heeft de patiënt hoestklachten?"
3. "Is er een tumor zichtbaar?"

Dit is geweldig omdat een menselijke arts kan ingrijpen. Als de AI denkt dat de patiënt niet rookt, maar de menselijke expert weet dat hij dat wel doet, kan hij de AI corrigeren: "Nee, hij rookt wel!" De AI moet dan zijn diagnose aanpassen.

Maar hier zit de addertje onder het gras:
Standaard AI-modellen zijn als een groep mensen die in aparte kamers werken. Als je de AI vertelt: "Hij rookt wel", dan past de AI alleen die ene zin aan. Hij vergeet dat roken ook de kans op hoestklachten en tumoren beïnvloedt. Hij verandert die andere antwoorden niet, terwijl dat wel logisch zou moeten zijn. Het is alsof je iemand vertelt dat het regent, maar je vergeet te zeggen dat de grond dan ook nat wordt.

De Oplossing: CNPC (De Slimme Regisseur)

De onderzoekers van dit papier hebben een nieuwe oplossing bedacht: CNPC (Causal Neural Probabilistic Circuits).

Stel je CNPC voor als een slimme regisseur in een theaterstuk. Deze regisseur heeft twee helpers:

1. De Acteur (Het Neuraal Netwerk): Deze kijkt naar de patiënt en zegt: "Ik denk dat hij rookt, maar ik ben niet 100% zeker." Hij is goed in het zien van details, maar kan soms dwalen, vooral als de patiënt er anders uitziet dan normaal (bijvoorbeeld door een rare hoed of slechte foto).
2. De Regieboek (De Causale Circuit): Dit is een boek met de regels van de wereld. Het zegt: "Als iemand rookt, is de kans op longkanker hoger. Als iemand rookt, is de kans op hoest ook hoger." Dit boek is onfeilbaar als het gaat om de relaties tussen dingen, maar het kan niet zelf naar de patiënt kijken.

Hoe werkt het samen?
Wanneer de menselijke arts ingrijpt en zegt: "Hij rookt wel!", gebeurt er iets magisch:

• De Acteur zegt: "Oké, hij rookt. Maar ik ben nog steeds onzeker over de rest."
• De Regie zegt: "Als hij rookt, dan moet de kans op hoest en longkanker automatisch omhoog gaan, volgens de regels van de natuur."

CNPC combineert deze twee stemmen. Het luistert naar de Acteur voor de feiten, maar gebruikt de Regie om de gevolgen van die feiten te berekenen. Als de Acteur het mis heeft (bijvoorbeeld omdat de foto erg wazig is), luistert CNPC meer naar de Regie. Als de Acteur het perfect heeft, luistert CNPC meer naar de Acteur.

Waarom is dit zo belangrijk?

In de echte wereld gebeuren er vaak rare dingen die AI niet kent:

• Onbekende veranderingen: Een foto is 180 graden gedraaid.
• Hackers: Iemand heeft de foto een beetje aangepast om de AI te misleiden.
• Valse schijn: Een AI denkt dat een witte hond een kat is omdat hij vaak witte katten ziet, maar dit is een "vals verband".

In deze situaties faalt de "Acteur" (de AI die naar de foto kijkt) vaak. De standaard AI-modellen blijven dan vastzitten in hun fouten, zelfs als je ze corrigeert.

CNPC daarentegen is als een veerkrachtige regisseur. Zelfs als de Acteur door de "hackers" of de "wazige foto" in de war raakt, weet de Regie (de causale regels) nog steeds hoe de wereld werkt. Door de twee te mixen, kan CNPC zijn diagnose veel beter corrigeren dan de oude modellen.

De Resultaten in het Kort

De onderzoekers hebben dit getest op vijf verschillende "ziekten" (datasets), variërend van medische data tot cijfers en gezichten.

• In een rustige wereld: CNPC werkt net zo goed als de beste modellen.
• In een chaotische wereld (met hackers of rare foto's): CNPC springt eruit. Het maakt veel minder fouten dan de andere modellen, vooral als er ingegrepen wordt.

De Kernboodschap

Dit onderzoek laat zien dat we AI niet alleen moeten laten "kijken" (zoals een camera), maar ook moeten laten "redeneren" (zoals een mens met kennis van oorzaak en gevolg).

De analogie in één zin:
Standaard AI is als een student die een antwoord op een vraag raadt; CNPC is als een student die het antwoord raadt, maar die ook een formuleboek bij zich heeft om te controleren of dat antwoord logisch past bij de andere feiten. Als de student het mis heeft, redt het formuleboek de dag.

Technische samenvatting

Titel: Causal Neural Probabilistic Circuits (CNPC)

Auteurs: Weixin Chen en Han Zhao (University of Illinois Urbana-Champaign)

---

1. Het Probleem

Concept Bottleneck Models (CBM's) zijn een populaire architectuur om de interpretatie van diepe neurale netwerken te verbeteren. Ze voorspellen eerst menselijk begrijpelijke concepten (bijv. "is rood", "heeft een snavel") en gebruiken deze vervolgens om de eindklasse te voorspellen. Een belangrijk voordeel van CBM's is dat ze interventies toelaten: een domeinexpert kan een verkeerd voorspeld concept corrigeren tijdens het testen om de uiteindelijke voorspelling te verbeteren.

Echter, traditionele CBM's hanteren een naïeve interventiestrategie:

• Ze overschrijven alleen de gecorrigeerde conceptwaarde.
• Ze laten de voorspellingen van alle andere concepten ongewijzigd.
• Het tekortkoming: Dit negeert de causale afhankelijkheden tussen concepten. Als een expert corrigeert dat een patiënt rookt, zou dit de waarschijnlijkheid van longkanker moeten verhogen en mogelijk andere gerelateerde concepten beïnvloeden. Traditionele CBM's propageren deze causale gevolgen niet, wat leidt tot suboptimale interventies.

Het modelleren van de juiste verdeling van klassen onder interventie is echter moeilijk omdat de verdeling van attributen onder interventie ($P(do(A)|X)$) niet direct beschikbaar is via standaard CBM-modules.

2. Methodologie: Causal Neural Probabilistic Circuits (CNPC)

De auteurs stellen CNPC voor, een hybride model dat een neurale attributenpredictor combineert met een Causale Probabilistische Schakeling (Causal Probabilistic Circuit - PC).

Architectuur

1. Neurale Attributenpredictor: Een neuraal netwerk dat de verdeling van attributen $P_\theta(A_k | X)$ voorspelt op basis van de input $X$.
2. Causale PC: Een probabilistische schakeling die is gecompileerd vanuit een bekend causaal graaf (dat de relaties tussen attributen en de klasse label $Y$ beschrijft). Deze schakeling ondersteunt exacte en tractabele probabilistische en causale inferentie.

Interventie Strategie (Product of Experts)

Wanneer een interventie plaatsvindt op een attribuut $A_j$ (bijv. het vastzetten op de grondwahrheid), moet het model de verdeling van de andere attributen en de klasse label aanpassen. CNPC benadert de onberekenbare term $P(do(A)|X)$ met een Product of Experts (PoE):

$$\tilde{P}^{do}_\alpha(A|X) \propto \left( P^{do}_\theta(A|X) \right)^{1-\alpha} \cdot \left( P^{do}_w(A) \right)^\alpha$$

• Expert 1: De neurale predictor, waarbij het geïntervenieerde attribuut is "geclamped" op de grondwahrheid, maar andere attributen nog steeds op input $X$ zijn gebaseerd.
• Expert 2: De causale PC, die de exacte interventionele marginaal $P^{do}_w(A)$ berekent door te redeneren over de "gemutilerde graaf" (de causale graaf zonder inkomende randen naar het geïntervenieerde knooppunt).
• $\alpha$ (Balansgewicht): Een parameter die bepaalt hoe sterk het model vertrouwt op de causale structuur versus de input-afhankelijke voorspelling.
  • In "benigne" situaties (data komt overeen met training) is $\alpha$ laag (vertrouwen op input).
  • In "Out-of-Distribution" (OOD) situaties (bijv. adversariale aanvallen) is $\alpha$ hoog (vertrouwen op de causale structuur).

De uiteindelijke klasseverdeling wordt vervolgens berekend door deze PoE-benadering te combineren met de conditionele verdeling $P_w(Y|A)$ uit de PC.

3. Belangrijkste Bijdragen

1. Nieuwe Architectuur (CNPC): Een model dat neurale voorspellingen integreert met een causaal gecompileerde PC om exacte causale inferentie mogelijk te maken tijdens interventies.
2. Theoretische Analyse: De auteurs leiden een compositional error bound af. Ze tonen aan dat de fout van CNPC onder interventie wordt begrensd door de som van de fouten van de attributenpredictor en de PC. Ze bewijzen theoretisch dat CNPC onder bepaalde voorwaarden (vooral wanneer de attributenpredictor onnauwkeurig is) dichter bij de ware interventionele verdeling komt dan eerdere methoden zoals NPC (Neural Probabilistic Circuits).
3. Empirische Validatie: Uitgebreide experimenten op vijf datasets (inclusief medische, biologische en beeldgegevens) tonen aan dat CNPC superieur is, vooral in uitdagende scenario's.

4. Resultaten

De prestaties werden getest in vier settings: één benigne (in-distribution) en drie Out-of-Distribution (OOD) scenario's (ongezien data-transformaties, adversariale perturbaties, en spurious correlations).

• Algemene Trend: Voor alle modellen neemt de taaknauwkeurigheid toe naarmate het aantal geïntervenieerde attributen toeneemt, wat de effectiviteit van interventies bevestigt.
• Benigne Setting: CNPC presteert vergelijkbaar met of licht beter dan baselines (zoals Vanilla CBM, C2BM, NPC).
• OOD Settings (Kernresultaat):
  • Wanneer de neurale predictor faalt door rotaties, adversariale aanvallen of spurious correlations, daalt de nauwkeurigheid van baselines drastisch.
  • CNPC behoudt zijn prestaties en overtreft alle baselines aanzienlijk (tot 24% verbetering op CelebA met twee interventies).
  • Dit komt doordat CNPC, via de PC en een hoge $\alpha$, de causale relaties gebruikt om de voorspelling te corrigeren, zelfs als de input-gebaseerde attributenverdeling onbetrouwbaar is.
• Ablatie Study: De parameter $\alpha$ is cruciaal. Een te lage $\alpha$ in OOD-situaties leidt tot slechte prestaties, terwijl een te hoge $\alpha$ in benigne situaties ook suboptimaal kan zijn. Een adaptieve selectie van $\alpha$ wordt voorgesteld als toekomstig werk.

5. Significantie en Impact

Dit werk is significant omdat het een praktische oplossing biedt voor het causale redeneren in neurale netwerken zonder de flexibiliteit van deep learning volledig op te geven.

• Betrouwbaarheid: Het maakt modellen robuuster tegen distributieveranderingen, wat essentieel is voor veiligheidskritische toepassingen zoals medische diagnose.
• Efficiëntie: Het maximaliseert de waarde van dure menselijke interventies door causale gevolgen automatisch door te geven aan andere concepten.
• Interpretatie: Het biedt een brug tussen neurale netwerken en symbolische causale modellen, waardoor beslissingen niet alleen interpreteerbaar zijn, maar ook causaal correct kunnen worden aangepast.

Kortom, CNPC lost het fundamentele probleem op van het negeren van causale afhankelijkheden bij interventies in Concept Bottleneck Models, waardoor ze veel effectiever worden in realistische, onzekere omgevingen.