Causal Neural Probabilistic Circuits

Il paper propone il Causal Neural Probabilistic Circuit (CNPC), un modello che integra predittori neurali con circuiti probabilistici causali per migliorare l'interpretabilità e l'accuratezza dei Concept Bottleneck Models gestendo correttamente le dipendenze causali durante le interventi, superando così i limiti dei metodi tradizionali che ignorano tali relazioni.

L'essenziale

Il Problema: Il Medico che non ascolta le conseguenze

Immagina di avere un assistente medico molto intelligente ma un po' testardo. Questo assistente (una rete neurale classica) guarda una radiografia e ti dice: "Il paziente ha la febbre e la tosse". Poi, basandosi su queste due cose, ti dice: "Diagnosi: Influenza".

Ora, immagina che tu sia un esperto umano e tu sappia che il paziente non ha la febbre (forse l'assistente ha sbagliato a leggere il termometro).

• Cosa fanno i modelli attuali (CBM classici): Tu correggi l'assistente dicendogli: "Ok, la febbre è assente". Lui aggiorna solo quella voce, ma continua a credere che la tosse sia lì e, peggio, ignora il fatto che senza febbre la tosse potrebbe essere causata da qualcos'altro. Quindi ti dà ancora la diagnosi "Influenza" o una diagnosi sbagliata perché non ha capito che le sue idee sono collegate tra loro. È come se correggessi un numero in un foglio di calcolo, ma le formule che dipendono da quel numero non si aggiornassero mai.

La Soluzione: Il "CNPC" (Il Medico con la Mappa della Causa)

Gli autori propongono un nuovo modello chiamato CNPC. Immagina questo modello come un duo perfetto:

1. L'Osservatore (La Rete Neurale): È bravo a guardare l'immagine e dire "Vedo una macchia rossa, vedo un punto blu". È veloce e potente.
2. Il Logico (Il Circuito Probabilistico Causale): Questo è il genio che ha in mano una mappa del mondo. Sa che se c'è il fumo (causa), allora c'è un'alta probabilità di cancro ai polni (effetto). Sa che se togli il fumo, la probabilità di cancro cambia.

Come funziona la magia? (L'Analogia della "Squadra di Esperti")

Quando l'assistente (l'Osservatore) sbaglia a dire che c'è la febbre, e tu lo correggi, il CNPC non si limita a cambiare quel numero. Fa una cosa intelligente:

1. Ascolta l'Esperto Umano: Tu dici: "Niente febbre".
2. Ascolta la Mappa (Il Logico): Il Logico dice: "Se non c'è febbre, allora la tosse non può essere influenza. Forse è allergia".
3. La Fusione (Product of Experts): Il CNPC unisce queste due voci come se fossero due esperti che votano.
   • Se l'immagine è chiara (tutto va bene), ascolta di più l'Osservatore.
   • Se l'immagine è confusa (c'è un errore o un attacco "adversarial"), ascolta di più la Mappa Causale.

In pratica, il CNPC usa una formula matematica (chiamata Product of Experts) che bilancia l'intuizione visiva con la logica delle cause ed effetti.

Perché è così importante? (I Test)

Gli autori hanno messo alla prova questo modello in situazioni difficili, come se fossero test di guida:

• Scenario Normale (Benigno): Tutto va liscio. Il CNPC funziona bene, quasi come gli altri, ma è leggermente più preciso.
• Scenario "Fuori Strada" (Out-of-Distribution): Qui è dove il CNPC brilla. Immagina di guidare con la nebbia fitta (dati trasformati o immagini ruotate) o sotto attacco (qualcuno che cerca di ingannare l'IA con piccoli disturbi invisibili).
  • Gli altri modelli vanno in panico: l'Osservatore non vede più nulla e sbaglia tutto.
  • Il CNPC, però, si affida alla sua Mappa Causale. Anche se non vede bene l'immagine, sa che "Se non c'è X, allora Y non può essere Z". Quindi, quando un umano corregge un dettaglio, il modello capisce immediatamente le conseguenze su tutto il resto e corregge la diagnosi finale con grande precisione.

In Sintesi

Il CNPC è come un'auto che ha sia una telecamera ad alta definizione (l'IA) sia un navigatore GPS con le regole del traffico (la causalità).

• Se la telecamera si sporca (errore o attacco), il navigatore ti dice: "Attenzione, se non vedi la strada, ricorda che a destra c'è un vicolo cieco".
• Se un passeggero (l'esperto umano) ti dice "Ferma l'auto qui", il navigatore ricalcola immediatamente tutto il percorso, non si limita a fermare la ruota anteriore.

Il risultato? Un'Intelligenza Artificiale che non solo è più intelligente, ma è anche più affidabile quando le cose vanno storte, permettendo agli umani di correggerla in modo efficace per prendere decisioni migliori, specialmente in campi delicati come la medicina.

Sommario tecnico

1. Il Problema: Limitazioni dei Concept Bottleneck Models (CBM)

I Concept Bottleneck Models (CBM) sono architetture progettate per migliorare l'interpretabilità delle reti neurali profonde. Funzionano in due fasi:

1. Un predittore neurale inferisce concetti umani comprensibili (es. "ha le piume", "è rosso") dall'input.
2. Un predittore di label (spesso lineare) mappa questi concetti sulla classe finale.

Un vantaggio chiave dei CBM è la capacità di intervento: un esperto umano può correggere un valore di concetto errato durante il test per migliorare la previsione finale. Tuttavia, i CBM tradizionali implementano l'intervento in modo ingenuo: sovrascrivono solo il concetto corretto lasciando invariati tutti gli altri.

• Il limite: Questo approccio ignora le dipendenze causali tra i concetti. Se un concetto cambia (es. "fuma"), la probabilità di altri concetti correlati (es. "cancro ai polmoni") dovrebbe cambiare di conseguenza secondo la struttura causale. I CBM standard non propagano queste modifiche, portando a distribuzioni di classe interventionali imprecise.
• La sfida: Modellare esattamente la distribuzione della classe sotto intervento richiede di calcolare la distribuzione congiunta dei attributi sotto intervento, un compito computazionalmente intrattabile per i modelli standard e difficile da ottenere senza conoscere la distribuzione generativa dell'input.

2. Metodologia: Causal Neural Probabilistic Circuits (CNPC)

Gli autori propongono il CNPC, un modello ibrido che combina la flessibilità dell'apprendimento profondo con la tracciabilità dell'inferenza causale.

Architettura

Il CNPC è composto da due moduli principali:

1. Predittore di Attributi Neurale: Una rete neurale (MLP) che predice le distribuzioni degli attributi $K$ a partire dall'input $X$.
2. Probabilistic Circuit (PC) Causale: Un circuito probabilistico compilato a partire da un grafo causale noto (o appreso) che definisce le relazioni tra gli attributi e la classe. Questo PC supporta inferenze probabilistiche e causali esatte e trattabili.

Meccanismo di Intervento e Product of Experts (PoE)

Il cuore dell'innovazione risiede nel modo in cui il CNPC gestisce gli interventi (indicati come $do(A_j = a^*_j)$):

• Invece di sovrascrivere semplicemente un attributo, il CNPC approssima la distribuzione degli attributi sotto intervento utilizzando un Product of Experts (PoE).
• Il PoE fonde due "esperti":
  1. La distribuzione predetta dal predittore neurale (con l'attributo intervenuto fissato al valore ground-truth).
  2. La distribuzione marginale interventional calcolata esattamente dal PC causale.
• La formula di approssimazione è:
  $$\tilde{P}(A_{1:K} | X) \propto [P_{neural}(A_{1:K} | X)]^{1-\alpha} \cdot [P_{causal}^{do}(A_{1:K})]^\alpha$$
  dove $\alpha \in [0, 1]$ è un peso di bilanciamento.
  • Se $\alpha$ è basso, si dà più peso all'evidenza dell'input (utile in distribuzione).
  • Se $\alpha$ è alto, si dà più peso alla struttura causale (cruciale quando il predittore neurale fallisce o in scenari Out-of-Distribution).

Infine, la distribuzione della classe viene calcolata combinando questa approssimazione PoE con la distribuzione condizionata della classe data dagli attributi, calcolata dal PC.

3. Contributi Chiave

1. Progettazione del Modello CNPC: Introduzione di un'architettura che integra un predittore neurale con un PC causale compilato, permettendo inferenze causali esatte e trattabili.
2. Analisi Teorica:
   • Dimostrazione che l'errore di previsione del CNPC (e del modello base NPC) è limitato superiormente dalla somma degli errori dei singoli moduli (predittore e PC).
   • Dimostrazione teorica che, sotto certe condizioni (in particolare quando il predittore neurale è impreciso o la distribuzione marginale causale è vicina alla verità), il CNPC si avvicina maggiormente alla distribuzione interventional ground-truth rispetto ai modelli esistenti.
3. Validazione Empirica: Dimostrazione che il CNPC supera i modelli baseline nell'efficienza degli interventi, specialmente in scenari complessi.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su cinque dataset (Asia, Sachs, MNISTAdd, cMNISTAdd, CelebA) in quattro scenari:

• Scenario Benigno (In-Distribution): Quando il predittore neurale è affidabile, il CNPC performa in modo simile o leggermente migliore rispetto ai baseline (Vanilla CBM, SCBM, C2BM, NPC), dimostrando che l'integrazione causale non danneggia le prestazioni standard.
• Scenario Out-of-Distribution (OOD): Il CNPC eccelle in tre scenari OOD critici:
  1. Trasformazioni di dati non viste (es. rotazione di 180°).
  2. Perturbazioni avversarie (attacchi PGD).
  3. Shift di correlazioni spurie (es. cifre correlate a colori specifici).
     In questi casi, dove il predittore neurale fallisce (accuratezza degli attributi crolla), il CNPC mantiene un'accuratezza del task significativamente superiore rispetto a tutti i baseline, sfruttando l'intervento umano e la struttura causale per correggere le previsioni.
• Efficienza dell'Intervento: L'accuratezza del task aumenta con il numero di attributi intervenuti per tutti i modelli, ma il CNPC mostra la crescita più rapida e i risultati finali più alti, specialmente quando $\alpha$ è impostato a valori più alti (dando più peso alla causalità).

5. Significato e Implicazioni

Il lavoro di Chen et al. è significativo per diversi motivi:

• Superamento del "Black Box": Offre un modo pratico per incorporare la conoscenza causale (spesso nota in domini come medicina) nei modelli di deep learning senza sacrificare la capacità di apprendere da dati grezzi.
• Robustezza: Dimostra che l'integrazione di strutture causali esplicite rende i modelli molto più robusti agli errori di predizione dei componenti neurali, un problema critico nelle applicazioni safety-critical.
• Interattività: Fornisce un framework teorico e pratico per rendere gli interventi umani più efficaci, permettendo agli esperti di correggere non solo un singolo dato, ma di propagare logicamente la correzione attraverso l'intero sistema decisionale.

In sintesi, il CNPC rappresenta un passo avanti verso modelli di IA che non sono solo interpretabili, ma anche causalmente robusti e capaci di collaborare efficacemente con esperti umani in scenari reali e complessi.