Sintesi Tecnica: Scoperta di Astrazioni Causali Non Supervisionata

Definizione del Problema

Il paper affronta la sfida di scoprire astrazioni causali di alto livello direttamente da misurazioni di basso livello senza fare affidamento su ipotesi proposte da esperti. Mentre il lavoro esistente nell'interpretabilità meccanicistica e nell'astrazione causale segue ampiamente un paradigma di verifica delle ipotesi — in cui un esperto propone un candidato SCM (Modello Causale Strutturale) di alto livello per verificare se un sistema di basso livello (ad esempio, una Rete Neurale Profonda) lo implementi — questo approccio è costoso e impraticabile per sistemi che non sono pienamente compresi. Gli autori mirano a risolvere il problema complementare: apprendere un SCM di alto livello direttamente da osservazioni di basso livello in modo non supervisionato.

Metodologia

Framework Teorico: Factor DAGs e Struttura a Basso Rango

Gli autori sfruttano il concetto di Factor Directed Acyclic Graphs (f-DAGs), una famiglia di modelli in cui le variabili di basso livello sono parametrizzate da un piccolo numero di fattori latenti. Ciò si basa sull'assunto che la matrice di adiacenza $A$ del grafo causale di basso livello esibisca una struttura a basso rango (specificamente, rango booleano $m < n$).

• Fattorizzazione: La matrice di adiacenza di basso livello $A$ è decomposta in $A = Q \diamond R^\top$, dove $Q$ rappresenta gli archi dalle variabili osservate ai fattori latenti ($X \to Z$) e $R$ rappresenta gli archi dai fattori alle variabili ($Z \to X$).
• Astrazione Causale: Gli autori formalizzano la relazione tra l'SCM di basso livello ($L$) e l'SCM di alto livello ($H$) sui fattori latenti. Dimostrano che, se il sistema di basso livello è generato da un f-SCM, l'SCM collassato sui fattori costituisce una trasformazione uniforme dell'SCM di basso livello. Ciò significa che il modello di alto livello preserva il comportamento interventistico del sistema di basso livello sotto specifiche mappe di stato e di intervento.

Identificabilità e l'Assunto dell'Ancora (Anchor Assumption)

Un contributo critico è l'instaurazione delle condizioni in cui questi fattori latenti siano identificabili.

• L'Assunto dell'Ancora: Ispirandosi al topic modeling, gli autori introducono la condizione di "ancora". Per ogni fattore latente $Z$, deve esistere almeno una in-ancora (una variabile di basso livello $X$ che è figlia solo di $Z$) e una out-ancora (una variabile di basso livello $X$ che è genitore solo di $Z$).
• Risultati di Identificabilità: Sotto questo assunto (insieme agli standard di sufficienza causale e di fedeltà/faithfulness), gli autori dimostrano che:
  1. La fattorizzazione booleana della matrice di adiacenza è unica a meno di una permutazione dei fattori.
  2. I meccanismi dell'f-SCM sono identificabili a meno di semplici riparametrizzazioni (specificamente trasformazioni affini se i meccanismi sono lineari).

Implementazione Pratica: UCAD

Gli autori propongono un algoritmo pratico, Unsupervised Causal Abstractions Discovery (UCAD), che formula il problema dell'apprendimento come un compito di ottimizzazione vincolata.

• Obiettivo: Il modello massimizza la verosimiglianza dei dati osservati sotto un modello di grafo parametrizzato, soddisfacendo al contempo specifici vincoli.
• Vincoli:
  1. Acyclicita (CDAG): Impone che il grafo appreso sia un DAG, adattato per la struttura a basso rango per garantire la blocco-triangularità superiore nei sistemi a strati.
  2. Ancore (Canchors): Impone l'esistenza di in-ancore e out-ancore per ogni fattore per garantire l'identificabilità.
  3. Sparsità: Un vincolo $L_1$ per prevenire l'overfitting.
• Trasformazione Approssimata: L'obiettivo di apprendimento è collegato all'obiettivo teorico tramite un limite di "trasformazione approssimata". Gli autori dimostrano che minimizzare l'obiettivo di apprendimento (log-verosimiglianza negativa) limita linearmente l'errore nell'approssimare l'astrazione causale di alto livello.

Risultati Chiave

Esperimenti Sintetici

Gli autori hanno validato UCAD su f-SCM con diverse complessità (meccanismi lineari/non lineari, strutture a strati/non a strati, livelli di rumore).

• Recupero dei Latenti: Il metodo ha recuperato con successo i fattori latenti reali. Quando i meccanismi erano lineari, il Coefficiente di Correlazione Media (MCC) tra i fattori appresi e quelli reali ha raggiunto una media di 0,83.
• Casi Non Lineari: In contesti completamente non lineari, l'MCC (Pearson) è sceso (come previsto a causa di trasformazioni biettive arbitrarie), ma il Randomized Dependence Coefficient (MCC-RDC) è rimasto elevato (0,70–0,79), indicando un recupero riuscito della struttura sottostante fino a una riparametrizzazione non lineare.
• Robustezza: Le prestazioni sono state ampiamente invarianti rispetto al numero di variabili (16–128) e di fattori (3–8).

Interpretabilità delle Reti Neurali

Il metodo è stato applicato a una rete neurale profonda (MLP) addestrata a risolvere un compito di divisibilità per 6.

• Recupero dei Concetti: Il modello ha identificato con successo i fattori corrispondenti ai concetti intuitivi di divisibilità per 2 ($c_2$) e divisibilità per 3 ($c_3$).
• Metriche: I fattori appresi hanno mostrato un forte allineamento con i concetti ipotizzati (MCC-RDC di 0,72 per i concetti positivi) rispetto ai controlli negativi (numeri primi irrilevanti), che hanno prodotto un allineamento vicino allo zero (0,07).
• Risultati Specifici: Un fattore appreso ha mostrato una correlazione di Pearson di 0,80 con il concetto di divisibilità per 2, suggerendo che la rete implementa costantemente questa logica.

Significato e Rivendicazioni

Il paper sostiene di fornire il primo framework teorico e pratico per la scoperta non supervisionata di astrazioni causali partendo esclusivamente da dati di basso livello.

• Contributo Teorico: Collega la scoperta causale a basso rango con la teoria dell'astrazione causale, dimostrando che gli assunti di basso rango inducono naturalmente astrazioni di alto livello valide. Stabilisce che l'assunto dell'ancora è sufficiente per rendere questi fattori latenti identificabili a meno di equivalenze banali.
• Contributo Pratico: Traduce queste garanzie teoriche in un obiettivo di apprendimento differenziabile (UCAD) che può essere applicato a sistemi reali come le DNN.
• Modestia: Gli autori riconoscono i limiti, notando che l'approccio attuale richiede la conoscenza del numero di fattori latenti e che scalare a sistemi più grandi e complessi (ad esempio, i grandi modelli linguistici) richiede ulteriori ricerche di ottimizzazione. Notano inoltre che, sebbene il metodo identifichi i fattori, l'interpretazione degli specifici euristiche apprese dalle DNN rimane impegnativa, poiché un basso accordo con un concetto potrebbe indicare una diversa strategia sottostante piuttosto che un fallimento del metodo.

Il lavoro si posiziona come un passo verso l'automazione della scoperta di strutture causali di alto livello in sistemi complessi, andando oltre la dipendenza dall'intuizione dell'esperto per la generazione di ipotesi.