Sintesi Tecnica: Spiegabilità degli LLM tramite Catene Controfattuali e Grafi Causali

Definizione del Problema

I Large Language Models (LLM) esibiscono capacità ampie, eppure i loro meccanismi di inferenza rimangono opachi. I fattori decisionali sono inosservabili e le spiegazioni generate spesso mancano di fedeltà (faithfulness), ponendo rischi in domini ad alto impatto come la medicina e il diritto. Inoltre, i metodi di interpretabilità esistenti (ad esempio, l'analisi dell'attenzione, l'attribuzione delle caratteristiche) offrono intuizioni correlazionali, ma non riescono a fornire l'evidenza causale necessaria per spiegazioni fedeli. Inoltre, l'interpretabilità meccanicistica si concentra su componenti a basso livello (neuroni, circuiti) che spesso non si allineano con i concetti di alto livello necessari agli stakeholder per la comprensione.

Gli attuali approcci causali negli LLM tipicamente modellano strutture del mondo reale (ad esempio, come il cambiamento del genere di un autore influenzi una previsione) o assumono un grafo causale fisso (concetti $\to$ testo $\to$ previsione). Esiste una lacuna critica nei metodi per il recupero del grafo causale di inferenza dell'LLM stesso: una struttura che mappi come un modello specifico organizza i concetti interpretabili dall'uomo per ridurre il testo in input a una previsione (testo $\to$ concetti $\to$ previsione). Un collo di bottiglia principale in questo recupero è la copertura dei dati; la scoperta causale affidabile richiede un campionamento denso di combinazioni di concetti, il che è spesso impossibile o non etico in contesti reali.

Metodologia

Gli autori propongono una pipeline a quattro fasi, completamente automatizzata e guidata dal modello, per costruire grafi causali a livello di concetto per compiti di classificazione. Il metodo utilizza lo stesso LLM target per estrarre concetti, rappresentare i dati e generare i controfatti necessari per una scoperta causale robusta.

1. Predizione dell'Etichetta

Le etichette di ground-truth nel dataset vengono sostituite con le predizioni dello stesso LLM target ($\hat{y}$). Ciò assicura che il grafo risultante rifletta il ragionamento interno del modello piuttosto che la verità del dataset.

2. Scoperta e Annotazione Discriminativa dei Concetti

Il framework identifica iterativamente un insieme di concetti interpretabili dall'uomo ($C$) che differenziano tra le classi predette.

• Estrazione: L'LLM propone concetti candidati basandosi su batch di testo e etichette predette.
• Filtraggio: I concetti vengono mantenuti solo se sono sia rilevanti (presenti nel testo) che discriminativi (allineati con un sottoinsieme stretto di classi, non con tutte o nessuna).
• Annotazione: Ogni testo in input viene mappato in un vettore di concetti $\phi(x)$, dove ogni concetto $c_i$ riceve un valore categorico che rappresenta il sottoinsieme di classi che il modello percepisce come supportato da esso.

3. Espansione dei Dati ispirata a MCMC

Per affrontare la scarsità di dati osservazionali nello spazio latente dei concetti, gli autori introducono una procedura di aumento controfattuale ispirata al Markov Chain Monte Carlo (MCMC).

• Processo: Partendo da un testo originale, l'algoritmo propone iterativamente perturbazioni testuali per spostare l'allineamento di specifici concetti verso o lontano dalle classi target.
• Criterio di Accettazione: Un controfatto proposto viene accettato solo se raggiunge lo spostamento concettuale inteso (allineamento target) e minimizza i cambiamenti non intenzionali ai concetti non target (effetti collaterali minimi).
• Raffinamento: Le proposte fallite subiscono un raffinamento ricorsivo, in cui l'LLM viene istruito per correggere specifiche violazioni.
• Risultato: Ciò genera un dataset più denso ($D_{mcmc}$) che copre diverse combinazioni di stati concettuali.

4. Scoperta Causale tramite $\sigma$-CG

Il dataset espanso e annotato viene fornito all'algoritmo $\sigma$-CG, un metodo di scoperta causale capace di gestire variabili discrete e potenzialmente strutture cicliche. Il grafo diretto risultante $G$ cattura il flusso causale dal testo in input, attraverso i concetti percepiti dall'LLM, fino alla previsione finale, con vincoli che assicurano che il testo sia una radice e la previsione un pozzo (sink).

Contributi Chiave

1. Paradigma Causale per l'Esplicabilità Globale: Il documento introduce un framework che mappa il ragionamento degli LLM in grafi causali su concetti interpretabli dall'uomo, andando oltre le spiegazioni locali centrate sull'input per arrivare a un resoconto globale del meccanismo di inferenza.
2. Aumento dei Dati ispirato a MCMC: Un algoritmo innovativo che genera controfatti per popolare densamente lo spazio latente dei concetti, superando il collo di bottiglia della copertura dei dati inerente alla scoperta causale per modelli black-box.
3. Protocollo di Valutazione: Un protocollo rigoroso per valutare la stabilità strutturale e la fedeltà predittiva in assenza di grafi di ragionamento ground-truth, dimostrando che i genitori causali scoperti sono predittori superiori dei nodi rispetto ad altri sottoinsiemi di concetti.

Risultati

Il framework è stato valutato su tre LLM (Gemini-2-Flash, Qwen3-14B, gpt-OSS-20B) attraverso tre compiti: Diagnosi di Malattie (sintetico), Analisi del Sentiment (IMDB) e LLM-as-a-Judge (Reddit).

• Fedeltà Predittiva: In tutti gli ambiti, i set di genitori del grafo hanno superato i sottoinsiemi di concetti casuali nella predizione sia dell'etichetta finale che degli stati concettuali intermedi. Nella maggior parte dei casi, i genitori basati sul grafo si sono classificati tra i primi 3 predittori, confermando che le strutture scoperte catturano dipendenze significative.
• Ragionamento Specifico del Modello: Nei compiti sintetici, diversi modelli hanno converguto su concetti esplicativi simili (recuperando le variabili di ground-truth). Tuttavia, sui dati naturalistici, i modelli hanno sviluppato euristiche latenti e topologie causali distinte, evidenziando che la selezione del modello richiede la comprensione non solo delle prestazioni, ma anche dell'allineamento del ragionamento.
• Convergenza e Stabilità: L'espansione MCMC ha dimostrato una convergenza distributiva, con la divergenza di Kullback-Leibler (KL) che si stabilizza mentre le catene si avvicinano al limite teorico inferiore di perfetta sovrapposizione. La stabilità strutturale è stata confermata dalla distanza di Hamming tra le topologie di grafi successive che è scesa a zero.
• Impatto dell'Aumento: L'espansione controfattuale ha migliorato significativamente l'accuratezza predittiva rispetto ai soli dati originali, provando la necessità della fase di aumento per una scoperta causale robusta.

Significato e Rivendicazioni

Il documento posiziona questo lavoro come un passo fondamentale verso l'esplicabilità a livello di concetto per gli LLM. Modellando il processo di inferenza come un grafo causale su concetti interpretabili dall'uomo, gli autori sostengono che questa rappresentazione offre una forma di interpretabilità più accessibile e azionabile sia per gli sviluppatori che per gli esperti di dominio.

Gli autori affermano con modestia che questo lavoro fornisce una base per una nuova generazione di metodi di esplicabilità orientati al processo. Sottolineano che il loro approccio affronta la specifica sfida della scarsità di dati negli spazi latenti attraverso la loro espansione ispirata a MCMC, consentendo il recupero di strutture causali globali che erano precedentemente inaccessibili. Il lavoro non pretende di risolvere tutti i problemi di interpretabilità, ma stabilisce una pipeline vitale per scoprire come i modelli organizzano i concetti per prendere decisioni, distinguendo tra modelli che possono avere prestazioni simili ma ragionano in modo differente.