Sintesi Tecnica: Attribuzione Causale Locale del Ragionamento Chain-of-Thought

Definizione del Problema

Il successo dei Modelli di Ragionamento Grandi (LRM) si basa pesantemente sul ragionamento Chain-of-Thought (CoT), in cui i modelli generano lunghe sequenze di passaggi intermedi. Tuttavia, la fedeltà di questi CoT verbalizzati rispetto al processo di ragionamento latente sottostante del modello rimane una preoccupazione critica. La ricerca indica che il testo CoT può talvolta ignorare le manipolazioni dell'input o costruire giustificazioni elaborate ma false, in particolare quando i modelli vengono presentati con suggerimenti errati. Mentre il lavoro precedente ha esplorato le strutture causali a livello di rappresentazioni interne (white-box) o di distribuzioni su traiettorie di ragionamento (tramite resampling), esiste la necessità di metodi locali ed efficienti per analizzare le relazioni causali all'interno di un specifico tracciato CoT. I metodi black-box esistenti spesso si concentrano sull'attribuzione a livello di risposta o non tengono conto dell'impatto dei passaggi intermedi sui successivi passaggi di ragionamento.

Metodologia: AttriCoT

Gli autori propongono AttriCoT, un metodo black-box per stimare le attribuzioni causali locali all'interno di un tracciato CoT specifico. L'approccio si basa su un Modello Causale Strutturale (SCM) e opera con una complessità computazionale lineare rispetto al numero di unità di ragionamento.

1. Formulazione del Modello Causale Strutturale

Il metodo tratta un tracciato CoT e il suo input come una sequenza di "unità" ($x_1, \dots, x_S$ per l'input; $y_1, \dots, y_T$ per i passaggi di output e la risposta finale). L'assunto fondamentale è una proprietà auto-regressiva in cui la log-probabilità di generare un'unità $y_t$ dipende dalla presenza o assenza di unità precedenti.

• Scalarizzazione: L'unità $y_t$ viene scalarizzata utilizzando la sua log-probabilità condizionale: $S_t(y_t) = \log P(y_t | x, y_{<t})$.
• Equazione Strutturale Lineare: L'influenza delle unità precedenti è modellata tramite un'equazione lineare:
  $$S_t(y_t) = \sum_{s=1}^S \alpha_{s,t} I(x_s) + \sum_{\tau=1}^{t-1} \beta_{\tau,t} I(y_\tau) + \gamma_t + u_t$$
  Qui, $I(\cdot)$ sono funzioni indicatrici (1 se presente, 0 se rimossa), e i coefficienti $\alpha$ e $\beta$ rappresentano l'importanza causale dell'input e delle unità di output precedenti, rispettivamente.

2. L'Algoritmo AttriCoT

L'algoritmo stima questi coefficienti attraverso tre passaggi:

1. Intervento: Il metodo esegue interventi rimuovendo specifiche unità dalla sequenza. La strategia predefinita è "Leave-One-Out" (LOO), che rimuove una unità alla volta ($N = S + T$ interventi). Una variante potenziata ("AttriCoT-2x") include interventi "Leave-Two-Out".
2. Misurazione: Per ogni sequenza perturbata, il modello esegue un passaggio forward per calcolare le log-probabilità delle unità di output rimanenti. La variazione della log-probabilità per un'unità target $y_t$ funge da valore target per la regressione.
3. Regressione: Viene applicata una regressione lineare (con opzionale regolarizzazione L1) per stimare i coefficienti $\alpha$ e $\beta$. Questo processo richiede $O(N)$ passaggi forward, mantenendo la complessità lineare rispetto al numero di unità.

3. Metrica di Valutazione

La qualità dell'attribuzione è valutata tramite la Fedeltà Comportamentale (Behavioral Faithfulness), misurata tramite l'Area Sotto la Curva di Perturbazione (AUPC).

• Procedura: Le unità precedenti vengono classificate in base ai loro punteggi di attribuzione. Le prime $k$ unità vengono rimosse e la conseguente diminuzione della log-probabilità dell'unità target viene misurata.
• Metrica: L'AUPC aggrega queste diminuzioni al variare di $k$ da 0 al 20% delle unità precedenti. Un AUPC più elevato indica che il metodo di attribuzione identifica correttamente le unità che sono causalmente critiche per la generazione dei passaggi successivi.

Contributi Chiave

1. Framework AttriCoT: La proposta di un metodo di spiegazione black-box e locale che attribuisce i passaggi CoT a unità precedenti utilizzando un modello causale strutturale, richiedendo solo un numero lineare di passaggi forward ($O(S+T)$).
2. Fedeltà Superiore: Evidenza empirica che dimostra come AttriCoT produca attribuzioni più fedeli al comportamento del modello rispetto ad altri metodi, inclusi il masking frase-per-frase (Thought Anchors) e i baseline basati su prompting.
3. Metriche Analitiche: L'introduzione di metriche derivate dalle matrici di attribuzione (ad esempio, densità del punteggio, influenza media, rapporto di input) per rivelare differenze strutturali nel ragionamento tra diversi modelli e domini.

Risultati Sperimentali

Il metodo è stato valutato su 5 dataset (GSM8K, MATH500, GPQA-Diamond, MMLU-Pro, ZebraLogic) e 4 modelli di ragionamento (DS-Llama-8B, DS-Qwen-14B, DS-Qwen3-8B, Qwen3-8B).

• Performance: AttriCoT ha costantemente ottenuto i punteggi AUPC più elevati in tutti i modelli e dataset. Su GSM8K, ha mostrato miglioramenti del 15–30% rispetto a Thought Anchors e del 70–165% rispetto ai baseline di prompting.
• Efficienza: A differenza dei metodi basati su resampling, AttriCoT evita l'alto costo computazionale della generazione di nuovi tracciati CoT, affidandosi invece a passaggi forward non generativi.
• Analisi Comparativa:
  • Thought Anchors: Sebbene competitivi, i Thought Anchors (che utilizzano la divergenza KL sulle distribuzioni di token) sono generalmente meno performanti di AttriCoT, probabilmente perché non misurano l'impatto diretto sulla log-probabilità dell'unità generata nello stesso modo locale.
  • Prompting: Chiedere agli LLM di classificare le unità (anche tramite In-Context Learning) ha prodotto punteggi di fedeltà significativamente inferiori.
  • Attention White-box: Un metodo esplorativo white-box che interviene sui pesi dell'attenzione ha mostrato potenziale, ma non ha superato i metodi di intervento causale.

Analisi delle Strutture di Ragionamento

Analizzando le matrici di attribuzione, gli autori hanno osservato pattern distinti:

• Decadimento dell'Influenza: L'importanza generalmente decade rapidamente con la distanza tra i passaggi, ma si appiattisce in una lunga coda.
• Dipendenza dall'Input: La metrica "Input Ratio" rivela che i modelli si affidano pesantemente alle unità di input all'inizio di un tracciato. Interessantemente, questa dipendenza aumenta spesso di nuovo nelle fasi intermedie o finali (intorno al 50–80% del tracciato), suggerendo che i modelli tornano a consultare il contesto dell'input per verificare o finalizzare le risposte.
• Differenze tra Modelli: Modelli più grandi o distillati (es. DS-Llama-8B) hanno mostrato densità di punteggio più elevate e pattern di influenza differenti rispetto ai controparti non distillati, indicando variazioni strutturali nel modo in cui elaborano il ragionamento.

Significato e Rivendicazioni

Il paper sostiene che trattare i tracciati CoT come oggetti causali fornisca un quadro vitale per la trasparenza e la sicurezza. Scomponendo un tracciato in unità definite dall'utente e adattando equazioni strutturali, AttriCoT offre un modo computazionalmente efficiente per comprendere perché determinati passaggi di ragionamento vengono prodotti e se il ragionamento intermedio sia consequenziale.

Gli autori sottolineano che il loro lavoro affronta il livello "locale" della causalità (tracciati specifici) piuttosto che i meccanismi interni o le distribuzioni delle traiettorie. Concludono che le matrici di attribuzione risultanti rivelano pattern suggestivi, come l'influenza speciale dei passaggi iniziali e finali e la tendenza dei modelli a rivisitare l'input durante la verifica. Gli autori riconoscono i limiti, inclusa l'espressività delle equazioni strutturali lineari e la semplicità dell'intervento LOO predefinito, posizionando il lavoro futuro verso lo sviluppo di metodi white-box computazionalmente economici e l'indagine di come le strutture di ragionamento dipendano dalle famiglie di modelli e dalla difficoltà del problema.