For What Reason? Interpreting Models' Encoding of Causation and Antithesis

Sintesi Tecnica: Interpretazione della Codifica della Causalità e dell'Antitesi nei Modelli

Problema
Le relazioni discorsive sono fondamentali per la struttura del documento, la comprensione del linguaggio e l'allineamento etico dei Large Language Models (LLM). Nonostante la loro importività, una ricerca limitata ha investigato come i modelli Transformer codifichino internamente tali relazioni. Sebbene lavori recenti abbiano iniziato a identificare i "circuiti discorsivi", rimane un vuoto nella comprenszione dei meccanismi specifici attraverso i quali i modelli istruiti (instruction-tuned) distinguono tra relazioni discorsive opposte, nello specifico la causalità (es. "quindi") e l'antitesi (es. "tuttavia"). Questo articolo affronta tale lacuna investigando come i modelli LLaMA e Mistral codifichino queste relazioni, concentrandosi su caratteristiche a livello di token, ruoli specifici per layer, concetti chiave e propagazione delle informazioni.

Metodologia
Gli autori inquadrano l'indagine come un compito di predizione del next-token. I modelli vengono sollecitati a completare frasi in cui il token mancante è vincolato a essere o "capace" o "incapace". La struttura della frase è progettata in modo che la congiunzione ("quindi" vs "tuttavia") e il sentimento del verbo nella clausola satellite determinino la risposta corretta, creando un ambiente controllato per testare il ragionamento causale.

• Dati: Un dataset di 130 coppie di addestramento e 30 coppie di test è stato generato utilizzando ChatGPT 4o. Le coppie includono variazioni con verbi positivi e negativi, così come la negazione esplicita, per evitare che il modello si affidi esclusivamente ai segnali della congiunzione.
• Modelli: Lo studio utilizza varianti istruite di LLaMA-3-8B e Mistral-7B, entrambi caratterizzati da 32 layer.
• Tecniche di Interpretabilità: Gli autori impiegano un insieme di metodi di interpretabilità meccanicistica:
  • Activation Patching: Sostituendo le attivazioni interne di un input base con quelle di un controesempio (es. scambiando "quindi" con "tuttavia") per misurare gli effetti causali sui logit di output.
  • Logits Attribution: Calcolando il prodotto scalare tra gli stati nascosti del layer e la direzione della differenza dei logit per determinare se un layer spinga il modello verso la risposta corretta.
  • Probing: Addestrando classificatori di regressione logistica sugli stati nascosti per rilevare la presenza di concetti specifici (es. "capace" vs "incapace", sentimento del verbo, sentimento della clausola).
  • Attribution Patching (EAP) & Integrated Gradients (EAP-IG): Utilizzati per identificare e quantificare l'importanza di specifici archi (connessioni) all'interno del grafo computazionale.

Risultati Chiave
I modelli hanno raggiunto prestazioni elevate nel compito (LLaMA: 0.96 F1, Mistral: 0.80 F1), consentendo un'analisi interna robusta.

1. Caratteristiche a livello di Token (RQ1): L'analisi SHAP rivela che l'influenza dei marcatori discorsivi ("quindi" vs "tuttavia") è modulata dal sentimento del verbo. Per i verbi positivi, "quindi" guida la predizione "capace", mentre "tuttavia" guida "incapace". Tuttavia, con i verbi negativi, queste associazioni possono invertirsi o spostarsi, indicando che il modello integra la semantica del verbo piuttosto che affidarsi a semplici parole segnale.
2. Ruoli dei Layer (RQ2):
   • Early-to-Mid Layers (Layer iniziali e intermedi): Questi layer sono sensibili alle intervezioni al token del marcatore discorsivo ("quindi"/"tuttavia"); il patching delle attivazioni qui altera transitoriamente le probabilità di output, suggerendo che questi layer codifichino significati relazionali locali.
   • Mid-to-High Layers (Layer intermedi e alti): Le intervezioni nella posizione dell'ultimo token influenzano le probabilità nei layer di livello intermedio, indicando che questi layer integrano il significato della frase. I layer più alti principalmente propagano o raffinano la decisione piuttosto che ri-valutarla; una volta che la decisione è consolidata nei mid-layer, lo scambio delle attivazioni nei layer superiori non riesce a invertire l'output.
   • Bias: Alcuni layer mostrano bias intrinseci, spingendo costantemente le predizioni verso "capace" o "incapace" indipendentemente dalla risposta corretta (es. i layer 2, 3, 8, 10, 12 favoriscono "incapace").
3. Codifica Concettuale (RQ3): Gli esperimenti di probing mostrano che il modello codifica attivamente il sentimento del verbo e il sentimento della clausola satellite. Un'alta accuratezza del probe per "capace" vs "incapace" si trova nelle teste dei layer 8–16 alla posizione del marcatore discorsivo, e nei layer 13–14 alla posizione dell'ultimo token.
4. Propagazione delle Informazioni (RQ4): L'edge attribution patching rivela un nucleo stabile di connessioni (51% di sovrapposizione tra le impostazioni 0-shot e few-shot) che guidano costantemente il processo decisionale. Tuttavia, l'elaborazione di verbi negativi mostra una minore sovrapposizione di archi tra le impostazioni di shot (33.9%), suggerendo una maggiore instabilità o una diversa dipendenza dai percorsi rispetto al sentimento positivo.

Significatività e Contributi
L'articolo sostiene di fornire una visione dell'ingegneria interna di come le relazioni discorsive critiche siano codificate nei modelli Transformer. I principali contributi sono:

• Insight Meccanicistico: Dimostrare una divisione del lavoro in cui i layer iniziali/intermedi codificano i segnali relazionali locali e i layer medi/alti integrano e finalizzano le decisioni.
• Stabilità del Circuito: Identificare un set di connessioni stabili che supportano il flusso di informazioni, pur notando che specifici archi possono variare in base al contesto (tipo di verbo, configurazione del prompt).
• Rappresentazione Asimmetrica: Osservare che certi layer mostrano bias asimmetrici verso risultati specifici, suggerendo che il ragionamento basato sul discorso non è rappresentato uniformemente in tutti i layer.

Gli autori concludono che questi risultati permettono di potenziare le prestazioni del modello e l'allineamento con le preferenze umane. Affermano che la loro metodologia è estendibile ad ulteriori relazioni discorsive e architetture di modelli, pur riconoscendo i limiti riguardanti il focus specifico sull'inglese e sulle due relazioni RST selezionate.