Dual Path Attribution: Efficient Attribution for SwiGLU-Transformers through Layer-Wise Target Propagation

1. Il Problema

L'interpretabilità dei Large Language Models (LLM) basati su Transformer è fondamentale per il loro affidabile dispiegamento. Tuttavia, le attuali metodologie di attribuzione (identificare quali input o componenti interni guidano una previsione) presentano due limiti principali:

• Costo Computazionale Proibitivo: I metodi basati su interventi causali (come l'Activation Patching) richiedono un passaggio in avanti (forward pass) separato per ogni componente o interazione da analizzare. Questo rende l'attribuzione densa (su tutti i neuroni o le teste di attenzione) intrattabile per modelli grandi e sequenze lunghe.
• Compromesso Fedeltà-Efficienza: I metodi più veloci (come le gradienti o le attention weights) spesso soffrono di errori di approssimazione, saturazione o rumore, offrendo una fedeltà (accuratezza nel tracciare le cause reali) inferiore rispetto ai metodi di intervento.

L'obiettivo è sviluppare un metodo che sia sia fedele (tracci con precisione il flusso di informazioni) che efficiente (scalare a O(1) rispetto al numero di componenti).

2. Metodologia: Dual Path Attribution (DPA)

Il paper introduce DPA, un framework innovativo che risolve il problema decomponendo analiticamente la struttura computazionale dei Transformer SwiGLU (l'architettura standard per modelli come LLaMA, Mistral, Qwen).

Concetti Chiave:

1. Propagazione del Target (Target Propagation):
   Invece di inviare ogni componente in avanti per vedere il suo impatto, DPA inverte il processo. Parte dal vettore di unembedding del token target (la direzione nello spazio latente che aumenta il logit della previsione corretta) e lo propaga all'indietro attraverso il modello congelato.
2. Decomposizione in Due Percorsi (Dual Path):
   Sfruttando la struttura bilineare dei moduli SwiGLU e Multi-Head Self-Attention (MHSA), DPA separa il flusso di informazioni in due percorsi distinti:
   • Percorso di Contenuto (Content Pathway): Trasporta le rappresentazioni attraverso le proiezioni "Value" (in MHSA) e "Up" (in GLU).
   • Percorso di Controllo (Control Pathway): Governa il routing e la trasformazione attraverso le punteggi di attenzione e i gate (gate scores).
3. Linearizzazione e Inversione:
   DPA linearizza le trasformazioni non lineari (come l'attivazione SiLU nei GLU e la Softmax nelle attention) per calcolare un'inversa approssimata ma stabile. Questo permette di propagare il "target efficace" a ogni posizione residua in un singolo passaggio.
4. Complessità O(1):
   Il metodo richiede un solo passaggio in avanti (per cache delle attivazioni) e un solo passaggio all'indietro (per la propagazione del target). La complessità temporale è indipendente dal numero di componenti ($M$), rendendo l'attribuzione densa istantanea rispetto ai metodi basati su patching che richiedono $O(M)$ passaggi.

3. Contributi Chiave

• Nuovo Framework di Decomposizione: Introduzione di DPA, che attribuisce i punteggi dei logit in un unico ciclo forward-backward senza bisogno di esempi controfattuali.
• Decomposizione Strutturale: Dimostrazione che i grafici computazionali dei Transformer SwiGLU possono essere scomposti in percorsi di controllo e contenuto distinti, permettendo un'inversione analitica precisa.
• Efficienza Senza Precedenti: Raggiungimento di una complessità temporale $O(1)$ rispetto al numero di componenti, permettendo l'attribuzione densa su sequenze lunghe e modelli massicci.
• Fedeltà Superiore: Validazione empirica che DPA supera gli stati dell'arte (SOTA) sia nell'identificazione di token input rilevanti che di componenti interni (neuroni MLP e teste di attenzione).

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su modelli come Llama-3.1-8B, Llama-2-7B, Qwen3-4B, Qwen2.5-32B e Mistral-7B su dataset standard (Known 1000, SQuAD v2.0, IMDb, Indirect Object Identification).

• Fedeltà (Faithfulness):
  • DPA ha ottenuto i migliori punteggi totali (combinazione di disruption e recovery) su tutti i dataset e modelli testati.
  • Nel task di Indirect Object Identification (IOI), DPA ha isolato il circuito causale con una precisione estrema, raggiungendo una recovery quasi perfetta con zero disruption, superando metodi basati su gradienti e patching.
  • Ha dimostrato una capacità superiore a distinguere tra contesto utile e dannoso rispetto ai metodi basati su attenzione o gradienti.
• Efficienza Computazionale:
  • Velocità: Su Llama-3.1-8B con contesto lungo (SQuAD), DPA è stato circa 40 volte più veloce rispetto all'Activation Patching e a DePass (129 secondi contro ~5400 secondi).
  • Memoria: Nonostante la necessità di cache delle attivazioni, il footprint di memoria di picco è comparabile a quello dei metodi baselines, rendendolo pratico per l'uso su GPU moderne.
• Analisi di Sensibilità:
  • Lo studio dei parametri di ponderazione ($\mu$) ha rivelato che l'equilibrio tra percorsi di contenuto e controllo è cruciale: un peso bilanciato (p=0.5) offre il miglior compromesso per l'attribuzione generale.

5. Significato e Implicazioni

Questo lavoro rappresenta un passo significativo verso l'interpretabilità meccanica scalabile:

• Superamento del Collo di Bottiglia: Risolve il problema fondamentale secondo cui l'analisi causale dettagliata (fino al singolo neurone) era troppo costosa per essere praticata su modelli di grandi dimensioni.
• Strumento Pratico: Fornisce un metodo robusto per mappare i meccanismi di ragionamento interni degli LLM, essenziale per il debugging, la sicurezza e la comprensione di come i modelli utilizzano le conoscenze fattuali.
• Generalizzabilità: Sebbene ottimizzato per SwiGLU, il framework di propagazione del target è architetturalmente agnostico e può essere adattato ad altre architetture derivando nuove inverse matematiche.

In sintesi, DPA colma il divario tra la necessità di una spiegazione fedele e la realtà dei vincoli computazionali, offrendo uno strumento potente per "guardare dentro" i modelli di linguaggio moderni in modo efficiente e preciso.