Sintesi Tecnica: Correzione della Localizzazione di Circuiti Basata su Gradienti tramite Backpropagation Consapevole delle Interazioni

Definizione del Problema

La localizzazione dei circuiti mira a identificare il sottoinsieme specifico di componenti del modello (ad esempio, teste di attenzione, neuroni, connessioni) responsabili di comportamenti specifici nei Large Language Models (LLM) per abilitare l'interpretabilità meccanicistica. La maggior parte dei metodi esistenti opera sotto l'assunto che i componenti agiscano indipendentemente, stimando l'importanza perturbando ogni componente isolatamente.

Tuttavia, i componenti delle reti neurali interagiscono, e ignorare tali interazioni porta a una stima errata sistematica dell'importanza dei componenti. Gli autori identificano un'interazione specifica e problematica denominata auto-riparazione dell'attenzione (attention self-repair). In questo fenomeno, quando più posizioni possiedono pesi di attenzione elevati e contengono informazioni simili (vettori valore), l'ablazione di un singolo punteggio di attenzione ha un effetto minimo sull'output. Ciò accade perché la funzione di attivazione softmax ridistribuisce il peso alle posizioni ridondanti rimanenti per compensare. Di conseguenza, i metodi di spiegazione basati su perturbazioni e su gradienti standard sottostimano l'importanza dei componenti che contribuiscono a questi punteggi di attenzione, portando spesso a gradienti evanescenti per punteggi influenti.

Metodologia: Modifiche del Gradiente per l'Interazione (GIM)

Il documento introduce Gradient Interaction Modifications (GIM), un metodo di attribuzione basato sul gradiente progettato per stimare l'impatto della perturbazione simultanea di più componenti interagenti. GIM modifica la backpropagation standard attraverso tre tecniche complementari:

1. Gradienti Softmax con Temperatura Regolata (TSG):

   • Motivazione: Affrontare l'auto-riparazione dell'attenzione, dove i gradienti standard evanescono perché il guadagno derivante dal potenziamento di un peso softmax è annullato dalla perdita derivante dalla soppressione di altri quando i valori sono simili.
   • Meccanismo: Durante la backpropagation, TSG ricalcola la softmax con una temperatura elevata ($T > 1$) prima di calcolare i gradienti. Questo appiattisce la distribuzione di probabilità, riducendo i pesi grandi e aumentando quelli piccoli. Ampliando l'insieme delle posizioni "significative", l'assunto che i contributi siano identici tra queste posizioni viene meno. Ciò assicura che le differenze di coppia nei gradienti ($g_j - g_k$) non svaniscano, permettendo al segnale del gradiente di sopravvivere e approssimare l'effetto della perturbazione simultanea.

2. Freeze della Layernorm:

   • Motivazione: La normalizzazione del livello (layer normalization) introduce una dinamica a somma zero in cui l'ablazione di un componente riduce l'ampiezza dell'attivazione, causando l'amplificazione dei componenti rimanenti da parte del fattore di normalizzazione (una forma di auto-riparazione).
   • Meccanismo: Il fattore di normalizzazione ($\sigma$) è trattato come una costante durante la backpropagation. Questo misura il contributo diretto di ciascun componente prima che avvenga la riscalatura della normalizzazione, prevenendo la sottostima dell'importanza causata dall'amplificazione compensativa.

3. Norma del Gradiente:

   • Motivazione: Le operazioni moltiplicative (ad esempio, $A = QK^T$ dove sia $Q$ che $K$ dipendono dall'input $X$) portano a un doppio conteggio nei gradienti standard del primo ordine. Perturbare $X$ influenza simultaneamente sia $Q$ che $K$, ma la regola della catena standard somma i loro effetti individuali, sovrastimando il cambiamento.
   • Meccanismo: I gradienti delle interazioni moltiplicative vengono divisi per il numero di input moltiplicativi (ad esempio, dividendo per 2 per $Q \times K$). Questo si allinea con la "regola uniforme" e corregge il doppio conteggio dei contributi nella moltiplicazione attenzione-valore, nella moltiplicazione query-key e nella moltiplicazione gate-proiezione MLP.

Contributi Chiave

1. Framework GIM: L'introduzione di un metodo di attribuzione basato sul gradiente che tiene esplicitamente conto delle interazioni tra feature, raggiungendo prestazioni allo stato dell'arte nella traccia di localizzazione dei circuiti del Mechanistic Interpretability Benchmark (MIB).
2. Identificazione dell'Auto-riparazione dell'Attenzione: L'identificazione formale e la dimostrazione che l'auto-riparazione dell'attenzione (un'interazione di tipo porta-OR) causa l'evanescenza dei gradienti per punteggi di attenzione influenti, portando a una sottostima sistematica dell'importanza dei componenti.
3. Superiorità dell'Attribuzione delle Feature: La dimostrazione che GIM supera i metodi basati su gradienti esistenti nell'attribuzione delle feature attraverso diversi task e architetture di LLM.

Risultati

• Localizzazione dei Circuiti: Su MIB, GIM supera significativamente i metodi esistenti (inclusi EAP, EAP-IG, Hybrid-ens e IFR) su molteplici modelli (GPT-2, Qwen-2.5, Gemma-2, Llama-3.1) e task (Identificazione dell'Oggetto Indiretto, Aritmetica, MCQA, ARC). Raggiunge il più alto Circuit Performance Ratio (CPR) medio, particolarmente nei task che richiedono ragionamento multi-step.
• Attribuzione delle Feature: Attraverso sette LLM istruiti tramite istruzioni (instruction-tuned) e sei dataset (che coprono QA, verifica dei fatti, sentiment e rilevamento dell'hate speech), GIM ottiene generalmente punteggi di completezza (comprehensiveness) e sufficienza più elevati rispetto a GradientXInput, Integrated Gradients, DeepLIFT e TransformerLRP.
• Validazione dell'Auto-riparazione: L'analisi empirica conferma che l'auto-riparazione dell'attenzione è prevalente nei veri LLM, verificandosi in media 65–1200 volte per input. L'ablazione congiunta di due grandi punteggi di attenzione produce un effetto significativamente maggiore della somma delle loro ablazioni individuali, validando l'analisi teorica.
• Studio di Ablazione: Rimuovere qualsiasi singola modifica (TSG, Layernorm Freeze o Gradient Norm) da GIM degrada le prestazioni in quasi tutte le coppie modello-dataset, confermando che ogni componente contribuisce significativamente alla fedeltà del metodo.

Significato

Il documento sostiene che GIM permetta un'analisi meccanicistica più fedele degli LLM correggendo la sottostima sistematica dell'importanza dei componenti causata dalle interazioni tra feature. Modellando esplicitamente come i componenti interagiscono — specificamente attraverso la ridistribuzione della softmax e la riscalatura della normalizzazione — GIM fornisce un quadro più accurato dei meccanismi interni che guidano il comportamento del modello. Gli autori posizionano GIM non solo come un miglioramento incrementale, ma come una necessaria correzione all' "assunto di indipendenza" prevalente negli strumenti di interpretabilità attuali, consentendo ai ricercatori di identificare circuiti che erano precedentemente oscurati dai gradienti evanescenti. Il metodo è rilasciato come pacchetto Python open-source per facilitarne l'adozione su larga scala.