Towards Explainability of SLMs by investigating Token Level Activation

Riepilogo Tecnico: Verso la Spiegabilità dei SLM Investigando l'Attivazione a Livello di Token

Enunciato del Problema
Nonostante l'impatto rivoluzionario dei modelli basati su Transformer come BERT sulla Comprensione del Linguaggio Naturale (NLU), i loro meccanismi interni rimangono in gran parte opachi. I metodi tradizionali di interpretabilità basati sui pesi dell'attenzione spesso falliscono nel fornire spiegazioni semantiche genuine, evidenziando frequentemente token strutturalmente importanti ma semanticamente deboli (ad esempio, punteggiatura, parole funzionali) piuttosto che contenuti significativi. Inoltre, gli approcci esistenti di interpretabilità spesso mancano di agnosticismo verso il modello, richiedono costosi calcoli dei gradienti o non riescono a isolare dinamiche di elaborazione intermedia specifiche, in particolare all'interno dei livelli intermedi (6–9) dove si ritiene che le informazioni sintattiche e semantiche si consolidino. Vi è un bisogno critico di un metodo leggero ed efficiente per quantificare e classificare l'importanza rappresentazionale dei singoli token basandosi sulle forze di attivazione interne piuttosto che sulle correlazioni di attenzione.

Metodologia
Gli autori propongono un nuovo framework agnostico verso il modello denominato Rete di Flusso di Attivazione (AFN), che si concentra esclusivamente sul Livello 8 del modello bert-base-uncased. La metodologia procede attraverso le seguenti fasi:

1. Quantificazione della Forza di Attivazione a Livello di Token:
   Invece di analizzare le teste di attenzione, il framework estrae i vettori dello stato nascosto ($h_i$) per ogni token al Livello 8. La forza rappresentazionale ($S_i$) di un token è definita come la Norma L2 (norma euclidea) del suo vettore di stato nascosto a 768 dimensioni:
   $$S_i = \|h_i\|_2$$
   Questo valore scalare funge da misura diretta dell'entità dell'attivazione del token e della sua priorità rappresentazionale.

2. Formulazione di Bucket di Attivazione Basata su Soglia:
   Per distinguere tra attivazioni semantiche dominanti e rumore di fondo strutturale, gli autori definiscono un confine di attivazione empirico ($\tau$) utilizzando il quartile superiore (75° percentile) della distribuzione di attivazione per una data frase:
   $$\tau = Q_{0.75}(S)$$
   I token sono suddivisi in due gruppi:

   • Alta-attivazione: $S_i > \tau$ (Token semanticamente salienti).
   • Bassa-attivazione: $S_i \leq \tau$ (Token di supporto strutturale).
     Il framework calcola un rapporto di contributo ($R_H$) per determinare se i token ad alta attivazione dominano gli spostamenti rappresentazionali.

3. Analisi Comparativa dello Spostamento di Attivazione:
   Per sondare la sensibilità al contesto e alle istruzioni del compito, gli autori introducono lo Spostamento di Attivazione a Livello di Token ($\Delta_i$), calcolato come la Norma L2 della differenza tra i vettori di stato nascosto dei token corrispondenti in due frasi simili o in condizioni di prompt diverse:
   $$\Delta_i = \|h_{A,i} - h_{B,i}\|_2$$
   Questa metrica quantifica lo spostamento geometrico nello spazio vettoriale causato da perturbazioni contestuali (ad esempio, cambiare "giorno" in "camminata") o prompt orientati all'obiettivo (ad esempio, "Riassumi" vs. "Traduci").

Contributi Chiave

• Livello 8 come Zona di Consolidamento Semantico: Lo studio identifica il Livello 8 come un punto di transizione critico dove le informazioni strutturali cedono il passo al consolidamento semantico, bilanciando l'elaborazione sintattica e semantica.
• Entità dell'Attivazione rispetto all'Attenzione: Il lavoro dimostra che le norme degli stati nascosti (L2) forniscono un segnale più affidabile per l'importanza semantica rispetto ai pesi dell'attenzione, che spesso fuorviano concentrandosi sulla punteggiatura.
• Interpretabilità Leggera: Il framework AFN offre un'alternativa computazionalmente efficiente e non intrusiva ai metodi di attribuzione basati sui gradienti, richiedendo solo un singolo passaggio in avanti per estrarre gli stati nascosti.
• Quantificazione degli Spostamenti Semantici: L'introduzione della metrica di Spostamento di Attivazione consente di quantificare come specifici cambiamenti di parole o istruzioni del compito alterino la traiettoria rappresentazionale interna del modello.

Risultati
L'analisi sperimentale su un corpus di 732 frasi portatrici di sentiment e su specifici studi di caso ha prodotto le seguenti osservazioni:

• Dominanza Semantica: Le parole portatrici di contenuto (ad esempio, "primo", "ministro", "Canada", "bello") hanno costantemente mostrato le forze di attivazione più elevate nel Livello 8, classificandosi significativamente più in alto rispetto ai token strutturali come articoli o punteggiatura.
• Confronto tra Livelli: I confronti tra il Livello 8 e il Livello 9 hanno confermato che il Livello 8 è più sensibile ai token ricchi di contenuto, mentre il Livello 9 mostra un'attivazione relativamente inferiore per gli stessi token, suggerendo un cambiamento di focus dal contenuto semantico alla struttura sintattica nei livelli più profondi.
• Bucketing di Attivazione: La soglia del quartile superiore ha separato con successo i token, con i token ad alta attivazione (parole di contenuto) che hanno occupato costantemente i primi posti. Negli esperimenti di perturbazione, i token ad alta attivazione hanno contribuito per circa il 76% dello spostamento totale di attivazione semantica, pur componendo solo circa il 25% del conteggio dei token.
• Effetto Increspatura Contestuale: I token strutturali invariati (ad esempio, "a", "il") hanno mostrato spostamenti di attivazione significativi quando il contesto cambiava (ad esempio, "giorno al parco" vs. "camminata sulla spiaggia"), indicando che il Livello 8 ricodifica dinamicamente l'intera frase per mantenere la coerenza semantica.
• Sensibilità al Prompt: Sono stati osservati spostamenti di attivazione nel token [CLS] e in altri token quando l'input era preceduto da diverse istruzioni del compito ("Riassumi" vs. "Traduci"), dimostrando che prompt di alto livello guidano lo spazio rappresentazionale intermedio.

Significato e Affermazioni
Il documento afferma di trasformare BERT da una "scatola nera" in una "scatola di vetro" più trasparente rivelando che le entità di attivazione si concentrano attorno a token semanticamente informativi. Gli autori affermano che il loro framework fornisce un'alternativa computazionalmente efficiente e interpretabile all'analisi centrata sull'attenzione. Isolando il Livello 8 e utilizzando le norme L2, la ricerca offre un modo diretto per identificare quali token portano la massima forza rappresentazionale durante l'elaborazione semantica. Il lavoro suggerisce che comprendere questi flussi di attivazione può aiutare i ricercatori a comprendere meglio come BERT bilancia le informazioni strutturali e semantiche e come le istruzioni del compito influenzano la traiettoria interna del modello, senza la necessità di complessi calcoli dei gradienti o classificatori di sondaggio specifici per il modello.