Sintesi Tecnica: Geometria della Traiettoria delle Rappresentazioni dei Transformer attraverso i Layer

Problema

L'attuale interpretabilità meccanicistica dei modelli transformer opera principalmente in due regimi: il tracciamento di circuiti computazionali specifici (ad esempio, testine di induzione, layer MLP) o il probing di embedding per layer su caratteristiche linguistiche pre-specificate. Entrambi i paradigmi trattano i layer della rete come snapshot indipendenti, trascurando la struttura geometrica continua di come le rappresentazioni evolvano attraverso la profondità della rete. Questo articolo affronta il problema aperto di comprendere come le rappresentazioni dei transformer evolvano attraverso i layer, piuttosto che limitarsi a ciò che esse codificano in un punto statico.

Metodologia

Gli autori riformulano il passaggio forward del transformer come una traiettoria di popolazione discreta attraverso un manifold di rappresentazione ad alta dimensione ($\mathbb{R}^d$). Ispirandosi alle analisi delle traiettorie di popolazione nella neuroscienza computazionale, lo studio evita la riduzione della dimensionalità per il calcolo metrico, operando interamente nello spazio ambiente completo per evitare artefatti di proiezione.

Framework Core

1. Estrazione della Traiettoria: Per una sequenza di input, gli stati nascosti vengono estratti ad ogni layer $l$ (dagli embedding di input $h^{(0)}$ agli output finali $h^{(L)}$). Le rappresentazioni a livello di sequenza si ottengono tramite mean pooling sui token non di padding.
2. Metriche Geometriche: Cinque metriche sono definite direttamente in $\mathbb{R}^d$:
   • Lunghezza della Traiettoria ($L$): Spostamento euclideo totale attraverso i layer.
   • Curvatura ($\kappa$): L'angolo di rotazione tra vettori di spostamento consecutivi; la curvatura media ($\bar{\kappa}$) misura la non linearità.
   • Indice di Convergenza Semantica (CI): Misura la compressione di prompt semanticamente correlati rispetto a quelli non correlati ($D_{between} - D_{within}$).
   • Similitudine del Coseno per Layer (SIM): Similitudine angolare tra layer adiacenti per rilevare transizioni di fase.
   • Stabilità Rappresentazionale: Similitudine tra un prompt e la sua perturbazione lessicale per misurare l'astrazione della forma superficiale.
3. Disegno Sperimentale:
   • Modelli: Tre famiglie decoder-only (GPT-2 Small, TinyLlama-1.1B, Qwen2.5-1.5B).
   • Prompt: 150 prompt semanticamente controllati attraverso cinque famiglie: Categorie Semantiche, Variazioni Lessicali, Ragionamento Analogico, Ragionamento Multi-step e Concetti Ambigui.
   • Controlli: Quattro controlli rigorosi (Etichette Casuali, Embedding Casuali, Ordinamento dei Layer Mescolato, Molteplici Metodi di Proiezione) per distinguere la computazione appresa dagli artefatti geometrici.

Contributi Chiave

Il paper introduce un framework di geometria della traiettoria per l'interpretabilità dei transformer che è privo di probe e agnostico rispetto al modello. Definisce cinque metriche ad alta dimensione per caratterizzare la dinamica delle rappresentazioni senza richiedere classificatori o fine-tuning. Gli autori rilasciano una pipeline open-source che consente questa analisi per qualsiasi modello di linguaggio causale.

Risultati Chiave

In tutte e tre le architetture e validato rispetto ai controlli, lo studio riporta quattro scoperte principali:

1. Convergenza Semantica in Bacini di Attrazione: I prompt semanticamente correlati subiscono una convergenza statisticamente significativa nei layer intermedi e tardivi. L'Indice di Convergenza sale bruscamente da valori vicini allo zero nei primi layer fino a picchi di 0.41–0.58 nei layer successivi ($p < 0.001$). Questo effetto svanisce sotto i controlli con etichette casuali, suggerendo una dinamica di tipo attrattore guidata dalla semantica appresa.
2. La Curvatura come Lettura della Complessità: I compiti di ragionamento e analogia producono traiettorie con una curvatura media significativamente più alta rispetto alle variazioni lessicali.
   • Ragionamento (Multi-step/Analogia): 0.71–0.83 rad.
   • Variazioni Lessicali: 0.27–0.31 rad.
   • Questa differenza è costante tra i modelli ($p < 0.001$), suggerendo che la curvatura media codifica la complessità computazionale. I picchi di curvatura si verificano in una "zona di inflessione computazionale" (circa il 20–45% della profondità della rete), allineandosi con i layer noti di estrazione delle testine di induzione e degli MLP.
3. Disambiguazione come Biforcazione della Traiettoria: I token ambigui (ad esempio, "bank" in contesti diversi) mostrano una misurabile biforcazione della traiettoria. Le rappresentazioni per contesti diversi partono quasi identiche al layer 0 ma si separano progressivamente, raggiungendo un rapporto di separazione di 5.6× al layer finale. L'inizio di questa biforcazione è costante a ~20–25% della profondità della rete attraverso le architetture, indicando uno schema universale di disambiguazione progressiva piuttosto che una risoluzione istantanea.
4. Struttura Computazionale Universale in Tre Fasi: La similitudine del coseno per layer rivela una struttura coerente in tre fasi attraverso tutti i modelli:
   • Fase I (Codifica): Rapido cambiamento rappresentazionale (bassa similitudine).
   • Fase II (Elaborazione): Similitudine stabilizzata, che coincide con la convergenza semantica e l'alta curvatura.
   • Fase III (Preparazione dell'Output): Un calo secondario della similitudine mentre le rappresentazioni si ricalibrano verso il vocabolario di output.
   • Questa struttura collassa sotto i controlli di embedding casuali, confermando che è un prodotto della computazione addestrata.

Significato e Rivendicazioni

Il paper sostiene che il passaggio forward del transformer non è una sequenza arbitraria di stati, ma un flusso geometricamente strutturato. La significatività di questo lavoro risiede nel:

• Interpretabilità Senza Probe: Fornire una lente per analizzare il comportamento del modello senza pre-specificare caratteristiche o addestrare classificatori.
• Ponte con i Sistemi Dinamici: Collegare i concetti della neuroscienza computazionale (manifold, attrattori, curvatura) al deep learning, offrendo una visione unificata di come evolvono le rappresentazioni.
• Insight Azionabili: Le scoperte suggeriscono che gli interventi per la disambiguazione o il controllo (steering) dovrebbero mirare a fasi specifiche della traiettoria (ad esempio, prima dell'inizio della biforcazione) piuttosto che a layer arbitrari.
• Universalità: La coerenza di questi pattern geometrici attraverso modelli con diverse scale, architetture e corpora di addestramento suggerisce che la geometria della traiettoria possa essere guidata dalla struttura stessa del linguaggio.

Gli autori rimangono modesti riguardo alla causalità, osservando che, sebbene la struttura geometrica sia correlata alle proprietà semantiche e computazionali, il paper stabilisce una correlazione, non una causalità. Identificano la verifica causale tramite l'activation patching come il passo successivo necessario.