Riepilogo Tecnico: Similarità Tensoriale per l'Interpretabilità Meccanicistica

Enunciato del Problema

L'interpretabilità meccanicistica mira a decomporre le reti neurali in parti costitutive significative per comprenderne i calcoli interni. Un prerequisito critico per questo campo è la capacità di verificare rigorosamente se due componenti decomposte (o due modelli diversi) implementano la stessa funzione sottostante. I metodi di valutazione attuali soffrono di due limitazioni primarie:

1. Similarità Empirica/Comportamentale: I metodi che confrontano le uscite o le attivazioni dei modelli su dataset specifici sono ciechi rispetto ai meccanismi fuori distribuzione (OOD). Non riescono a rilevare problemi come backdoor che si attivano solo su input specifici o a generalizzare se la decomposizione si basa su euristiche approssimate anziché sulla funzione reale.
2. Similarità Basata sui Parametri: I metodi che confrontano le matrici dei pesi (ad esempio, la similarità del coseno delle matrici) sono altamente sensibili alle simmetrie nello spazio dei pesi (come permutazione e scalatura). Non riescono a riconoscere l'equivalenza funzionale quando i modelli sono addestrati in modo diverso o quando i meccanismi sono distribuiti su più livelli anziché concentrati in singoli neuroni.

Manca una metrica rigorosa e indipendente dal dataset che sia invariante rispetto a queste simmetrie e capace di catturare l'equivalenza funzionale globale.

Metodologia

Gli autori propongono la Similarità Tensoriale, una metrica basata sui pesi progettata per le reti neurali basate su tensori (in particolare modelli multilineari come i transformer bilineari). Questo approccio sostituisce l'uso di funzioni di attivazione non lineari standard con architetture polinomiali (multilineari) per abilitare l'analisi algebrica dei pesi.

Svolta Architettonica Fondamentale

Il metodo si basa su modelli multilineari in cui le funzioni di attivazione sono sostituite da gating moltiplicativo (ad esempio, livelli bilineari e attenzione bilineare).

• Livelli Bilineari: Mappano un input sollevato $\tilde{x} = (1, x)$ in un'uscita tramite un polinomio di grado 2: $A(x) = D((L\tilde{x}) \odot (R\tilde{x}))$.
• Rappresentazione Multilineare: Questi livelli possono essere espressi come una contrazione di un tensore dei pesi $A$ con $n$ copie dell'input: $A(x) = A \cdot \text{in}^{\otimes n} \tilde{x}$.
• Modelli Profondi: Le reti multilineari profonde sono costruite come decomposizioni ad albero di tensori globali, consentendo un calcolo efficiente senza materializzare il tensore globale esponenzialmente grande.

La Metrica di Similarità Tensoriale

La metrica è definita come un prodotto interno generalizzato tra due tensori dei pesi $A$ e $B$, normalizzato dalle loro norme indotte:
$$\text{sim}_M(A, B) = \frac{\langle A | M | B \rangle}{\|A\|_M \|B\|_M}$$
dove $M$ è un tensore metrico.

Per garantire che la metrica soddisfi i criteri di invarianza rispetto alle simmetrie e indipendenza dal dataset, gli autori derivano una forma specifica per $M$:

1. Simmetrizzazione: Basandosi sull'isomorfismo di polarizzazione, gli autori stabiliscono che due modelli multilineari sono funzionalmente equivalenti se e solo se i loro tensori dei pesi hanno lo stesso rappresentante nel sottospazio simmetrico. La metrica proietta i tensori su questo sottospazio simmetrico per rimuovere i gradi di libertà relativi alle simmetrie di permutazione dell'input.
2. Metrica Gaussiana: Per rifinire ulteriormente la metrica e correlarla alla similarità comportamentale, gli autori definiscono $M$ utilizzando l'aspettativa del tensore di input sotto una distribuzione Gaussiana standard ($x \sim \mathcal{N}(0, I)$). Utilizzando il teorema di Isserlis, ciò risulta in una metrica in forma chiusa che calcola il prodotto interno delle attivazioni su tutto lo spazio degli input Gaussiani, anziché su un dataset campionato.
3. Calcolo Efficiente: Un algoritmo ricorsivo basato su Gram permette il calcolo di questa similarità per reti profonde elaborando tensori locali livello per livello, evitando la necessità di istanziare l'intero tensore globale.

Contributi Chiave

1. Una Metrica Principale Basata sui Pesi: Il paper introduce una metrica invariante rispetto alle simmetrie dello spazio dei pesi (permutazioni, scalatura) e indipendente dal dataset di input. Verifica formalmente l'equivalenza funzionale controllando se due modelli implementano la stessa logica polinomiale.
2. Analisi in Forma Chiusa e Senza Dati: A differenza delle metriche comportamentali, la similarità tensoriale non richiede il campionamento di dati. Integra su tutto lo spazio degli input Gaussiani, rendendola capace di rilevare meccanismi OOD (come backdoor) invisibili alle metriche di prestazioni standard.
3. Capacità di Localizzazione: La metrica può essere "affettata" per focalizzarsi su dimensioni di output specifiche o per "differenziare" tensori al fine di isolare cambiamenti funzionali tra checkpoint, permettendo l'attribuzione di meccanismi specifici a output specifici.
4. Scalabilità: L'algoritmo ricorsivo garantisce che la metrica sia computazionalmente trattabile per reti profonde, evitando limiti di convergenza esponenziali o quadratici associati al campionamento Monte Carlo.

Risultati

Gli autori validano la similarità tensoriale su quattro domini distinti, dimostrandone la superiorità rispetto alle metriche esistenti (CKA, coseno delle matrici, similarità comportamentale):

1. Dimenticanza Catastrofica (Visione): In una configurazione di addestramento progressivo su SVHN, la similarità tensoriale localizza con precisione la perdita di conoscenza per cifre specifiche (ad esempio, la cifra '9') quando il dataset viene ridotto. Mostra un calo netto della similarità per la classe interessata rimanendo stabile per le altre, mentre le metriche comportamentali mostrano segnali ambigui.
2. Grokking (Aritmetica Modulare): In compiti di addizione modulare, la similarità tensoriale traccia la riorganizzazione continua del modello in specifiche frequenze di Fourier. Rivela che la riorganizzazione strutturale continua anche dopo che l'accuratezza è saltata alla perfezione, fornendo una visione più leggibile della dinamica di addestramento rispetto alle sole curve di accuratezza.
3. Rilevamento di Backdoor (OOD): Quando un backdoor viene iniettato in SVHN (attivandosi su una patch a rombo nero), le metriche comportamentali standard su dati puliti non riescono a rilevare il cambiamento. La similarità tensoriale, tuttavia, segnala il backdoor dai soli dati puliti e localizza il cambiamento alla specifica classe attaccata ('9'), dimostrando la sua capacità di rilevare meccanismi OOD.
4. Modellazione Linguistica: Applicata a un transformer con attenzione bilineare a due livelli addestrato su The Pile, la similarità tensoriale rivela strutture a blocchi chiare e transizioni nette nei regimi di addestramento che le metriche esistenti sfocano. Traccia la formazione di statistiche complesse di n-gram in modo più efficace rispetto ai proxy comportamentali.

Significato e Affermazioni

Il paper posiziona la similarità tensoriale come uno strumento fondamentale per l'interpretabilità meccanicistica. La sua principale rilevanza risiede nel ridurre il problema della misurazione della similarità e della verifica della fedeltà da un problema di approssimazione empirica a un problema algebrico risolto.

• Fedeltà: Affidandosi alle proprietà algebriche dei modelli multilineari, la metrica garantisce che le decomposizioni catturino la vera funzione sottostante anziché euristiche approssimate.
• Robustezza: Fornisce affermazioni di robustezza più solide applicandosi all'intera distribuzione, escludendo efficacemente meccanismi che si attivano solo su input specifici (come i backdoor).
• Limitazioni: Gli autori riconoscono modestamente che il metodo si basa attualmente su modelli multilineari, il che esclude la maggior parte delle architetture all'avanguardia che utilizzano non linearità non polinomiali. Tuttavia, sostengono che i modelli multilineari servano come banco di prova vitale per l'interpretabilità e che le evidenze suggeriscano che possano eguagliare le prestazioni delle architetture standard.
• Prospettive Future: Il lavoro suggerisce che la restrizione ai modelli multilineari sia un compromesso necessario per un'analisi algebrica trattabile, ma apre la strada a futuri metodi di attribuzione (ad esempio, calcolare la similarità tra percorsi in transformer profondi) e supporta la visione secondo cui le architetture multilineari sono più trasparenti delle normali reti profonde.