Riepilogo Tecnico: Tree SAE: Apprendimento di Strutture Gerarchiche di Caratteristiche negli Autoencoder Sparsi

Enunciato del Problema

Gli Autoencoder Sparsi (SAE) sono ampiamente utilizzati per estrarre caratteristiche interpretabili dall'uomo da modelli linguistici opachi. Tuttavia, gli SAE standard trattano le caratteristiche come un insieme indipendente, trascurando la struttura gerarchica intrinseca dei concetti del mondo reale. Questa omissione porta a fenomeni indesiderati come l'assorbimento delle caratteristiche (dove le caratteristiche fini inibiscono quelle grezze), la frammentazione delle caratteristiche (dove un singolo concetto viene frammentato su più caratteristiche) e la composizione delle caratteristiche (dove i modelli apprendono amalgami "polisemantici" frammentati o eccessivamente complessi).

Le architetture recenti, come gli SAE Matryoshka e gli SAE Matching Pursuit, tentano di affrontare questi problemi introducendo una ricostruzione multi-livello o ortogonalità condizionale. Si basano sulla Similitudine Cosine Mascherata (MCS) per identificare le relazioni gerarchiche, che si fonda sulla condizione di copertura dell'attivazione: una caratteristica figlia è considerata discendente di una genitrice se si attiva solo quando la genitrice si attiva.

Gli autori dimostrano che la copertura dell'attivazione da sola è insufficiente per identificare relazioni gerarchiche vere. Forniscono prove che le caratteristiche genitore e figlia possono soddisfare la condizione di copertura dell'attivazione pur rimanendo semanticamente non correlate (ad esempio, un concetto genitore "tempo" accoppiato erroneamente con un concetto figlio "politico", o una "caratteristica PCA" densa che agisce come genitrice di concetti non correlati). Ciò porta a falsi positivi in cui le coppie gerarchiche identificate mancano di coerenza concettuale.

Metodologia

1. La Condizione di Ricostruzione

Per affrontare i limiti della copertura dell'attivazione, gli autori introducono una nuova condizione di ricostruzione. Questa condizione impone un legame funzionale più profondo tra i livelli gerarchici.

• Definizione: Per una caratteristica genitore $f_p$ e una caratteristica figlia $f_c$, il punteggio di ricostruzione $S_{res}$ è definito in base all'allineamento dei loro vettori di decodifica ($d_p, d_c$) con il vettore del concetto vero della figlia ($d^*_c$).
• Meccanismo: La condizione richiede che sia il vettore di decodifica del genitore che quello della figlia contribuiscano costruttivamente alla ricostruzione del concetto della figlia. Nello specifico, garantisce che il genitore catturi una direzione concettuale ampia che la figlia affina.
• Validazione: Gli autori mostrano che, mentre la copertura dell'attivazione può essere soddisfatta da coppie spurie, il punteggio di ricostruzione filtra efficacemente queste ultime. Le coppie gerarchiche vere presentano punteggi di ricostruzione elevati, mentre le coppie non correlate (anche con copertura dell'attivazione perfetta) presentano punteggi bassi.

2. Architettura Tree SAE

Gli autori propongono Tree SAE, un modello progettato per apprendere strutture gerarchiche direttamente all'interno dell'insieme delle caratteristiche, piuttosto che inferirle a posteriori.

• Struttura ad Albero: L'insieme delle caratteristiche è diviso in più "livelli di privilegio". Una caratteristica a un livello superiore può essere assegnata come discendente di una caratteristica a qualsiasi livello inferiore. Un nodo radice immaginario al livello 0 funge da base per le caratteristiche senza genitori espliciti.
• Vettore di Assegnazione: Un vettore di assegnazione $a_l$ assegna le caratteristiche genitore alle caratteristiche figlia a ogni livello $l$.
• Attivazione Regularizzata: Per imporre la struttura ad albero, l'attivazione di una caratteristica figlia $f_i$ è regolarizzata per essere non nulla solo se la sua caratteristica genitore assegnata è attiva. Questo segue rigorosamente la condizione di copertura dell'attivazione durante l'addestramento.
• Funzione di Perdita di Ricostruzione Multi-livello: L'obiettivo di addestramento include una funzione di perdita di ricostruzione multi-livello. Per un livello $l$, la perdita vincola la ricostruzione cumulativa di tutti i livelli precedenti (incluso $l$) a recuperare accuratamente l'input. Ciò garantisce che i vettori genitore catturino concetti generali e i vettori figlia li raffinino in concetti specializzati.
• Assegnazione Dinamica: Per mitigare il problema delle "caratteristiche morte" (caratteristiche che non si attivano mai), gli autori introducono un meccanismo di assegnazione dinamica. Questo algoritmo rialloca le caratteristiche figlie morte alle caratteristiche genitore basandosi su una metrica di "guadagno" (derivata dalla perdita di addestramento accumulata), assicurando che le caratteristiche figlie siano assegnate a genitori che possono supportare efficacemente il loro apprendimento.

Contributi Chiave

1. Identificazione dei Limiti della Copertura dell'Attivazione: Il documento fornisce prove concrete che la copertura dell'attivazione da sola identifica coppie gerarchiche semanticamente incoerenti e propone una nuova definizione che combina la copertura dell'attivazione con la condizione di ricostruzione.
2. Modello Tree SAE: L'introduzione di una nuova architettura SAE che codifica una struttura ad albero gerarchica direttamente all'interno dell'insieme delle caratteristiche, appresa dinamicamente durante l'addestramento.
3. Apprendimento Gerarchico Superiore: Dimostrazione che gli Tree SAE apprendono coppie genitore-figlia significativamente più coerenti rispetto agli SAE esistenti (inclusi gli SAE Matryoshka e Matching Pursuit), evitando al contempo le patologie di frammentazione, assorbimento e composizione delle caratteristiche.
4. Analisi Geometrica: Evidenziare l'utilità della struttura ad albero esplicita nel mappare la geometria dei sottospazi delle caratteristiche figlie e comprendere come i modelli linguistici decompongono i concetti in livelli grezzi e fini.

Risultati Sperimentali

Gli autori hanno valutato gli Tree SAE su GPT2-small attraverso vari livelli di sparsità ($L_0$) e dimensioni del dizionario, confrontandoli con SAE Top-k, SAE Matryoshka e SAE Matching Pursuit.

• Metriche Gerarchiche: Gli Tree SAE hanno scoperto un numero sostanzialmente maggiore di coppie gerarchiche che soddisfacevano sia la condizione di copertura dell'attivazione che quella di ricostruzione rispetto ad altri modelli. È stato riscontrato che la struttura ad albero interna era leggermente più efficace nell'identificare queste coppie rispetto all'analisi MCS a posteriori.
• Patologie delle Caratteristiche: Gli Tree SAE hanno prestazioni competitive o superiori rispetto agli SAE Matryoshka all'avanguardia (SOTA) nella riduzione di frammentazione, assorbimento e composizione delle caratteristiche.
• Ricostruzione e Interpretabilità: Gli Tree SAE hanno mantenuto una perdita di ricostruzione competitiva e una varianza spiegata, ricostruendo fedelmente i latenti originali. In termini di interpretabilità (misurata tramite AutoInterp), gli Tree SAE hanno eguagliato le prestazioni degli SAE Matryoshka.
• Scalabilità: Gli Tree SAE si sono scalati bene con le dimensioni del dizionario (da 6k a 49k), spesso superando gli SAE Matryoshka nelle metriche gerarchiche a scale più piccole e mantenendo prestazioni comparabili a scale più grandi.
• Diversità delle Caratteristiche Figlia: Le caratteristiche figlie apprese hanno mostrato bassi tassi di co-attivazione (<3,0%), indicando che rappresentano aspetti distinti del concetto genitore piuttosto che informazioni ridondanti.

Significato e Affermazioni

Il documento afferma che Tree SAE rappresenta un passo significativo in avanti nella comprensione delle rappresentazioni interne dei grandi modelli linguistici. Spostandosi oltre gli insiemi di caratteristiche indipendenti per modellare esplicitamente le strutture gerarchiche, gli autori sostengono che gli Tree SAE:

• Mitigano le note patologie delle caratteristiche gerarchiche (frammentazione, assorbimento, composizione).
• Forniscono un quadro più accurato per identificare vere relazioni concettuali genitore-figlia, evitando i falsi positivi comuni nei metodi precedenti.
• Abilitano l'analisi geometrica dei sottospazi concettuali gerarchici, offrendo nuove intuizioni su come i modelli decompongono i concetti generali in sub-concetti specializzati.

Gli autori notano delle limitazioni, specificamente che la struttura ad albero rigida può portare a un numero maggiore di caratteristiche morte rispetto ad altri SAE, sebbene l'assegnazione dinamica aiuti a mitigare questo problema. Suggeriscono che lavori futuri potrebbero esplorare meccanismi di gating morbido per migliorare ulteriormente l'utilizzo delle caratteristiche.