Sintesi Tecnica: Strutturare la Sparsità: Featurizer a Blocchi Sparsi (Block-Sparse Featurizers)

1. Definizione del Problema

Gli attuali metodi di interpretabilità, in particolare gli Autoencoder Sparsi (SAE), decompongono le attivazioni delle reti neurali in combinazioni sparse di direzioni isolate (atomi). Questo approccio presuppone che i concetti siano rappresentati da singoli vettori nello spazio delle attivazioni. Tuttavia, studi recenti suggeriscono che i concetti neurali possiedano spesso una geometria interna, manifestandosi come varietà (manifold) a bassa dimensionalità, regioni convesse o feature dense, piuttosto che come direzioni isolate.

Ciò crea un disallineamento tra la fenomenologia delle rappresentazioni neurali (strutturate, multidimensionali) e l'apparato utilizzato per analizzarle (direzioni isolate). Il paper postula che trattare i concetti come singole direzioni imponga una visione "frammentata" dove un singolo concetto viene scisso in molti atomi, fallendo nel catturare la geometria intrinseca e la variazione continua all'interno di un concetto.

2. Metodologia

2.1 Fondamento Teorico: Sparsità Strutturata

Gli autori propongono i Block-Sparse Featurizers (BSF) per colmare questo divario. Tracciando la letteratura sulla sparsità strutturata (specificamente la sparsità di gruppo), ipotizzano che le attivazioni neurali siano generate come una somma sparsa di varietà a bassa dimensionalità.

• Processo Generativo dei Dati (DMP): Un'attivazione $x$ è modellata come $x = \sum_{i \in S} m_i + \epsilon$, dove $m_i$ giace su una varietà a bassa dimensionalità $M_i$ e $S$ è un piccolo insieme di fattori attivi.
• Derivazione Bayesiana: Applicando un prior "spike-and-slab" su blocchi di coordinate (dove lo "slab" è una distribuzione uniforme su una palla in $\mathbb{R}^b$), la stima del Massimo a Posteriori (MAP) conduce naturalmente a una penalità di blocchi sparsi (norma $\ell_{2,0}$). Questa penalità impone la sparsità attraverso gruppi di direzioni, consentendo al contempo una variazione densa all'interno di un gruppo attivo.
• Interpretazione Geometrica: A differenza degli SAE che selezionano singole direzioni, i BSF selezionano sottospazi. L' "atomo" è il sottospazio stesso, e il codice all'interno del blocco rappresenta la posizione sulla varietà.

2.2 Tre Varianti di Block-Sparse Featurizer

Il paper implementa tre diverse architetture per istanziare questo principio:

1. Vanilla BSF: Utilizza un encoder e un decoder lineari. La sparsità è imposta da un operatore di proiezione hard ($\Pi_k$) che mantiene solo i $k$ blocchi con le maggiori norme $\ell_2$.
2. Grassmannian BSF: Impone che le direzioni all'interno di un blocco siano ortonormali (i blocchi del decoder giacciono sulla varietà di Stiefel). L'encoder è legato alla trasposta del decoder ($z = \gamma x D^\top$), e la sparsità è imposta tramite $\Pi_k$. Questo modella esplicitamente il blocco come un sottospazio.
3. Group Lasso BSF: Utilizza un encoder lineare con una funzione di attivazione a soglia morbida ($sh_\theta$) che contrae le norme dei blocchi verso lo zero. La sparsità è indotta tramite una penalità $\ell_{2,1}$ nella funzione di perdita, ammorbidendo il vincolo hard per un obiettivo fluido.

2.3 Framework di Valutazione

• Validazione Sintetica: Un modello toy controllato dove varietà (cerchi, sfere, tori) sono incorporate e sommate. Il recupero è misurato in base a quanto bene un singolo blocco ricostruisce il contributo specifico della varietà ($R^2$).
• Analisi sul Mondo Reale: Applicato a DINOv3 (modello di visione foundation), InceptionV1 e SDXL (modello di diffusione).
• Metriche:
  • Lunghezza Minima della Descrizione (MDL): Utilizzata per confrontare i BSF con gli SAE. Il costo include i bit per il supporto (quali blocchi si attivano), il codice (coordinate all'interno dei blocchi), il residuo e il dizionario.
  • Rango Stabile (Stable Rank): Utilizzato per quantificare la dimensionalità intrinseca delle feature recuperate.
  • Task a Valle (Downstream Tasks): Linear probing su classificazione, segmentazione e stima della profondità.
  • Guida della Varietà (Manifold Steering): Intervenire nello spazio delle attivazioni per controllare la generazione di immagini.

3. Contributi Chiave

1. Allineamento Teorico: Il paper collega formalmente l'ipotesi che i concetti siano varietà alla letteratura sulla sparsità strutturata, derivando la sparsità a blocchi come il prior corrispondente per una miscela additiva di varietà.
2. Implementazione Algoritmica: Introduzione di tre varianti di BSF (Vanilla, Grassmannian, Group Lasso) che vanno oltre l'assunto di "una direzione per concetto".
3. Evidenza Quantitativa:
   • Analisi MDL: I BSF descrivono le attivazioni in modo più compatto rispetto agli SAE. La dimensione ottimale del blocco è trovata essere moderata (2–4 dimensioni), suggerendo che i concetti siano intrinsecamente multidimensionali.
   • Recupero Sintetico: I BSF recuperano superposizioni di varietà additive con alta fedeltà ($R^2 \approx 0,93-0,97$), mentre gli SAE standard frammentano queste strutture ($R^2 \approx 0,53$).
4. Scoperta delle Varietà di Concetto:
   • InceptionV1: Ha dimostrato che i neuroni "rilevatori di curve" e le feature degli SAE sono in realtà frammenti di una singola varietà continua di una curva. Il BSF la recupera come una singola regione connessa e rivela modi di Fourier di ordine superiore (es. invarianza a 180°) precedentemente oscurati.
   • DINOv3: Ha scoperto varietà corrispondenti ad attributi fisici della scena come luce e ombre, che tracciano l'illuminazione in modo coerente attraverso diverse identità di oggetti.
   • SDXL: Ha identificato varietà per oggetti specifici (es. pretzel) dove la guida all'interno del sottospazio del blocco produce variazioni semanticamente coerenti, diversamente dalla guida lungo direzioni isolate.

4. Risultati

• Efficienza di Ricostruzione: A un livello di distorsione fissato (determinato dalla tolleranza delle prestazioni del task), i BSF ottengono lunghezze di descrizione inferiori rispetto agli SAE. La descrizione più efficiente avviene quando le dimensioni dei blocchi sono tra 2 e 4, anche quando sono disponibili capacità maggiori.
• Dimensionalità delle Feature: L'analisi del rango stabile rivela che i concetti recuperati in DINOv3 sono tipicamente a 2–4 dimensioni, confermando che i blocchi non sono solo direzioni sovra-parametrizzate ma utilizzano la loro geometria interna.
• Coerenza Spaziale: Le mappe dei concetti dei BSF sono significativamente più lisce (minore Variazione Totale ed Energia di Dirichlet) rispetto alle mappe SAE, indicando che tracciano meglio gli attributi continui della scena.
• Guida della Varietà (Manifold Steering): In SDXL, la guida lungo la geometria della varietà appresa (usando mappe di Kohonen per attraversare il sottospazio) genera immagini che variano fluidamente lungo le dimensioni interne del concetto (es. cambiare la forma di un pretzel) senza degradare la qualità dell'immagine, un risultato difficile da ottenere con le direzioni isolate degli SAE.

5. Significato e Rivendicazioni

Il paper sostiene che la sparsità a blocchi sia il corretto bias induttivo per scomporre le rappresentazioni neurali quando queste sono strutturate come varietà a bassa dimensionalità.

• Connessione con le Neuroscienze: Il lavoro si allinea ai modelli di neuroscienze visive (es. il modello dell'energia, le cellule complesse) dove le feature sono trasportate da gruppi coordinati di neuroni piuttosto che da singole unità sintonizzate. I BSF recuperano il comportamento delle "cellule complesse" mantenendo la coordinata interna (fase/geometria) invece di eliminarla tramite il pooling per l'invarianza.
• Paradigma di Interpretabilità: Gli autori sostengono che un featurizer sia un'ipotesi sul processo generativo dei dati. Accoppiando la struttura del featurizer (blocchi) alla geometria delle rappresentazioni (varietà), è possibile recuperare concetti più ricchi e coerenti.
• Limiti e Ambito: Il paper nota con modestia che la sparsità a blocchi potrebbe non essere un atomo universale per tutte le modalità (es. il linguaggio o il video potrebbero richiedere strutture diverse come blocchi temporali o gerarchici). Il contributo è specifico per il caso in cui le rappresentazioni siano miscele additive di varietà a bassa dimensionalità, una proprietà osservata nei modelli visivi testati.

In sintesi, il paper fornisce un caso teorico ed empirico per passare da featurizer basati su "direzioni" a featurizer basati su "regioni" (blocchi), dimostrando che questo cambiamento recupera la geometria interna dei concetti, migliora l'efficienza della descrizione e consente un controllo più preciso sui modelli generativi.