The Geometric Wall: Manifold Structure Predicts Layerwise Sparse Autoencoder Scaling Laws

Sintesi Tecnica: Il Muro Geometrico: La Struttura di Varietà Predice le Leggi di Scalabilità Strato-per-Strato degli Autoencoder Sparsi

Enunciato del Problema
Gli Autoencoder Sparsi (SAE) operazionalizzano l'Ipotesi di Rappresentazione Lineare (LRH) ricostruendo le attivazioni del modello come combinazioni lineari sparse di atomi del dizionario. Questo approccio assume implicitamente che lo spazio delle attivazioni sia ben approssimato da una struttura globalmente lineare. Tuttavia, le leggi di scalabilità esistenti per la perdita di ricostruzione degli SAE – in particolare la legge di potenza congiunta che lega la perdita alla larghezza del dizionario ($n$) e alla sparsità ($k$) – sono state adattate solo a singoli strati (ad esempio, strato 5/6 di GPT-4) e non tengono conto della marcata variazione dell'errore di ricostruzione osservata tra i diversi strati di una rete.

L'articolo sostiene che questa variazione non è meramente una limitazione di risorse, bensì una traccia empirica di un disallineamento geometrico. Mentre gli SAE assumono una base piatta e globalmente lineare, le varietà di attivazione dei grandi modelli linguistici sono curve e la loro dimensione intrinseca varia sistematicamente con la profondità. Di conseguenza, nessun singolo dizionario lineare sparso può adattarsi uniformemente a queste varietà, facendo sì che la scalabilità larghezza-sparsità dell'SAE diventi una funzione dipendente dallo strato della geometria della varietà, piuttosto che una legge universale.

Metodologia
Gli autori conducono il primo studio di scalabilità cross-layer utilizzando 844 checkpoint di SAE per flussi residui della famiglia Gemma Scope, coprendo tutti i 26 strati di Gemma 2 2B e tutti i 42 strati di Gemma 2 9B. L'analisi procede in due fasi:

1. Fase 1: Adattamento della Superficie di Scalabilità per Strato

   • Per ogni strato, gli autori adattano una superficie di scalatura log-lineare "senza pavimento" alla perdita di ricostruzione ($L$) in funzione della larghezza del dizionario ($n$) e della sparsità ($k$).
   • A causa della copertura limitata della larghezza nella maggior parte degli strati (disponibili solo due larghezze di base), adattano una superficie a 4 parametri: $\log L = a_0 + \beta_n \log n + \beta_k \log k + \gamma \log n \log k$.
   • Da ciò, derivano l'esponente di scalatura per larghezza per strato $\alpha_\ell(k) = -(\beta_{n,\ell} + \gamma_\ell \log k)$.
   • In sei strati "esemplificativi" con griglie di larghezza più ricche ($\ge3$ larghezze), eseguono un adattamento non lineare congiunto di una superficie a 6 parametri "con pavimento" ($L = A(k)n^{-\alpha(k)} + B(k)$) per identificare il pavimento asintotico di ricostruzione $B(k)$.

2. Fase 2: Regressione Geometrica Cross-Layer

   • Gli autori calcolano quattro riepiloghi geometrici strato-per-strato della varietà di attivazione utilizzando stimatori euclidei estrinseci (TWO-NN, PCA multi-scala, ecc.):
     • Dimensione intrinseca ($d_{int}$): Gradi di libertà locali.
     • Curvatura multi-scala ($\kappa_{ms}$): Scostamento medio dal piano tangente su raggi variabili.
     • Variazione tangenziale ($\kappa_{tv}$): Tasso di rotazione dello spazio tangente.
     • Eterogeneità ($\nu$): Variazione locale della dimensione intrinseca.
   • Regrediscono gli output della Fase 1 (in particolare l'esponente di larghezza $\alpha_\ell(k)$ e i coefficienti $\beta_n, \gamma$) contro questi riepiloghi geometrici utilizzando i Minimi Quadrati Ordinari (OLS).
   • I test di ipotesi confrontano un'ipotesi nulla invariante per geometria ($H_0$) contro modelli in cui il target dipende da singole caratteristiche, coppie di caratteristiche a bassa correlazione, o tutte e quattro le caratteristiche.
   • Trasferimento Cross-Modello: I coefficienti appresi su un modello (ad esempio, 2B) sono utilizzati per prevedere gli esponenti per strato dell'altro modello (9B) per testare l'esistenza di una legge geometrica trasferibile.

Contributi Chiave

1. Quadro Geometrico per i Residui SAE: L'articolo fornisce un resoconto informazionale-geometrico di pullback che spiega perché gli spazi di attivazione potrebbero non ammettere codici lineari sparsi globalmente efficienti. Postula che la metrica "naturale" sullo spazio di attivazione sia la metrica di Fisher-Rao di pullback, mentre gli SAE ottimizzano per la distanza euclidea ambientale, creando un disallineamento tra base e varietà.
2. Legge di Scalabilità Condizionata alla Geometria: Gli autori estendono la legge di scalabilità larghezza-sparsità standard a un resoconto condizionato alla geometria. Dimostrano che i parametri della legge di scalabilità (in particolare l'esponente di larghezza) sono funzioni strato-per-strato della geometria della varietà di attivazione.
3. Legge Geometrica Cross-Modello e Accoppiamento del Pavimento:
   • Mostrano che i coefficienti di regressione appresi su un modello prevedono con successo gli esponenti di scalatura per larghezza per strato di un altro modello, indicando una legge geometrica trasferibile.
   • Negli strati esemplificativi, il pavimento asintotico di ricostruzione ($B$) traccia l'ordinamento geometrico: gli strati con maggiore curvatura e dimensione intrinseca presentano pavimenti irriducibili più elevati.

Risultati

• Previsione degli Esponenti di Scalabilità: La geometria della varietà predice fortemente l'esponente di scalatura per larghezza per strato $\alpha_\ell(k=50)$. La curvatura multi-scala ($\kappa_{ms}$) è la singola caratteristica dominante, spiegando quasi tutta la variazione cross-layer nel modello 2B e la maggior parte nel modello 9B.
• Trasferibilità: La legge geometrica è trasferibile. I coefficienti di regressione adattati su Gemma 2 2B prevedono gli esponenti 9B con alta fedeltà ($R^2 \approx 0.92-0.93$), e viceversa, suggerendo che la relazione non è un artefatto di una specifica dimensione del modello.
• Il Muro Geometrico: Negli strati dove il pavimento asintotico è identificabile, l'entità del pavimento si correla con la complessità geometrica. Maggiore curvatura e dimensione intrinseca corrispondono a pavimenti più elevati. Questo è interpretato come un residuo irriducibile del secondo ordine: un dizionario lineare sparso piatto non può approssimare perfettamente una varietà curva, lasciando un errore residuo che non svanisce nemmeno allorché la larghezza del dizionario tende all'infinito.
• Interpretazione Meccanicistica: Il "muro geometrico" non è un soffitto di risorse finite ma un limite dipendente dalla geometria. Una curvatura più elevata aumenta la deviazione del secondo ordine dal piano tangente, mentre una dimensione intrinseca più elevata riduce la quota di spazio tangente locale copribile da un budget finito di atomi.

Significato e Affermazioni
L'articolo afferma di ripresentare il limite SAE come un muro dipendente dalla geometria piuttosto che come un soffitto di risorse. Sostiene che la variazione nella fedeltà degli SAE tra gli strati è condizionata dalla struttura geometrica delle attivazioni, che le attuali pratiche di scalatura a singolo strato lasciano non modellata.

Gli autori non affermano che gli SAE siano inadatti all'interpretabilità. Piuttosto, asseriscono che il comportamento di scalatura strato-per-strato è fondamentalmente vincolato dalla struttura della varietà che l'SAE tenta di ricostruire. I risultati suggeriscono che l'"ipotesi di rappresentazione lineare" è un'approssimazione dipendente dalla metrica; le "direzioni lineari significative" non sono libere da metriche, e l'allineamento tra la metrica euclidea ambientale (utilizzata dagli SAE) e la metrica predittiva di pullback varia sistematicamente con la profondità. Il lavoro fornisce un quadro diagnostico per comprendere dove e perché fallisce la ricostruzione SAE, collegandolo direttamente alla geometria intrinseca degli stati nascosti della rete neurale.