Massive Activations Are Architecturally Robust: A Controlled Scratch/Commitment Residual Stream Test

Sintesi Tecnica: Le Attivazioni Massive sono Architetturalmente Robuste

Problematica
I modelli transformer addestrati mostrano costantemente "attivazioni massive": un piccolo insieme di dimensioni dello stato nascosto con magnitudo migliaia di volte superiore alla mediana. Questi outlier sono strutturalmente specifici, apparendo su dimensioni fisse attraverso gli input e concentrandosi pesantemente sul token di inizio sequenza (o delimitatore). Emergono precocemente nella rete, persistono attraverso i successivi strati e agiscono come componenti portanti; azzerarli causa il collasso del modello.

L'origine di queste attivazioni è oggetto di un dibattito attivo. Una fazione le considera un artefatto del ruolo sovraccarico dello stream residuo, dove un singolo stream deve servire sia come blocco note mutabile per il calcolo intermedio, sia come accumulatore stabile per la risposta finale. I sostenitori di questa visione argomentano che interventi architettonici espliciti (ad esempio, QK-normalizzazione, bias di key/value) possono sopprimere la magnitudo di questi outlier con una perdita minima nelle prestazioni di linguaggio. La fazione opposta le considera necessità funzionali, potenzialmente servendo come "sink" di attenzione per prevenire l'over-mixing, regolatori adattivi del gradiente o termini di bias necessari per calcoli specifici.

La domanda centrale affrontata è se le attivazioni massive siano un sottoprodotto rimovibile dell'architettura o un requisito funzionale che il modello ricostruirà indipendentemente dal meccanismo utilizzato per separare i ruoli di lettura/scrittura.

Metodologia: Ledger Residuals (Residui a Libro Mastro)
Per testare direttamente l'ipotesi dell'artefatto, gli autori introducono i Ledger Residuals, un intervento architettonico che scinde lo standard stream residuo singolo in due canali distinti:

1. Stream di Deliberazione ($D$): Un "blocco note" mutabile dove i sottostrati possono scrivere liberamente e, crucialmente, cancellare il contenuto. Ciò consente ai calcoli intermedi di sovrascrivere dati obsoleti senza seppellirli.
2. Stream di Impegno ($C$): Un "libro mastro" protetto e append-only. I sottostrati possono aggiungere dati a questo stream tramite un gate appreso, ma non possono sovrascriverlo. Fondamentalmente, lo strato di unembedding (la testa di output del modello) decodifica esclusivamente da questo stream.

Il design assicura che, se le attivazioni massive sono solo una soluzione d'emergenza al conflitto tra i ruoli di blocco note e risposta, fornire un canale di risposta dedicato dovrebbe renderle superflue. L'architettura è parametrizzata per ridursi esattamente a un transformer pre-norm standard sotto specifiche impostazioni dei gate, garantendo che qualsiasi differenza osservata sia dovuta alla fattorizzazione stessa piuttosto che a un aumento della capacità.

Gli autori hanno addestrato transformer decoder-only a scale di 160M e 290M di parametri sul corpus FineWeb-Edu. Hanno confrontato quattro configurazioni a parità di loss di validazione:

• Vanilla: Transformer pre-norm standard.
• Suppress: Vanilla con QK-normalizzazione (nota per ridurre la magnitudo degli outlier).
• Ledger: La proposta architettura a stream separati con una leggera penalità di sparsità sui commitment.
• Ledger-HS: La stessa architettura con una penalità di sparsità sei volte più forte per forzare il canale di impegno a essere sparso.

Risultati Chiave
L'intervento non è riuscito a eliminare le attivazioni massive, portando a un chiaro risultato negativo per l'ipotesi dell'artefatto:

1. Ricostruzione nel Canale Protetto: Nei modelli Ledger, lo stream di Impegno protetto ($C$) ha ricostruito l'outlier canonico a dimensione fissa e token di inizio. Sebbene la magnitudo dell'outlier in $C$ fosse inferiore rispetto al modello "Vanilla" standard, la firma strutturale rimaneva: la feature era concentrata sulla stessa dimensione fissa ed era fortemente ancorata al token di inizio (BOS).
2. La Sparsità Intensifica la Feature: Contrariamente all'intuizione secondo cui forzare la sparsità nel canale di impegno avrebbe impedito la formazione di outlier persistenti, la configurazione Ledger-HS (alta penalità di sparsità) ha reso la feature più forte. La persistenza della dimensione dominante è aumentata da 0.58 a 0.96, e la concentrazione sul token di inizio è salita da 3.36 a 4.69. Il modello non ha abbandonato la feature; l'ha concentrata nei suoi "impegni" scarsi.
3. Magnitudo vs. Struttura: Lo studio distingue tra la magnitudo di un outlier e la sua struttura. Mentre la QK-normalizzazione (il baseline "Suppress") ha avuto successo nel ridurre la magnitudo e la concentrazione sul token di inizio, l'architettura Ledger ha dimostrato che, anche quando al modello viene fornito un canale pulito, la struttura (dimensione fissa + ancoraggio al token di inizio) riemerge.
4. Nessuna Penalità di Performance: Il rilocamento della magnitudo dell'outlier nello stream di impegno non ha avuto alcun impatto misurabile sulla perplexity di validazione o sulla robustezza del modello alla quantizzazione dei pesi (8-bit e 4-bit).

Significatività e Rivendicazioni
Il paper sostiene che le attivazioni massive sono architetturalmente robuste. Il fatto che il modello ricostruisca il particolare outlier a dimensione fissa e ancorato al token di inizio in un canale dedicato e protetto — nonostante abbia uno spazio di scratch separato per il calcolo — suggerisce che queste attivazioni non sono semplicemente un artefatto del doppio ruolo dello stream residuo. Al contrario, sembrano essere una necessità funzionale di cui il modello dipende attivamente, indipendentemente da dove sia costretto a memorizzare la sua rappresentazione finale.

Gli autori posizionano questo risultato come prova a sostegno della parte "funzionale" del dibattito. Argomentano che, sebbene la magnitudo degli outlier possa essere soppressa (come mostrato da lavori precedenti usando bias o normalizzazione), la struttura sottostante persiste quando al modello viene data la libertà architettonica di evitare l'artefatto. Lo studio non determina la specifica funzione di queste attivazioni (ad esempio, sink di attenzione, regolatore di gradiente o termine di bias), ma dimostra che il modello ricostruirà questa specifica feature strutturale ogni volta che decodifica da una rappresentazione.

Gli autori rilasciano l'architettura Ledger Residuals e il codice di misurazione per facilitare la riproduzione e il test di scalabilità. Riconoscono i limiti, inclusi le dimensioni relativamente piccole dei modelli (290M) e l'uso di un singolo seed, notando che ulteriori test su scale più grandi e compiti diversi sono necessari per generalizzare pienamente queste scoperte.