🤖 machine learning

Bug or Feature $^2$ : Weight Drift, Activation Sparsity, and Spikes

Questo lavoro identifica una deriva fondamentale del peso negativo causata dall'interazione tra funzioni di perdita standard e attivazioni con bias positivo, che induce un'elevata sparsità delle attivazioni e cliff di accuratezza nelle reti profonde, portando gli autori a proporre ReLU $^2$ e GELU $^2$ troncati come soluzioni efficaci che bilanciano sparsità, stabilità e prestazioni.

Autori originali: Egor Shvetsov, Aleksandr Serkov, Shokorov Viacheslav, Redko Dmitry, Vladislav Goloshchapov, Evgeny Burnaev

Pubblicato 2026-05-19

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Egor Shvetsov, Aleksandr Serkov, Shokorov Viacheslav, Redko Dmitry, Vladislav Goloshchapov, Evgeny Burnaev

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di costruire una macchina enorme e complessa composta da migliaia di minuscoli interruttori (neuroni) che imparano a riconoscere schemi. Da anni, gli ingegneri modificano queste macchine per tentativi ed errori, aggiungendo funzionalità che sembrano funzionare bene senza comprenderne appieno il perché.

Questo articolo, intitolato "Bug or Feature2", indaga una stranezza nascosta nel modo in cui queste macchine apprendono. Gli autori hanno scoperto un "fantasma" nella macchina: una tendenza delle impostazioni interne (pesi) a spostarsi lentamente in direzione negativa, causando lo spegnimento completo di molti interruttori.

Ecco la spiegazione dei loro risultati utilizzando semplici analogie:

1. La "Deriva Negativa" (La Tiro alla Fune)

Immagina che la macchina inizi con tutte le sue impostazioni bilanciate perfettamente intorno allo zero. Gli autori hanno scoperto che, a causa del modo in cui la macchina calcola i suoi errori (utilizzando formule matematiche standard chiamate "funzioni di perdita") e di come elabora le informazioni (utilizzando "funzioni di attivazione" come ReLU), esiste una sottile, invisibile lotta di forza.

Il Meccanismo: Nei primissimi secondi dell'addestramento, la matematica spinge le impostazioni leggermente verso il lato negativo.
Il Risultato: Una volta che un'impostazione diventa negativa, rimane negativa. È come una palla che rotola giù per una collina; una volta iniziata, continua fino a sbattere contro un muro. Questo accade anche se la macchina viene alimentata con dati casuali e privi di senso. È un difetto nel processo di addestramento stesso, non nei dati.

2. Gli "Interruttori Silenziosi" (Sparsità di Attivazione)

Ora, immagina che quegli interruttori siano lampadine.

Con ReLU (un tipo comune di interruttore): Se l'impostazione deriva verso il negativo, la lampadina si spegne completamente e rimane spenta. Gli autori hanno scoperto che in alcuni modelli (come un piccolo modello linguistico chiamato GPT-nano), fino al 90% delle lampadine si spegne e rimane silenziosa.
La Domanda: È un Bug o una Funzionalità?
- Bug: Se troppe luci si spengono, la macchina potrebbe diventare cieca e smettere di imparare.
- Funzionalità: Se la macchina può svolgere il suo lavoro con meno luci accese, potrebbe essere più efficiente.

3. La "Scogliera" (La Zona di Pericolo)

I ricercatori hanno testato quanto silenzio la macchina poteva sopportare prima di rompersi. Hanno trovato una netta "Scogliera".

La Zona Sicura: Se spegni fino al 70% degli interruttori, la macchina funziona quasi come prima. È sorprendentemente robusta.
La Scogliera: Se provi a spegnere più del 70% (diciamo, l'80% o il 90%), le prestazioni della macchina crollano. È come cercare di guidare un'auto con una sola ruota; funziona bene fino a una certa velocità, poi si disintegra.
L'Eccezione: Le macchine con "connessioni di salto" (come ResNet o Transformers) sono come auto con ruote di scorta; possono sopportare molto più silenzio prima di crashare.

4. L'Esperimento "Quadratura" (ReLU2)

Gli autori hanno provato un nuovo tipo di interruttore chiamato ReLU2, che eleva al quadrato il segnale (rende i numeri grandi ancora più grandi).

Il Problema: Questo ha creato "Picchi". Immagina che alcune lampadine lampeggino improvvisamente così intensamente da bruciarsi o accecare il sistema. Negli strati centrali della macchina, questi picchi sono diventati pericolosamente grandi.
La Soluzione: Hanno scoperto che limitare i picchi (ponendo un tetto alla luminosità massima della lampadina) ha risolto il problema.
Il Vincitore: Un "ReLU2 Limitato" ha funzionato meglio dell'originale, e un "GELU2 Limitato" (un interruttore liscio diverso) ha effettivamente ottenuto le prestazioni migliori sul modello linguistico, raggiungendo il tasso di errore più basso.

5. Il Trucco del "Congelamento" (Efficienza Computazionale)

La "deriva" avviene principalmente nei primi passi dell'addestramento. Dopo di ciò, le impostazioni si stabilizzano.

L'Idea: Di solito, la macchina ricalcola il suo "baricentro" (statistiche di normalizzazione) ogni volta che vede una nuova immagine o frase. Questo è lento.
L'Hack: Gli autori hanno scoperto che una volta che la deriva iniziale si assesta (dopo un breve "riscaldamento"), puoi congelare quei calcoli. Smetti di ricalcolare e usi semplicemente i numeri iniziali.
Il Vantaggio: Questo rende l'addestramento della macchina circa 25–30% più veloce senza danneggiare la sua intelligenza finale. È come impostare il termostato una volta che la stanza ha raggiunto la temperatura giusta, invece di controllare la temperatura ogni secondo.

Riepilogo

L'articolo rivela che i moderni modelli di intelligenza artificiale sviluppano naturalmente "zone morte" dove molti neuroni smettono di funzionare a causa di una stranezza matematica nel loro modo di apprendere.

Non è un bug nei dati; è un bug nella matematica di ottimizzazione.
Il silenzio è accettabile fino a un certo punto (70%), ma troppo silenzio causa un crash.
Nuovi interruttori (funzioni al quadrato) possono essere potenti ma necessitano di "limitazione" per prevenire picchi pericolosi.
Congelare i calcoli iniziali può rendere l'addestramento significativamente più veloce.

Gli autori concludono che ciò che sembra un effetto collaterale casuale è in realtà un meccanismo controllabile che, se compreso, può aiutarci a costruire un'IA più veloce ed efficiente.

Riepilogo Tecnico: Bug o Funzionalità2: Deriva dei Pesi, Sparsità delle Attivazioni e Picchi

Enunciato del Problema

La progettazione moderna delle architetture neurali si è evoluta attraverso scelte empiriche incrementali, tuttavia i meccanismi intrinseci che governano la dinamica dell'addestramento rimangono parzialmente compresi. Questo documento identifica una deriva negativa dei pesi sistematica, indotta dall'interazione tra funzioni di perdita standard (MSE, entropia incrociata) e funzioni di attivazione con bias positivo (ad esempio, ReLU, GELU, SiLU) in assenza di normalizzazione centrata sulla media.

Il problema fondamentale è che, durante le prime iterazioni dell'addestramento, la discesa del gradiente spinge i pesi verso valori negativi. Ciò accade perché il gradiente atteso rispetto alle pre-attivazioni positive è non negativo. Di conseguenza, le pre-attivazioni si spostano verso il basso, causando un maggior numero di neuroni che scendono sotto zero. Quando passano attraverso funzioni di attivazione come ReLU, queste pre-attivazioni negative vengono schiacciate a zero, inducendo sparsità di attivazione rigida. Gli autori investigano se questa sparsità emergente sia una funzionalità benefica per l'efficienza o un bug dannoso che degrada le prestazioni del modello. Inoltre, il documento esamina i picchi di attivazione patologici osservati nelle funzioni di attivazione quadratiche (ad esempio, ReLU2) all'interno di architetture transformer.

Metodologia

1. Analisi Formale della Deriva dei Pesi

Gli autori forniscono una dimostrazione formale per i Perceptron Multistrato (MLP) basati su ReLU all'inizializzazione.

Quadro Teorico: Definiscono una matrice dei pesi efficace $V_{eff}$ che rappresenta la composizione dei successivi livelli lineari e delle porte ReLU.
Teorema Chiave: Sotto un'inizializzazione dei pesi i.i.d. a media zero, le righe di $V_{eff}$ mostrano media zero ma una correlazione incrociata non negativa ( $E[\langle v_i, v_j \rangle] \ge 0$ ).
Analisi del Gradiente: Sia per la perdita MSE che per l'entropia incrociata, il gradiente atteso rispetto a qualsiasi pre-attivazione positiva è non negativo. Poiché la discesa del gradiente aggiorna i pesi nella direzione opposta al gradiente ( $w \leftarrow w - \eta \nabla w$ ), questo gradiente costantemente positivo spinge i pesi verso valori negativi.
Ciclo di Auto-Rafforzamento: Man mano che i pesi diventano negativi, le pre-attivazioni si spostano ulteriormente sotto zero, aumentando la frazione di neuroni morti e rafforzando la deriva.

2. Validazione Empirica

Gli autori verificano queste dinamiche attraverso impostazioni diverse:

Architetture: MLP, ResNet-18, MaxViT, MP-SENet e GPT-nano.
Attivazioni: ReLU, GELU, SiLU, NoisyReLU, SUGARBSiLU e ReLU2.
Dati: Addestramento sia su dataset reali (CIFAR-10, ImageNet-1K, FineWeb) che su input completamente casuali per isolare la dinamica di ottimizzazione dalla distribuzione dei dati.
Ottimizzatori: SGD, SGD con momento e Adam/AdamW.

3. Controllo della Sparsità e Analisi del Trade-off

Per determinare se la sparsità sia un "bug" o una "funzionalità", gli autori controllano esplicitamente i livelli di sparsità utilizzando due meccanismi:

Sparsità Top-K: Mantiene il top $k\%$ delle attivazioni (utilizzato con GELU).
Centratura per Percentile (PC): Un metodo proposto che sposta le attivazioni di un percentile target $q$ anziché della media prima di applicare ReLU, controllando direttamente la frazione di attivazioni azzerate.
Valutazione: Mettono a confronto 79 configurazioni tra le architetture per mappare la relazione tra livelli di sparsità e accuratezza/perdita del modello.

4. Investigazione delle Attivazioni Quadratiche e dei Picchi

Il documento analizza ReLU2 ( $max(0, x)^2$ ) e GELU2 su GPT-nano.

Rilevamento dei Picchi: Osservano massicci picchi di attivazione nei livelli 2–4 di GPT-nano quando si utilizza ReLU2.
Mitigazione: Testano il clipping di queste attivazioni a soglie (15 e 50) per determinare se i picchi siano dannosi (bug) o informativi (funzionalità).

Risultati Chiave

1. La Deriva Negativa dei Pesi è Intrinseca

Universalità: La deriva si verifica su tutte le architetture e funzioni di attivazione testate, incluse quelle senza normalizzazione esplicita (ad esempio, RMSNorm).
Origine nell'Ottimizzazione: Il fenomeno persiste anche su dati casuali, confermando che è una proprietà della dinamica di ottimizzazione piuttosto che della distribuzione dei dati.
Entità: La deriva è più pronunciata nelle prime iterazioni di addestramento e si stabilizza man mano che i gradienti diminuiscono. Gli ottimizzatori basati sul momento accelerano questa deriva iniziale.
Conseguenza sulla Sparsità: Nei modelli basati su ReLU, questa deriva induce una sparsità naturale che raggiunge fino al 90% su GPT-nano senza regolarizzazione esplicita.

2. La "Scogliera" Sparsità-Accuratezza

Curva di Trade-off: Le prestazioni rimangono stabili su livelli di sparsità moderati ( $s \lesssim 0.7$ ) ma degradano bruscamente oltre una soglia critica (la "scogliera").
Dipendenza dall'Architettura:
- MLP: Subiscono un collasso catastrofico a circa l'85% di sparsità.
- ResNet: Mostra un degrado monotono con sparsità strutturata (per canale) ma mantiene robustezza con sparsità non strutturata.
- Transformer (ViT, GPT): Mostrano un'estrema resilienza. GPT-nano mantiene prestazioni vicine alla baseline fino a circa il 91% di sparsità.
Indipendenza dal Meccanismo: Il metodo specifico per indurre sparsità (Top-K vs Centratura per Percentile) ha un impatto marginale rispetto al livello di sparsità stesso.

3. Funzioni di Attivazione e Sparsità

GELU: Raggiunge la massima accuratezza nella maggior parte dei compiti di classificazione ma induce una sparsità naturale minima.
ReLU2: Altamente sensibile alla normalizzazione. Collassa su MLP senza normalizzazione ma raggiunge la perdita di validazione più bassa su GPT-nano (3.250) rispetto a GELU (3.260).
ReLUficazione: Convertire modelli addestrati con GELU in ReLU tramite un'epoca di fine-tuning recupera una sparsità del 55–74% con una perdita di accuratezza trascurabile (<1%), offrendo una strategia pratica per l'efficienza.

4. Picchi Patologici e Clipping

Origine dei Picchi: I picchi su GPT-nano originano dalla proiezione in aumento dei blocchi MLP e sono amplificati dall'operazione di quadratura in ReLU2.
Vantaggi del Clipping:
- ReLU2 Clippato: Supera ReLU2 non clippato (3.236 vs 3.251), indicando che i picchi estremi sono dannosi.
- GELU2 Clippato: Raggiunge la migliore perdita di validazione complessiva (3.233) su GPT-nano.
- Risultati ViT: Le attivazioni quadratiche non superano GELU su MaxViT, suggerendo che i vantaggi delle attivazioni quadratiche possano essere specifici dei modelli autoregressivi.

5. Efficienza Computazionale tramite Arresto dell'Accumulazione

Osservazione: Poiché la deriva dei pesi si stabilizza dopo qualche migliaio di passi, il calcolo dinamico delle statistiche di normalizzazione (percentili, medie) è inutile per l'intera durata dell'addestramento.
Metodo: Gli autori propongono l'Arresto dell'Accumulazione (AS), dove le statistiche sono calcolate tramite una Media Mobile Esponenziale (EMA) durante una fase di warm-up (ad esempio, 50k passi) e poi congelate.
Risultato: Questo ripristina il throughput di addestramento a livelli vicini alla baseline (rimuovendo il sovraccarico di ~25–30% del calcolo dinamico dei percentili) senza degradare la qualità del modello (i punteggi FID/IS rimangono stabili o migliorano).

Significato e Affermazioni

Il documento ripensa la sparsità delle attivazioni non come una proprietà emergente dei dati, ma come una conseguenza controllabile dell'interazione tra funzioni di perdita, funzioni di attivazione e livelli di normalizzazione.

Comprensione Meccanicistica: Il lavoro fornisce una spiegazione teorica ed empirica del perché le architetture moderne (che spesso omettono la centratura sulla media, ad esempio utilizzando RMSNorm) mostrino una deriva sistematica dei pesi e un'alta sparsità.
Linee Guida per la Progettazione:
- Controllo della Sparsità: Una sparsità aggressiva (fino a ~70-80%) può essere ottenuta senza degradazione significativa delle prestazioni nei modelli basati su transformer, offrendo un percorso per l'efficienza computazionale.
- Scelta dell'Attivazione: Sebbene ReLU2 offra guadagni di prestazioni negli LLM, richiede clipping per mitigare i picchi patologici. GELU rimane una baseline robusta per uso generale.
- Efficienza: La tecnica "Arresto dell'Accumulazione" offre un metodo pratico per ridurre il sovraccarico di addestramento congelando le statistiche di normalizzazione dopo la fase iniziale di stabilizzazione della deriva.
Limitazioni: Gli autori notano che le prove teoriche si applicano rigorosamente all'inizializzazione e a ReLU, con estensioni ad attivazioni lisce di natura empirica. L'applicabilità di questi risultati agli LLM di frontiera (1B+ parametri) e le soglie di clipping ottimali per diverse architetture rimangono questioni aperte.

Il documento conclude che comprendere queste scelte di progettazione "apparentemente incidentali" è cruciale per lo sviluppo futuro delle architetture, in particolare mentre il settore si sposta verso normalizzazioni non centrate e inferenza sparsa.