🤖 machine learning

The Geometric Cost of Normalization: Affine Bounds on the Bayesian Complexity of Neural Networks

Questo lavoro dimostra che la normalizzazione tramite LayerNorm riduce la complessità bayesiana (LLC) dei pesi successivi di esattamente $m/2$ grazie al vincolo geometrico dell'iperpiano, mentre RMSNorm non produce tale riduzione, evidenziando come la curvatura del manifold dei dati determini strutturalmente il costo computazionale prima dell'addestramento.

Autori originali: Sungbae Chun

Pubblicato 2026-03-31

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Sungbae Chun

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Il Prezzo Geometrico della Normalizzazione: Perché LayerNorm e RMSNorm non sono uguali

Immagina di avere una squadra di architetti (la rete neurale) che deve costruire un edificio (il modello di intelligenza artificiale). Questi architetti hanno una grande scatola di strumenti (i parametri o "pesi"). Più strumenti hanno, più possono costruire cose complesse, ma più è difficile organizzarli.

In questo articolo, gli autori scoprono che due tecniche molto popolari per "aggiustare" i dati prima di costruirli — chiamate LayerNorm e RMSNorm — sembrano simili, ma in realtà cambiano completamente la geometria del cantiere, con conseguenze precise sul numero di strumenti effettivamente utili.

Ecco la storia in tre atti.

1. La Differenza Fondamentale: Il Piano vs. La Sfera

Pensa ai dati che entrano nella rete come a un gruppo di persone che si muovono in una stanza.

LayerNorm (Il Piano Rigido): Questa tecnica prende le persone e le costringe a stare tutte su un piano perfettamente piatto che passa per il centro della stanza. Immagina di schiacciare un gruppo di persone su un foglio di carta infinitamente sottile.
- Il risultato: Poiché sono costrette su un piano, non possono muoversi in una direzione (quella verticale rispetto al piano). È come se avessero perso un grado di libertà.
- La conseguenza per gli architetti: Gli architetti non hanno bisogno di strumenti per muovere le persone in quella direzione "morta". Quindi, perdono metà della complessità necessaria per gestire quella specifica dimensione. È come se la scatola degli strumenti si fosse magicamente rimpicciolita.
RMSNorm (La Sfera Libera): Questa tecnica prende le persone e le costringe a stare sulla superficie di una sfera (come se fossero tutti su un globo terrestre).
- Il risultato: Anche se sono su una sfera, possono muoversi in tutte le direzioni possibili (su, giù, destra, sinistra, avanti, indietro) perché la sfera si estende in tutte le direzioni dello spazio.
- La conseguenza per gli architetti: Non hanno perso nulla. Hanno ancora bisogno di tutti gli strumenti originali. La complessità rimane intatta.

La scoperta chiave: LayerNorm riduce la "complessità bayesiana" (il numero di modi in cui la rete può essere configurata senza cambiare il risultato) esattamente della metà della dimensione di output. RMSNorm non riduce nulla. È una differenza strutturale, non un caso.

2. La Soglia Geometrica: Curvo vs. Piatto

Gli autori si sono chiesti: "È necessario che il piano sia perfettamente piatto per perdere complessità, o basta che sia un po' storto?"

Hanno scoperto una regola sorprendente, quasi come un interruttore della luce:

Se la superficie è perfettamente piatta (affine): La complessità crolla.
Se la superficie ha anche solo una minima curvatura (come una collina, una sella o una sfera): La complessità rimane intatta.

Non importa se la curva è grande o piccola, positiva o negativa. Finché c'è una curva, la rete può ancora "vedere" tutte le direzioni. È solo quando la superficie è perfettamente piatta che la rete perde la capacità di distinguere una direzione. È come se la curvatura fosse l'unico modo per "salvare" la complessità.

3. L'Effetto "Finito": Quando la teoria incontra la realtà

In teoria, questo interruttore è netto (o è piatto, o non lo è). Ma nella realtà, con pochi dati, le cose diventano un po' più sfumate.

Immagina di avere una superficie che è quasi piatta, ma ha un piccolo rigonfiamento (una "bump") al centro.

Se il rigonfiamento è ampio e diffuso, la rete lo nota subito e mantiene la sua complessità.
Se il rigonfiamento è piccolissimo e concentrato, e i tuoi dati sono pochi, la rete potrebbe non accorgersene. Per la rete, sembra ancora piatta.

Quindi, la "complessità misurata" dipende non solo dalla forma della superficie, ma da quanto della superficie i dati toccano davvero. Se i dati non vedono la curvatura, la rete si comporta come se fosse piatta.

4. Il Trucco del "Bias Contrabbandato" (Simplex)

C'è un ultimo caso interessante: la funzione Softmax (usata spesso per scegliere tra diverse opzioni, come in un chatbot).
Questa funzione costringe i dati a stare su una superficie chiamata "simplex" (un triangolo o tetraedro in molte dimensioni).

Se la rete è solo lineare (senza un "bias" o offset aggiuntivo), il simplex non riduce la complessità.
Ma se aggiungi un bias esplicito (un piccolo aggiustamento), succede una magia: il "bias nascosto" creato dalla geometria del simplex e il "bias esplicito" che aggiungi tu diventano indistinguibili per la rete.
Risultato: La rete perde di nuovo metà della complessità, esattamente come con LayerNorm. È come se avessi due chiavi che aprono la stessa porta; ne serve solo una, quindi ne perdi una.

In Sintesi: Cosa ci dice tutto questo?

Non tutte le normalizzazioni sono uguali: LayerNorm e RMSNorm fanno cose geometriche diverse. LayerNorm "appiattisce" i dati, riducendo la complessità del modello successivo. RMSNorm li mette su una sfera, lasciando la complessità intatta.
La geometria è tutto: Se i dati sono su una superficie piatta, la rete perde capacità di distinguere direzioni. Se c'è anche una minima curvatura, la rete è salva.
Implicazioni pratiche: Questo potrebbe spiegare perché alcune reti imparano meglio di altre o perché certi modelli sviluppano comportamenti strani (come i "token sink" nei modelli linguistici). Se riduci la complessità geometricamente, potresti forzare la rete a trovare soluzioni più semplici e robuste.

L'analogia finale:
Immagina di dover guidare un'auto in un labirinto.

LayerNorm ti costringe a guidare solo su un piano orizzontale. Non hai bisogno di pensare a come salire o scendere, quindi guidi più velocemente, ma hai meno libertà di movimento.
RMSNorm ti costringe a guidare su una collina. Devi ancora pensare a salire e scendere, quindi hai la stessa libertà di movimento, ma la guida è più stabile.

Gli autori ci dicono che questa differenza di "libertà di movimento" (complessità) è misurabile con precisione matematica e cambia il modo in cui la rete impara.

1. Il Problema

Nel campo dell'apprendimento profondo, LayerNorm e RMSNorm sono spesso considerate scelte progettali intercambiabili per stabilizzare l'addestramento. Tuttavia, questo lavoro identifica una differenza strutturale fondamentale che non era stata precedentemente quantificata:

LayerNorm impone un vincolo geometrico che riduce il numero effettivo di parametri (la complessità bayesiana) della matrice dei pesi successiva.
RMSNorm non introduce tale riduzione.

Il problema centrale è capire come la geometria del manifold dei dati, imposta dalle operazioni di normalizzazione, influisca sul Coefficiente di Apprendimento Locale (LLC), una misura della complessità bayesiana di un modello derivata dalla Teoria dell'Apprendimento Singolare (Singular Learning Theory - SLT).

2. Metodologia

Gli autori combinano teoria algebrica rigorosa con esperimenti controllati su larga scala:

Teoria (Singular Learning Theory): Utilizzano il LLC per misurare la complessità effettiva di un modello. Dimostrano che quando i dati sono vincolati a una sottovarietà (manifold) di dimensione inferiore, le direzioni della matrice dei pesi ortogonali a tale manifold diventano "invisibili" alla funzione di perdita, creando simmetrie continue che riducono il LLC.
Analisi Geometrica: Analizzano come diverse normalizzazioni trasformano lo spazio dei dati:
- LayerNorm: Centra i dati (media zero), proiettandoli su un iperpiano lineare passante per l'origine ( $\mathbf{1}^\top x = 0$ ). Questo riduce la dimensione dello span lineare da $d$ a $d-1$ .
- RMSNorm: Proietta i dati su una sfera senza centrare la media. Lo span lineare rimane pieno ( $d$ ).
- Softmax: Proietta i dati su un simplettico affine ( $\sum x_i = 1$ ).
Esperimenti (wrLLC): Utilizzano il framework wrLLC (Weighted Local Learning Coefficient) per isolare il costo geometrico della normalizzazione in architetture a singolo strato lineare (setup "Teacher-Student"). Questo evita le simmetrie di scala intrinseche delle reti profonde, permettendo una stima precisa del LLC tramite campionamento SGLD (Stochastic Gradient Langevin Dynamics).

3. Contributi Chiave

Soglia Geometrica per la Riduzione del LLC:
Gli autori provano teoricamente che la riduzione del LLC è determinata esclusivamente dalla piattezza affina del manifold dei dati.
- Se i dati giacciono su un iperpiano lineare (affinamente piatto), il LLC della matrice dei pesi successiva $W \in \mathbb{R}^{m \times d}$ si riduce esattamente di $m/2$ (dove $m$ è la dimensione di output).
- Se i dati giacciono su una varietà con qualsiasi curvatura non nulla (anche infinitesimale), lo span lineare è pieno e il LLC rimane invariato. La distinzione è binaria: o è piatto (riduzione) o è curvo (nessuna riduzione).
Transizione di Fase a Campione Finito:
Sebbene la teoria predica una soglia binaria, gli esperimenti mostrano che con dimensioni del campione finite, si osserva una transizione graduale. La larghezza di questa transizione dipende da quanto della distribuzione dei dati "sente" effettivamente la curvatura, non solo dall'esistenza della curvatura stessa.
Predizioni Esatte per LayerNorm e RMSNorm:
- LayerNorm: Riduce il LLC di $m/2$ perché vincola i dati a uno span di dimensione $d-1$ .
- RMSNorm: Non riduce il LLC perché lo span rimane $d$ .
Dualità Simplex-Bias (Bias "Contrabbandato"):
Viene dimostrato che i dati provenienti da un semplicettico (come l'output di Softmax) introducono un "bias contrabbandato" ( $b_{smuggled}$ ).
- In uno strato puramente lineare ($Wx$), questo bias è inerte e non riduce il LLC.
- In uno strato affine ($Wx + b$), il bias esplicito e quello contrabbandato diventano indistinguibili per la funzione di perdita, attivando una simmetria di dimensione $m$ e riducendo il LLC di $m/2$ .

4. Risultati Sperimentali

Conferma della Riduzione $m/2$ : Gli esperimenti di scaling mostrano che LayerNorm riduce il LLC esattamente di $m/2$ al variare della dimensione di output $m$ , confermando la previsione teorica. RMSNorm mostra una riduzione vicina a zero.
Indipendenza dalla Dimensione di Input: La riduzione del LLC dipende solo dal numero di dimensioni perse a causa del vincolo ( $d - d_s$ ), non dalla dimensione totale dello spazio.
Curvatura vs. Piattezza:
- Varietà curve (paraboloidi, iperboli, selle) mantengono il LLC al livello del baseline gaussiano (nessuna riduzione).
- L'iperpiano piatto causa una caduta netta di circa $m/2$ .
- La curvatura, indipendentemente dal segno o dalla magnitudine, è sufficiente a preservare il LLC.
Bias Contrabbandato: L'esperimento con dati su simplettico conferma che, in presenza di un bias esplicito, si osserva una riduzione del LLC di circa $2.26$ (vicino al teorico $m/2 = 2.0$ per $m=4$ ).

5. Significato e Implicazioni

Complessità Effettiva: Il lavoro dimostra che LayerNorm non è solo uno strumento di stabilizzazione, ma modifica strutturalmente la complessità bayesiana del modello riducendo i gradi di libertà effettivi prima ancora dell'inizio dell'addestramento.
Interpretazione Geometrica: Fornisce una spiegazione geometrica rigorosa del perché alcune normalizzazioni funzionano meglio di altre in termini di generalizzazione e dinamica di addestramento, legandole alla dimensionalità dello span dei dati.
Attenzione e "Sink": Gli autori ipotizzano che la riduzione del LLC in $W_V$ (matrice di valore) dovuta a LayerNorm possa favorire soluzioni a rango basso, potenzialmente correlata al fenomeno degli "attention sinks" nei Transformer, sebbene questo richieda ulteriori verifiche.
Grokking: La rimozione di gradi di libertà associati alla memorizzazione tramite la riduzione del LLC potrebbe rendere i circuiti di generalizzazione più accessibili durante l'addestramento, potenzialmente accelerando la transizione di "grokking" rispetto a RMSNorm.

In sintesi, il paper stabilisce che il "costo" geometrico della normalizzazione è determinato dalla piattezza affina del manifold dei dati: solo i vincoli che appiattiscono lo spazio lineare (come LayerNorm) riducono la complessità bayesiana, mentre le proiezioni su sfere (RMSNorm) o varietà curve preservano la piena capacità parametrica.