🤖 apprendimento automatico

A Closed Form Depth-Width Law for Neural Collapse in Deep Linear Networks

Questo articolo deriva una legge di scala chiusa tra profondità e larghezza per il neural collapse nelle reti lineari profonde, dimostrando che la geometria della rappresentazione per strato può essere predetta analiticamente dal rapporto profondità-larghezza e dalle proprietà dei dati senza richiedere un'analisi post-addestramento.

Autori originali: Pankhil Gawade, Kirsten Fischer, Guy Wolf, Ewa Szczurek

Pubblicato 2026-10-16

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Pankhil Gawade, Kirsten Fischer, Guy Wolf, Ewa Szczurek

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Il deep learning ha trasformato il modo in cui le macchine vedono, ascoltano e comprendono il mondo, eppure il funzionamento interno di questi sistemi rimane spesso un mistero. Sappiamo che le reti neurali sono costruite da strati di semplici unità di elaborazione, impilati per creare un'immensa profondità, e che ogni strato contiene migliaia di queste unità, creando una grande larghezza. Per anni, gli scienziati si sono chiesti come il bilanciamento specifico tra il numero di strati e il numero di unità in ogni strato cambi ciò che la rete effettivamente apprende. Di solito, l'unico modo per scoprirlo è costruire una rete, addestrarla sui dati e poi osservare i risultati, un processo che ci dice cosa è successo ma non perché sia successo o come prevederlo prima dell'inizio dell'addestramento. Un fenomeno chiave osservato in queste reti addestrate è chiamato collasso neurale. Man mano che una rete apprende, le rappresentazioni che costruisce per diverse categorie di dati tende a diventare incredibilmente distinta l'una dall'altra, mentre le rappresentazioni per gli elementi all'interno della stessa categoria diventano quasi identiche. È come se la rete organizzasse la sua mappa interna in modo che ogni esempio di gatto si raggruppi strettamente, e ogni esempio di cane si raggruppi strettamente, con i due gruppi che si trovano molto distanti tra loro.

Un team di ricercatori ha ora dimostrato che, per un tipo specifico di rete, questa organizzazione non è un incidente casuale dell'addestramento, ma un risultato prevedibile che può essere calcolato in anticipo. Concentrandosi su una versione semplificata di una rete neurale che utilizza la matematica lineare, gli scienziati hanno scoperto una regola precisa che collega l'architettura della rete alla geometria dei dati che apprende. Hanno scoperto che il grado in cui la rete comprime i dati simili dipende direttamente dal rapporto tra la profondità della rete e la sua larghezza. Se si conosce il numero di strati della rete e il numero di unità in ogni stratore, insieme alle proprietà fondamentali dei dati che sta apprendendo, è possibile determinare esattamente quanto la rete comprimerà i dati, senza dover mai eseguire una singola sessione di addestramento. Questo rappresenta un cambiamento significativo rispetto all'approccio abituale basato per tentativi ed errori, offrendo una chiara legge matematica che descrive come la struttura di una rete plasmi la sua comprensione del mondo.

I ricercatori hanno affrontato questo problema trattando le rappresentazioni interne della rete non come una collezione di singoli punti dati, ma come una singola mappa unificata di relazioni. Hanno sviluppato un modo per misurare la "compattezza" di questi cluster utilizzando un concetto chiamato kernel delle caratteristiche (feature kernel), che funge da progetto di come la rete percepisce la somiglianza tra due pezzi di dati qualsiasi. Utilizzando questo progetto, sono stati in grado di esprimere tre diverse misure di quanto bene la rete abbia organizzato i suoi dati interamente in termini di questo progetto e delle etichette dei dati. Ciò significa che invece di dover vedere i veri punti dati all'interno della rete per comprenderne il comportamento, si può semplicemente guardare le relazioni matematiche tra di essi. Il team ha dimostrato che per le reti con una specifica struttura simmetrica, queste relazioni seguono un modello rigoroso man mano che i dati si muovono dal primo strato all'ultimo.

In queste reti simmetriche, i ricercatori hanno derivato una formula esatta che mostra come la compressione dei dati all'interno di ogni categoria avvenga in una progressione geometrica. Con ogni nuovo strato attraverso il quale i dati passano, la dispersione di elementi simili si riduce per un fattore costante. Questo fattore è determinato dal rapporto tra la profondamente della rete e la sua larghezza. Se la rete è molto larga rispetto alla sua profondità, la compressione avviene lentamente. Se la rete è profonda rispetto alla sua larghezza, la compressione accelera. Fondamentalmente, il tasso con cui avviene questa compressione non è un numero fisso scelto dall'ingegnere; è determinato dai dati stessi, dalle impostazioni iniziali della rete e dall'architettura, il tutto che lavora insieme in un ciclo autosufficiente. I ricercatori hanno verificato questa teoria con simulazioni al computer, mostrando che il tasso di compressione previsto corrispondeva perfettamente al comportamento reale della rete. Hanno anche testato questo su reti non lineari leggermente più complesse e hanno scoperto che, sebbene la formula esatta non si applicasse, la tendenza generale dei dati nell'organizzarsi nella stessa direzione rimaneva vera, suggerendo che il principio sottostante è robusto.

Questo lavoro fornisce uno sguardo raro sulle "leggi della natura" dell'intelligenza artificiale. Proprio come un fisico potrebbe prevedere come un gas si espanderà in base alla temperatura e alla pressione senza osservare ogni singola molecola, questi ricercatori hanno dimostrato che è possibile prevedere come una rete neurale organizzerà la sua conoscenza in base alle sue dimensioni e ai dati che vede. I risultati suggeriscono che il rapporto profondità-larghezza è un controllo fondamentale per l'apprendimento delle rappresentazioni. Comprendendo questa relazione, i progettisti potrebbero in futuro essere in grado di scegliere l'architettura giusta per un compito specifico senza dover addestrare decine di modelli diversi per vedere quale funzioni meglio. Lo studio conferma che la geometria delle rappresentazioni apprese non è caotica ma segue un percorso preciso e calcolabile, trasformando il misterioso processo del deep learning in qualcosa che può essere compreso e previsto fin dall'inizio.

Riepilogo Tecnico: Una Legge di Profondità-Larghezza in Forma Chiusa per il Neural Collapse in Reti Lineari Profonde

Definizione del Problema

La relazione tra l'architettura delle reti neurali (specificamente profondità e larghezza) e la geometria delle rappresentazioni apprese viene tipicamente analizzata empiricamente dopo l'addestramento. Sebbene lavori precedenti abbiano identificato il rapporto profondità-larghezza ( $L/N$ ) come un parametro di controllo per le fluttuazioni del kernel a larghezza finita e la profondità effettiva, una comprensione predittiva e in forma chiusa di come le scelte architettoniche modellino la geometria delle rappresentazioni durante l'apprendimento delle caratteristiche rimane elusiva. Nello specifico, l'evoluzione del Neural Collapse (NC) — un fenomeno caratterizzato dalla minimizzazione della variabilità intra-classe (NC1), dalla formazione di medie di classe a struttura di simplex (NC2) e dall'allineamento dei classificatori con le medie di classe (NC3) — attraverso i livelli della rete non è stata derivata analiticamente da primi principi in un contesto di apprendimento delle caratteristiche trattabile.

Metodologia

Gli autori sviluppano un quadro teorico che combina gli osservabili del Neural Collapse con la teoria dell'apprendimento delle caratteristiche auto-coerente per reti lineari profonde.

Formulazione del Kernel per gli Osservabili NC:
Il lavoro estende la formulazione del kernel del Neural Collapse. Mentre Kothapalli e Tirer [2025] hanno stabilito che NC1 può essere espresso tramite il kernel delle caratteristiche, questo lavoro deriva espressioni del kernel in forma chiusa per NC2 (deviazione angolare da un simplex Equiangular Tight Frame) e NC3 (disallineamento tra la lettura ridge e le medie di classe centrate). Queste espressioni dipendono esclusivamente dal kernel delle caratteristiche $K$ e dalle etichette $Y$ , eliminando la necessità di coordinate esplicite delle caratteristiche.
Teoria dell'Apprendimento delle Caratteristiche:
Gli autori adottano il framework bayesiano dell'apprendimento delle caratteristiche di Fischer et al. [2024], che deriva equazioni di auto-coerenza forward-backward accoppiate per i kernel per livello MAP (Maximum-A-Posteriori). Questa teoria è esatta nel limite proporzionale in cui il numero di campioni $P$ e la larghezza della rete $N$ scalano insieme ( $P/N = \alpha$ ).
Geometria di Classe Scambiabile:
Per ottenere una soluzione analitica, gli autori assumono una geometria di classe scambiabile, dove il kernel di input è invariante sotto permutazioni di campioni all'interno delle classi e permutazioni delle classi stesse. Sotto questa simmetria, le equazioni del kernel matriciale si disaccoppiano in tre canali scalari:
- Media globale ( $E$ )
- Medie tra-classe centrate ( $P_B$ )
- Fluttuazioni intra-classe ( $P_W$ )
Questa riduzione permette la derivazione di una legge geometrica scalare che governa l'evoluzione del rapporto tra varianza intra-classe e tra-classe attraverso i livelli.

Contributi Chiave

1. Identità del Kernel per NC2 e NC3

Il documento fornisce nuove identità che esprimono NC2 e NC3 direttamente in termini del kernel delle caratteristiche $K$ e delle etichette $Y$ .

NC2 è formulato come la distanza della norma di Frobenius tra la matrice di Gram normalizzata per coseno delle medie di classe centrate e la matrice di Gram di un simplex ETF a norma unitaria.
NC3 è formulato come il disallineamento medio del coseno tra le direzioni di lettura ridge priva di bias e le medie di classe centrate.
Queste identità permettono di calcolare tutti i tre osservabili NC del set di addestramento senza dover formare la matrice delle caratteristiche $Z$ .

2. Legge Geometrica Esatta della Profondità

Per reti lineari profonde con struttura di classe scambiabile, gli autori derivano una legge esatta per l'evoluzione per livello di NC1:
$NC^{(l)}_1 = NC^{(0)}_1 \left( \frac{t_W}{t_B} \right)^l$
dove $t_W$ e $t_B$ sono fattori di trasferimento indipendenti dal livello determinati dai dati, dal prior e dall'architettura. Ciò dimostra che la compressione intra-classe avviene geometricamente con la profondità, guidata dal rapporto tra i fattori di trasferimento per i canali intra-classe e tra-classe.

3. Legge di Scalamento Profondità-Larghezza

Nel limite di larghezza elevata con regolarizzazione piccola ( $\kappa$ ), si mostra che la compressione accumulata è controllata dal rapporto profondità-larghezza $L/N$ . Il NC1 terminale scala come:
$NC^{(L)}_1 \approx NC^{(0)}_1 \exp\left( -\frac{rL}{N} \right)$
Qui, $r$ è un parametro di tasso determinato auto-coerentemente dal rapporto segnale-rumore (SNR), dalla varianza del prior e dall'architettura. Questo stabilisce $L/N$ come la variabile architettonica primaria che controlla la compressione delle rappresentazioni, con il tasso $r$ che emerge dalle proprietà dei dati e del modello piuttosto che da un iperparametro esterno.

Risultati

Verifica Analitica: Esperimenti numerici sul kernel della popolazione esattamente scambiabile confermano che la legge geometrica in forma chiusa corrisponde alla soluzione numerica del punto fisso attraverso varie profondità e larghezze.
Dipendenza dai Dati: Si dimostra che il tasso di contrazione $\log(t_W/t_B)$ dipende esplicitamente dallo SNR di input, validando la determinazione auto-coerente del tasso.
Comportamento di Scalamento: Esperimenti variando $L$ e $N$ mantenendo costante $L/N$ dimostrano che il NC1 terminale segue il decadimento esponenziale previsto, confermando la legge di scalamento $L/N$ .
Reti Addestrate a Larghezza Finita: Quando applicato a reti lineari a larghezza finita addestrate con SGLD su dati gaussiani campionati, la previsione in forma chiusa (utilizzando gli autovalori di input misurati) corrisponde strettamente al decadimento geometrico osservato di NC1, nonostante le deviazioni dalla situazione idealizzata della popolazione.
Estensioni Nonlineari: Su un compito XOR non lineare a quattro classi, gli osservabili del kernel (NC1, NC2, NC3) derivati dalla teoria auto-coerente evolvono nella stessa direzione qualitativa di quelli in reti a larghezza finita addestrate, suggerendo che il framework del kernel cattura la geometria dell'evoluzione della rappresentazione anche oltre il regime lineare risolvibile.

Significato e Rivendicazioni

Il documento sostiene di fornire una legge di scalamento delle rappresentazioni trattabile derivata dalla teoria dell'apprendimento delle caratteristiche piuttosto che adattata post-addestramento. La sua importanza primaria risiede nel:

Potere Predittivo: Permette di prevedere la geometria della rappresentazione (specificamente il grado di Neural Collapse) direttamente dai dati, dal prior e dall'architettura senza addestrare reti candidate.
Intuizione Architetturale: Identifica il rapporto profondità-larghezza $L/N$ come il parametro di controllo per la compressione della rappresentazione nelle reti lineari profonde, con il tasso di compressione determinato auto-coerentemente dalla struttura del problema.
Unificazione Teorica: Unifica lo studio del Neural Collapse con la teoria del kernel a larghezza finita, estendendo la nota identità NC1 a NC2 e NC3 e fornendo una descrizione in forma chiusa della loro evoluzione per livello.

Gli autori notano che, sebbene la legge geometrica esatta sia derivata per reti lineari profonde scambiabili, gli osservabili del kernel rimangono informativi per le reti non lineari, catturando l'evoluzione qualitativa della geometria della rappresentazione. L'estensione di queste leggi predittive a reti non lineari generali e geometrie di dati arbitrarie è identificata come una direzione per il lavoro futuro.