A Complete Symmetry Classification of Shallow ReLU Networks

1. Il Problema

Il lavoro affronta il problema fondamentale dell'identificabilità dei parametri nelle reti neurali. È ben noto che lo spazio dei parametri ($\Omega$) non è isomorfo allo spazio delle funzioni realizzabili: parametri distinti possono generare la stessa funzione di attivazione. Questo fenomeno è noto come simmetria funzionale.

Mentre le simmetrie "ovvie" (come le permutazioni dei neuroni nascosti e le ridimensionamenti positivi delle pesi) sono ben comprese per le reti con funzioni di attivazione analitiche, la classificazione completa per le reti con attivazione ReLU (Rectified Linear Unit) è rimasta un problema aperto. Le tecniche precedenti richiedevano l'analiticità della funzione di attivazione, escludendo il caso ReLU che è non differenziabile in zero. Il paper si pone l'obiettivo di fornire una classificazione completa delle simmetrie per le reti neurali ReLU "shallow" (a singolo strato nascosto), identificando non solo le simmetrie note, ma anche quelle "nascoste" (hidden symmetries) che emergono specificamente dalla natura non differenziabile del ReLU.

2. Metodologia

L'autore adotta un approccio algebrico e geometrico, sfruttando la non differenziabilità del ReLU come strumento centrale, a differenza dei metodi probabilistici o geometrici usati in lavori precedenti per reti profonde o attivazioni polinomiali.

I punti chiave della metodologia includono:

• Spazio dei Parametri e Azione di Gruppo: Si definisce lo spazio dei parametri $\Omega(m,n,k)$ per un'architettura $(m, n, k)$ e si studia l'azione del gruppo $H_n$ (generato da permutazioni $S_n$ e matrici diagonali a coefficienti positivi $D^+_n$).
• Forma Minima (Minimal Form): Viene introdotta una forma canonica per le classi di equivalenza dei parametri. Attraverso un insieme di relazioni di equivalenza ($\sim$) che includono:
  1. Eliminazione di neuroni con pesi di uscita nulli ($v_i=0$).
  2. Fusione di neuroni con vettori di ingresso e bias proporzionali.
  3. Spostamento di bias quando il peso di uscita è nullo.
     Si definisce un "minimo" unico per ogni classe di funzioni realizzabili.
• Riduzione dei Fattori Zero: Viene definita una procedura di riduzione che elimina i neuroni "inattivi" o ridondanti, portando a un parametro ridotto privo di "fattori zero" (0-factors).
• Analisi della Differenziabilità: Il cuore della prova risiede nell'analisi della differenziabilità ovunque della funzione risultante. L'autore dimostra che se una combinazione di funzioni ReLU produce una funzione liscia (affine lineare), essa deve derivare da una cancellazione specifica delle singolarità del ReLU.
• Relazione Fondamentale: La classificazione si basa sull'identità chiave: $\sigma(x) - \sigma(-x) = x$. Questa è l'unica relazione non banale che permette di trasformare una combinazione di ReLU in una funzione lineare liscia, generando nuove simmetrie oltre a quelle del gruppo $H_n$.

3. Risultati Principali

Il paper presenta quattro teoremi principali che risolvono il problema della classificazione:

• Teorema 1 (Classificazione Generale): L'insieme dei parametri $\theta$ per cui la fibra $\rho^{-1}(\theta)$ (l'insieme di tutti i parametri che realizzano la stessa funzione) è diffeomorfa al gruppo di Lie $H_n$ è denso nello spazio dei parametri. Questo significa che per la maggior parte dei parametri (in senso topologico/algebrico), le uniche simmetrie sono quelle standard (permutazioni e scaling).
• Teorema 2 (Stabilizzatori): Classifica i possibili stabilizzatori dell'azione di $H_n$ su un parametro. Lo stabilizzatore è isomorfo a $S \times H_{n'}$, dove $S$ è un sottogruppo finito generato da scambi di coppie di neuroni con vettori di peso e bias proporzionali, e $n'$ è il numero di neuroni nulli.
• Teorema 3 e 4 (Struttura dello Spazio Quoziente): Fornisce una descrizione esplicita dello spazio delle funzioni realizzabili come quoziente dello spazio dei parametri.
  • Due parametri $\theta_1$ e $\theta_2$ realizzano la stessa funzione se e solo se sono equivalenti rispetto all'azione di $H_n$ oppure se la loro differenza ridotta $(\theta_1 \ominus \theta_2)_r$ corrisponde a una configurazione specifica derivante dall'identità $\sigma(x) - \sigma(-x) = x$.
  • Questa configurazione specifica implica che i vettori di peso e bias appaiono in coppie opposte $(a, b)$ e $(-a, -b)$ con pesi di uscita opposti, permettendo la cancellazione della non linearità.

Un risultato cruciale è che, oltre alle simmetrie immediate di $H_n$, esiste una sola classe aggiuntiva di simmetrie per le reti shallow ReLU, derivante esclusivamente dalla relazione $\sigma(x) - \sigma(-x) = x$.

4. Significato e Implicazioni

• Superamento delle Limitazioni Analitiche: Il lavoro dimostra che è possibile ottenere una classificazione completa delle simmetrie anche per funzioni di attivazione non differenziabili come il ReLU, senza ricorrere a tecniche di approssimazione o analisi locale.
• Geometria dello Spazio di Ottimizzazione: La comprensione della struttura del "neuromanifold" (lo spazio quoziente dei parametri che realizzano la stessa funzione) è fondamentale per comprendere la dinamica dell'ottimizzazione (es. discesa del gradiente). La presenza di simmetrie nascoste può creare "valle" piatte o strutture geometriche complesse che influenzano la convergenza degli algoritmi di apprendimento.
• Identificabilità: Il paper chiarisce quando un parametro è localmente identificabile. Sebbene la maggior parte dei parametri sia identificabile a meno delle simmetrie di $H_n$, esistono casi specifici (denominati "hidden symmetries") in cui la fibra è più grande, rendendo il problema di identificazione più complesso.
• Metodologia Algebrica: L'uso di tecniche di algebra commutativa e geometria algebrica (insiemi di Zariski, varietà algebriche) per analizzare le reti neurali offre un nuovo paradigma rigoroso per lo studio teorico del deep learning, spostando l'attenzione da approcci puramente analitici a strutture algebriche esatte.

In sintesi, il paper fornisce la prima classificazione completa e rigorosa delle simmetrie per le reti ReLU shallow, dimostrando che la struttura delle simmetrie è quasi interamente governata dal gruppo $H_n$, con un'unica eccezione strutturale legata alla proprietà di linearità del ReLU quando combinato con il suo riflesso negativo.