Sintesi Tecnica: S-GAI – Inizializzazione Spettrale Sensibile alla Geometria per MLP Sigmoidali

1. Definizione del Problema

I classici Teoremi di Approssimazione Universale (UAT) stabiliscono che i perceptron multistrato (MLP) sigmoidali possiedono la capacità espressiva di approssimare qualsiasi funzione continua su un dominio compatto. Tuttavia, questi teoremi sono esistenziali; non prescrivono come i pesi iniziali debbano codificare la specifica struttura geometrica di una distribuzione di dati. I metodi di inizializzazione standard, come Xavier/Glorot, sono progettati per stabilizzare la propagazione del segnale e le scale dei gradienti, ma rimangono "ciechi" alla geometria specifica delle classi prima dell'addestramento.

Il problema centrale affrontato è se i pesi iniziali possano essere costruiti per codificare esplicitamente le regioni strutturate dello spazio occupate da diverse classi di dati (ad esempio, le forme delle cifre in MNIST o le categorie di abbigliamento in Fashion-MNIST) prima di qualsiasi ottimizzazione basata sul gradiente.

2. Metodologia: S-GAI

Il framework proposto S-GAI (Spectral Geometry-Aware Initialization) colma il divario tra la geometria costruttiva teorica e l'istanza basata sui dati in alta dimensione. Il metodo procede in tre fasi:

A. Motivazione Geometrica (Dai Sommi Finiti ai Gate)

Basandosi sul lavoro costruttivo precedente (Chu e Kuo [2]), gli autori stabiliscono che le reti sigmoidali possono essere viste come aggregazioni di gate a semispazio liscio.

• Gate a Semispazio: Un'unità $g_{a,c,\kappa}(x) = \sigma(\kappa(c - a^\top x))$ agisce come un indicatore liscio per il semispazio $a^\top x \leq c$.
• Costruzione di Politopi: Sommando questi gate, è possibile costruire classificatori per politopi (intersezioni di semispazi) e coperture finite (unioni di politopi).
• Passaggio ai Dati: Mentre il lavoro precedente assumeva coperture planari specificate manualmente, S-GAI stima direttamente queste geometrie di confine dai dati delle immagini.

B. Stima della Geometria Spettrale delle Classi

Per ogni classe $k$ nel dataset:

1. Media e Centratura: Calcolare la media della classe $\mu_k$ e centrare i campioni $x_i - \mu_k$.
2. SVD/PCA: Eseguire la Decomposizione ai Valori Singolari (SVD) sulla matrice dei dati centrati $X_k = U_k S_k V_k^\top$.
3. Soglia di Energia: Selezionare un rango mantenuto $m_k(\tau)$ basato su una soglia di energia $\tau \in (0,1)$, tale che la varianza cumulativa dei primi $m_k$ vettori singolari superi $\tau$.
4. Riferimento SVD-Mahalanobis: Un classificatore di sottospazio non neurale viene formulato utilizzando le direzioni mantenute $V_{k, m_k}$ e le scale empiriche. Questo classificatore include un termine di distanza di Mahalanobis troncato e un termine di penalità per l'energia residua al di fuori del sottospazio mantenuto. Questo funge da riferimento geometrico per validare se la geometria spettrale sia intrinsecamente discriminante prima di essa in un MLP.

C. Compilazione della Geometria in Slab Sigmoidali

La geometria spettrale stimata viene compilata nei pesi di un MLP sigmoidale a uno strato nascosto:

• Coordinate Normalizzate: Per ogni direzione mantenuta $v_{k,i}$, viene definita una coordinata normalizzata: $z_{k,i}(x) = \frac{v_{k,i}^\top(x - \mu_k)}{\hat{\sigma}_{k,i}}$.
• Gate a Slab (Lastre): Un vincolo a "slab" $[-\rho, \rho]$ è modellato per ogni direzione utilizzando due gate sigmoidali:
  • $h^+_{k,i}(x) = \sigma(\beta(\rho - z_{k,i}(x)))$
  • $h^-_{k,i}(x) = \sigma(\beta(\rho + z_{k,i}(x)))$
    Questi gate si attivano quando il campione si trova all'interno dello slab lungo la direzione principale.
• Inizializzazione dei Pesi: I pesi e i bias per lo strato nascosto sono impostati esplicitamente per implementare questi gate. Ogni direzione mantenuta contribuisce con due unità nascoste.
• Aggregazione dell'Output: Lo strato di output aggrega inizialmente i gate appartenenti a ciascuna classe, formando una struttura di gruppo specifica per classe.

La larghezza totale dello strato nascosto è $H = 2 \sum_k m_k(\tau)$, controllata dalla soglia di energia $\tau$.

3. Contributi Chiave

1. Ponte Teorico: Fornisce una connessione concisa dai sommi finiti della UAT ai gate sigmoidali basati su semispazi lisci e coperture, estendendo le costruzioni planari a dati in alta dimensione.
2. Riferimento Geometrico: Introduce un classificatore di sottospazio basato su SVD come riferimento non neurale. Questo valida se la geometria spettrale per classe sia discriminante e guida la selezione della soglia di energia $\tau$.
3. Inizializzazione S-GAI: Propone un inizializzatore basato sui dati in cui le unità nascoste non sono casuali ma sono derivate esplicitamente dalle direzioni SVD per classe. Lo strato nascosto è partizionato in gruppi specifici per classe, con due unità per ogni direzione spettrale mantenuta.
4. Validazione Empirica: Dimostra che S-GAI crea uno stato iniziale sostanzialmente più informativo rispetto all'inizializzazione Xavier, in particolare sotto protocolli "frozen-hidden" dove lo strato nascosto non può essere aggiornato.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su MNIST, Fashion-MNIST e CIFAR-10 utilizzando MLP sigmoidali a uno strato nascosto addestrati con Adam per 20 epoche. I confronti sono stati effettuati contro baseline Xavier corrispondenti (stessa architettura e larghezza).

• Performance a Zero Epoche: I modelli inizializzati con S-GAI partono con un'accuratezza significativamente superiore rispetto ai modelli inizializzati con Xavier:
  • MNIST ($\tau=0.95$): S-GAI parte dall'87.41% contro il ~10% di Xavier.
  • Fashion-MNIST ($\tau=0.95$): S-GAI parte dal 71.32% contro il ~10% di Xavier.
  • CIFAR-10 ($\tau=0.90$): S-GAI parte dal 20.32% contro il ~9.97% di Xavier.
• Protocollo Frozen-Hidden: Quando lo strato nascosto è congelato e solo lo strato di output viene addestrato, S-GAI mantiene un forte vantaggio, provando che i gate nascosti stessi sono feature utili.
  • MNIST: S-GAI (frozen) raggiunge il 96.73% contro l'89.31% di Xavier (frozen).
  • Fashion-MNIST: S-GAI (frozen) raggiunge l'86.36% contro l'80.52% di Xavier (frozen).
  • CIFAR-10: S-GAI (frozen) raggiunge il 44.36% contro il 36.53% di Xavier (frozen).
• Addestramento Completo: Sotto addestramento completo (tutti i pesi aggiornati), i modelli S-GAI e Xavier raggiungono accuratezze finali comparabili (ad esempio, ~98% su MNIST, ~52% su CIFAR-10). Ciò indica che S-GAI non aumenta la capacità del modello, ma piuttosto sposta il punto di partenza dell'ottimizzazione verso una regione più strutturata del panorama della perdita (loss landscape).

5. Significato e Rivendicazioni

Il paper afferma che la geometria empirica delle classi può essere iniettata in un MLP sigmoidale prima dell'addestramento basato sul gradiente. La significatività risiede nel dimostrare che l'inizializzazione non deve essere cieca alla struttura dei dati.

• Qualità della Rappresentazione: Il contributo primario non è un classificatore a maggiore capacità, ma una rappresentazione iniziale migliore. I gate a slab di S-GAI codificano efficacemente la geometria spettrale dipendente dalla classe (medie, direzioni dominanti e scale).
• Dinamiche di Addestramento: Partendo da uno stato strutturato, la rete sposta parte del carico dell'addestramento dal "scoprire i confini decisionali da zero" al "calibrare e raffinare" una rappresentazione già strutturata.
• Limiti e Ambito: Gli autori notano con modestia che il metodo si basa sulla SVD lineare per classe e non modella varietà (manifold) non lineari all'interno delle classi. L'efficacia è massima su dataset con una chiara struttura spettrale (MNIST, Fashion-MNIST) e più debole su CIFAR-10, dove l'identità della classe dipende maggiormente dalla texture locale e da feature di livello superiore. Gli autori suggeriscono che il lavoro futuro possa estendere questo principio a spazi di caratteristiche appresi e architetture con bias induttivi più forti (ad esempio, CNN, Vision Transformers).