Riassunto Tecnico: HALFNET: RETI NEURALI RANDOMIZZATE CON GEOMETRIA DI SOTTOSPAZIO APPRESA

1. Definizione del Problema

L'addestramento delle reti neurali tradizionali comporta l'ottimizzazione di ogni singolo parametro di peso individualmente, il che può essere computazionalmente costoso e pesante in termini di parametri. Al contrario, le reti neurali randomizzate (ad esempio, le Extreme Learning Machines) fissano i pesi a valori estratti da una distribuzione standard (ad esempio, $N(0, I)$), semplificando l'ottimizzazione ma spesso sacrificando il potere predittivo perché la geometria casuale potrebbe non allinearsi con la struttura dei dati.

Il problema centrale affrontato è come mantenere la semplicità delle reti randomizzate pur catturando la struttura dipendente dai dati necessaria per un'elevata accuratezza. Nello specifico, il documento indaga se la geometria della distribuzione dei pesi (la struttura di covarianza) sia più critica per le prestazioni predittive rispetto ai valori precisi dei singoli pesi, e se tale geometria possa essere appresa efficientemente.

2. Metodologia: HalfNet

Il framework proposto HalfNet introduce una parametrizzazione stocastica in cui i pesi non sono fissati a una distribuzione standard né appresi individualmente, ma sono campionati da una distribuzione appresa $N(0, \Sigma)$.

2.1 Formulazione del Modello

Per un'unità nascosta $h$ con input $x$, l'attivazione è definita come:
$$y_h = g(u_h(r_h^\top x) + u_{h0})$$
dove $g$ è la funzione di attivazione (ad esempio, ReLU), e $u_h, u_{h0}$ sono parametri di scala e traslazione appresi, specifici per l'unità.

Il vettore di proiezione casuale $r_h$ è generato tramite una fattorizzazione a basso rango:
$$r_h = B z_h + \text{diag}(\sigma) \epsilon_h$$
dove:

• $z_h \sim N_k(0, I)$ e $\epsilon_h \sim N_d(0, I)$ sono vettori casuali campionati una sola volta e fissati.
• $B \in \mathbb{R}^{d \times k}$ (con $k < d$) e $\sigma \in \mathbb{R}^d$ sono parametri appresi condivisi tra tutte le unità dello strato.
• La distribuzione risultante è $r_h \sim N_d(0, \Sigma)$, dove $\Sigma = BB^\top + \text{diag}(\sigma^2)$.

Questo approccio scinde la casualità (i vettori $z_h, \epsilon_h$) dalla geometria (la matrice $B$ e la scala $\sigma$). Il rango $k$ funge da iperparametro che controlla la complessità del modello, interpolando tra unità completamente casuali ($k \to 0$) e reti completamente addestrabili.

2.2 Estensioni

Il framework è esteso a:

• Pesi Binari: Applicando una funzione segno ai vettori generati, HalfNet può produrre pesi binari ($\pm 1$). L'operazione di segno preserva le relazioni angolari definite dalla covarianza appresa $\Sigma$, permettendo al modello di apprendere le dipendenze anche nel regime binario.
• Strati Convoluzionali: I filtri vengono generati utilizzando la stessa fattorizzazione a basso rango, assumendo una struttura di covarianza condivisa tra i filtri all'interno di uno strato.
• Architetture Multi-strato: È possibile impilare più strati HalfNet, con parametri appresi separati per ogni strato.

3. Contributi Chiave

1. Apprendimento della Struttura di Covarianza: HalfNet apprende la struttura di covarianza delle proiezioni casuali anziché i singoli pesi, eseguendo efficacemente un embedding casuale dipendente dai dati.
2. Scalabilità Fluida con il Rango: Il documento dimostra che l'accuratezza scala fluidamente con il rango $k$ del fattore di covarianza, suggerendo che gran parte del potere predittivo degli strati addestrati risiede in strutture geometriche a bassa dimensionalità.
3. Versatilità: Il framework si dimostra applicabile a strati fully-connected, front-end convoluzionali e reti a pesi binari.
4. Interpretazioni Teoriche: Il metodo ammette tre interpretazioni complementari:
   • Proiezione Casuale: Apprendimento di un embedding lineare $x' = B^\top x$ seguito da proiezioni casuali fisse.
   • Metric Learning: Apprendimento di una metrica di Mahalanobis dove $B$ determina quali direzioni dell'input vengono enfatizzate.
   • Metodi Kernel: L'apprendimento della distribuzione dei vettori di proiezione apprende implicitamente la funzione kernel.

4. Risultati Sperimentali

4.1 Esperimenti su MNIST

• Singolo Strato Nascosto (784–64–10): Le varianti di HalfNet con $\sigma$ appreso e $B$ a basso rango superano significativamente le reti puramente casuali. Con un rango $k=4$, HalfNet eguaglia l'accuratezza di un Perceptron Lineare (LP) con quasi la metà dei parametri. Con $k=16$, eguaglia un MLP completamente addestrato con un numero comparabile di parametri.
• Analisi Spettrale: La decomposizione in valori singolari (SVD) dei pesi di un MLP completamente addestrato rivela che il 60% dell'energia spettrale risiede nelle prime 9 direzioni e l'80% nelle prime 17. Ciò conferma che i pesi addestrati risiedono in un sottospazio a bassa dimensione, che HalfNet parametrizza esplicitamente.
• Front-end Convoluzionale: L'aggiunta di uno strato convoluzionale (16 filtri) migliora tutti i modelli. HalfNet ne beneficia significativamente, raggiungendo un'elevata accuratezza anche con ranghi bassi ($k=1$), poiché la complessità dipende dal rango effettivo piuttosto che dall'aumento del fan-in.
• Due Strati Nascosti: L'impilamento di strati HalfNet (784–64–64–10) mantiene la tendenza del miglioramento dell'accuratezza all'aumentare del rango, provando la scalabilità del metodo all'interno di reti profonde.
• Pesi Binari: Sebbene la binarizzazione a ranghi molto bassi ($k=2$) causi cali di accuratezza dovuti al collasso della diversità delle feature, $k \ge 4$ produce risultati solidi. Con $k=16$, HalfNet binario raggiunge un'accuratezza del 94,87%, vicina al 95,30% della sua controparte continua.

4.2 Esperimenti su CIFAR-10

• Architettura: Una rete semplice con un singolo strato convoluzionale (32 filtri) seguito da un grande strato fully-connected (256 unità). Lo strato FC contiene >99% dei parametri.
• Performance: La configurazione "Full–Half" (Conv addestraibile, HalfNet FC) eguaglia le prestazioni della baseline "Full–Full" completamente addestrata con circa 8 volte meno parametri al rango $k_f=32$. Con $k_f=48$, supera leggermente le prestazioni della baseline.
• Convoluzionale HalfNet: L'applicazione di HalfNet allo strato convoluzionale ("Half–Half") ha inizialmente ridotto le prestazioni e rallentato l'addestramento, suggerendo che l'assunzione di basso rango possa essere troppo restrittiva per strati che possiedono già forti vincoli strutturali (località, condivisione dei pesi).

5. Significato e Rivendicazioni

Il documento afferma che HalfNet dimostra che l'apprendimento della geometria delle distribuzioni di proiezione può catturare la maggior parte del potere predittivo degli strati neurali completamente addestrati, utilizzando sostanzialmente meno parametri.

I punti chiave enfatizzati dall'autore includono:

• Geometria sopra i Valori: Il potere predittivo delle reti neurali risiede maggiormente nella geometria dello spazio dei pesi (struttura di covarianza) che nei valori precisi dei singoli parametri.
• Efficienza: HalfNet offre un compromesso fluido tra feature casuali fisse e reti completamente addestrabili, permettendo ai professionisti di regolare la capacità del modello tramite il parametro di rango $k$.
• Distinzione dalla Fattorizzazione a Basso Rango: A differenza dei metodi deterministici a basso rango (ad esempio, $W=UV$ dove entrambi sono appresi), HalfNet apprende la distribuzione da cui i pesi vengono campionati, mantenendo i vettori di proiezione stocastici. Questo collega il metodo alle random features e al kernel learning.
• Limitazioni: I benefici sono più evidenti in contesti con alto fan-in e forti correlazioni nei dati (ad esempio, strati fully-connected su dati di immagini). Il documento nota che i guadagni di prestazione potrebbero ridursi in contesti con correlazioni più deboli, e che sono necessarie ulteriori valutazioni su dataset più diversificati.

Il lavoro posiziona HalfNet non solo come un trucco architettonico per la compressione, ma come un cambiamento fondamentale verso l'apprendimento della metrica sottostante e della struttura kernel dei dati attraverso embedding randomizzati.