Hyperspherical Forward-Forward with Prototypical Representations

1. Enunciato del Problema

L'algoritmo Forward-Forward (FF), proposto da Geoffrey Hinton, offre un'alternativa bio-ispirata alla retropropagazione (BP) sostituendo il passaggio inverso con un secondo passaggio in avanti. Ogni strato viene addestrato in modo greedy su un obiettivo locale per distinguere i dati "positivi" (etichette corrette) dai dati "negativi" (etichette errate).

Tuttavia, l'algoritmo FF originale soffre di un collo di bottiglia critico nell'inferenza:

• Inferenza inefficiente: Per classificare una singola immagine di test, la rete deve eseguire un passaggio in avanti completo e separato per ogni possibile classe per calcolare un punteggio di "bontà" per ciascuna.
• Problema di scalabilità: Ciò comporta un costo di inferenza di $O(C)$, dove $C$ è il numero di classi. Per dataset di grandi dimensioni come ImageNet-1K (1.000 classi) o CIFAR-100 (100 classi), ciò rende l'inferenza computazionalmente proibitiva e impraticabile per il dispiegamento nel mondo reale.
• Limitazione binaria: L'FF originale tratta l'apprendimento come un compito di discriminazione binaria (positivo vs negativo) piuttosto che come una classificazione multi-classe diretta, limitando la sua capacità di apprendere rappresentazioni separabili in modo efficiente.

2. Metodologia: Forward-Forward Iper-sferico (HFF)

Gli autori propongono il Forward-Forward Iper-sferico (HFF), una riformulazione dell'algoritmo FF che risolve il collo di bottiglia nell'inferenza ridefinendo l'obiettivo di apprendimento locale.

Innovazioni Chiave

1. Proiezione Iper-sferica:

   • Invece di utilizzare i vettori di attivazione grezzi, l'HFF proietta l'output di ogni strato su un'ipersfera unitaria ($S^{D-1}$) tramite normalizzazione $\ell_2$.
   • $h^{(l)}_{norm} = \frac{h^{(l)}}{\|h^{(l)}\|_2}$.
   • Ciò garantisce che l'apprendimento si concentri sulla direzione (somiglianza angolare) delle caratteristiche piuttosto che sulla loro magnitudine, impedendo agli strati di sfruttare la magnitudine del vettore per aggirare la funzione di perdita.

2. Rappresentazioni Prototipiche (Ancore Geometriche):

   • Ogni strato apprende un insieme di prototipi specifici per classe e a norma unitaria $\{v^{(l)}_{c,p}\}$, dove $c$ è la classe e $p$ è l'indice del prototipo.
   • Questi prototipi agiscono come ancore geometriche nello spazio delle caratteristiche ipersferico, definendo una regione unica per ogni classe.
   • A differenza dell'FF originale, che richiede la generazione di campioni negativi espliciti, questi prototipi fungono da negativi impliciti.

3. Obiettivo di Classificazione Multi-classe Diretta:

   • L'obiettivo locale viene spostato dalla discriminazione binaria di bontà alla classificazione multi-classe diretta.
   • Calcolo dei Logit: Per un vettore di caratteristiche normalizzato $h^{(l)}_{norm}$, il punteggio per la classe $c$ è calcolato utilizzando il LogSumExp (LSE) delle similarità tra la caratteristica e tutti i prototipi di quella classe:
     $$g^{(l)}_{scores}[c] = \frac{1}{\tau} \log \sum_{p=1}^{P} e^{\tau \cdot (h^{(l)}_{norm})^T v^{(l)}_{c,p}}$$
     dove $\tau$ è un parametro di temperatura che controlla la morbidezza dell'operazione di massimo.
   • Funzione di Perdita: Viene utilizzata una perdita a margine liscio per massimizzare il punteggio della classe vera minimizzando contemporaneamente i punteggi di tutte le altre classi (gestiti implicitamente tramite l'LSE delle classi negative):
     $$L^{(l)}_{HFF} = \log(1 + e^{-(g^{(l)}_{scores}[y] - \text{LSE}(g^{(l)}_{scores}[\neg y])))}$$

4. Inferenza in Singolo Passaggio:

   • Poiché il modello produce un vettore di punteggi per classe per tutte le classi simultaneamente a ogni strato, l'inferenza richiede solo un singolo passaggio in avanti.
   • La previsione finale è semplicemente $\hat{c} = \arg\max_c G_{last}(x)[c]$.
   • Ciò riduce la complessità dell'inferenza da $O(C)$ a $O(1)$ rispetto al numero di classi.

5. Adattamento Convoluzionale:

   • L'HFF si estende naturalmente alle Reti Neurali Convoluzionali (CNN). Disaccoppia l'obiettivo locale dall'estrazione delle caratteristiche, evitando la necessità di complesse embedding di etichette o maschere spaziali di etichette richieste dalle varianti FF precedenti.
   • Vengono utilizzate convoluzioni ausiliarie 1x1 per regolare le dimensioni delle caratteristiche per la proiezione ipersferica senza alterare la profondità principale della rete.

3. Contributi Chiave

• Risoluzione del Collo di Bottiglia nell'Inferenza: L'HFF abilita l'inferenza in singolo passaggio, rendendo l'algoritmo Forward-Forward >40 volte più veloce dell'FF originale su dataset con molte classi.
• Accuratezza Superiore: Il metodo ottiene risultati all'avanguardia tra i metodi privi di retropropagazione, superando significativamente l'FF standard e altri algoritmi di apprendimento locale (es. SymBa, FFCL).
• Scalabilità su ImageNet: L'HFF è tra i primi metodi di apprendimento locale greedy a riportare risultati su ImageNet-1K, ottenendo un'accuratezza Top-1 del 25,70% da zero e del 65,96% con apprendimento per trasferimento (superando la sua baseline di retropropagazione del 65,80% nell'impostazione di trasferimento).
• Stabilità Teorica: Gli autori forniscono un'analisi teorica che mostra che gli strati HFF sono continui di Lipschitz, offrendo una robustezza intrinseca alle perturbazioni degli input rispetto all'FF originale basato sulla magnitudine.
• Interpretabilità: La natura strato-per-strato dell'HFF consente un'interpretabilità fine, dove ogni strato produce una previsione di classe valida, e i prototipi forniscono intuizioni geometriche sui cluster di classe.

4. Risultati Sperimentali

Gli autori hanno valutato l'HFF su MNIST, Fashion-MNIST, CIFAR-10, CIFAR-100 e ImageNet-1K.

• Velocità di Inferenza: Su CIFAR-100, l'inferenza HFF è circa 40 volte più veloce dell'algoritmo FF di base.
• Convergenza: Sebbene l'HFF richieda leggermente più tempo di addestramento rispetto alla retropropagazione (1,7x), converge significativamente più velocemente dell'FF originale (che richiede 9,5 volte più tempo della BP).
• Studi di Ablazione:
  • Posizionamento della Perdita: La perdita post-attivazione (dopo ReLU) garantisce una migliore stabilità rispetto a quella pre-attivazione.
  • Prototipi: Un singolo prototipo per classe ($P=1$) è generalmente sufficiente e ottimale per la generalizzazione, sebbene dataset complessi possano trarre vantaggio da $P>1$.
  • Normalizzazione: Proiettare le caratteristiche sull'ipersfera unitaria è cruciale per le prestazioni.

5. Significato

Questo lavoro rappresenta un passo avanti significativo nell'apprendimento profondo biologicamente plausibile.

1. Fattibilità Pratica: Risolvendo il collo di bottiglia nell'inferenza, l'HFF rende l'apprendimento locale privo di retropropagazione un candidato vitale per applicazioni nel mondo reale, in particolare in ambienti con risorse limitate (es. dispositivi edge) dove la retropropagazione è troppo intensiva in termini di memoria.
2. Colmare il Divario: L'HFF riduce il divario di prestazioni tra l'apprendimento locale e la retropropagazione, specialmente su dataset su larga scala come ImageNet, sfidando la nozione che il flusso globale del gradiente sia strettamente necessario per l'apprendimento profondo ad alte prestazioni.
3. Apprendimento Geometrico: Il passaggio a spazi di caratteristiche ipersferici e all'apprendimento prototipico offre una nuova prospettiva su come le reti neurali possano apprendere rappresentazioni discriminative senza segnali di errore globali, allineandosi più strettamente ai meccanismi di apprendimento biologico.

In conclusione, il Forward-Forward Iper-sferico trasforma con successo l'algoritmo Forward-Forward da una curiosità teorica con limitazioni pratiche in un'alternativa scalabile, ad alte prestazioni ed efficiente alla retropropagazione.