Hyperspherical Forward-Forward with Prototypical Representations

1. Énoncé du problème

L'algorithme Forward-Forward (FF), proposé par Geoffrey Hinton, offre une alternative bio-inspirée à la rétropropagation (BP) en remplaçant la passe arrière par une seconde passe avant. Chaque couche est entraînée de manière gourmande sur un objectif local pour distinguer les données « positives » (étiquettes correctes) des données « négatives » (étiquettes incorrectes).

Cependant, l'algorithme FF original souffre d'un goulot d'étranglement critique lors de l'inférence :

• Inférence inefficace : Pour classifier une seule image de test, le réseau doit effectuer une passe avant complète et séparée pour chaque classe possible afin de calculer un score de « bonté » pour chacune.
• Problème d'évolutivité : Cela se traduit par un coût d'inférence de $O(C)$, où $C$ est le nombre de classes. Pour de grands ensembles de données comme ImageNet-1K (1 000 classes) ou CIFAR-100 (100 classes), cela rend l'inférence prohibitivement coûteuse en calcul et peu pratique pour un déploiement réel.
• Limitation binaire : Le FF original traite l'apprentissage comme une tâche de discrimination binaire (positif vs négatif) plutôt que comme une classification multi-classes directe, limitant sa capacité à apprendre des représentations séparables de manière efficace.

2. Méthodologie : Hyperspherical Forward-Forward (HFF)

Les auteurs proposent le Hyperspherical Forward-Forward (HFF), une reformulation de l'algorithme FF qui résout le goulot d'étranglement de l'inférence en redéfinissant l'objectif d'apprentissage local.

Innovations principales

1. Projection hypersphérique :

   • Au lieu d'utiliser des vecteurs d'activation bruts, le HFF projette la sortie de chaque couche sur une hypersphère unité ($S^{D-1}$) via une normalisation $\ell_2$.
   • $h^{(l)}_{norm} = \frac{h^{(l)}}{\|h^{(l)}\|_2}$.
   • Cela garantit que l'apprentissage se concentre sur la direction (similarité angulaire) des caractéristiques plutôt que sur leur magnitude, empêchant les couches d'exploiter la magnitude des vecteurs pour tricher la fonction de perte.

2. Représentations prototypiques (Ancres géométriques) :

   • Chaque couche apprend un ensemble de prototypes spécifiques aux classes, à norme unitaire $\{v^{(l)}_{c,p}\}$, où $c$ est la classe et $p$ l'index du prototype.
   • Ces prototypes agissent comme des ancres géométriques dans l'espace de caractéristiques hypersphérique, définissant une région unique pour chaque classe.
   • Contrairement au FF original, qui nécessite la génération explicite d'échantillons négatifs, ces prototypes servent de négatifs implicites.

3. Objectif de classification multi-classes direct :

   • L'objectif local est déplacé de la discrimination de bonté binaire vers une classification multi-classes directe.
   • Calcul des logits : Pour un vecteur de caractéristiques normalisé $h^{(l)}_{norm}$, le score pour la classe $c$ est calculé en utilisant le LogSumExp (LSE) des similarités entre la caractéristique et tous les prototypes de cette classe :
     $$g^{(l)}_{scores}[c] = \frac{1}{\tau} \log \sum_{p=1}^{P} e^{\tau \cdot (h^{(l)}_{norm})^T v^{(l)}_{c,p}}$$
     où $\tau$ est un paramètre de température contrôlant la douceur de l'opération de maximum.
   • Fonction de perte : Une fonction de perte à marge lisse est utilisée pour maximiser le score de la vraie classe tout en minimisant les scores de toutes les autres classes (gérées implicitement via le LSE des classes négatives) :
     $$L^{(l)}_{HFF} = \log(1 + e^{-(g^{(l)}_{scores}[y] - \text{LSE}(g^{(l)}_{scores}[\neg y])))}$$

4. Inférence en une seule passe :

   • Parce que le modèle sort un vecteur de scores de classe pour toutes les classes simultanément à chaque couche, l'inférence ne nécessite qu'une seule passe avant.
   • La prédiction finale est simplement $\hat{c} = \arg\max_c G_{last}(x)[c]$.
   • Cela réduit la complexité d'inférence de $O(C)$ à $O(1)$ par rapport au nombre de classes.

5. Adaptation convolutive :

   • Le HFF s'étend naturellement aux réseaux de neurones convolutifs (CNN). Il découple l'objectif local de l'extraction de caractéristiques, évitant ainsi le besoin d'encodage d'étiquettes complexe ou de masques d'étiquettes spatiales requis par les variantes FF précédentes.
   • Des convolutions auxiliaires 1x1 sont utilisées pour ajuster les dimensions des caractéristiques pour la projection hypersphérique sans modifier la profondeur principale du réseau.

3. Contributions clés

• Résolution du goulot d'étranglement de l'inférence : Le HFF permet une inférence en une seule passe, rendant l'algorithme Forward-Forward plus de 40 fois plus rapide que le FF original sur des ensembles de données à nombreuses classes.
• Précision supérieure : La méthode obtient des résultats de pointe parmi les méthodes sans rétropropagation, surpassant significativement le FF standard et d'autres algorithmes d'apprentissage local (par exemple, SymBa, FFCL).
• Évolutivité ImageNet : Le HFF fait partie des premières méthodes d'apprentissage local gourmandes à rapporter des résultats sur ImageNet-1K, atteignant 25,70 % de précision Top-1 à partir de zéro et 65,96 % avec apprentissage par transfert (dépassant sa base de rétropropagation de 65,80 % dans le cadre du transfert).
• Stabilité théorique : Les auteurs fournissent une analyse théorique montrant que les couches HFF sont continues de Lipschitz, offrant une robustesse inhérente aux perturbations d'entrée par rapport au FF original basé sur la magnitude.
• Interprétabilité : La nature couche par couche du HFF permet une interprétabilité fine, où chaque couche produit une prédiction de classe valide, et les prototypes fournissent des insights géométriques sur les clusters de classes.

4. Résultats expérimentaux

Les auteurs ont évalué le HFF sur MNIST, Fashion-MNIST, CIFAR-10, CIFAR-100 et ImageNet-1K.

• Vitesse d'inférence : Sur CIFAR-100, l'inférence HFF est environ 40 fois plus rapide que l'algorithme FF de base.
• Convergence : Bien que le HFF nécessite un temps d'entraînement légèrement supérieur à la rétropropagation (1,7x), il converge significativement plus vite que le FF original (qui prend 9,5 fois plus de temps que la BP).
• Études d'ablation :
  • Placement de la perte : Une perte post-activation (après ReLU) offre une meilleure stabilité qu'une perte pré-activation.
  • Prototypes : Un seul prototype par classe ($P=1$) est généralement suffisant et optimal pour la généralisation, bien que des ensembles de données complexes puissent bénéficier de $P>1$.
  • Normalisation : La projection des caractéristiques sur l'hypersphère unité est cruciale pour la performance.

5. Importance

Ce travail représente une avancée majeure dans l'apprentissage profond biologiquement plausible.

1. Viabilité pratique : En résolvant le goulot d'étranglement de l'inférence, le HFF rend l'apprentissage local sans rétropropagation candidat viable pour des applications réelles, en particulier dans des environnements à ressources limitées (par exemple, appareils périphériques) où la rétropropagation est trop gourmande en mémoire.
2. Réduction de l'écart : Le HFF réduit l'écart de performance entre l'apprentissage local et la rétropropagation, en particulier sur des ensembles de données à grande échelle comme ImageNet, remettant en question l'idée qu'un flux de gradient global est strictement nécessaire pour un apprentissage profond haute performance.
3. Apprentissage géométrique : Le passage aux espaces de caractéristiques hypersphériques et à l'apprentissage prototypique offre une nouvelle perspective sur la façon dont les réseaux de neurones peuvent apprendre des représentations discriminatives sans signaux d'erreur globaux, s'alignant davantage sur les mécanismes d'apprentissage biologiques.

En conclusion, le Hyperspherical Forward-Forward transforme avec succès l'algorithme Forward-Forward d'une curiosité théorique aux limitations pratiques en une alternative évolutive, haute performance et efficace à la rétropropagation.