Résumé technique : Agrégation adaptative multi-échelle de la bonté pour l'apprentissage Forward–Forward

1. Énoncé du problème

L'algorithme Forward–Forward (FF), introduit par Hinton, offre une alternative biologiquement plausible à la rétropropagation en utilisant deux passages avant (un sur des données réelles, un sur des données négatives) pour entraîner les couches indépendamment. Cette approche élimine le besoin de stocker les activations intermédiaires pour le calcul des gradients, réduisant ainsi l'utilisation de la mémoire et évitant le problème du « transport des poids ». Cependant, l'algorithme FF de base souffre d'écarts de performance significatifs par rapport aux modèles basés sur la rétropropagation (par exemple, ~92 % contre ~98 % sur MNIST).

Les auteurs identifient que cet écart de performance ne provient pas du concept central de FF, mais de quatre choix de conception spécifiques et excessivement simplistes dans l'implémentation originale :

1. Bonté mono-échelle : L'algorithme original calcule la « bonté » (une mesure de la qualité de l'activation) comme un scalaire unique (somme des activations au carré), échouant à capturer l'information à différents niveaux d'abstraction.
2. Échantillonnage négatif statique : Les échantillons négatifs sont générés par mélange aléatoire, produisant des signaux d'entraînement soit trivialement faciles, soit destructivement difficiles, sans progression basée sur un curriculum.
3. Seuils fixes : Un seuil unique et statique ($\theta$) est appliqué à toutes les couches et tout au long de l'entraînement, ignorant le fait que les distributions d'activation changent avec la profondeur du réseau et l'avancement de l'entraînement.
4. Taux d'apprentissage statiques : L'utilisation d'un taux d'apprentissage fixe ne tient pas compte de l'instabilité des premières étapes de l'entraînement où les scores de bonté et les seuils sont encore en train de se stabiliser.

2. Méthodologie : Agrégation adaptative multi-échelle de la bonté (AMSGA)

L'article propose AMSGA, un cadre qui conserve la structure de FF par couches et sans rétropropagation, tout en remplaçant les quatre faibles choix de conception par des mécanismes adaptatifs.

A. Agrégation multi-échelle de la bonté

Au lieu d'une seule métrique de bonté, AMSGA calcule la bonté à trois échelles et les combine en utilisant des poids dépendants de la profondeur :

• Bonté locale ($g_{local}$) : La moyenne des activations au carré par neurone. Cela capture des caractéristiques fines et de bas niveau, fortement pondérées dans les premières couches.
• Bonté intermédiaire ($g_{inter}$) : Les neurones sont regroupés en partitions, et la moyenne des activations au carré est calculée au sein de chaque groupe. Cela fournit un signal stable de niveau intermédiaire.
• Bonté globale ($g_{global}$) : La moyenne des activations au carré sur tous les neurones et tous les échantillons, capturant l'énergie globale de la couche. Cela est plus fortement pondéré dans les couches profondes.
• Schéma de pondération : La bonté finale $g(h, l)$ à la couche $l$ est une combinaison linéaire :
  $$g(h, l) = w_{local}(l) \cdot g_{local} + 0.35 \cdot g_{inter} + w_{global}(l) \cdot g_{global}$$
  où les poids évoluent linéairement, favorisant la structure locale dans les premières couches pour passer à l'activité globale dans les couches plus profondes.

B. Exploration adaptative des négatifs avec apprentissage par curriculum

La sélection des échantillons négatifs est ajustée dynamiquement en fonction de l'avancement de l'entraînement ($p = \text{époque actuelle} / \text{nombre total d'époques}$) :

• Phase précoce ($p < 0.3$) : Se concentre sur la « proximité de la frontière », sélectionnant des négatifs proches du seuil de décision pour assurer un apprentissage initial stable.
• Phase intermédiaire ($0.3 \le p < 0.7$) : Élargit la bande de difficulté et introduit des négatifs « très difficiles » (ceux avec des scores de bonté élevés) à un taux de 40 % pour affiner les représentations.
• Phase tardive ($p \ge 0.7$) : Affine agressivement le modèle en élargissant la bande et en augmentant le taux d'échantillonnage des négatifs très difficiles à 50 %.
• Mécanisme de sécurité : Si les critères de sélection produisent trop peu d'échantillons, l'algorithme garantit un nombre minimal d'échantillons par lot en ajoutant les échantillons restants les plus difficiles.

C. Seuils adaptatifs dépendants de la couche

Le seuil $\theta$ n'est plus une constante globale. Il est adapté en fonction de la profondeur de la couche ($l$) et de l'avancement de l'entraînement ($p$) :
$$\theta(l, p) = \theta_0 \times \left(1 + 0.15 \frac{l}{L}\right) \times (1 + 0.3 p)$$
Cela garantit que les couches plus profondes (qui traitent des caractéristiques plus abstraites) et les étapes tardives de l'entraînement (où les représentations sont plus affinées) utilisent des seuils plus élevés, maintenant un étalonnage approprié de la frontière de décision.

D. Planification du taux d'apprentissage

Pour prévenir l'instabilité lors de la stabilisation initiale des scores de bonté et des seuils, AMSGA emploie une phase de réchauffement (augmentation linéaire du taux d'apprentissage pendant les 10 % premiers de l'entraînement) suivie d'un recuit cosinusoïdal pour le reste. Ceci est crucial en FF pour éviter des mises à jour grandes et déstabilisantes avant que le système ne se stabilise.

3. Contributions clés

1. Mécanisme d'agrégation novateur : Introduction d'une agrégation multi-échelle de la bonté exploitant des signaux locaux, intermédiaires et globaux avec un pondération dépendante de la profondeur.
2. Entraînement basé sur un curriculum : Mise en œuvre d'une stratégie adaptative d'exploration des négatifs qui fait évoluer la difficulté des échantillons en synchronisation avec l'avancement de l'entraînement.
3. Étalonnage dynamique : Remplacement des seuils fixes par des seuils adaptatifs dépendants de la couche et de l'étape.
4. Stratégie de stabilisation : Intégration d'un réchauffement et d'un recuit cosinusoïdal spécifiquement adaptés aux dynamiques uniques des règles d'apprentissage local.
5. Validation des performances : Démonstration que ces modifications réduisent considérablement l'écart de performance entre FF et la rétropropagation sans sacrifier l'efficacité mémoire de l'algorithme ni sa plausibilité biologique.

4. Résultats expérimentaux

Des expériences ont été menées sur MNIST et Fashion-MNIST en utilisant des architectures de Perceptron Multicouche (MLP).

• MNIST :

  • FF de base : 92,00 % de précision sur le test.
  • AMSGA : 94,45 % de précision sur le test.
  • Amélioration : +2,45 %.
  • Le modèle a atteint un écart entraînement-test de <0,1 %, indiquant une forte généralisation.

• Fashion-MNIST :

  • FF de base : 81,00 % de précision sur le test.
  • AMSGA : 84,50 % de précision sur le test.
  • Amélioration : +3,5 %.

• Efficacité computationnelle :

  • AMSGA introduit une surcharge computationnelle minimale. Le temps par époque n'a augmenté que légèrement (par exemple, de 2,5 s à 2,7 s sur MNIST) malgré la complexité ajoutée de la logique d'agrégation et d'exploration.
  • La méthode conserve les avantages centraux de FF : aucun passage arrière, aucun stockage de gradient global, et optimisation par couche.

5. Signification et revendications

L'article soutient que les limites des règles d'apprentissage local (comme FF) ne sont pas inhérentes au concept mais résultent de choix de conception « par défaut peu ambitieux ». En abordant la manière dont la bonté est mesurée, comment les échantillons négatifs sont sélectionnés et comment les dynamiques d'entraînement sont façonnées, les auteurs démontrent que l'apprentissage biologiquement plausible peut devenir compétitif avec la rétropropagation sur des benchmarks standards.

Les auteurs affirment que AMSGA représente une étape vers la rendre l'apprentissage biologiquement plausible « réellement compétitif, et pas seulement théoriquement intéressant ». Ils soulignent que bien qu'un écart subsiste par rapport aux modèles de rétropropagation les plus avancés sur des tâches plus difficiles, les gains de performance obtenus ici prouvent que cet écart est largement dû aux dynamiques d'entraînement plutôt qu'à l'incapacité fondamentale des règles locales à apprendre des représentations complexes. Le travail suggère que les améliorations futures pourraient résider dans le raffinement de la manière dont l'information d'étiquette est intégrée et dont l'indépendance par couche est gérée, plutôt que dans l'abandon du paradigme d'apprentissage local.