Résumé Technique : HCL-FF

Énoncé du Problème

Les réseaux de neurones profonds entraînés par rétropropagation (BP) ont atteint des performances de pointe dans les tâches de vision, mais souffrent d'une implausibilité biologique, de demandes computationnelles élevées (nécessitant le stockage du gradient et la propagation vers l'arrière) et de représentations internes opaques. L'algorithme Forward-Forward (FF) offre une alternative biologiquement plausible en entraînant chaque couche indépendamment à l'aide d'un objectif local de « bonté » (l'amplitude des activations). Cependant, les approches FF standard rencontrent deux limitations critiques :

1. Absence de Coordination Hiérarchique : Le FF force les couches peu profondes à discriminer directement des classes fines, conduisant à des représentations sous-optimales dans les premières couches. Contrairement au BP, qui apprend naturellement une progression allant des indices de bas niveau aux sémantiques de haut niveau, le FF manque d'un mécanisme pour coordonner cette progression à travers les couches.
2. Le Dilemme du Découplage : Pour empêcher les couches plus profondes d'hériter trivialement du signal de bonté des couches précédentes, le FF découple la bonté de la représentation des caractéristiques via une normalisation (supprimant l'information d'amplitude). Bien que cela empêche le surapprentissage sur les signaux précédents, il laisse les caractéristiques résultantes sémantiquement ambiguës et non contraintes, car l'objectif d'optimisation ne cible que l'amplitude des activations, et non la structure géométrique relative des caractéristiques.

Méthodologie

Les auteurs proposent HCL-FF (Apprentissage Hiérarchique et Contrastif pour Forward-Forward), un cadre qui préserve l'indépendance couche par couche du FF tout en résolvant les limitations susmentionnées grâce à deux innovations clés.

1. Apprentissage Hiérarchique (Stratégie du Grossier au Fin)

Pour résoudre le manque de coordination, HCL-FF introduit une stratégie d'apprentissage par curriculum où la supervision est organisée du grossier au fin :

• Cibles de Super-classes : Les couches peu profondes sont supervisées à l'aide de cibles de super-classes grossières, tandis que les couches plus profondes se voient attribuer progressivement des étiquettes plus fines, aboutissant à une discrimination de classes fines dans la couche finale.
• Construction de la Hiérarchie : La hiérarchie des classes est construite via une approche pilotée par les données. Un modèle est d'abord pré-entraîné sans hiérarchie, et un classifieur linéaire est entraîné sur les caractéristiques de la couche finale. Les poids du classifieur servent de prototypes de classes, qui sont ensuite regroupés par clustering hiérarchique agglomératif pour former un arbre sémantique.
• Perte Hiérarchique de Compétition Canal par Canal (HierCwC) : La perte FF standard est modifiée pour calculer la bonté au niveau de la super-classe pour les couches peu profondes. La bonté de super-classe est dérivée en moyennant la bonté par classe au sein de chaque groupe de super-classe. Cela réduit la complexité des objectifs des premières couches et encourage les représentations à évoluer des structures sémantiques larges vers une discrimination fine.

2. Apprentissage Contrastif (Ancrage Sémantique)

Pour résoudre le dilemme du découplage, HCL-FF applique un objectif contrastif supervisé directement aux caractéristiques découplées de la bonté (les vecteurs de caractéristiques normalisés $z^{(\ell)}$) :

• Projection des Caractéristiques : À chaque couche, les caractéristiques découplées de la bonté sont moyennées globalement et projetées dans un espace d'incrustation latent.
• Perte Contrastive Supervisée : Une perte contrastive supervisée standard est appliquée à ces incrustations, encourageant les échantillons d'une même classe à se regrouper et les classes différentes à se séparer.
• Signification : En contraignant la géométrie relationnelle des caractéristiques après le découplage de la bonté, cet objectif restaure le sens sémantique perdu lorsque l'information d'amplitude est supprimée. Il garantit que, bien que l'échelle (bonté) soit découplée, la direction (contenu sémantique) reste discriminative.

3. Cadre Global

La fonction de perte totale pour chaque couche $\ell$ combine la perte HierCwC et la perte contrastive :
$$L_{total}^{(\ell)} = L_{HierCwC}^{(\ell)} + \lambda L_{Con}^{(\ell)}$$
où $\lambda$ est fixé à 1. Le cadre utilise une architecture Forward-Forward résiduelle basée sur des couches de Convolution Canal par Canal (CW-Conv), où chaque couche opère indépendamment sans propagation de gradient à travers les couches.

Contributions Clés

1. Cadre HCL-FF : Un nouveau cadre FF intégrant une supervision hiérarchique et un apprentissage contrastif pour résoudre le manque de coordination et le dilemme du découplage.
2. Curriculum du Grossier au Fin : Une stratégie qui réduit la complexité des premières couches en supervisant les couches peu profondes avec des super-classes, permettant une progression naturelle de l'abstraction sémantique.
3. Ancrage Contrastif : La première application de l'apprentissage contrastif spécifiquement aux caractéristiques découplées de la bonté dans le FF, préservant efficacement la structure sémantique sans violer la contrainte d'indépendance couche par couche.
4. Performances de Pointe : La méthode atteint de nouveaux résultats de pointe parmi les méthodes basées sur le FF sur plusieurs benchmarks.

Résultats Expérimentaux

Des expériences ont été menées sur CIFAR-10, CIFAR-100, MNIST, Fashion-MNIST et Tiny-ImageNet.

• Gains de Performance : HCL-FF réalise des améliorations significatives de la précision par rapport à la meilleure méthode FF précédente (DeeperForward) :
  • +5,46 % sur CIFAR-10 (91,68 % contre 86,22 %).
  • +17,00 % sur CIFAR-100 (70,09 % contre 53,09 %).
  • +12,51 % sur Tiny-ImageNet (48,46 % contre 35,95 %).
• Comparaison avec le BP : Sur CIFAR-10, HCL-FF dépasse le ResNet-20 entraîné par BP standard (91,68 % contre 91,25 %) et réduit l'écart avec les variantes BP appariées en paramètres.
• Études d'Ablation :
  • L'ajout de l'apprentissage contrastif seul a amélioré la précision sur CIFAR-100 de +9,12 %, confirmant son rôle dans la stabilisation des caractéristiques découplées.
  • L'ajout de l'apprentissage hiérarchique seul a amélioré la précision sur CIFAR-100 de +6,96 %, soulignant son bénéfice pour les espaces d'étiquettes plus vastes.
  • L'augmentation de données forte n'a été efficace que lorsqu'elle était combinée à une supervision hiérarchique, car elle a réduit la charge sur les couches peu profondes.
• Analyse :
  • Précision Couche par Couche : HCL-FF montre des gains de précision réguliers à travers les couches, tandis que les méthodes antérieures plafonnent tôt.
  • Découplage : Les évaluations par sonde linéaire montrent que HCL-FF maintient une haute précision même après normalisation, prouvant qu'il préserve la structure sémantique dans les caractéristiques découplées, contrairement à DeeperForward où la précision chute significativement après normalisation.
  • Visualisation : Les visualisations t-SNE confirment que HCL-FF maintient une séparation claire des classes tant dans les réponses de bonté que dans les caractéristiques découplées de la bonté.

Signification et Revendications

L'article revendique que HCL-FF représente une étape significative vers des paradigmes d'apprentissage évolutifs, efficaces et biologiquement plausibles. En résolvant le dilemme fondamental du découplage et en introduisant une coordination hiérarchique, la méthode démontre que l'entraînement indépendant couche par couche peut atteindre des performances comparables, et dans certains cas supérieures, aux méthodes basées sur la rétropropagation.

Les auteurs notent que, bien que HCL-FF améliore les méthodes FF existantes, il hérite toujours de certaines contraintes, telles qu'une convergence plus lente par rapport au BP de bout en bout et l'exigence que le nombre de canaux évolue avec le nombre de classes (bien que cela soit atténué dans les couches peu profondes). Le travail suggère que combiner une supervision hiérarchique avec un ancrage contrastif est une voie viable pour surmonter les défis de longue date de l'apprentissage sans rétropropagation.