RECAP: Local Hebbian Prototype Learning as a Self-Organizing Readout for Reservoir Dynamics

Le papier présente RECAP, une stratégie d'apprentissage bio-inspirée qui associe la dynamique d'un réservoir non entraîné à une lecture auto-organisée par prototypes hebbiens pour réaliser une classification d'images robuste sans recours à la rétropropagation de l'erreur.

L'essentiel

Imaginez que vous essayez d'apprendre à reconnaître des visages. La plupart des intelligences artificielles modernes fonctionnent comme un élève très stressé qui mémorise des milliers de photos parfaites, mais qui panique dès qu'une photo est floue, sombre ou tachée de pluie. Elles ont besoin d'avoir vu exactement la même situation pour réussir.

Le papier que vous avez partagé, RECAP, propose une approche totalement différente, inspirée par la façon dont notre propre cerveau apprend. Voici l'explication simple, avec quelques images mentales pour vous aider à visualiser.

1. Le Problème : L'Élève Stressé vs. Le Cerveau Résilient

Les systèmes d'IA actuels (comme ceux qui reconnaissent les chats sur Internet) sont entraînés par une méthode appelée "rétropropagation". C'est comme si un professeur corrigeait chaque erreur de l'élève en recalculant tout le chemin de l'apprentissage, du début à la fin. C'est puissant, mais fragile. Si l'élève n'a jamais vu une photo de chat sous la pluie, il ne le reconnaîtra pas.

Le cerveau humain, lui, est robuste. Il reconnaît un ami même s'il porte des lunettes de soleil, s'il pleut ou s'il est de dos. Comment ? Grâce à des mécanismes locaux et à la répétition, sans avoir besoin de tout recalculer à chaque fois.

2. La Solution RECAP : Le "Miroir des Relations"

L'équipe derrière RECAP a créé un système en deux parties, comme un atelier de reconnaissance :

Partie A : La Réserve de Chiffres (Le "Reservoir")

Imaginez une grande salle remplie de 1 000 ballons de baudruche (les neurones) reliés entre eux par des élastiques. Quand vous montrez une image (par exemple, le chiffre "7"), vous soufflez dans la salle. Les ballons bougent, s'agitent et forment des motifs complexes.

• La magie : Personne n'a appris à ces ballons quoi faire. Ils sont juste là, aléatoirement connectés. Mais quand vous soufflez sur un "7", ils forment toujours un motif similaire. C'est une "réserve" de mouvements dynamiques.

Partie B : Le Filtre de "Co-activation" (Le Cœur de RECAP)

Au lieu de regarder exactement combien chaque ballon est gonflé (ce qui change si l'image est floue), RECAP regarde qui est gonflé en même temps que qui.

• L'analogie du "Jeu des Paires" : Imaginez que vous demandez aux ballons : "Qui est gonflé en même temps que toi ?".
  • Si le ballon A et le ballon B sont toujours gonflés ensemble quand on voit un "7", ils se lient.
  • Si le ballon C est souvent seul, il ne se lie à personne.
• RECAP crée une carte de liens (un masque) qui dit : "Pour un 7, le ballon A et le ballon B sont toujours partenaires".

3. L'Apprentissage : La Règle "Ce qui se fait ensemble, reste ensemble"

C'est ici que l'inspiration biologique (Hebbienne) entre en jeu.

• La règle : Si deux ballons sont souvent partenaires pour un chiffre donné, leur lien devient plus fort (comme un muscle qui se muscle). S'ils ne sont jamais partenaires, leur lien s'affaiblit et disparaît.
• Pas de prof stressé : Il n'y a pas de correction globale. Chaque lien se renforce ou s'affaiblit localement, simplement parce qu'ils ont travaillé ensemble. C'est comme si les ballons apprenaient à se connaître en jouant ensemble, sans qu'un professeur ne leur dise "tu as tort".

4. La Reconnaissance : Le Jeu du "Puzzle"

Quand le système doit reconnaître un nouveau chiffre (même s'il est abîmé par la neige ou le bruit) :

1. Il souffle dans la salle de ballons.
2. Il regarde qui est partenaire de qui (la carte des liens).
3. Il compare cette carte avec ses "modèles" (les prototypes) qu'il a appris pour chaque chiffre.
4. Le verdict : "Tiens, cette carte de liens ressemble beaucoup plus à celle que j'ai apprise pour le '7' qu'à celle du '1'."

Pourquoi est-ce si robuste ?

C'est là que l'analogie brille :

• Si vous avez une photo de "7" très floue, l'intensité des ballons change (certains sont moins gonflés). Mais les paires qui bougent ensemble restent souvent les mêmes.
• Le système ne regarde pas la quantité de gonflage (qui est fragile), mais la structure des relations (qui est solide).
• C'est comme reconnaître un ami par sa façon de marcher avec ses amis, même si vous ne voyez pas bien son visage à cause de la pluie.

En Résumé

RECAP est une méthode qui dit : "Oubliez la perfection des détails. Concentrez-vous sur les relations stables qui se répètent."

• Avantage : Il résiste incroyablement bien aux images abîmées (bruit, flou, neige) sans avoir jamais vu d'images abîmées pendant son entraînement.
• Compromis : Il est un peu moins précis sur des images parfaites que les super-ordinateurs modernes, mais il est beaucoup plus fiable dans le "monde réel" où tout n'est pas parfait.

C'est une approche qui rend l'IA plus "humaine" : elle apprend à voir la structure derrière le chaos, plutôt que de mémoriser des photos parfaites.

Résumé technique

1. Problématique

Le papier aborde la fragilité des systèmes de reconnaissance d'images modernes (basés sur le deep learning et la rétropropagation du gradient) face aux perturbations réalistes. Bien que ces modèles excellent sur des données d'entraînement propres, ils échouent souvent face à des corruptions courantes (bruit, flou, conditions météorologiques, artefacts numériques) sans avoir été spécifiquement entraînés sur ces données dégradées.

De plus, l'entraînement par rétropropagation (backpropagation) repose sur une attribution de crédit non locale et des hypothèses biologiquement peu plausibles (comme le transport précis des poids), ce qui contraste avec les mécanismes d'apprentissage locaux et la plasticité observés dans les cerveaux biologiques.

L'objectif est de concevoir un système d'apprentissage bio-inspiré qui :

1. Génère une robustesse intrinsèque aux corruptions sans nécessiter d'entraînement sur des données corrompues.
2. Utilise des règles d'apprentissage locales (sans rétropropagation).
3. S'adapte en ligne (mise à jour incrémentale).

2. Méthodologie : RECAP

Les auteurs proposent RECAP (Reservoir Computing with HEbbian Co-Activation Prototypes), une stratégie d'apprentissage combinant des dynamiques de réservoir non entraînées avec une couche de lecture (readout) auto-organisée basée sur la plasticité de Hebb.

Le processus se déroule en quatre étapes principales :

A. Générateur de Caractéristiques (Réservoir)

• Un réseau récurrent non entraîné (Echo State Network - ESN) reçoit l'image d'entrée.
• L'image est injectée de manière répétée pour $T$ cycles afin de stabiliser la dynamique.
• L'état du réservoir est moyenné dans le temps pour obtenir un vecteur d'activité stable $\bar{x}(u)$.
• Clé : Le réservoir n'est pas entraîné ; ses poids sont initialisés aléatoirement et restent fixes.

B. Discrétisation et Masque de Co-activation

• Le vecteur d'activité continu $\bar{x}(u)$ est discrétisé en $K$ niveaux d'activation (ex: $K=8$) via un quantificateur.
• À partir de ce code discret, un masque de co-activation binaire $M(u)$ est construit.
• $M_{ij} = 1$ si les unités $i$ et $j$ du réservoir partagent le même niveau d'activation discret pour une entrée donnée, et $0$ sinon.
• Cette étape transforme les valeurs d'activation en relations structurelles (qui est actif avec qui), rendant la représentation moins sensible aux petites variations d'amplitude.

C. Apprentissage Hebbien des Prototypes

• Pour chaque classe $c$, le système maintient un état de prototype continu $S^{(c)}$.
• Lors de l'entraînement (uniquement sur des données propres), le prototype est mis à jour selon une règle de potentiation-décroissance inspirée de Hebb :
  • Potentiation : Si une paire d'unités est co-activée ($M_{ij}=1$), la valeur correspondante dans $S^{(c)}$ augmente.
  • Décroissance : Si une paire n'est pas co-activée, la valeur diminue (décroissance multiplicative).
• Ce processus crée des "modèles relationnels" stables pour chaque classe, sans utiliser de descente de gradient.

D. Inférence par Appariement de Prototypes

• À l'inférence, le masque de co-activation du test est comparé aux prototypes binarisés (obtenus par seuillage de $S^{(c)}$) de chaque classe.
• La prédiction est la classe dont le prototype a le plus grand chevauchement (produit scalaire de Frobenius) avec le masque d'entrée.

3. Contributions Clés

1. Apprentissage de lecture sans rétropropagation : RECAP utilise une règle de mise à jour locale (Hebbienne) pour apprendre des prototypes, éliminant le besoin de calculs de gradients complexes et non locaux.
2. Robustesse aux corruptions courantes : Le système démontre une résilience exceptionnelle sur le benchmark MNIST-C, entraîné uniquement sur des données propres.
3. Structure auto-organisée et mise à jour en ligne : La méthode génère des modèles binaires compacts qui peuvent être mis à jour incrémentalement à mesure que de nouvelles données arrivent, facilitant l'apprentissage continu.
4. Interprétabilité : Le mécanisme de décision repose sur un appariement de modèles (template matching), offrant une transparence que les réseaux de neurones profonds "boîte noire" n'ont pas.

4. Résultats Expérimentaux

Les expériences ont été menées sur MNIST-C (adaptation de ImageNet-C pour MNIST), contenant 15 types de corruptions (bruit, flou, météo, numérique) à 5 niveaux de sévérité.

• Protocole : Tous les modèles (RECAP, MLP, ResNet-18, AlexNet, ESN-Ridge) ont été entraînés uniquement sur des données MNIST propres.
• Performance sur données propres : RECAP présente une erreur plus élevée sur les données propres (11,7 %) par rapport aux CNN optimisés (ResNet-18 : 0,9 %), ce qui est un compromis accepté.
• Robustesse (MNIST-C) :
  • RECAP atteint un Relative mCE (Mean Corruption Error) de 34,1 %, nettement inférieur aux autres modèles.
  • Comparaison :
    • MLP : 52,1 %
    • ESN-Ridge (lecture linéaire classique) : 55,0 %
    • ResNet-18 / AlexNet : ~100 % (proche de la référence).
• Analyse : L'amélioration de la robustesse provient principalement de la stratégie de lecture Hebbienne et de la discrétisation, et non de l'entraînement du réservoir lui-même. La discrétisation et les masques de co-activation filtrent le bruit en se concentrant sur la structure relationnelle plutôt que sur les magnitudes exactes.

5. Signification et Conclusion

Le papier démontre que la robustesse aux perturbations courantes peut émerger du choix de la représentation de lecture et des règles d'apprentissage locales, plutôt que de l'optimisation exhaustive sur des données augmentées.

• Implications biologiques : RECAP offre un modèle computationnel plausible biologiquement, utilisant des mécanismes locaux de plasticité et de dynamique de population, contournant les limitations de la rétropropagation.
• Applications potentielles : La capacité de mise à jour en ligne et l'absence de besoin de données corrompues pour l'entraînement en font une approche prometteuse pour des systèmes embarqués, adaptatifs et fonctionnant dans des environnements non stationnaires.
• Limites : La méthode sacrifie la précision sur les données propres pour gagner en robustesse et est actuellement limitée à des tâches simples (MNIST). L'extension à des images naturelles complexes et l'évaluation de l'apprentissage continu (catastrophic forgetting) restent à explorer.

En résumé, RECAP propose une alternative simple, interprétable et efficace aux architectures profondes standard pour des scénarios où la fiabilité face aux dégradations inconnues est prioritaire.