Hebbian Attractor Networks for Robot Locomotion

1. Problématique

Les approches d'apprentissage par renforcement (RL) pour la robotique suivent généralement un paradigme entraînement-déploiement : un réseau de neurones est entraîné dans une simulation pour optimiser un ensemble fixe de poids, qui restent statiques une fois déployés. Cette rigidité rend les robots vulnérables aux changements de l'environnement réel (dérive des capteurs, variations du terrain, dégradation des actionneurs).

En revanche, les systèmes biologiques s'adaptent continuellement tout au long de leur vie grâce à la plasticité synaptique. Bien que l'apprentissage hebbien (modification des poids basée sur la corrélation entre l'activité pré- et postsynaptique) ait été exploré pour créer des contrôleurs adaptatifs, les mécanismes sous-jacents à la stabilité de ces réseaux et à l'émergence de dynamiques de poids spécifiques (comme les points fixes ou les cycles limites) restent mal compris. La question centrale est de savoir comment structurer la plasticité hebbienne pour qu'elle génère des comportements stables et adaptatifs plutôt que des dynamiques chaotiques ou divergentes.

2. Méthodologie : Réseaux d'Attracteurs Hebbiens (HAN)

Les auteurs introduisent une nouvelle classe de réseaux de neurones plastiques appelés Hebbian Attractor Networks (HAN). L'objectif est de faire émerger des dynamiques d'attracteurs structurées dans l'espace des poids grâce à deux mécanismes clés :

A. Mise à jour Hebbienne Dual-Temporelle (Dual-Timescale)

Contrairement aux travaux précédents où les poids étaient mis à jour à chaque pas de temps (synchronisés avec la boucle de contrôle), les HANs introduisent une séparation des échelles de temps :

• Fréquence rapide ($f_{NN}$) : Le contrôleur effectue des inférences d'action (forward pass) à haute fréquence.
• Fréquence lente ($f_{hebb}$) : La mise à jour des poids synaptiques hebbiens est effectuée moins fréquemment.
• Cela crée une structure où l'apprentissage est découplé de l'exécution immédiate du contrôle.

B. Moyenne Temporelle des Activations

Les mises à jour hebbiennes ne reposent pas sur les activations instantanées, mais sur une moyenne glissante (Moving Average - MA) des activations pré- et postsynaptiques sur une fenêtre de temps $M$.

• Cela lisse les signaux d'apprentissage, permettant au réseau de réagir aux dynamiques temporelles plus longues plutôt qu'au bruit instantané.

C. Normalisation Max (Max Normalization - MN)

Pour éviter la croissance illimitée des poids (un problème classique de l'apprentissage hebbien), les auteurs appliquent une normalisation par couche après chaque mise à jour. Les poids sont redimensionnés par leur valeur absolue maximale. Cette contrainte est essentielle pour induire des comportements d'attracteurs bornés.

D. Règle d'Apprentissage

La règle de mise à jour suit la formulation généralisée ABCD :
$$\Delta w_{ij} = \eta \cdot (a \cdot x_{pre} \cdot x_{post} + b \cdot x_{pre} + c \cdot x_{post} + d)$$
Les coefficients $(a, b, c, d)$ et les taux d'apprentissage locaux $\eta$ sont optimisés via des Stratégies Évolutionnaires (ES) avant le déploiement.

3. Contributions Clés

1. Analyse Systématique des Régimes d'Attracteurs : L'article démontre que la combinaison de la normalisation max, de la mise à jour dual-temporelle et de la moyenne des activations permet de faire émerger deux types de dynamiques distinctes dans l'espace des poids :
   • Cycles Limites (Limit Cycles) : Les poids oscillent périodiquement, couplés au cycle de marche (système co-dynamique).
   • Points Fixes (Fixed-Point Attractors) : Les poids convergent vers une configuration stable après une phase d'adaptation initiale.
2. Caractérisation des Paramètres : Les auteurs montrent que des mises à jour lentes ($f_{hebb}$ faible) combinées à une fenêtre de moyenne large ($M$ élevé) favorisent la convergence vers des points fixes, tandis que des mises à jour rapides favorisent les cycles limites.
3. Validation à Haute Dimension : La méthode est validée non seulement sur des benchmarks standards (Gymnasium), mais aussi sur un robot quadrupède simulé complexe (Unitree Go1), prouvant la généralisabilité de l'approche.

4. Résultats Expérimentaux

A. Performance sur les Benchmarks (Gymnasium)

Sur des tâches de locomotion (Swimmer, Hopper, HalfCheetah, Walker2D) :

• Les HANs surpassent les contrôleurs statiques (MLP) et les réseaux récurrents (GRU) dans la plupart des cas, notamment grâce à la normalisation max et à la plasticité.
• Bien que le PPO (Reinforcement Learning par gradient) avec de grands réseaux obtienne les scores absolus les plus élevés, les HANs atteignent des performances comparables avec des architectures beaucoup plus compactes (une seule couche cachée de 16 unités), exploitant la plasticité intra-vie pour enrichir l'expressivité.
• La configuration optimale (Condition E : $M=10$, $f_{NN}=4 \times f_{hebb}$) permet d'atteindre des performances élevées tout en assurant la stabilité.

B. Dynamique des Poids et Attracteurs

• Condition (B) (Mises à jour rapides, pas de moyenne) : Les poids oscillent en synchronisation avec la marche. Si la mise à jour hebbienne est arrêtée, le robot tombe, indiquant que l'oscillation des poids est vitale pour le contrôle (système co-dynamique).
• Condition (E) (Mises à jour lentes, moyenne élevée) : Les poids convergent vers un point fixe. Le réseau atteint une marche stable et continue même si la plasticité est arrêtée après la phase d'adaptation.
• Robustesse aux perturbations : Dans une expérience de perturbation (collision avec un pendule), le réseau de type "Point Fixe" (Condition E) s'adapte temporairement pour récupérer la marche, puis retourne à la même configuration de poids stable, démontrant la robustesse de l'attracteur.

C. Adaptation Morphologique

Lors de tests de dommages morphologiques (amputation de jambe sur le robot Ant) :

• Les HANs maintiennent une performance plus constante sur des morphologies non vues (généralisation zéro-shot) par rapport au PPO, qui est très performant sur les données d'entraînement mais moins robuste aux changements structurels non vus.
• Curieusement, dans ce scénario de dommages permanents, même la configuration "Point Fixe" tend à réévoluer vers des cycles limites, suggérant que l'évolution privilégie la dynamique oscillatoire lorsque l'adaptation à des modes de locomotion radicalement différents est requise.

D. Robot Unitree Go1

Sur le robot quadrupède simulé :

• La distinction entre les régimes (cycles limites vs points fixes) se maintient.
• Les configurations à point fixe permettent une locomotion stable et robuste, validant l'approche pour des systèmes à haute dimensionnalité.

5. Signification et Conclusion

Ce travail fournit une caractérisation fondamentale de la manière dont le timing de la plasticité façonne la dynamique des réseaux neuronaux dans les systèmes incarnés.

• Théorique : Il établit un lien clair entre les paramètres de mise à jour (fréquence, fenêtre de moyenne) et la nature des attracteurs (oscillatoire vs stable). Cela permet de concevoir intentionnellement des réseaux soit pour l'adaptation continue (cycles limites), soit pour la stabilisation rapide (points fixes).
• Pratique : Les HANs offrent une alternative prometteuse aux méthodes de RL classiques pour la robotique, permettant une adaptation en temps réel sans nécessiter de réentraînement coûteux ou de signaux d'erreur globaux.
• Limites et Perspectives : L'optimisation par stratégies évolutionnaires est coûteuse en échantillons. Les auteurs suggèrent que l'introduction de récurrents et l'exploration de mécanismes de commutation entre attracteurs (inspirés de la neuromodulation) pourraient permettre de gérer des environnements encore plus complexes et de combler l'écart simulation-réalité.

En résumé, les Hebbian Attractor Networks démontrent que la plasticité hebbienne, correctement structurée par des échelles de temps et des moyennes temporelles, peut générer des dynamiques de contrôle robustes et adaptatives, imitant la résilience des systèmes biologiques.