⚡ electrical engineering

Neuromorphic control of a simulated shape-memory-alloy-driven multi-legged robot using a spiking neural network

Cet article propose une méthode d'apprentissage par renforcement profond basée sur des réseaux de neurones à impulsions, caractérisée par un réseau d'acteur à impulsions et un tampon de rejeu étendu, afin de parvenir à un contrôle de la locomotion autonome, coordonné et économe en énergie pour un robot mou multi-pattes piloté par des alliages à mémoire de forme.

Auteurs originaux : Daisuke Miki, Hiroto Takigasaki

Publié 2026-07-08

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Daisuke Miki, Hiroto Takigasaki

Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous ayez un robot qui ressemble à une étoile de mer, mais au lieu de articulations métalliques et de moteurs électriques, ses « muscles » sont faits d'un fil spécial appelé alliage à mémoire de forme (AMF). Pensez à ces fils comme au métal d'un jouet de curiosité qui reprend sa forme initiale lorsqu'on le chauffe. Lorsque vous envoyez de l'électricité à travers eux, ils chauffent, se contractent et tirent les pattes du robot vers l'intérieur. Quand l'électricité s'arrête, ils refroidissent et se détendent lentement pour reprendre leur forme initiale.

Le problème est que ces « muscles » sont lents, têtus et imprévisibles. Ils ne réagissent pas instantanément et, si on les pousse trop fort, ils s'embrouillent. Traditionnellement, les ingénieurs devaient écrire manuellement un programme strict et préétabli (comme un chef d'orchestre agitant sa baguette) pour dire à ces fils quand se contracter et se détendre. Si le robot heurtait un obstacle ou si le sol devenait glissant, ce plan rigide échouait.

L'idée Géniale : Un Cerveau « Neural » pour un Corps « Musculaire »
Les chercheurs de cet article voulaient apprendre à ce robot à marcher de lui-même, sans programme préécrit. Pour ce faire, ils ont doté le robot d'un cerveau fait de réseaux de neurones à impulsions (SNN - Spiking Neural Networks).

Imaginez le cerveau d'un ordinateur standard (comme celui de votre téléphone) comme un bureau très agité où tout le monde parle constamment, même quand il n'y a rien d'important à dire. C'est bruyant et cela consomme beaucoup d'énergie.
Maintenant, imaginez le nouveau cerveau du robot comme un groupe de moines dans une bibliothèque silencieuse. Ils ne parlent (ou n'émettent des « impulsions ») que lorsqu'ils ont absolument quelque chose d'important à dire. Cela rend le cerveau incroyablement économe en énergie et rapide pour réagir à des moments précis, tout comme un véritable cerveau biologique.

Comment ils ont appris au robot
L'équipe a utilisé une méthode appelée Apprentissage par Renforcement Profond (Deep Reinforcement Learning). Vous pouvez voir cela comme l'éducation d'un chien :

Le robot essaie de marcher.
S'il avance, il reçoit une « friandise » (un score positif).
S'il gaspille de l'énergie ou reste immobile, il reçoit une « réprimande » (une pénalité).
Après des millions d'essais, le robot comprend la meilleure façon de bouger pour obtenir le plus de friandises.

La Recette Secrète : L'« Acteur à Impulsions »
Habituellement, ces robots apprenants utilisent des cerveaux informatiques standards. Mais les chercheurs ont remplacé le « décideur » (l'Acteur) du robot par leur réseau de neurones à impulsions spécial.

L'astuce de la mémoire : Parce que ces neurones « semblables à des moines » ont une mémoire de leur excitation passée (appelée « potentiel de membrane »), les chercheurs ont dû apprendre à l'ordinateur à se souvenir de cet historique. Ils ont ajouté un carnet de notes spécial au processus d'apprentissage pour que le robot puisse se rappeler ce que ses neurones « pensaient » un instant auparavant.
L'économiseur d'énergie : Ils ont également ajouté une règle : « Ne criez pas, sauf si nécessaire ». Cela a encouragé le robot à utiliser moins d'impulsions électriques pour accomplir sa tâche, économisant ainsi la batterie.

Qu'est-ce qui s'est passé lors des expériences ?
Ils ont testé le robot dans un monde physique virtuel (une simulation de jeu vidéo).

La courbe d'apprentissage : Au début, le robot ne faisait que des mouvements saccadés et aléatoires. Mais en apprenant, il a découvert un rythme. Il a réalisé que ses « muscles » mettent environ 20 à 25 secondes pour refroidir et se détendre.
La danse parfaite : Au lieu que les cinq pattes tirent toutes exactement au même moment (ce qui serait inefficace), le robot a appris à agiter ses pattes selon un motif ondulatoire. Une patte tire, puis la suivante, puis la suivante, comme une vague se déplaçant dans une foule dans un stade.
Le résultat : Le robot a appris à marcher de manière fluide vers une cible. Il a trouvé le timing parfait pour s'adapter à la nature thermique lente de ses muscles. Il ne s'est pas contenté de suivre un script ; il a appris à adapter son rythme en fonction de là où il devait aller.

Pourquoi cela importe
Cette publication montre que l'on peut apprendre à un robot doté de « muscles chauds et lents » à marcher efficacement en lui donnant un cerveau qui pense par impulsions, tout comme un véritable animal. Le robot a appris à coordonner ses propres mouvements, trouvant un rythme qui correspondait à ses limitations physiques sans que personne ne lui dise exactement comment faire. Cela prouve que le contrôle « neuromorphique » (simulant le cerveau) pourrait être la clé pour créer des robots souples et flexibles, intelligents, économes en énergie et prêts pour le monde réel.

Résumé technique : Contrôle neuromorphique d'un robot multi-pattes à entraînement par SMA simulé utilisant un réseau de neurones à impulsions

Énoncé du problème

Les stratégies de contrôle conventionnelles pour les robots mous, particulièrement ceux entraînés par des alliages à mémoire de forme (SMA), reposent principalement sur des signaux périodiques en boucle ouverte pré-conçus. Cette approche fait face à des défis importants dus à la haute dimensionnalité des systèmes de robotique molle et aux fortes non-linéarités inhérentes aux actionneurs SMA, telles que l'hystérésis thermique et les caractéristiques de saturation. La conception et le réglage manuels de mouvements coordonnés pour des systèmes possédant de nombreux degrés de liberté sont difficiles, et les contrôleurs en boucle ouverte manquent d'adaptabilité face aux changements environnementaux (ex. : obstacles, pentes) ou à la dégradation des matériaux.

Bien que l'apprentissage par renforcement profond (DRL) offre une voie vers un contrôle adaptatif, les approches DRL standard utilisent souvent des réseaux de neurones artificiels (ANN) qui peuvent être coûteux en termes de calcul et peu économes en énergie lors de l'inférence. De plus, les SMA partagent des caractéristiques de réponse mécanique avec les muscles biologiques (ex. : comportement de seuil, saturation, et sommation temporelle des impulsions d'entrée), ce qui suggère qu'une architecture de contrôle imitant le traitement neuronal biologique pourrait être particulièrement adaptée. Le défi spécifique abordé est le développement d'une méthode de contrôle autonome et économe en énergie capable d'apprendre à exploiter la dynamique non linéaire des actionneurs SMA sans dépendre d'une conception manuelle de signaux.

Méthodologie

Modèle de robot et actionnement

Les auteurs ont modélisé un robot mou multi-pattes inspiré d'une étoile de mer dans le simulateur de physique MuJoCo. Le robot présente un torse central et cinq pattes disposées radialement. Chaque patte est composée de six articulations de charnière (30 degrés de liberté au total) et est actionnée par un fil SMA (flexion) et un élément élastique passif (extension).

Modèle SMA : Un modèle constitutif simplifié basé sur les travaux de Brinson a été adopté, privilégiant l'efficacité de calcul. Le modèle approxime la progression de la transformation de phase ( $\xi$ ) en fonction de la température uniquement, négligeant la dépendance explicite à la contrainte. La force générée est proportionnelle à $\xi$ .
Dynamique thermique : L'évolution de la température du fil SMA est régie par une équation de conservation de l'énergie tenant compte de l'effet Joule et de la dissipation thermique. Le modèle inclut une hystérésis thermique en utilisant différentes températures de transition pour les processus de chauffage et de refroidissement.
Logique d'actionnement : L'entrée de contrôle est une valeur de courant normalisée ( $u \in [0,1]$ ). Le système simule les limites physiques de l'élévation de température et des taux de refroidissement pour éviter l'instabilité numérique.

Réseau acteur à impulsions (SAN)

La contribution centrale est une méthode d'apprentissage par renforcement profond basée sur un réseau de neurones à impulsions (SNN) utilisant l'algorithme Twin Delayed Deep Deterministic Policy Gradient (TD3).

Architecture : Le réseau acteur est remplacé par un réseau acteur à impulsions (SAN) composé de :
1. Encodeur : Convertit les observations d'état continues en trains d'impulsions en utilisant le codage de population et un mécanisme de seuillage.
2. FC SNN : Un réseau entièrement connecté avec deux couches cachées de 256 neurones Leaky Integrate-and-Fire (LIF).
3. Décodeur : Convertit les trains d'impulsions de sortie en valeurs d'action continues (signaux de contrôle pour les SMA) via un codage de taux.
Gestion de l'état interne : Contra々に au TD3 standard, le tampon de relecture (replay buffer) est étendu pour stocker les informations de potentiel de membrane ( $m_t$ et $m_{t+1}$ ) aux côtés de l'état, de l'action et de la récompense. Cela permet de reproduire avec précision la dynamique interne du SNN lors de la phase d'échantillonnage de l'entraînement.
Algorithme d'entraînement :
- Gradient de substitution (SG) : La fonction de transfert non dérivable du neurone LIF est gérée par l'utilisation d'une fonction sigmoïde rapide comme gradient de substitution lors de la rétropropagation.
- Régularisation : Un terme de régularisation ( $\alpha \|m_n\|_2^2$ ) est ajouté à la fonction de perte de l'acteur pour minimiser les potentiels de membrane au carré. Cela encourage la génération d'actions avec moins de déclenchements d'impulsions, améliorant ainsi l'efficacité énergétique lors de l'inférence.

Configuration expérimentale

Tâche : Locomotion autonome vers un objectif cible.
Espace d'état : Un vecteur à 9 dimensions comprenant les longueurs des SMA, la position relative de l'extrémité du premier rayon, et le vecteur allant du centre du torse vers l'objectif.
Fonction de récompense : Une récompense composite favorisant le progrès vers l'objectif, pénalisant la distance à l'objectif, et pénalisant la norme L2 du vecteur d'action pour encourager l'efficacité énergétique.
Environnement : Simulateur de physique MuJoCo avec un pas de temps de 10 ms (intervalle d'observation/action de 1000 ms).

Résultats clés

Évaluation du mouvement et dynamique des SMA

Les expériences initiales ont établi la relation entre les taux de déclenchement des impulsions et l'angle de flexion d'une seule patte. Les résultats ont confirmé une forte non-linéarité, des effets de seuil et une saturation, reflétant le comportement des muscles biologiques. Une conclusion critique est l'existence d'une période de commande optimale : les périodes plus longues que le temps de relaxation ( $T_{ext} \approx 20-25$ s) provoquent des intervalles d'inactivité, tandis que les périodes plus courtes que $T_{ext}$ entraînent une extension incomplète et un gaspillage d'énergie.

Apprentissage de la locomotion autonome

Le SAN a réussi à contrôler le robot dans deux scénarios : la locomotion en ligne droite et la locomotion de recherche d'objectif (oblique).

Progression de l'apprentissage :
- Stade initial (30k étapes) : Pas de périodicité claire ; mouvement minimal.
- Stade intermédiaire (50k étapes) : Émergence de motifs de déclenchement périodiques et mouvement vers l'avant limité.
- *Stade avancé (300k étapes) : Locomotion continue et stable avec une démarche coordonnée.
Caractéristiques de la démarche :
- Périodicité : La période de déclenchement apprise s'est stabilisée à environ 24–26 secondes, correspondant étroitement au temps de relaxation physique des actionneurs SMA mesuré lors des expériences de base.
- Coordination : L'agent a appris à piloter les cinq pattes avec des déphasages spécifiques plutôt que de les synchroniser. Par exemple, dans la tâche de ligne droite, le Rayon 2 et le Rayon 5 sont en tête, tandis que les Rayons 3 et 4 sont presque en opposition de phase avec le Rayon 1.
- Adaptabilité : Lorsque la position de l'objectif changeait, l'agent ajustait dynamiquement le timing de contraction et les relations de phase des rayons, plutôt que de s'appuyer sur un motif fixe.

Efficacité énergétique

L'inclusion du terme de régularisation du potentiel de membrane a réussi à supprimer les déclenchements d'impulsions excessifs lors de l'inférence, s'alignant sur l'objectif d'un contrôle neuromorphique économe en énergie.

Signification et revendications

L'article affirme que la méthode proposée démontre le potentiel d'un contrôle neuromorphique autonome pour la locomotion de robots mous économe en énergie. Plus précisément :

Acquisition autonome des contraintes physiques : L'agent a implicitement appris les délais de réponse thermodynamique et la saturation de sortie des actionneurs SMA, acquérant une période de commande qui correspond au temps de relaxation physique sans réglage manuel.
Coordination émergente : À travers l'interaction avec l'environnement, le SNN a développé de manière autonome une démarche coordonnée avec des dynamiques de propagation de phase ordonnées. Cela imite les démarches conçues empiriquement des travaux antérieurs, mais est réalisé sans pré-conception en boucle ouverte.
Efficacité énergétique : En exploitant la nature pilotée par les événements des SNN et un terme de régularisation pour minimiser les potentiels de membrane, la méthode offre une voie vers une inférence à plus faible consommation par rapport aux DRL basés sur les ANN traditionnels.
Adaptabilité : Le contrôleur a réussi à s'adapter à différents emplacements d'objectifs en ajustant dynamiquement les motifs de déclenchement, démontant une robustesse aux variations de tâches.

Les auteurs concluent que le contrôle neuromorphique basé sur l'apprentissage peut surmonter les limites du contrôle conventionnel en boucle ouverte pour les systèmes de muscles artificiels hautement dimensionnels et non linéaires. Ils notent que bien que les résultats soient prometteurs en simulation, les travaux futurs nécessiteront de valider le transfert de ces politiques vers des robots physiques (sim-to-real), reconnaissant que les paramètres du monde réel (taux de refroidissement, friction, élasticité des matériaux) peuvent différer de la simulation.