Spiking Neural Networks for Continuous Control via End-to-End Model-Based Learning

Résumé Technique : Réseaux de Neurones à Impulsions pour le Contrôle Continu via l'Apprentissage par Modèle de Bout en Bout

Énoncé du Problème
Malgré les progrès récents dans l'entraînement des réseaux de neurones à impulsions (SNN - Spiking Neural Networks) pour la classification, leur application au contrôle moteur continu reste limitée. Bien que les cerveaux biologiques utilisent une communication par impulsions pour un comportement moteur robuste, adaptatif et à faible latence, traduire cela en systèmes d'apprentissage automatique pratiques pour la robotique est un défi. Le principal goulot d'étrage réside dans la difficulté d'entraîner les SNN de bout en bout pour des tâches continues. Contrairement aux réseaux de neurones artificiels (ANN) standards et aux réseaux récurrents à portes (RNN) qui bénéficient de gradients lisses, les SNN présentent des discontinuités dues aux non-linéarités de déclenchement des impulsions (spikes). Cela force traditionnellement la recherche vers des règles de plasticité locale, l'adaptation en ligne ou des paradigmes d'entraînement indirects, plutôt que vers une optimisation de bout en bout fondée sur des principes. De plus, les approches de contrôle par SNN existantes reposent souvent sur des modèles analytiques, des règles d'apprentissage locales ou la conversion ANN-vers-SNN, ce qui manque fréquemment de scalabilité pour le contrôle continu à haut degré de liberté (DoF) ou de robustesse face aux dynamiques non modélisées.

Méthodologie
Les auteurs proposent une architecture de SNN de Contrôle Prédictif (Pred-Control SNN), un cadre de contrôle basé sur un modèle, entièrement impulsionnel, entraîné de bout en bout à l'aide de gradients de substitution (surrogate gradients). Le système se compose de deux réseaux impulsionnels entraînables :

1. Réseau de Prédiction (Modèle Direct/Forward Model) : Un réseau impulsionnel récurrent qui prédit les changements d'état futurs ($\Delta \hat{s}_t$) étant donné l'état actuel ($s_t$) et l'entrée de commande ($u_t$). Il utilise des neurones de type Leaky Integrate-and-Fire (LIF) avec des constantes de temps apprenables et des seuils adaptatifs optionnels.
2. Réseau de Politique (Modèle Inverse/Inverse Model) : Un réseau impulsionnel feedforward qui déduit l'action de commande optimale ($u_t$) basée sur l'état actuel ($s_t$) et un état cible ($s^*_t$).

Stratégies et Composants Clés d'Entraînement :

• Gradients de Substitution : La fonction d'impulsion non dérivable est approximée lors de la passe arrière par des fonctions de substitution lisses (spécifiquement une impulsion Gaussienne) pour permettre l'optimisation par gradient.
• Architecture : Les deux réseaux emploient des neurones LIF. Le réseau de prédiction inclut des connexions récurrentes pour inférer des variables d'état cachées (comme la vitesse) à partir d'observations partielles, tandis que le réseau de politique est feedforward.
• Constantes de Temps Apprenables : Les constantes de temps membranaires ($\tau_{mem}$) et synaptiques ($\tau_{syn}$) sont traitées comme des paramètres apprenables (initialisés via une initialisation par fluctuation) pour permettre au réseau d'adapter sa dynamique temporelle intrinsèque aux exigences de la tâche.
• Seuils Adaptatifs (ALIF) : Le modèle incorpore des neurones ALIF (Adaptive LIF) avec des seuils de base décroissants et une adaptation déclenchée par l'impulsion. Ce mécanisme réengage les neurones silencieux et empêche une suractivation persistante, améliorant l'attribution de crédit sur de longs horizons.
• Compression de l'Espace Latent : Pour améliorer l'efficacité des paramètres, l'architecture utilise une compression de l'espace latent entre les couches impulsionnelles, permettant des couches plus larges dans un budget de paramètres fixe.
• Pipeline d'Entraînement : Les réseaux sont entraînés de manière itérative en utilisant un tampon de relecture (replay buffer). Le modèle de prédiction est mis à jour via le teacher forcing, tandis que la politique est optimisée en déroulant le modèle de prédiction gelé pour générer des estimations d'état dérivables pour la perte de la politique.

Configuration Expérimentale
Le cadre a été évalué sur deux environnements de contrôle continu simulés :

1. Bras Planaire 2D : Un bras à deux articulations avec observabilité partielle (pas de données de vitesse), utilisé pour le criblage des hyperparamètres.
2. Bras Robotique 3D (6-DoF) : Un robot Franka Emika Panda simulé avec contrôle de couple, représentant une tâche de contrôle continu à haute dimension.

Résultats Clés

• Performance vs Paramètres : Sur la tâche d'atteinte (reaching) 6-DoF, le Pred-Control SNN complet a atteint une performance de tâche (distance cumulée, taux de succès, temps sur cible) comparable à une large base récurrente non impulsionnelle (environ 12,7 M de paramètres), malgré l'utilisation d'un ordre de grandeur de paramètres en moins (environ 0,9 M).
• Études d'Ablation :
  • Constantes de Temps Apprenables : Ont significativement amélioré la convergence et la performance finale, particulièrement pour compenser une initialisation sous-optimale.
  • Seuils Adaptatifs (ALIF) : Ont amélioré la performance en stabilisant les taux d'impulsion et en permettant aux neurones silencieux de se réengager, facilitant une meilleure attribution de crédit à long terme.
  • Compression Latente : A permis des couches impulsionnelles plus larges pour un budget de paramètres fixe, produisant des compromis performance-efficacité favorables.
• Prédiction vs Contrôle : Les bases non impulsionnelles ont atteint une erreur quadratique moyenne (MSE) de prédiction à long horizon plus faible, mais cela ne s'est pas traduit par une performance de contrôle supérieure. Le SNN a obtenu une efficacité de contrôle comparable malgré des prédictions autorégressives moins précises, suggérant qu'un contrôle efficace nécessite un modèle suffisamment expressif pour capturer les dynamiques pertinentes de la tâche plutôt qu'une fidélité de prédiction parfaite.
• Stabilité : Le SNN proposé a présenté des dynamiques d'optimisation plus fluides et plus stables par rapport aux contrôleurs impulsionnels de base, bien qu'il ait appris plus progressivement que les bases non impulsionnelles.

Signification et Revendications
L'article affirme que des architectures entièrement impulsionnelles peuvent être entraînées de bout en bout pour contrôler des bras robotiques avec plusieurs degrés de liberté dans des environnements continus, comblant ainsi le fossé entre les outils d'entraînement du deep learning et le calcul inspiré par la biologie.

Les contributions clés incluent :

1. Scalabilité : Établir les SNN comme un substrat viable et scalable pour le contrôle continu à haute dimension sans nécessifier de pré-entraînement ANN, de conversion ou de contraintes spécifiques au matériel.
2. Conception Fondée sur des Principes : Souligner que des choix spécifiques de conception architecturale et d'entraînement — à savoir les constantes de temps apprenables, les seuils adaptatifs et la compression de l'espace latent — sont critiques pour un entraînement stable et un contrôle efficace dans les domaines impulsionnels.
3. Contrôle Basé sur un Modèle : Démontrer que l'intégration de modèles prédictifs appris dans la boucle de contrôle permet aux SNN de passer à l'échelle pour des tâches à haute dimension et à long horizon.
4. Efficacité : Montrer qu'un contrôle de haute performance peut être atteint avec nettement moins de paramètres que les réseaux récurrents non impulsionnels équivalents.

Les auteurs positionnent ce travail comme une étape vers la construction de systèmes de contrôle adaptables et économes en énergie qui unifient l'entraînement du deep learning avec le calcul prédictif, faisant passer les SNN au-delà des benchmarks de classification vers un calcul incarné et adaptatif. Ils reconnaissent les limites concernant la surcharge de calcul de la rétropropagation à travers le temps (BPTT) et la dépendance actuelle au codage par taux (rate coding), suggérant que les travaux futurs devraient explorer les méthodes d'apprentissage en ligne (ex: e-prop) et d'autres schémas de codage par impulsions.