Error Amplification Limits ANN-to-SNN Conversion in Continuous Control

Résumé Technique : L'amplification d'erreur limite la conversion ANN-vers-SNN en contrôle continu

Énoncé du Problème
Bien que les réseaux de neurones à impulsions (SNN) offrent des avantages significatifs en matière d'efficacité énergétique pour l'apprentissage par renforcement (RL) sur des dispositages de bord (edge) aux ressources limitées, la conversion de réseaux de neurones artificiels (ANN) pré-entraînés en SNN a historiquement éprouvé des difficultés dans les domaines du contrôle continu. Les méthodes de conversion existantes, qui sont compétitives pour la classification d'images et le contrôle discret (ex. : Atari), souffrent d'une dégradation substantielle de performance lorsqu'elles sont appliquées à des espaces d'actions continus (ex. : robotique). Le document identifie que cette dégradation n'est pas simplement due à des erreurs d'approximation d'action instantanées, mais est pilotée par un phénomène d'amplification d'erreur. Dans le contrôle continu, de petites erreurs d'action introduites lors de la conversion deviennent temporellement corrélées à travers les étapes de décision. Ces erreurs induisent des décalages progressifs de la distribution d'état, provoquant une divergence des trajectoires générées par les politiques SNN converties par rapport aux politiques ANN optimales sur de longs horizons, ce qui entraîne une perte de performance cumulative sévère.

Méthodologie : Initialisation de Potentiel Résiduel Trans-Étapes (CRPI)
Pour traiter l'amplification d'erreur, les auteurs proposent l'Initialisation de Potentiel Résiduel Trans-Étapes (CRPI), un mécanisme léger et sans gradient, conçu pour supprimer les erreurs temporellement corrélées sans nécessiter d'entraînement supplémentaire.

• Mécanisme : La méthode repose sur l'observation que les potentiels de membrane résiduels à la fin d'une étape de décision ($k$) présentent une corrélation temporelle positive avec les erreurs de l'étape suivante ($k+1$). Le CRPI transfère ces potentiels de membrane résiduels pour initialiser les états des neurones de l'étape de décision suivante.
• Formulation Mathématique : Soit $\varepsilon^l_k$ le potentiel de membrane résiduel d'erreur à l'étape $k$. L'objectif est de supprimer la corrélation temporelle $E[\cos(\tilde{\varepsilon}^l_{k+1}, \varepsilon^l_k)] \le 0$. En appliquant une approximation de premier ordre, le potentiel de membrane initial pour l'étape $k+1$ est ajusté comme suit :
  $$v^l_{k+1}[0] \leftarrow v^l_{k+1}[0] + \alpha(v^l_k[T] - v^l_k[0])$$
  où $\alpha$ est un coefficient de corrélation, $v[T]$ est le potentiel final, et $v[0]$ est le potentiel initial.
• Implémentation : L'algorithme limite le potentiel résiduel pour garantir qu'il reste dans des plages de décharge valides et pour éviter un déchargement persistant (bursting). Le CRPI est conçu pour s'intégrer de manière transparente dans les pipelines de conversion ANN-vers-SNN existants (utilisant par exemple des modèles Integrate-and-Fire, Signed Neuron, Multi-Threshold ou Differential Coding) et ne nécessite aucun changement architectural ni réentraînement.

Contributions Clés

1. Identification de l'Amplification d'Erreur : Le document fournit une analyse systématique démontrant que la dégradation des performances dans le contrôle continu est dominée par des décalages de distribution d'état causés par des erreurs d'action temporellement corrélées, plutôt que par des écarts d'action instantanés.
2. Mécanisme CRPI : Introduction d'une nouvelle stratégie d'initialisation au moment de l'inférence qui décorréle explicitement les erreurs de conversion à travers les étapes de décision en exploitant les potentiels de membrane résiduels.
3. Évaluation Complète : Des expériences approfondies sur des benchmarks basés sur des vecteurs (MuJoCo) et sur la vision (DeepMind Control Suite) montrent que le CRPI restaure systématiquement la performance perdue dans les SNN convertis, surpassant souvent les performances des SNN entraînés directement dans des tâches visuelles complexes.
4. Validation de l'Efficacité Énergétique : L'étude confirme que le CRPI introduit une surcharge de calcul négligeable (moins de 1 % d'opérations supplémentaires) tout en préservant l'efficacité énergétique intrinsèque des SNN.

Résultats Expérimentaux

• Récupération de Performance : Sur les benchmarks MuJoCo, le CRPI a considérablement amélioré le Ratio de Performance Moyenne (APR) des SNN convertis. Par exemple, avec des neurones Integrate-and-Fire (IF) et 16 étapes de simulation, l'APR des politiques converties par TD3 est passé de 79,11 % à 85,10 %. Dans certaines configurations (ex. : neurones MT avec 4 seuils), le SNN converti avec CRPI a même surpassé la performance de l'ANN d'origine (APR > 100 %).
• Contrôle Visuel : Dans les tâches de la suite DeepMind Control, le CRPI a permis aux SNN convertis d'atteindre jusqu'à 91,84 % de la performance de référence de l'ANN (contre 69,60 % sans CRPI), surpassant les approches SNN entraînées directement les plus avancées, y compris celles utilisant des modèles de monde (world models).
• Décorrélation d'Erreur : Une analyse empirique a confirmé que l'augmentation du paramètre de corrélation $\alpha$ réduisait de manière monotone la similitude cosinus des erreurs de potentiel de membrane résiduel et des erreurs d'action entre les étapes consécutives, validant directement la capacité du mécanisme à supprimer l'accumulation d'erreurs.
• Robustesse : La méthode s'est révélée robuste à travers différents modèles de neurones (IF, SNM, MT, DC), des étapes de simulation (temps de simulation) et des algorithmes de RL sous-jacents (DDPG, TD3, SAC, DrQ-v2).

Signification et Revendications
Le document positionne le contrôle continu comme un benchmark critique et difficile pour la conversion ANN-vers-SNN, soulignant que de petites erreurs d'approximation peuvent être fortement amplifiées dans les tâches de prise de décision à long horizon. Les auteurs affirment que le CRPI atténue efficacement cette amplification, permettant le déploiement d'agents SNN économes en énergie dans des scénarios de contrôle continu sans le coût de l'interaction avec l'environnement requis pour l'entraînement direct. Ce travail souligne que la stabilité des trajectoires d'état est primordiale dans le contrôle continu et que la gestion de la corrélation temporelle des erreurs est essentielle pour une conversion réussie. Les auteurs notent que les travaux futurs pourraient se concentrer sur l'ajustement adaptatif du paramètre de corrélation $\alpha$ et l'extension du cadre à d'autres tâches de génération séquentielle vulnérables à l'accumulation d'erreurs.