Synaptic Activation and Dual Liquid Dynamics for Interpretable Bio-Inspired Models

1. Problématique et Contexte

Les réseaux de neurones récurrents (RNN) gérés par des portes (gated RNNs) comme les LSTM, GRU et MGU sont performants pour l'apprentissage de séquences temporelles, mais leur fonctionnement interne reste souvent une « boîte noire », ce qui pose un problème critique pour les applications de sécurité (ex: conduite autonome).

Les modèles bio-inspirés basés sur des Circuits Équivalents Électriques (EEC) offrent une alternative plus interprétable, car leurs paramètres correspondent à des mécanismes biologiques réels (synapses, capacitance, résistance). Cependant, les études précédentes se sont concentrées sur les réseaux à temps constant liquide (LTC) ou les réseaux à synapses électriques, sans explorer systématiquement l'impact combiné de :

1. La dualité des dynamiques liquides (résistance et capacitance).
2. Le type d'activation (neurale vs synaptique).
3. La nature des synapses (électriques vs chimiques).

L'objectif est de déterminer quelles combinaisons de ces mécanismes produisent les modèles RNN les plus précis et les plus interprétables.

2. Méthodologie

Les auteurs proposent un cadre unifié pour comparer plusieurs variantes de modèles bio-inspirés dérivés des EEC, en les testant sur une tâche de contrôle complexe : le maintien de voie (Lane-Keeping) en conduite autonome.

A. Architecture des Modèles

Le papier introduit et compare quatre catégories de modèles, tous basés sur des équations différentielles ordinaires (ODE) saturées :

1. Modèles à Capacitance Liquide uniquement (LC) :

   • Basés sur des synapses électriques.
   • Utilisent une capacitance variable (dépendante de l'état et de l'entrée) mais une résistance fixe.
   • Deux variantes : LC-NA (Activation Neurale, par défaut) et LC-SA (Activation Synaptique, introduite pour l'ablation).
   • Note : Le LC-NA est une extension des CT-RNN classiques.

2. Modèles à Résistance et Capacitance Liquides (LRC) :

   • Basés sur des synapses chimiques.
   • Intègrent une double dynamique liquide : une résistance liquide (porte d'oubli variable) et une capacitance liquide.
   • Deux variantes : LRC-NA (Activation Neurale) et LRC-SA (Activation Synaptique, modèle par défaut et extension des LTC).
   • La porte d'oubli (résistance liquide) régule dynamiquement la quantité de courant d'état actuel et de mise à jour.

3. Distinction Activation Neurale (NA) vs Synaptique (SA) :

   • NA : L'activation est calculée une fois par neurone (toutes les synapses sortantes partagent la même dynamique).
   • SA : L'activation est calculée individuellement pour chaque synapse sortante, permettant des dynamiques différentes par connexion (plus biologiquement plausible pour les synapses chimiques).

B. Tâche et Évaluation

• Tâche : Conduite autonome de bout en bout (Lane-Keeping) dans le simulateur VISTA, avec des données d'été et d'hiver.
• Architecture : Un RNN entièrement connecté de 19 neurones recevant des caractéristiques extraites par un CNN (48x160 pixels).
• Métriques d'Interprétabilité :
  1. Corrélation absolue : Entre l'activité des neurones et la trajectoire de la route (mesure de l'alignement sémantique).
  2. Robustesse de l'attention (SSIM) : Mesure de la similarité structurelle entre les cartes de saillance (saliency maps) générées avec et sans bruit gaussien. Une valeur proche de 1 indique une attention robuste.
  3. Perte de validation pondérée : Perte MSE, avec un poids accru pour les virages serrés.
  4. Analyse visuelle : Observation des cartes de saillance (VisualBackprop) et des trajectoires d'activation neuronale.

3. Contributions Clés

1. Introduction des modèles LC (Liquid-Capacitance) : Dérivation formelle de modèles basés sur des synapses électriques avec une capacitance liquide, comblant le fossé entre les CT-RNN classiques et les modèles à double dynamique.
2. Preuve de la supériorité de la dynamique duale (LRC) : Démonstration que l'ajout d'une résistance liquide (porte d'oubli variable) aux modèles à capacitance améliore significativement l'interprétabilité et la précision par rapport aux modèles à capacitance seule.
3. Impact de l'activation synaptique : Mise en évidence que l'activation synaptique (SA), qui permet des dynamiques différentes par synapse, améliore l'interprétabilité et la robustesse par rapport à l'activation neurale (NA), même si cela ajoute de la complexité paramétrique.
4. Cadre d'évaluation unifié : Une méthodologie rigoureuse combinant métriques quantitatives (corrélation, SSIM) et qualitatives (visualisation de l'attention) pour évaluer l'interprétabilité dans un contexte de contrôle critique.

4. Résultats Expérimentaux

Les résultats, obtenus sur des essais répétés en été et en hiver, montrent une hiérarchie claire :

• Précision et Perte : Les modèles LRC (surtout LRC-SA) convergent vers les pertes de validation les plus basses et les plus rapides (environ la moitié du temps des autres modèles). Ils surpassent les LSTM, GRU, MGU et même les LTC classiques.
• Corrélation avec la trajectoire (Tableau 1) :
  • Les modèles LRC-NA et LRC-SA affichent une corrélation absolue supérieure de 1,5x par rapport aux autres modèles.
  • En hiver, le LRC-SA atteint la corrélation la plus élevée (0,766), indiquant que ses neurones suivent très précisément la géométrie de la route.
• Robustesse de l'attention (Figure 4 - SSIM) :
  • Face au bruit gaussien, les modèles basés sur LRC maintiennent une attention beaucoup plus stable (SSIM plus élevé et variance plus faible) que les modèles traditionnels ou les modèles LC.
  • Le LRC-SA présente la meilleure robustesse en été et une performance équivalente au LRC-NA en hiver.
• Analyse des activations (Figure 8) :
  • Les neurones des modèles LRC (surtout SA) montrent des activités lisses et continues qui correspondent parfaitement aux virages de la route.
  • À l'inverse, les LSTM/GRU et les modèles LC présentent des activités plus dispersées et moins corrélées à la géométrie de la trajectoire.
• Cartes de saillance (Figures 6 & 7) :
  • Les modèles LRC se concentrent principalement sur la route et l'horizon.
  • Les modèles LSTM/GRU et certains modèles LC tendent à se focaliser sur des régions non pertinentes (bords de l'image, éléments hors route), surtout en hiver.

5. Signification et Conclusion

Ce travail établit que la combinaison de synapses chimiques, d'une dualité de dynamiques liquides (résistance + capacitance) et d'une activation synaptique produit les modèles RNN bio-inspirés les plus performants et les plus interprétables.

• Interprétabilité : La capacité des modèles LRC-SA à apprendre des dynamiques spécifiques par synapse permet de mieux capturer les nuances du contrôle, rendant le processus de décision plus transparent et fiable.
• Sécurité : La robustesse accrue face au bruit (mesurée par le SSIM) et la corrélation forte avec la trajectoire suggèrent que ces modèles sont mieux adaptés aux applications critiques où la confiance dans le système est primordiale.
• Futur : Les auteurs suggèrent d'explorer ces architectures dans d'autres environnements complexes et de développer des réseaux modulaires inspirés de ces principes pour l'apprentissage de concepts interprétables.

En résumé, l'article démontre que l'incorporation de mécanismes biologiques avancés (dualité liquide + activation synaptique) ne se contente pas d'imiter la biologie, mais améliore concrètement la performance et la transparence des modèles d'apprentissage profond pour le contrôle autonome.