CATFormer: When Continual Learning Meets Spiking Transformers With Dynamic Thresholds

1. Problématique : L'Oubli Catastrophique dans l'Apprentissage Continu

L'article aborde le défi majeur de l'apprentissage continu (Continual Learning - CL), spécifiquement dans le contexte de l'apprentissage incrémentiel de classes (Class-Incremental Learning - CIL).

• Le problème : Les réseaux de neurones profonds standards (MLP, CNN, Transformers) souffrent d'oubli catastrophique lorsqu'ils sont entraînés séquentiellement sur de nouvelles tâches. Les connaissances acquises précédemment sont effacées lors de la mise à jour des poids pour les nouvelles données.
• Contraintes du monde réel : Dans des applications physiques (robotique, dispositifs edge), il est souvent impossible d'utiliser des techniques de répétition de données (rehearsal), qui consistent à stocker et rejouer d'anciennes données. Ces contraintes incluent la limitation de la mémoire embarquée, la bande passante, l'énergie et la vie privée.
• Limites des SNN existants : Bien que les Réseaux de Neurones à Spikes (SNN) soient énergétiquement efficaces, les approches actuelles pour le CIL dans les SNN (basées sur des CNN) subissent une chute de performance drastique à mesure que le nombre de tâches augmente. De plus, l'application du CIL aux Transformers à Spikes (Spiking Transformers) reste largement inexplorée.

2. Méthodologie : CATFormer

Les auteurs proposent CATFormer (Context Adaptive Threshold Transformer), un cadre scalable conçu pour surmonter l'oubli catastrophique sans stockage de données. L'architecture repose sur deux innovations majeures inspirées par la neurobiologie (neuromodulation) :

A. Neuron DTLIF (Dynamic Threshold Leaky Integrate-and-Fire)

Au lieu de modifier les poids synaptiques (qui sont gelés après la première tâche), CATFormer ajuste la plasticité neuronale via des seuils de décharge dynamiques.

• Mécanisme : Chaque canal possède un seuil de décharge ($\phi$) apprenable et spécifique à la tâche.
• Fonctionnement : Pendant l'entraînement d'une nouvelle tâche $k$, seuls les seuils $\phi^{(k)}$ et la tête de classification correspondante sont optimisés via la descente de gradient. Les poids du backbone (SpikFormer) restent figés.
• Analogie biologique : Ce mécanisme imite la modulation par des neurotransmetteurs (comme l'acétylcholine) qui régulent l'excitabilité neuronale pour permettre l'encodage de nouvelles mémoires tout en supprimant les interférences des informations précédentes.

B. Sélection Dynamique de Têtes Gâtée (G-DHS)

Pour l'inférence, le modèle doit savoir quelle tâche est présentée sans oracle externe.

• Architecture : Un réseau de neurones à deux couches (MLP) agit comme un gâcheur (gating network). Il prend les caractéristiques de base extraites par le backbone et prédit l'ID de la tâche.
• Processus d'inférence :
  1. Le modèle prédit la tâche $k^*$ en utilisant les seuils de base.
  2. Une fois la tâche identifiée, les seuils dynamiques spécifiques à cette tâche ($\phi^{(k^*)}$) sont activés.
  3. Les caractéristiques sont ré-extraites avec ces nouveaux seuils et classées par la tête correspondante.

Protocole d'Entraînement en Deux Étapes

1. Phase 1 : Entraînement conjoint du backbone, des seuils initiaux et de la première tête.
2. Phase 2 (Tâches $k > 0$) : Gel du backbone. Initialisation d'une nouvelle tête et d'un nouveau jeu de seuils. Optimisation conjointe uniquement de la nouvelle tête et des nouveaux seuils sur les données de la tâche courante.

3. Contributions Clés

• Premier cadre CIL pour Transformers à Spikes : CATFormer est le premier système conçu spécifiquement pour l'apprentissage incrémentiel sur des architectures de type Vision Transformer (SpikFormer), comblant un vide majeur dans le domaine.
• Mécanisme d'adaptation sans répétition de données : Le modèle apprend de nouvelles tâches principalement via l'ajustement des seuils dynamiques, éliminant le besoin de buffers de mémoire ou de croissance du réseau.
• Évolutivité et « Oubli Inverse » : Contrairement aux méthodes précédentes qui se dégradent, CATFormer démontre une capacité unique à maintenir, voire à améliorer sa précision à mesure que le nombre de tâches augmente (jusqu'à 100 tâches), un phénomène que les auteurs appellent « oubli inverse » (reverse forgetting).

4. Résultats Expérimentaux

Les évaluations ont été menées sur des datasets statiques (CIFAR-10/100, Tiny-ImageNet) et neuromorphiques (CIFAR10-DVS, SHD).

• Performance sur CIFAR-100 (Split) :
  • CATFormer atteint 75,66 % de précision sur 50 tâches, surpassant largement les méthodes de référence (DSD-SNN chute à 50,55 %, iCaRL à 10,89 %).
  • Il montre une tendance d'amélioration continue (de 68,33 % à 10 tâches jusqu'à 75,66 % à 50 tâches).
• Efficacité des Paramètres :
  • Le modèle de base a ~10,5 M de paramètres. Seuls ~1,4 M de paramètres (les seuils et les têtes) sont mis à jour pour chaque nouvelle tâche, rendant le système extrêmement efficace en mémoire.
  • Le stockage des seuils ne nécessite que ~64 Ko par tâche.
• Datasets Neuromorphiques :
  • Sur CIFAR10-DVS (2 tâches), CATFormer atteint 83,21 %, égalant les performances des méthodes avec répétition de données (ALADE-SNN à 83,5 %) sans utiliser de buffer.
  • Sur SHD (audio), il atteint 87,85 % sur 10 tâches, validant la compatibilité avec les dynamiques temporelles des SNN.
• Études d'Ablation :
  • L'utilisation de seuils fixes entraîne un oubli catastrophique (chute à 42,87 %).
  • La suppression des mécanismes d'attention (remplacement par identité) réduit fortement les performances, confirmant l'importance de la transformation structurée des caractéristiques du Transformer.

5. Signification et Impact

CATFormer représente une avancée significative pour l'IA physique et la robotique autonome :

• Viabilité Matérielle : En éliminant le besoin de buffers de répétition (qui consomment de la mémoire et de l'énergie), CATFormer est idéal pour les dispositifs embarqués contraints (ex: Loihi 2, processeurs x86 basse consommation).
• Apprentissage à Long Terme : La capacité à gérer des séquences de 50 à 100 tâches sans dégradation ouvre la voie à des agents robotiques capables d'apprendre continuellement sur le terrain pendant des mois ou des années.
• Inspiration Biologique : Le modèle valide l'hypothèse que la modulation de l'excitabilité neuronale (via des seuils dynamiques) est un mécanisme clé pour la rétention de la mémoire, offrant une alternative plus robuste aux méthodes de régularisation de poids traditionnelles.

En résumé, CATFormer établit un nouvel état de l'art pour l'apprentissage continu efficace en énergie, prouvant que les Transformers à Spikes, couplés à une plasticité adaptative des seuils, peuvent surmonter l'oubli catastrophique dans des scénarios réalistes et à grande échelle.