CATFormer: When Continual Learning Meets Spiking Transformers With Dynamic Thresholds

Probleemstelling

Diepe neurale netwerken presteren uitstekend in gecontroleerde omgevingen, maar falen vaak in real-world scenario's waar data niet gelijktijdig beschikbaar is en het model zich moet aanpassen aan nieuwe data-distributies. Dit fenomeen staat bekend als catastrophic forgetting (catastrofaal vergeten): eerder verworven kennis gaat verloren tijdens updates op basis van nieuwe data.

Hoewel het menselijk brein dit probleem overwint, kampen bestaande Spiking Neural Networks (SNNs) voor Class-Incremental Learning (CIL) met een scherpe prestatiedaling naarmate het aantal taken toeneemt. Bestaande oplossingen voor CIL maken vaak gebruik van:

1. Regularisatie: Beperkt updates, maar is vaak onvoldoende voor complexe taken.
2. Replay/Herhaling: Bewaart een buffer van oude data. Dit is echter vaak onhaalbaar voor energiezuinige, geheugenbeperkte fysieke agents (zoals robots) vanwege privacy, bandbreedte en opslagbeperkingen.
3. Architectuur-uitbreiding: Voegt modules toe, wat leidt tot schaalproblemen en hoge rekenkosten.

Er is een dringende behoefte aan een schaalbaar, energie-efficiënt SNN-architectuur dat continu kan leren zonder oude data op te slaan (exemplar-free) en zonder het netwerk structureel te laten groeien.

Methodologie: CATFormer

De auteurs introduceren CATFormer (Context Adaptive Threshold Transformer), een schaalbaar framework dat CIL combineert met Spiking Transformers. De kern van de oplossing ligt niet in synaptische plasticiteit (het aanpassen van gewichten), maar in het moduleren van neurale excitabiliteit.

De architectuur bestaat uit de volgende sleutelcomponenten:

1. Dynamic Threshold Leaky Integrate-and-Fire (DTLIF) Neuronen:

   • In plaats van vaste vuurdrempels, gebruikt CATFormer context-adaptieve, leerbare drempels ($\phi$).
   • Tijdens het trainen van een nieuwe taak $k$, worden de synaptische gewichten van de "backbone" (de SpikFormer) bevroren. Alleen de taak-specifieke drempels en de nieuwe classificatiekoppen worden geoptimaliseerd.
   • Dit mechanisme imiteert neuromodulatie in het brein (zoals acetylcholine), waarbij de excitabiliteit van neuronen dynamisch wordt aangepast om nieuwe informatie op te slaan zonder oude kennis te overschrijven.

2. Gated Dynamic Head Selection (G-DHS):

   • Voor inferentie wordt een Gating MLP gebruikt om te voorspellen welke taak wordt uitgevoerd.
   • Op basis van deze voorspelling worden de specifieke drempels ($\phi^{(k)}$) voor die taak geladen en de bijbehorende classificatiekop (head) geselecteerd.
   • Dit zorgt voor taak-agnostische inferentie zonder dat het model weet welke taak het is, zolang het de juiste drempels kan toepassen.

3. Tweestaps Trainingsprotocol:

   • Fase 1: Train de backbone en de drempels voor de eerste taak.
   • Fase 2: Voor elke nieuwe taak worden de bestaande gewichten bevroren. Alleen de nieuwe drempels en de nieuwe kop worden getraind op de huidige dataset. Er wordt geen data uit het verleden opgeslagen of herhaald.

Belangrijkste Bijdragen

• Eerste CIL-framework voor Spiking Vision Transformers: Het paper sluit een grote kloof in het veld door Spiking Transformers (SpikFormer) toe te passen op langdurig class-incremental learning.
• Nieuwe Biologisch Geïnspireerde Mechaniek: Het introduceren van een systeem waarbij een bevroren backbone nieuwe taken leert via taak-specifieke dynamische drempels. Dit voorkomt catastrofaal vergeten zonder netwerkgroei of data-opslag.
• Schaalbaarheid en "Reverse Forgetting": CATFormer is uniek schaalbaar naar lange taaksequenties (tot 100 taken). In tegenstelling tot eerdere methoden die presteren dalen, toont CATFormer een fenomeen genaamd "reverse forgetting": de nauwkeurigheid verbetert zelfs naarmate het aantal taken toeneemt.
• Data-Rehearsal-Free: Het systeem presteert state-of-the-art zonder enige vorm van data-replay, wat cruciaal is voor privacy en geheugenbeperkte hardware.

Resultaten

CATFormer werd geëvalueerd op zowel statische datasets (CIFAR-10/100, Tiny-ImageNet) als neuromorfe datasets (CIFAR10-DVS, SHD).

• Prestaties op CIFAR-100:
  • Bij 50 taken behaalde CATFormer 75,66% nauwkeurigheid, terwijl de beste bestaande SNN-methode (DSD-SNN) daalde tot 50,55%.
  • Traditionele methoden zoals EWC en SI vielen volledig uiteen (onder de 20%).
  • Er werd een duidelijke "reverse forgetting" trend waargenomen: van 68,33% bij 10 taken naar 75,66% bij 50 taken.
• Prestaties op Tiny-ImageNet:
  • Bij 100 taken behaalde CATFormer 48,56%, wat een verbetering is van 8,45% ten opzichte van een niet-spiking ANN-baseline.
• Neuromorfe Datasets:
  • Op CIFAR10-DVS en SHD overtrof CATFormer bestaande methoden (zoals DSD-SNN en ALADE-SNN) aanzienlijk, zelfs zonder data-replay. Bijvoorbeeld op CIFAR10-DVS (2 taken) behaalde het 83,21% vs. 83,5% van een methode die wél een replay-buffer gebruikte.
• Efficiëntie:
  • Het model voegt slechts ongeveer 1,4 miljoen parameters toe per nieuwe taak (voornamelijk de drempels), terwijl de rest van het model bevroren blijft. Dit is extreem geheugenefficiënt (ongeveer 64 KB per taak in FP32).

Betekenis en Toekomstperspectief

CATFormer biedt een doorbraak voor fysieke AI en robotica. Real-world robots en edge-apparaten moeten vaak maanden of jaren lang leren zonder toegang tot grote opslagbuffers of cloud-connectiviteit.

• Energie- en geheugenefficiëntie: Door het elimineren van replay-buffers en het bevroren houden van de backbone, is CATFormer ideaal voor batterij-aangedreven apparaten.
• Biologische Plausibiliteit: De aanpak benadert hoe het brein omgaat met vergeten door neuromodulatie, wat een brug slaat tussen computationele neurowetenschap en machine learning.
• Toekomst: De auteurs pleiten voor verdere implementatie op neuromorfe hardware (zoals Loihi 2) en onderzoek naar adaptieve drempels in niet-stationaire, streamende omgevingen voor levenslang leren.

Kortom, CATFormer bewijst dat het combineren van Spiking Transformers met dynamische, context-afhankelijke drempels een robuuste, schaalbare en energiezuinige oplossing biedt voor de uitdagingen van continu leren in de echte wereld.