Error Amplification Limits ANN-to-SNN Conversion in Continuous Control

Technische Samenvatting: Foutversterking beperkt ANN-naar-SNN conversie in Continue Controle

Probleemstelling
Hoewel Spiking Neural Networks (SNNs) aanzienlijke voordelen bieden voor energie-efficiëntie bij Reinforcement Learning (RL) op hulpbronnenbeperkte edge-apparaten, heeft de conversie van vooraf getrainde Artificial Neural Networks (ANNs) naar SNNs historisch gezien moeite gehad in domeinen met continue controle. Bestaande conversiemethoden, die competitief presteren in beeldclassificatie en discrete controle (bijv. Atari), lijden onder aanzienlijke prestatievermindering wanneer ze worden toegepast op continue actieruimtes (bijv. robotica). Het artikel identificeert dat deze degradatie niet louter wordt veroorzaakt door instantane fouten in de actiebenadering, maar wordt gedreven door een fenomeen van foutversterking. In continue controle worden kleine actiefouten die tijdens de conversie worden geïntroduceerd, temporeel gecorreleerd over beslissingsstappen heen. Deze fouten induceren progressieve verschuivingen in de staatsdistributie, waardoor de trajecten gegenereerd door geconverteerde SNNs significant afwijken van de optimale ANN-policies over lange horizonten, wat leidt tot ernstig cumulatief prestatieverlies.

Methodologie: Cross-Step Residual Potential Initialization (CRPI)
Om foutversterking aan te pakken, stellen de auteurs Cross-Step Residual Potential Initialization (CRPI) voor, een lichtgewicht, gradiëntvrije mechanisme ontworpen om temporeel gecorreleerde fouten te onderdrukken zonder extra training te vereisen.

• Mechanisme: De methode werkt op basis van de observatie dat residuele membraanpotentialen aan het einde van één beslissingsstap ($k$) een positieve temporele correlatie vertonen met fouten in de daaropvolgende stap ($k+1$). CRPI draagt deze residuele membraanpotentialen over om de neuron-toestanden van de volgende beslissingsstap te initialiseren.
• Wiskundige Formulering: Laat $\varepsilon^l_k$ de residuele membraanpotentiaalfout bij stap $k$ vertegenwoordigen. Het doel is om de temporele correlatie $E[\cos(\tilde{\varepsilon}^l_{k+1}, \varepsilon^l_k)] \le 0$ te onderdrukken. Door een eerste-orde benadering toe te passen, wordt de initiële membraanpotentiaal voor stap $k+1$ aangepast als:
  $$v^l_{k+1}[0] \leftarrow v^l_{k+1}[0] + \alpha(v^l_k[T] - v^l_k[0])$$
  waarbij $\alpha$ een correlatiecoëfficiënt is, $v[T]$ de finale membraanpotentiaal is, en $v[0]$ de initiële potentiaal is.
• Implementatie: Het algoritme knipt (clipt) het residuele potentiaal om te garanderen dat het binnen geldige vuurbereiken blijft en aanhoudend "bursting" voorkomt. CRPI is ontworpen om naadloos te worden geïntegreerd in bestaande ANN-naar-SNN conversiepipelines (bijv. die gebruikmaken van Integrate-and-Fire, Signed Neuron, Multi-Threshold, of Differential Coding modellen) en vereist geen architecturale wijzigingen of hertraining.

Belangrijkste Bijdragen

1. Identificatie van Foutversterking: Het artikel biedt een systematische analyse die aantoont dat de prestatie-degradatie in continue controle wordt gedomineerd door verschuivingen in de staatsdistributie veroorzaakt door temporeel gecorreleerde actiefouten, in plaats door instantane actie-mismatches.
2. CRPI-mechanisme: Introductie van een nieuwe strategie voor initialisatie tijdens de inferentie die conversiefouten over beslissingsstappen heen expliciet ontcorreleert door gebruik te maken van residuele membraanpotentialen.
3. Uitgebreide Evaluatie: Uitgebreide experimenten over vector-gebaseerde (MuJoCo) en visuele (DeepMind Control Suite) benchmarks tonen aan dat CRPI de verloren prestaties in geconverteerde SNNs consistent herstelt, waarbij het in uitdagende visuele taken vaak de direct getrainde SNNs overtreft.
4. Validatie van Energie-efficiëntie: De studie bevestigt dat CRPI een verwaarloosbare computationele overhead introduceert (minder dan 1% extra operaties) terwijl de hoge energie-efficiëntie die inherent is aan SNNs behouden blijft.

Experimentele Resultaten

• Prestatieherstel: Op MuJoCo-benchmarks verbeterde CRPI de Average Performance Ratio (APR) van geconverteerde SNNs aanzienlijk. Bijvoorbeeld, met Integrate-and-Fire (IF) neuronen en 16 simulatiestappen, steeg de APR van de TD3-geconverteerde policies van 79,11% naar 85,10%. In sommige configuraties (bijv. MT-neuronen met 4 drempels) overtrof de geconverteerde SNN met CRPI zelfs de oorspronkelijke ANN-prestatie (APR > 100%).
• Visuele Controle: In DeepMind Control Suite-taken stelde CRPI geconverteerde SNNs in staat om tot 91,84% van de ANN-baseline prestaties te bereiken (vergeleken met 69,60% zonder CRPI), waarmee zij de state-of-the-art direct getrainde SNN-benaderingen overtroffen, inclusief die welke gebruikmaken van wereldmodellen (world models).
• Foutdecorrelatie: Empirische analyse bevestigde dat het verhogen van de correlatieparameter $\alpha$ de cosinusgelijkenis van residuele membraanpotentiaal-fouten en actiefouten tussen opeenvolgende stappen monotoon verminderde, wat de bekwaamheid van het mechanisme om foutaccumulatie te onderdrukken direct valideert.
• Robuustheid: De methode bleek robuust over verschillende neuronmodellen (IF, SNM, MT, DC), simulatietijdstappen en onderliggende RL-algoritmen (DDPG, TD3, SAC, DrQ-v2).

Betekenis en Claims
Het artikel positioneert continue controle als een kritieke en uitdagende benchmark voor ANN-naar-SNN conversie, waarbij wordt benadrukt dat kleine benaderingsfouten sterk kunnen worden versterkt in beslissingstaken met een lange horizon. De auteurs beweren dat CRPI deze versterking effectief mitigeert, waardoor de inzet van energie-efficiënte SNN-agenten in scenario's met continue controle mogelijk wordt zonder de kosten van interactie met de omgeving die nodig is voor directe training. Het werk onderstreept dat de stabiliteit van trajecten van staten van cruciaal belang is in continue controle en dat het beheren van de temporele foutcorrelatie essentieel is voor succesvolle conversie. De auteurs merken op dat toekomstig werk zich kan richten op de adaptieve afstemming van de correlatieparameter $\alpha$ en het uitbreiden van het framework naar andere sequentiële generatietaken die kwetsbaar zijn voor foutaccumulatie.