Fuzzy Encoding-Decoding to Improve Spiking Q-Learning Performance in Autonomous Driving

Probleemstelling

De auteurs richten zich op de beperkingen van Spiking Neural Networks (SNN's) wanneer deze worden toegepast op Deep Reinforcement Learning (DRL) voor autonoom rijden, specifiek binnen vision-based multi-modale Deep Spiking Q-Networks (MM-DSQN). Hoewel SNN's energie-efficiënt zijn en geschikt voor randapparatuur (edge devices), vertonen ze een aanzienlijk prestatieverlies ten opzichte van traditionele, niet-spiking DQNs. De paper identificeert twee kernproblemen die dit prestatieverschil veroorzaken:

1. Informatieverlies bij spike-encoding: Het converteren van continue, dichte visuele inputs (zoals camera- en LiDAR-beelden) naar binaire spike-trains resulteert in het verlies van fijne perceptuele details. Traditionele rate-coding vereist lange simulatiewindows om betrouwbare vuursnelheden te schatten, wat onverenigbaar is met de lage latentie-eisen van autonoom rijden (ca. 10 Hz).
2. Beperkte representatiekracht van Q-waarden: De event-driven aard van SNN-outputs zorgt ervoor dat geschatte Q-waarden (de waarde van acties) vaak "instorten" naar een smal, weinig discriminerend bereik. Dit leidt tot een slechte onderscheidingskracht tussen acties, waardoor de agent suboptimale beslissingen neemt (bijvoorbeeld te vaak vertragen in plaats van versnellen).

Methodologie

Het paper introduceert een end-to-end fuzzy encoder-decoder architectuur die specifiek is ontworpen om deze beperkingen te overwinnen binnen de bestaande MM-DSQN-structuur.

1. Populatie-gebaseerde Fuzzy Encoder

In plaats van directe rate-coding, gebruikt de encoder een bank van trainable fuzzy membership functions (specifiek driehoekige functies) voor elke pixel in de inputbeelden.

• Werking: Elke pixelwaarde wordt gepasseerd door $N$ (bijv. 3) driehoekige membershipfuncties. Dit genereert $N$ activatiewaarden in het bereik $[0, 1]$.
• Spike-generatie: Deze activaties worden omgezet in spike-trains door Integrate-and-Fire (IF) neuronen.
• Voordeel: Een enkele scalar pixelwaarde wordt uitgebreid naar een gedistribueerde representatie over meerdere kanalen. Dit verrijkt de representatiekracht van de SNN zonder de rekenkosten van zware exponentiële functies (zoals bij Gaussische functies) te verhogen, aangezien driehoekige functies slechts lineaire operaties vereisen.

2. Populatie-gebaseerde Fuzzy Decoder

Aan de outputkant wordt het probleem van de verspreide Q-waarden aangepakt door een lightweight neurale decoder.

• Populatie-encoding: Voor elke actie $a$ in de actie-ruimte $|A|$ wordt een populatie van $M$ output-neuronen toegewezen. Deze populatie produceert een set van waarden die dienen als een fuzzy-encoding van de Q-waarde.
• Neurale Defuzzificatie: In plaats van traditionele, rekenintensieve defuzzificatie-operatoren (zoals het centroid-berekenen), gebruikt de auteurs een compact volledig verbonden netwerk (met ReLU-activaties) om de populatie-activaties af te beelden naar continue Q-waarden.
• Training: Zowel de parameters van de membershipfuncties (encoder) als de decoder worden end-to-end getraind via backpropagation samen met de spiking Q-network.

Belangrijkste Bijdragen

1. Nieuwe Encoder: Een populatie-gebaseerde fuzzy encoder die informatieverlies tijdens de conversie van visuele data naar spikes aanzienlijk reduceert door het leren van compacte membershipfuncties.
2. Nieuwe Decoder: Een efficiënte neurale decoder die continue Q-waarden reconstrueert uit sporadische spike-outputs, waardoor het probleem van verspreide Q-waarden in SNN's wordt opgelost.
3. Eerste Integratie: Dit is, naar weten van de auteurs, het eerste werk dat een fuzzy populatie-gebaseerde encoder-decoder-mechanisme integreert binnen spiking MM-DQNs voor autonoom rijden.
4. Prestatie-uitlijning: De methode sluit de prestatiekloof tussen spiking en niet-spiking DQNs, terwijl de energie-efficiëntie van SNN's behouden blijft.

Resultaten

De methode is geëvalueerd op de HighwayEnv-benchmark (Highway-scenario) met multimodale inputs (camera, LiDAR, IMU).

• Prestatieverbetering: De originele MM-DSQN (met rate-coding) presteerde ongeveer 12,5% slechter dan de niet-spiking variant, voornamelijk door een te conservatief gedrag (te vaak vertragen).
• Gelijke prestaties: De voorgestelde encoder-decoder architectuur elimineerde dit verlies volledig. Het spiking model behaalde dezelfde prestaties (gemiddelde beloning en snelheid) als de niet-spiking baseline.
• Veiligheid: Hoewel het rate-based model het veiligst was (minste crashes), deed dit ten koste van de taakuitvoering. Het nieuwe model behield een hoge veiligheid (crashfrequentie van ~0,0025) terwijl het tegelijkertijd een veel hogere snelheid en efficiëntie behaalde, vergelijkbaar met de niet-spiking variant.
• Ablatiestudies:
  • Het verwijderen van de decoder leidde tot een duidelijke prestatiedaling, wat aantoont dat de reconstructie van Q-waarden cruciaal is.
  • Het vervangen van driehoekige membershipfuncties door Gaussische functies resulteerde in hogere rekenkosten zonder prestatiewinst; driehoekige functies bleven superieur.

Betekenis en Conclusie

Dit werk toont aan dat de beperkingen van SNN's voor visuele taken niet inherent zijn aan de spiking-mechanismen zelf, maar voortkomen uit inefficiënte encoding/decoding strategieën. Door fuzzy logic te integreren in de vorm van trainbare membershipfuncties en neurale defuzzificatie, kunnen SNN's:

1. Fijne perceptuele details behouden zonder lange simulatiewindows.
2. Discriminerende Q-waarden genereren voor complexe beslissingen.
3. Real-time, energie-efficiënte autonome rijsturing mogelijk maken die qua prestatie gelijkstaat aan zware, niet-spiking deep learning modellen.

Dit opent de weg voor de inzet van spiking neural networks in veiligheidskritieke toepassingen zoals autonoom rijden, waar zowel lage latentie als hoge nauwkeurigheid vereist zijn.