Sparse Spike Encoding of Channel Responses for Energy Efficient Human Activity Recognition

Technische Samenvatting: Sparse Spike Encoding van Kanaalresponsen voor Energiezuinige Menselijke Activiteitsherkenning

Probleemstelling
Geïntegreerde Sensing en Communicatie (ISAC)-systemen bieden alomvattende monitoringmogelijkheden, met name voor Menselijke Activiteitsherkenning (HAR), door gebruik te maken van Kanaalimpulsenresponsies (CIR). Echter, moderne sensing-algoritmen, die vaak gebaseerd zijn op Deep Learning (DL), zijn vaak te computationeel complex en energie-intensief voor middelenbeperkte edge-apparaten waar RF-data wordt verzameld. Bovendien vertrouwen standaard benaderingen vaak op zware voorverwerkingsstappen, zoals het genereren van Doppler-spectrogrammen of range-Doppler-kaarten, wat extra latentie en computationele overhead toevoegt. Hoewel Spiking Neural Networks (SNN's) een veelbelovend alternatief bieden voor energie-efficiëntie vanwege hun ijle (sparse), event-gestuurde verwerking, vertrouwen bestaande SNN-gebaseerde HAR-oplossingen vaak op voorverwerkte radar-features (bijv. micro-Doppler-signaturen) in plaats van ruwe CIR-data, waardoor ze de ijle natuur van radio-kanaalfeatures niet volledig benutten.

Methodologie
De auteurs stellen een end-to-end verwerkingspijplijn voor die de noodzaak voor Doppler-domein voorverwerking elimineert door op maat gemaakte spike-gecodeerde representaties direct uit ruwe CIR-data te leren. De kern van de methodologie is een Spiking Convolutional Autoencoder (SCAE) die gezamenlijk wordt getraind met een Spiking Neural Network (SNN) classifier.

1. Architectuur:

   • SCAE (Encoder-Decoder): De encoder neemt ruwe CIR-samples (bestaande uit reële en imaginaire componenten over range-bins en tijdsvensters) en verwerkt deze via 3D convolutionele lagen en Leaky Integrate-and-Fire (LIF) neuronen. Het produceert een binaire spike-trein. De decoder probeert de oorspronkelijke CIR te reconstrueren vanuit deze spikes. Deze reconstructie-taak dwingt de encoder om cruciale bewegingskenmerken te behouden terwijl de data wordt gebinariseerd.
   • SNN Classifier: De spike-output van de SCAE wordt gevoed aan een classifier die bestaat uit volledig verbonden lagen van LIF-neuronen. Het netwerk voorspelt een van vier menselijke activiteiten: lopen, rennen, zitten/staan en met de handen zwaaien.
   • Training: Het systeem wordt end-to-end getraind met een samengestelde verliesfunctie: $L = L_{rec} + \gamma L_{class}$. $L_{rec}$ is de Mean Squared Error (MSE) tussen de input en de gereconstrueerde CIR, terwijl $L_{class}$ de Cross-Entropy loss is gebaseerd op spike-counts (rate coding). De auteurs maken gebruik van surrogate gradients (arctangens-benadering) om de niet-differentieerbaarheid van spike-generatie te behandelen.

2. Vergelijkbare Baselines:
   Om de voorgestelde aanpak te valideren, vergelijken de auteurs deze met:

   • CAE-SNN: Een Convolutional Autoencoder die gebruik maakt van standaard ReLU-neuronen in plaats van LIF-neuronen, op een vergelijkbare wijze getraind.
   • Delta Thresholding + SNN: Een encodingmethode met een vaste drempelwaarde gebaseerd op temporele signaalverschillen, gevoed aan de SNN.
   • Direct-SNN: Een SNN-classifier die direct op ruwe CIR-data is getraind zonder een encoding-autoencoder.
   • Baseline CNN: Een standaard CNN die oorspronkelijk op Doppler-spectrogrammen is getraind, maar hier opnieuw is getraind op ruwe CIR-data.

Belangrijkste Bijdragen

1. Learned Spike Encoding voor CIR: Het artikel introduceert een geleerde spike-encoding mechanisme dat specifiek is afgestemd op CIR-data. In tegenstelling tot vaste drempelwaarden of standaard autoencoders, balanceert deze methode nauwkeurigheid van activiteitsherkenning met spike-ijlheid (sparsity).
2. Eliminatie van Voorverwerking: Het framework verwerkt ruwe CIR-data direct, waardoor de computationele last van het genereren van Doppler-kaarten of spectrogrammen wordt weggenomen.
3. Gezamenlijke Optimalisatie: Door de autoencoder en de classifier gezamenlijk te trainen, leert het systeem een spike-representatie die optimaal is voor zowel signaalreconstructie als classificatie, in plaats van de encoding te behandelen als een aparte, statische stap.
4. Prestatie versus Efficiëntie Afweging: De studie toont aan dat het coderen van CIR-data voorafgaand aan classificatie de nauwkeurigheid van HAR en de energie-efficiëntie aanzienlijk verbetert vergeleken met directe verwerking of standaard CNN-benaderingen.

Experimentele Resultaten
Experimenten werden uitgevoerd met de DISC-dataset, die CIR-metingen bevat van 60 GHz IEEE 802.11ay-signalen die vier activiteiten vastleggen van zeven proefpersonen.

• Nauwkeurigheid: De voorgestelde SCAE-SNN behaalde een F1-score van 95,75%, wat vergelijkbaar is met de CAE-SNN (95,16%) en aanzienlijk beter is dan de Delta Thresholding-benadering (74,59%) en Direct-SNN varianten (die daalden naar ~50% of lager). Opvallend genoeg leed de baseline CNN, wanneer deze opnieuw werd getraind op ruwe CIR-data, aan een prestatiedaling van ongeveer 10 procentpunten vergeleken met de oorspronkelijke prestaties op Doppler-spectrogrammen, wat de moeilijkheid benadrukt om direct van ruwe signalen te leren zonder de voorgestelde architectuur.
• Sparsity (IJlheid): De SCAE produceerde de meest ijle spike-representatie met 81,1% sparsity. Dit is aanzienlijk hoger dan de CAE (28,6%) en de Delta Thresholding-methode (71,7%). Hogere sparsity impliceert minder berekeningen en een lager energieverbruik op neuromorfische hardware.
• Efficiëntie: Het SCAE-SNN model is compact (28k parameters) en bereikt een inferentietijd van ongeveer 19,8 ms. Hoewel de encoding-fase extra latentie toevoegt, suggereren de hoge sparsity en de event-gestuurde aard van de SNN aanzienlijke energiebesparingen bij implementatie.
• Temporele Resolutie: De auteurs analyseerden de afweging tussen het aantal tijdstappen ($T$) en de F1-score, waarbij zij vonden dat de prestaties verzadigden rond $T=29$, wat werd gekozen als de optimale instelling voor implementatie.

Betekenis en Claims
Het artikel claimt dat de voorgestelde SCAE-SNN architectuur een praktische oplossing biedt voor real-time, energie-efficiënte HAR op edge-apparaten. Door een ijle, op maat gemaakte spike-encoding direct uit ruwe CIR-data te leren, bereikt het systeem een hoge nauwkeurigheid (bijna 96% F1) terwijl de computationele last drastisch wordt verminderd door de hoge sparsity (81,1%). De auteurs benadrukken dat deze aanpak de beperkingen van zowel complexe DL-modellen als inefficiënte vaste voorverwerkingsmethoden overwint, wat het geschikt maakt voor het opkomende ISAC-paradigma. Het werk suggereert dat toekomstig onderzoek dit framework moet uitbreiden naar multi-antenne systemen en multi-user scenario's.