Technische Samenvatting: Active Spiking Perception (ASP)

Probleemstelling

Begrip van driedimensionale puntenwolken is cruciaal voor belichaamde toepassingen die vereisen dat nauwkeurige, snelle en energiezuinige inferentie plaatsvindt op beperkte hardware. Hoewel de nauwkeurigheid is verbeterd van PointNet naar Point Transformers, is dit gepaard gegaan met een evenredige toename in het aantal floating-point operaties. Spiking Neural Networks (SNN's) bieden een potentiële oplossing door de vorm van dichte multiply-accumulate (MAC) operaties te vervangen door schaarse, event-gestuurde accumulate-only operaties, wat efficiënt mapt naar neuromorfische hardware.

Bestaande spiking 3D-modellen erven echter een beperking van hun kunstmatige neurale netwerk (ANN) voorgangers: ze verwerken de gehele partitie van de puntenwolk in lokale regio's en scannen deze regio's in een vaste, input-onafhankelijke volgorde bij elke tijdstap. Deze aanpak verspilt de unieke temporele bron van spiking computation—het evoluerende membraanpotentiaal. In een scan met een vaste volgorde wordt onderscheidende structuur genegeerd (uniforme allocatie), en zodra het bewijs doorslaggevend is, verbruiken verdere regio's energie zonder waarde toe te voegen. Huidige adaptieve methoden (bijv. early exit, token pruning) beslissen ofwel wat te weggooien na de codering, of werken over de diepte heen, maar geen van beide adresseert de vraag waar men als volgende moet kijken in een spiking 3D-omgeving op basis van de interne staat van het netwerk.

Methodologie: Active Spiking Perception (ASP)

ASP herformuleert 3D-herkenning als een iteratief, sequentieel besluitvormingsproces. In plaats van een vaste scan, beslist het netwerk welke ruimtelijke chunk als volgende geobserveerd moet worden en wanneer het moet stoppen, gestuurd door zijn eigen interne staat.

Kerncomponenten

1. Membraanpotentiaal als Belief State:
   Het Leaky Integrate-and-Fire (LIF) membraanpotentiaal wordt niet louter behandeld als een drager van activaties, maar als een lopende belief state (log-posterior) over de klasse. Theoretisch is bewezen dat lek-integratie de recursieve log-posterior update is van een Bayesiaanse filter voor een geïdealiseerde accumulator. Deze staat wordt "gratis" onderhouden door het SNN-substraat.

2. Slice-Selection Policy (SSP):
   Een lichtgewicht beleid scoort niet-bezochte chunks om de volgende observatie te bepalen.

   • Inputs: De huidige membraanstaat ($b_t$) en vooraf berekende, parameter-vrije geometrische descriptoren ($g_m$) van niet-bezochte chunks (zwaartepunt, variantie, radiale omvang, afstand tot het centrum van de wolk).
   • Mechanisme: Een bilineaire scorefunctie $q_{t,m} = w^\top \tanh(W_u b_{t-1} + W_g g_m)$ rangschikt kandidaten.
   • Training: Gebruikt een straight-through Gumbel-Softmax relaxatie om differentiabele selectie tijdens training mogelijk te maken, waarbij tijdens inferentie wordt overgeschakeld naar een deterministische $\arg\max$.
   • Overhead: Voegt ongeveer 2% toe aan de backbone-parameters.

3. Gecertificeerde Early Exit:
   Het systeem gebruikt een confidence-margin regel om de observatie te stoppen.

   • Regel: Stop wanneer de marge tussen de top twee klasse-waarschijnlijkheden ($\Delta_t = p^{(1)}_t - p^{(2)}_t$) een gekalibreerde drempel $\theta$ overschrijdt.
   • Kalibratie: De drempel wordt niet handmatig afgesteld, maar gekalibreerd met behulp van een split-conformal procedure om een distributie-vrije selectieve risiconiveaus te garanderen (bijv. $\le \alpha^*$ risico met een betrouwbaarheid van $1-\delta$). Dit biedt een gecertificeerde "anytime" interface waarbij elke tussenliggende voorspelling een bekende risicogrens draagt.

4. Streaming Equivalentie:
   De paper bewijst dat voor token-lokale gates (waar gating afhankelijk is van de huidige input), streaming state carry-forward exact gelijk is aan prefix recomputation in exacte rekenkunde. Onder kwantisatie is de fout geometrisch begrensd, wat ervoor zorgt dat de "accumulate-only" efficiëntie niet in gevaar komt door redundante recomputation, mits de hardwareprecisie aan specifieke margecondities voldoet.

Belangrijkste Bijdragen

1. Eerste Formulering van Actieve 3D-perceptie: ASP is de eerste benadering die 3D-puntenwolk begrip frameert als een actief, sequentieel observatieproces dat inherent is aan een spiking backbone.
2. Slice-Selection Policy: Een mechanisme dat niet-bezochte regio's scoort met behulp van de membraanstaat en offline geometrie met minimale parameter-overhead (~2%).
3. Theoretische Garanties:
   • Bayesiaanse Sufficiëntie: Bewijst dat het membraan een voldoende statistiek is voor de voorspelling van het model en een Bayesiaanse filter benadert.
   • Distributie-vrije Risicocontrole: Stelt vast dat de exit-regel een gecertificeerd selectief risico bereikt zonder multiple-testing penalty's, zelfs met sequentiële blikken.
   • Exacte Streaming: Bewijst dat streaming state updates functioneel identiek zijn aan recomputation onder token-lokaliteit, met een geometrisch begrensde drift onder kwantisatie.
4. Energieboekhouding: Scheidt spike-schaarsheid van early exit, en biedt een analytisch model voor energiebesparingen dat afhangt van hardwareparameters (analog vs. spiking kosten) in plaats van een enkel proces-node.
5. Generaliseerbaarheid: Demonstreert dat het beleid niet specifiek voor spiking is. Dezelfde mechanisme (met fixatie in plaats van chunk-selectie) is overdraagbaar naar een niet-spiking foveated transformer, wat bewijst dat de controller een algemene adaptieve observatiestrategie is.

Experimentele Resultaten

3D Classificatie (ModelNet40/10)

• Prestaties: ASP bereikt 90,62% op ModelNet40 en 93,28% op ModelNet10.
• Vergelijking: Op ModelNet40 ligt ASP 1,7 punten onder de sterkste spiking baseline (SPM), maar gebruikt een aanzienlijk grotere backbone (18,75M vs. 5,5M parameters). Wanneer gematcht voor capaciteit (5,5M), verkleint het gat naar 0,32 punten.
• Efficiëntie: Op het gekalibreerde werkpunt verwerkt ASP gemiddeld 3,84 chunks (van de 4). Hoewel de grotere backbone hogere absolute energie verbruikt dan kleinere baselines, biedt het mechanisme een gecertificeerde anytime interface waarbij de kosten een door de gebruiker instelbare knop zijn.
• M=16 Studie: Op een fijnere partitie (16 chunks), selecteert het geleerde beleid chunks aanzienlijk beter dan willekeurige of vaste volgordes. Een door het membraan gekozen chunk is $\text{+3,67}$ punten waardvoller dan een willekeurige bij $k=1$. Het beleid stopt na ongeveer 6,81 chunks (43% van het budget) terwijl het de fixed-order traversatie overtreft.

Dichte Voorspelling (Segmentatie)

• ShapeNetPart: Behaalt 83,21 instance mIoU.
• S3DIS Area 5: Behaalt 48,50 mIoU. Naar weten van de auteurs zijn dit de eerste spiking resultaten gerapporteerd op S3DIS Area 5.
• Beperking: Eén klasse ("Beam") scoort 0,0 mIoU. De auteurs wijten dit aan de crop-grootte (256 punten), waardoor de beam ononderscheidbaar wordt van het plafond (een vlak horizontaal oppervlak), een geometrisch identificeerbaarheidsprobleem in plaats van een leerfout. Zij voorspellen dat een multiscale crop inclusief de beam-wall junction dit zal oplossen.

Foveated Image Extension

• Toegepast op een niet-spiking transformer op ImageNet-100.
• Resultaten: Het foveated model bereikt 79,58% nauwkeurigheid bij 2,13 fixaties (vs. 84,10% voor een dense control).
• Energie: Levert 2,83× tot 1,35× energiebesparingen vergeleken met een capaciteit-gematchte dense control.
• Bevinding: Het nauwkeurigheidsverschil (4,52 punten) suggereert dat voor deze specifieke architectuur, adaptieve observatie niet volledig betaalt in nauwkeurigheid, en dat het voordeel grotendeels in de multi-scale tokenisatie ligt in plaats van in het fixatiebeleid zelf.

Betekenis en Claims

De paper claimt een conceptuele verschuiving: de temporele staat van een SNN (het membraan) is niet alleen een drager van activaties, maar een controller voor adaptieve observatie.

• Gecertificeerde Anytime Interface: In tegen tegenover de baselines biedt ASP een voorspelling met een spoor van bezochte regio's en een distributie-vrije risiconiveaus op elk stopmoment.
• Mechanisme vs. Architectuur: Het beleid is aangetoond onafhankelijk te zijn van de spiking backbone en werkt even goed in dichte ANNs.
• Bescheidenheid over Efficiëntie: De auteurs stellen expliciet dat op puntenwolken de huidige implementatie (met prefix recomputation) nog niet "adaptieve computation" is in de zin van het verminderen van totale MAC's onder een vaste pass bij $M=4$; de winst zit primair in spike-schaarsheid en de anytime interface. Echte adaptieve computation (verminderen van werk) wordt gedemonstreerd bij $M=16$ en in het beelddomein waar prefix recomputation structureel afwezig is.
• Beperkingen:
  • Nauwkeurigheid loopt achter op de sterkste spiking baselines bij het gebruik van grotere backbones.
  • Energie per sample wordt beheerst door de schaal van de backbone; het mechanisme controleert de ratio, niet de absolute baseline.
  • Streaming equivalentie is bewezen maar nog niet geïmplementeerd op het puntenwolkmodel (alleen op het beeldmodel).
  • De "Beam" klasse fout in S3DIS is een bekende geometrische beperking van de crop-grootte.

De paper concludeert dat de duurzame bijdrage de formulering is: de temporele staat van een SNN kan dienen als een Bayesiaanse filter en een controller voor "waar men als volgende moet kijken", wat gecertificeerde, adaptieve inferentie mogelijk maakt.