Current Injection Spiking Neural Network for Infrared and Visible Image Fusion

Stel je voor dat je de ultieme camera probeert te bouwen voor een robot die in elke situatie perfect moet kunnen zien. Je hebt twee verschillende ogen: de ene is een "zichtbaar" oog dat geweldige kleuren en texturen ziet, net als een mens, maar het wordt blind in het donker of door rook. Het andere is een "infrarood" oog dat warmte ziet, zodat het een persoon kan opsporen in totale duisternis of door mist, maar het ziet eruit als een wazige, grijze thermische vlek zonder fijne details. Het doel van Beeldfusie is om deze twee ogen samen te smelten tot één supervisiesysteem dat het beste van beide werelden heeft.

Lama tijd hebben wetenschappers geprobeerd dit te doen met behulp van Artificiële Neurale Netwerken (ANN's). Denk aan deze als een super-snelle, super-vermoeide accountant die elke individuele getal in een spreadsheet optelt, hoe klein of onbelangrijk ook. Het werkt goed, maar het verbruikt veel energie, alsof je een marathon loopt om alleen maar de post te halen.

Maak kennis met Spiking Neural Networks (SNN's). Deze zijn geïnspireerd door hoe ons eigen brein werkt. In plaats van constant getallen op te tellen, gedragen ze zich als een kamer vol mensen die wachten om te schreeuwen. Ze "vuren" pas een signaal (een spike) wanneer er iets interessants gebeurt. Dit maakt ze ongelooflijk energiezuinig, zoals een lamp die alleen aangaat wanneer er iemand de kamer binnenloopt. Er is echter een addertje onder het gras: omdat ze alleen schreeuwen als ze luid genoeg zijn, kunnen ze de zachte fluisteringen van belangrijke informatie missen. Als een thermisch signaal te zwak is om de neuron te laten schreeuwen, wordt het genegeerd en verliest de robot dat cruciale detail.

Dit is waar een nieuw onderzoek in beeld komt om dit probleem op te lossen. De onderzoekers, onder leiding van Rui Zhao en collega's, stellen een slimme truc voor genaamd CIS-Fuse. In plaats van te wachten tot de neuron schreeuwt (een spike vuurt) voordat de twee soorten visie worden gemengd, mengen ze de signalen voordat de schreeuw plaatsvindt. Ze gebruiken een mechanisme genaamd Current Injection, waarbij het stille, zwakke signaal van het ene oog voorzichtig wordt geïnjecteerd in de "batterij" (membraanpotentiaal) van de neuron van het andere oog. Op deze manier kan zelfs als het signaal te zacht is om op zichzelf te schreeuwen, het toch helpen om de neuron over de drempel te duwen om te vuren wanneer het gecombineerd wordt met het signaal van het andere oog.

Het resultaat is een systeem dat de superlage energiebesparingen van het "schreeuwende" brein behoudt, maar niet de fijne details verliest. Het team heeft dit getest op vier verschillende datasets en kwam tot de conclusie dat hun methode gefuseerde beelden produceert die net zo goed zijn als de zware, energieverslindende accountants (ANN's), maar met ongeveer 10 keer minder energie om te draaien. Ze hebben ook aangetoond dat robots die deze gefuseerde beelden gebruiken, beter zijn in het opsporen van auto's en mensen in het donker, wat bewijst dat je niet veel vermogen hoeft te verbruiken om helder te zien.

Het Probleem: Het Dilemma van "Te Stil om te Schreeuwen"

Om te begrijpen waarom dit onderzoek zo belangrijk is, moeten we kijken naar de spanning tussen twee zeer verschillende manieren om informatie te verwerken.

Aan de ene kant heb je de Artificiële Neurale Netwerken (ANN's) die de meeste moderne AI aansturen. Deze zijn als een enorme, continue stroom water. Elke druppel water (elk stukje data) wordt gemeten en samengevoegd. Dit is geweldig voor het vastleggen van elk minuscuul detail, of het nu een fel licht of een zwakke schaduw is. Maar het is duur. Het vereist veel rekenkracht, wat batterijen snel leegtrekt. Dit is een probleem voor zaken als drones of zelfrijdende auto's die de hele dag moeten draaien op beperkte energie.

Aan de andere kant heb je Spiking Neural Networks (SNN's). Deze zijn als een digitale versie van een zenuwstelsel. Neuronen in een SNN zitten rustig af te wachten totdat ze genoeg input ontvangen om een "drempel" te overschrijden. Zodra ze die lijn passeren, vuren ze een enkele, binaire spike (een 1). Als ze de lijn niet halen, blijven ze stil (een 0). Dit is ongelooflijk efficiënt omdat het systeem alleen werk verricht wanneer er iets interessants gebeurt.

Het probleem ontstaat wanneer je SNN's wilt gebruiken voor Beeldfusie. Fusie vereist het nemen van een zwak signaal van de infraroodcamera (misschien een zwakke warmtesignatuur van een persoon) en een sterk signaal van de zichtbare camera (de textuur van een boom) en deze perfect te mengen. In een standaard SNN, als het infraroodsignaal te zwak is om de neuron op zichzelf te laten vuren, wordt het weggegooid. Het is als het proberen te mengen van een fluistering met een schreeuw; als je alleen naar de schreeuw luistert, mis je de fluistering. Het artikel betoogt dat deze "binaire" aard van SNN's precies die complementaire informatie weggooit die fusie nuttig maakt.

De Oplossing: Mengen vóór de Schreeuw

De auteurs van dit onderzoek, CIS-Fuse, realiseerden zich dat de oplossing ligt in de membraanpotentiaal. In een biologische neuron (en in SNN's), voordat een neuron vuurt, verzamelt het lading in zijn "batterij" (de membraanpotentiaal). Deze batterij houdt de input vast, zelfs als deze nog niet sterk genoeg is om een schreeuw te triggeren.

Het onderzoek stelt een nieuwe operator voor genaamd Current Injection Spiking (CIS). Zo werkt het in eenvoudige termen:

1. De Opstelling: Stel je twee stromen data voor: één van de infraroodcamera en één van de zichtbare camera.
2. De Injectie: In plaats van hen te laten vechten om te zien wie er mag schreeuwen, neemt het systeem de "bijvallende" stroom (bijvoorbeeld de infrarood) en injecteert deze als een "gated current" in de "batterij" van de hoofdstroom (de zichtbare camera).
3. De Poortwachter: Er is een slimme poortwachter (een geleerde gate) die beslist hoeveel van het bijvallende signaal er wordt toegelaten. Het heeft ook een speciale draaiknop (een leerbare schaalfactor) voor elk kanaal van informatie, waardoor het systeem kan zeggen: "Hé, dit specifieke detail is belangrijk, laten we het versterken," of "Dit is niet nodig, houd het laag."
4. De Fusie: De twee signalen mengen zich binnen de batterij voordat de neuron besluit te vuren. Dit betekent dat een zwak infraroodsignaal kan helpen om een neuron over de streep te trekken om te vuren, zelfs als het zichtbare signaal alleen niet genoeg was.

Deze aanpak behoudt de "fijnmazige" reacties die anders verloren zouden gaan. Het is als een team van mensen waarbij een stil persoon nog steeds kan bijdragen aan de uiteindelijke beslissing als hij naast iemand staat die luid is, in plaats van genegeerd te worden omdat hij niet eerst hard genoeg riep.

De Architectuur: Een Tweesporenweg met Gespecialiseerde Bestuurders

Om dit effectief te laten werken, bouwden de onderzoekers een specifieke netwerkarchitectuur. Ze gooiden het idee niet in een willekeurige mix; ze ontwierpen een dual-branch systeem met een slimme twist.

Ze creëerden twee parallelle paden (branches) die de beelden verwerken:

• De Ondiepe Branch (Shallow Branch): Dit pad heeft minder lagen (slechts één blok van hun speciale fusiemodule).
• De Diepe Branch (Deep Branch): Dit pad is langer en stapelt drie blokken van de fusiemodule op elkaar.

In eerste instantie zou je kunnen denken: "Waarom twee verschillende lengtes?" Het onderzoek suggereert dat deze asymmetrie ervoor zorgt dat het netwerk van nature specialiseert. Na de training begonnen de "ondiepe" branch en de "diepe" branch zich anders te gedragen. De ondiepe branch leerde een milde mix uit te voeren, terwijl de diepe branch leerde om een zware, intense mix uit te voeren. Het is als het hebben van twee chefs in een keuken: de een is een snelle, subtiele mixer, en de ander is een zware blender. Samen dekken ze alle bases.

Het onderzoek introduceert ook een Reparameterized Output Head. Dit is een technische truc die het systeem slimmer maakt tijdens de training, maar simpeler tijdens het gebruik. Tijdens de training gebruikt het systeem een complexe, multi-branch structuur om de beste manier te leren om de beelden te combineren. Maar zodien de training voltooid is, "klapt" het systeem al die vertakkingen samen tot een enkele, eenvoudige convolutie-laag. Dit betekent dat het eindproduct net zo snel en simpel is als een standaardlaag, zonder de extra ballast van de trainingscomplexiteit.

De Resultaten: Hoge Kwaliteit, Lage Energie

De onderzoekers testten CIS-Fuse op vier verschillende benchmarks (datasets van infrarood- en zichtbare beelden) en vergeleken het met 15 andere state-of-the-art methoden, inclusief zwaargewichten zoals Text-IF, DCEvo en S4Fusion.

Visuele Kwaliteit:
De resultaten toonden aan dat CIS-Fuse beelden produceert die net zo goed zijn als de beste ANN-gebaseerde methoden. Sterker nog, het stond bovenaan qua gemiddelde prestaties over alle metrieken.

• Het behield de scherpe thermische contouren van mensen en auto's in het donker.
• Het behield de fijne texturen van bomen en wegmarkeringen uit de zichtbare beelden.
• Het maakte de details niet "wit" of wazig, een veelvoorkomend probleem bij andere methoden.

Downstream Taken:
Het onderzoek stopte niet bij het maken van mooie plaatjes. Ze testten of deze gefuseerde beelden robots daadwerkelijk beter lieten zien.

• Objectdetectie: Ze gebruikten de gefuseerde beelden om een YOLOv8s detector te trainen (een systeem dat objecten vindt). CIS-Fuse hielp de detector om de hoogste nauwkeurigheid (mAP van 59.8) te bereiken vergeleken met alle andere methoden. Het was bijzonder goed in het opsporen van mensen en auto's onder moeilijke omstandigheden.
• Semantische Segmentatie: Ze testten ook een systeem dat elk pixel labelt (zoals het inkleuren van een kleurboek). CIS-Fuse behaalde de beste algemene score (mIoU van 74.3), wat betekent dat het objecten zoals auto's, vangrails en voetgangers beter kon omlijnen dan de concurrentie.

Energie-efficiëntie:
Dit is de "killer feature" van het onderzoek. Omdat CIS-Fuse gebruikmaakt van spiking neuronen, doet het alleen werk wanneer er een spike optreedt.

• De onderzoekers maten de "fire rate" van de neuronen en ontdekten dat gemiddeld slechts ongeveer 14,48% van de neuronen op enig gegeven moment vuurde.
• Met behulp van een standaard energiemodel schatten ze dat CIS-Fuse ongeveer één orde van grootte (10 keer) minder energie verbruikt dan een vergelijkbare ANN-gebaseerde methode (specifiek DCEvo).
• De energiebesparing wordt nog groter naarmate de beeldresolutie toeneemt.

Wat het Onderzoek Uitsluit

Het onderzoek is zeer duidelijk over wat niet zo goed werkt als hun aanpak:

• Simpele Optelling: Het simpelweg optellen van de twee beelden (elementgewijze optelling) of het stapelen ervan en door een simpele filter halen (concatenatie) presteerde aanzienlijk slechter. Het miste de nuance van hoe de signalen met elkaar zouden moeten interageren.
• Eenrichtingsfusie: Het mengen van de signalen in slechts één richting (bijvoorbeeld van infrarood naar zichtbaar, maar niet andersom) was slechter dan het beide kanten op mengen. Het onderzoek stelt dat beide modaliteiten elkaar moeten verfijnen.
• Symmetrische Branches: Het gebruik van twee branches van exact dezelfde lengte (symmetrisch) werkte niet zo goed als hun asymmetrische (ondiep vs. diep) ontwerp. Het onderzoek suggereert dat de asymmetrie essentieel is om het netwerk te laten specialiseren en verschillende rollen te laten leren.
• Simpele Neuronen: Het gebruik van oudere, simpelere neuronmodellen (zoals de standaard Integrate-and-Fire of Leaky Integrate-and-Fire zonder leerbare parameters) resulteerde in slechtere prestaties. Het onderzoek benadrukt dat het vermogen om de "tijdconstante" (hoe lang een neuron een signaal onthoudt) te leren cruciaal is.

De Kernboodschap

Het onderzoek CIS-Fuse suggereert dat we niet hoeven te kiezen tussen energie-efficiëntie en hoogwaardige beeldfusie. Door het mengproces naar de fase van de "membraanpotentiaal" te verplaatsen — het mengen van de signalen voordat de neuron besluit te schreeuwen — hebben de onderzoekers een systeem gecreëerd dat zowel ongelooflijk efficiënt als zeer effectief is.

Ze bewezen dit door aan te tonen dat hun methode qua visuele kwaliteit matcht met de meest geavanceerde, energieverslindende AI-modellen, terwijl het slechts een fractie van het vermogen verbruikt. Dit is een belangrijke stap voor de inzet van slimme visiesystemen op batterijgestuurde apparaten zoals drones, robots en autonome voertuigen, waar elke joule energie telt. De auteurs zijn vol vertrouwen in hun resultaten, aangezien ze deze over verschillende datasets en taken hebben getest, en zij hebben hun code beschikbaar gesteld zodat anderen deze kunnen verifiëren en verder kunnen bouwen.