Current Injection Spiking Neural Network for Infrared and Visible Image Fusion

Stellen Sie sich vor, Sie versuchen, die ultimative Kamera für einen Roboter zu bauen, der in jeder Situation perfekt sehen muss. Sie haben zwei verschiedene Augen: Das eine ist ein „sichtbares“ Auge, das erstaunliche Farben und Texturen sieht, genau wie ein Mensch, aber im Dunkeln oder durch Rauch blind wird. Das andere ist ein „Infrarot“-Auge, das Wärme sieht, sodass es eine Person in völliger Dunkelheit oder Nebel entdecken kann, aber wie ein verschwommener, grauer Wärmeflecken ohne feine Details aussieht. Das Ziel der Bildfusion ist es, diese zwei Augen zu einem Super-Sichtsystem zusammenzuweben, das das Beste aus beiden Welten vereint.

Lange Zeit haben Wissenschaftler versucht, dies mithilfe von Künstlichen Neuronalen Netzen (KNN/ANNs) zu erreichen. Stellen Sie sich diese wie einen super-schnellen, aber super-müden Buchhalter vor, der jede einzelne Zahl in einer Tabelle aufsummiert, egal wie klein oder unwichtig sie ist. Es funktioniert gut, aber es verbraucht viel Energie, als würde man einen Marathon laufen, nur um den Briefkasten zu prüfen.

Hier kommen Spiking Neural Networks (SNNs) ins Spiel. Diese sind von der Funktionsweise unseres eigentlichen Gehirns inspiriert. Anstatt ständig Zahlen aufzusummieren, verhalten sie sich wie ein Raum voller Menschen, die darauf warten, zu rufen. Sie „feuern“ erst dann ein Signal (einen Spike/Impuls), wenn etwas Interessantes passiert. Dies macht sie unglaublich energieeffizient, wie eine Glühbirne, die nur dann angeht, wenn jemand den Raum betritt. Es gibt jedoch einen Haken: Da sie nur schreien, wenn sie laut genug sind, könnten sie die leisen Flüstern wichtiger Informationen überhören. Wenn ein thermisches Signal zu schwach ist, um das Neuron zum Schreien zu bringen, wird es ignoriert und der Roboter verliert dieses entscheidende Detail.

Hier kommt eine neue Arbeit ins Spiel, die dieses Problem mit einem cleveren Trick namens CIS-Fuse löst. Anstatt darauf zu warten, dass das Neuron schreit (einen Spike feuert), bevor die beiden Arten der Sicht gemischt werden, mischt CIS-Fuse die Signale bevor der Schrei erfolgt. Sie verwenden einen Mechanismus namens Current Injection (Strominjektion), bei dem das leise, schwache Signal eines Auges sanft in die „Batterie“ (das Membranpotenzial) des Neurons des anderen Auges injiziert wird. Auf diese Weise kann selbst ein Signal, das allein zu leise wäre, um zu schreien, dazu beitragen, das Neuron über die Schwelle zu drücken, um in Kombination mit dem Signal des anderen Auges zu feuern.

Das Ergebnis ist ein System, das die super-niedrige Energieeffizienz des „schreienden“ Gehirns beibehält, aber nicht die feinen Details verliert. Das Team testete dies auf vier verschiedenen Datensätzen und stellte fest, dass ihre Methode fusionierte Bilder erzeugt, die genauso gut sind wie die der schweren, energiehungrigen Buchhalter (ANNs), aber mit etwa 10-mal weniger Energie laufen. Sie zeigten auch, dass Roboter, die diese fusionierten Bilder nutzen, besser darin sind, Autos und Menschen im Dunkeln aufzuspüren, was beweist, dass man nicht viel Leistung verbrennen muss, um klar zu sehen.

Das Problem: Das Dilemma „Zu leise zum Schreien“

Um zu verstehen, warum diese Arbeit so bedeutend ist, müssen wir das Spannungsfeld zwischen zwei sehr unterschiedlichen Arten der Informationsverarbeitung betrachten.

Auf der einen Seite haben Sie die Künstlichen Neuronalen Netze (ANNs), die die meisten modernen KI-Systeme antreiben. Sie sind wie ein massiver, kontinuierlicher Wasserstrom. Jeder Tropfen Wasser (jedes Stück Datensatz) wird gemessen und vermischt. Das ist großartig, um jedes winzige Detail zu erfassen, egal ob es ein helles Licht oder ein schwacher Schatten ist. Aber es ist teuer. Es erfordert viel Rechenleistung, was die Batterien schnell leert. Dies ist ein Problem für Dinge wie Drohnen oder selbstfahrende Autos, die den ganzen Tag mit begrenzter Energie laufen müssen.

Auf der anderen Seite haben Sie Spiking Neural Networks (SNNs). Diese sind eine digitale Version eines Nervensystems. SNN-Neuronen verharren ruhig, bis sie genügend Input erhalten, um eine „Schwelle“ zu überschreiten. Sobald sie diese Linie überschreiten, feuern sie einen einzigen, binären Spike (eine 1). Wenn sie die Linie nicht überschreiten, bleiben sie stumm (eine 0). Dies ist unglaublich effizient, weil das System nur dann arbeitet, wenn etwas Interessantes passiert.

Das Problem entsteht, wenn man versucht, SNNs für die Bildfusion einzusetzen. Fusion erfordert das Mischen eines schwachen Signals von der Infrarotkamera (vielleicht eine schwache Wärmesignatur einer Person) und eines starken Signals von der sichtbaren Kamera (die Textur eines Baumes) zu einer perfekten Einheit. In einem Standard-SNN wird das Infrarot-Signal verworfen, wenn es zu schwach ist, um das Neuron allein zum Feuern zu bringen. Es ist, als würde man versuchen, ein Flüstern mit einem Schrei zu mischen; wenn man nur auf den Schrei hört, verpasst man das Flüstern. Die Arbeit argumentiert, dass diese „binäre“ Natur von SNNs genau die komplementären Informationen wegwirft, die die Fusion so nützlich machen.

Die Lösung: Mischen vor dem Schrei

Die Autoren dieser Arbeit, CIS-Fuse, erkannten, dass die Lösung im Membranpotenzial liegt. In einem biologischen Neuron (und in SNNs) sammelt ein Neuron, bevor es feuert, Ladung in seiner „Batterie“ (dem Membranpotenzial) an. Diese Batterie hält den Input fest, auch wenn er noch nicht stark genug ist, um einen Schrei auszulösen.

Die Arbeit schlägt einen neuen Operator namens Current Injection Spiking (CIS) vor. So funktioniert er vereinfacht:

1. Das Setup: Stellen Sie sich zwei Datenströme vor: einen von der Infrarotkamera und einen von der sichtbaren Kamera.
2. Die Injektion: Anstatt die beiden kämpfen zu lassen, wer zuerst schreit, nimmt das System den „Hilfsstrom“ (z. B. Infrarot) und injiziert ihn als „gesteuerten Strom“ (gated current) in die „Batterie“ des Hauptstroms (sichtbar).
3. Der Gatekeeper: Es gibt einen intelligenten Gatekeeper (ein lernbarer Gate), der entscheidet, wie viel des Hilfssignals hineingelassen wird. Er verfügt auch über einen speziellen Regler (einen lernbaren Skalierungsfaktor) für jeden einzelnen Informationskanal, was es dem System ermöglicht zu sagen: „Hey, dieses spezifische Detail ist wichtig, lass es uns verstärken“ oder „Dieses hier wird nicht benötigt, halte es niedrig“.
4. Die Fusion: Die beiden Signale mischen sich innerhalb der Batterie, bevor das Neuron entscheidet zu feuern. Das bedeutet, dass ein schwaches Infrarot-Signal helfen kann, ein Neuron über die Schwelle zu drücken, selbst wenn das sichtbare Signal allein nicht ganz ausgereicht hätte.

Dieser Ansatz bewahrt die „feingliedrigen“ Reaktionen, die sonst verloren gingen. Es ist wie ein Team von Menschen, bei dem eine leise Person immer noch zu einer endgültigen Entscheidung beitragen kann, wenn sie neben jemandem steht, der laut ist, anstatt ignoriert zu werden, nur weil sie nicht zuerst laut genug gesprochen hat.

Die Architektur: Eine zweispurige Autobahn mit spezialisierten Fahrern

Um dies effektiv umzusetzen, bauten die Forscher eine spezifische Netzwerkarchitektur. Sie warfen die Idee nicht einfach in einen zufälligen Mix, sondern entwarfen ein Dual-Branch-System (Zwei-Zweig-System) mit einer cleveren Wendung.

Sie erstellten zwei parallele Pfade (Branches), die die Bilder verarbeiten:

• Der flache Zweig (Shallow Branch): Dieser Pfft hat weniger Schichten (nur einen Block ihres speziellen Fusionsmoduls).
• Der tiefe Zweig (Deep Branch): Dieser Pfad ist länger und stapelt drei Blöcke des Fusionsmoduls übereinander.

Zuerst könnte man denken: „Warum zwei unterschiedliche Längen?“ Die Arbeit legt nahe, dass diese Asymmetrie es dem Netzwerk ermöglicht, sich natürlich zu spezialisieren. Nach dem Training begannen der „flache“ Zweig und der „tiefe“ Zweig, sich unterschiedlich zu verhalten. Der flache Zweig lernte eine sanfte Mischung, während der tiefe Zweig eine intensive, schwere Mischung vollführte. Es ist wie zwei Köche in einer Küche: Einer ist ein schneller, behutsamer Mixer, der andere ein Hochleistungsmixer. Zusammen decken sie alle Bereiche ab.

Die Arbeit führt außerdem einen Reparametrierten Output-Head ein. Dies ist ein technischer Trick, der das System während des Trainings intelligenter, aber bei der Anwendung einfacher macht. Während des Trainings nutzt das System eine komplexe, mehrarmige Struktur, um den besten Weg zur Kombination der Bilder zu erlernen. Sobend das Training jedoch abgeschlossen ist, „kollabiert“ das System all diese Zweige zu einer einzigen, einfachen Faltungsschicht (Convolution Layer). Das bedeutet, das Endprodukt ist genauso schnell und einfach wie eine Standard-Schicht, ohne den Ballast der Trainingskomplexität.

Die Ergebnisse: Hohe Qualität, niedrige Energie

Die Forscher testeten CIS-Fuse auf vier verschiedenen Benchmarks (Datensätze aus Infrarot- und sichtbaren Bildern) und verglichen es mit 15 anderen State-of-the-Art-Methoden, einschließlich Schwergewichten wie Text-IF, DCEvo und S4Fusion.

Visuelle Qualität:
Die Ergebnisse zeigten, dass CIS-Fuse Bilder erzeugt, die qualitativ mit den besten ANN-basierten Methoden mithalten können. Tatsächlich belegte es bei der durchschnittlichen Performance über alle Metriken hinweg den Spitzenplatz.

• Es bewahrte die scharfen thermischen Umrisse von Menschen und Autos in der Dunkelheit.
• Es behielt die feinen Texturen von Bäumen und Straßenmarkierungen aus den sichtbaren Bildern bei.
• Es „wusch“ die Details nicht heraus und machte die Bilder nicht verschwommen, was ein häufiges Problem bei anderen Methoden ist.

Downstream-Aufgaben:
Die Arbeit beschränkte sich nicht nur darauf, schöne Bilder zu machen. Sie testeten, ob diese fusionierten Bilder Robotern tatsächlich helfen, besser zu sehen.

• Objekterkennung (Object Detection): Sie verwendeten die fusionierten Bilder, um einen YOLOv8s-Detektor zu trainen. CIS-Fuse half dem Detektor, die höchste Genauigkeit (mAP von 59,8) im Vergleich zu allen anderen Methoden zu erreichen. Es war besonders gut darin, Menschen und Autos unter schwierigen Bedingungen aufzuspüren.
• Semantische Segmentierung: Sie testeten auch ein System, das jeden Pixel beschriftet (wie beim Ausmalen eines Malbuchs). CIS-Fuse erreichte die beste Gesamtwertung (mIoU von 74,3), was bedeutet, dass es Objekte wie Autos, Leitplanken und Fußgänger besser als die Konkurrenz präzise umranden konnte.

Energieeffizienz:
Dies ist das „Killer-Feature“ der Arbeit. Da CIS-Fuse Spiking-Neuronen verwendet, arbeitet es nur, wenn ein Spike auftritt.

• Die Forscher maßen die „Feuerrate“ der Neuronen und stellten fest, dass im Durchschnitt nur etwa 14,48 % der Neuronen zu einem gegebenen Zeitpunkt feuerten.
• Mit einem Standard-Energiemodell schätzten sie, dass CIS-Fuse etwa eine Größenordnung (Faktor 10) weniger Energie verbraucht als eine ähnlich große ANN-basierte Methode (speziell DCEvo).
• Die Energieeinsparungen werden sogar noch größer, wenn die Bildauflösung steigt.

Was die Arbeit ausschließt

Die Arbeit stellt sehr klar, was nicht so gut funktioniert wie ihr Ansatz:

• Einfache Addition: Das bloße Zusammenrechnen der beiden Bilder (elementweise Addition) oder das Stapeln und anschließende Filtern (Konkatenation) schnitt deutlich schlechter ab. Es fehlte das Verständnis dafür, wie die Signale interagieren sollten.
• Einseitige Fusion: Das Mischen der Signale nur in eine Richtung (z. B. Infrarot zu Sichtbar, aber nicht umgekehrt) war schlechter als ein beidseitiges Mischen. Die Arbeit argumentiert, dass beide Modalitäten einander ergänzen müssen.
• Symmetrische Zweige: Die Verwendung von zwei Zweigen mit exakt der gleichen Länge (symmetrisch) funktionierte nicht so gut wie ihr asymmetrisches Design (flach vs. tief). Die Arbeit legt nahe, dass die Asymmetrie der Schlüssel ist, damit das Netzwerk spezialisiert und unterschiedliche Rollen lernt.
• Einfache Neuronen: Die Verwendung älterer, einfacherer Neuronenmodelle (wie das Standardmäßige „Integrate-and-Fire“ oder „Leaky Integrate-and-Fire“ ohne lernbare Parameter) führte zu schlechteren Ergebnissen. Die Arbeit betont, dass die Fähigkeit, die „Zeitkonstante“ (wie lange ein Neuron sich an das Signal erinnert) zu lernen, entscheidend ist.

Das Fazbeispiel

Die Arbeit CIS-Fuse legt nahe, dass wir uns nicht zwischen Energieeffizienz und hoher Bildqualität entscheiden müssen. Indem wir den Mischprozess in die Phase des „Membranpotenzials“ verlagern – also die Signale mischen, bevor das Neuron entscheidet zu schreien – haben die Forscher ein System geschaffen, das sowohl unglaublich effizient als auch hocheffektiv ist.

Sie bewiesen dies, indem sie zeigten, dass ihre Methode die visuelle Qualität der fortschrittlichsten, energiehungrigsten KI-Modelle erreicht und dabei nur einen Bruchteil der Leistung verbraucht. Dies ist ein bedeutender Schritt für den Einsatz intelligenter Visionssysteme auf batteriebetriebenen Geräten wie Drohnen, Robotern und autonomen Fahrzeugen, bei denen jedes Joule zählt. Die Autoren sind von ihren Ergebnissen überzeugt, da sie diese über verschiedene Datensätze und Aufgaben hinweg getestet haben, und haben ihren Code für andere zur Verifizierung und Weiterentwicklung zur Verfügung gestellt.