Current Injection Spiking Neural Network for Infrared and Visible Image Fusion

Imaginez que vous essayiez de construire la caméra ultime pour un robot qui doit voir parfaitement dans n'importe quelle situation. Vous avez deux yeux différents : l'un est un œil « visible » qui voit des couleurs et des textures incroyables, comme un humain, mais il devient aveugle dans l'obscurité ou à travers la fumée. L'autre est un œil « infrarouge » qui voit la chaleur, ce qui lui permet de repérer une personne dans l'obscurité totale ou à travers le brouillard, mais il ressemble à une tache thermique grise et floue sans détails précis. L'objectif de la Fusion d'Images est de fusionner ces deux yeux pour créer un système de super-vision qui possède le meilleur des deux mondes.

Pendant longtemps, les scientifiques ont essayé de faire cela en utilisant des Réseaux de Neurones Artificiels (ANN). Considérez-les comme un comptable super rapide mais super fatigué qui additionne chaque chiffre dans un tableur, peu importe s'il est petit ou sans importance. Cela fonctionne bien, mais cela consomme beaucoup d'énergie, comme courir un marathon juste pour aller chercher le courrier.

Entrez en scène les Réseaux de Neurones à Impulsions (SNN). Ils sont inspirés par le fonctionnement de notre cerveau réel. Au lieu d'additionner constamment des nombres, ils agissent comme une pièce remplie de gens qui attendent de crier. Ils ne « tirent » un signal (une impulsion ou spike) que lorsqu'un événement intéressant se produit. Cela les rend incroyablement économes en énergie, comme une ampoule qui ne s'allume que lorsqu'une personne entre dans la pièce. Cependant, il y a un pièote : parce qu'ils ne crient que lorsqu'ils sont assez forts, ils pourraient manquer les chuchotements discrets d'informations importantes. Si un signal thermique est trop faible pour faire crier le neurone, il est ignoré, et le robot perd ce détail crucial.

C'est ici qu'intervient un nouvel article pour résoudre ce problème. Les chercheurs, dirigés par Rui Zhao et ses collègues, proposent une astuce ingénieuse appelée CIS-Fuse. Au lieu d'attendre que le neurone crie (tire une impulsion) avant de mélanger les deux types de vision, ils mélangent les signaux avant que le cri ne se produise. Ils utilisent un mécanisme appelé Injection de Courant, où le signal discret et faible de l'un des yeux est doucement injecté dans la « batterie » (potentiel de membrane) du neurone de l'autre œil. De cette façon, même si le signal est trop faible pour faire crier le neurone de façon autonome, il peut toujours aider à pousser le neurone au-delà du seuil pour qu'il crie lorsqu'il est combiné au signal de l'autre œil.

Le résultat est un système qui conserve les économies d'énergie super-faibles du cerveau « de cri » mais ne perd pas les détails fins. L'équipe a testé ce système sur quatre jeux de données et a découvert que leur méthode produit des images fusionnées aussi bonnes que les comptables lourds et gourmands en énergie (ANN), mais avec environ 10 fois moins d'énergie pour fonctionner. Ils ont également montré que les robots utilisant ces images fusionnées sont plus performants pour repérer les voitures et les personnes dans l'obscurité, prouvant qu'il n'est pas nécessaire de brûler beaucoup de puissance pour voir clairement.

Le Problème : Le dilemme du « Trop calme pour crier »

Pour comprendre pourquoi cet article est important, il faut regarder la tension entre deux manières très différentes de traiter l'information.

D'un côté, vous avez les Réseaux de Neurones Artificiels (ANN) qui alimentent la plupart des IA modernes. Ils sont comme un flux continu et massif d'eau. Chaque goutte d'eau (chaque donnée) est mesurée et mélangée. C'est excellent pour capturer chaque minuscule détail, qu'il s'agisse d'une lumière vive ou d'une ombre légère. Mais c'est coûteux. Cela nécessite beaucoup de puissance de calcul, ce qui épuise rapidement les batteries. C'est un problème pour des objets comme les drones ou les voitures autonomes qui doivent fonctionner toute la journée avec une énergie limitée.

De l'autre côté, vous avez les Réseaux de Neurones à Impulsions (SNN). Ils sont comme une version numérique d'un système nerveux. Les neurones d'un SNN restent calmes jusqu'à ce qu'ils reçoivent suffisamment d'entrées pour franchir un « seuil ». Une fois qu'ils franchissent cette ligne, ils émettent une impulsion unique et binaire (un 1). S'ils ne franchissent pas la ligne, ils restent silencieux (un 0). C'est incroyablement efficace car le système ne travaille que lorsqu'un événement intéressant se produit.

Le problème survient lorsque vous essayez d'utiliser des SNN pour la Fusion d'Images. La fusion nécessite de prendre un signal faible provenant de la caméra infrarouge (par exemple, la faible signature thermique d'une personne) et un signal fort provenant de la caméra visible (la texture d'un arbre) et de les mélanger parfaitement. Dans un SNN standard, si le signal infrarouge est trop faible pour faire crier le neurone, il est rejeté. C'est comme essayer de mélanger un chuchotement avec un cri ; si vous n'écoutez que le cri, vous manquez le chuchotement. L'article soutient que cette nature « binaire » des SNN élimine l'information complémentaire qui rend la fusion utile.

La Solution : Mélanger avant le cri

Les auteurs de cet article, CIS-Fuse, ont réalisé que la solution réside dans le potentiel de membrane. Dans un neurone biologique (et dans les SNN), avant qu'un neurone ne tire une impulsion, il accumule une charge dans sa « batterie » (le potentiel de membrane). Cette batterie retient l'entrée même si elle n'est pas assez forte pour déclencher un cri pour autant.

L'article propose un nouvel opérateur appelé Injection de Courant à Impulsions (CIS). Voici comment cela fonctionne en termes simples :

1. La Configuration : Imaginez deux flux de données : l'un provenant de la caméra Infrarouge et l'autre de la caméra Visible.
2. L'Injection : Au lieu de les laisser se disputer pour savoir qui va crier, le système prend le flux « auxiliaire » (disons, l'infrarouge) et l'injecte sous forme de « courant de porte » dans la « batterie » du flux principal (le visible).
3. Le Gardien : Il y a un gardien intelligent (une porte apprise) qui décide de la quantité de signal auxiliaire à laisser entrer. Il possède également un cadran spécial (un facteur d'échelle apprenable) pour chaque canal d'information, permettant au système de dire : « Hé, ce détail spécifique est important, boostons-le », ou « Celui-ci n'est pas nécessaire, gardons-le bas ».
4. La Fusion : Les deux signaux se mélangent à l'intérieur de la batterie avant que le neurone ne décide de tirer une impulsion. Cela signifie qu'un signal infrarouge faible peut aider à pousser un neurone vers le seuil pour qu'il tire, même si le signal visible seul n'aurait pas suffi.

Cette approche préserve les réponses « fines » qui seraient autrement perdues. C'est comme avoir une équipe de personnes où une personne calme peut encore contribuer à la décision finale si elle se tient à côté de quelqu'un de bruyant, plutôt que d'être ignorée parce qu'elle n'a pas parlé assez fort en premier.

L'Architecture : Une autoroute à deux voies avec des conducteurs spécialisés

Pour faire fonctionner cela efficacement, les chercheurs ont construit une architecture de réseau spécifique. Ils n'ont pas simplement jeté l'idée dans un mélange aléatoire ; ils ont conçu un système à deux branches avec une touche ingénieuse.

Ils ont créé deux chemins parallèles (branches) qui traitent les images :

• La Branche Peu Profonde (Shallow Branch) : Ce chemin possède moins de couches (juste un bloc de leur module de fusion spécial).
• La Branche Profonde (Deep Branch) : Ce chemin est plus long, empilant trois blocs du module de fusion les uns sur les autres.

Au début, on pourrait penser : « Pourquoi avoir deux longueurs différentes ? ». L'article suggère que cette asymétrie permet au réseau de se spécialiser naturellement. Après l'entraînement, la branche « Peu Profonde » et la branche « Profonde » ont commencé à se comporter différemment. La branche peu profonde a appris à faire un mélange léger, tandis que la branche profonde a appris à faire un mélange intense et lourd. C'est comme avoir deux chefs dans une cuisine : l'un est un mélangeur rapide et délicat, et l'autre est un mélangeur puissant et robuste. Ensemble, ils couvrent tous les besoins.

L'article introduit également une Tête de Sortie Reparamétrée (Reparameterized Output Head). C'est une astuce technique qui rend le système plus intelligent pendant l'entraînement, mais plus simple lors de l'utilisation. Pendant l'entraînement, le système utilise une structure complexe à plusieurs branches pour apprendre la meilleure façon de combiner les images. Mais une fois l'entraînement terminé, le système « réduit » toutes ces branches en une seule couche de convolution simple. Cela signifie que le produit final est aussi rapide et simple qu'une couche standard, sans le bagage supplémentaire de la complexité de l'entraînement.

Les Résultats : Haute Qualité, Basse Énergie

Les chercheurs ont testé CIS-Fuse sur quatre benchmarks (jeux de données d'images infrarouges et visibles) et l'ont comparé à 15 autres méthodes de pointe, incluant des poids lourds comme Text-IF, DCEvo et S4Fusion.

Qualité Visuelle :
Les résultats ont montré que CIS-Fuse produit des images fusionnées aussi bonnes que les meilleures méthodes basées sur les ANN. En fait, il s'est classé tout en haut en termes de performance moyenne sur tous les indicateurs.

• Il a préservé les contours thermiques nets des personnes et des voitures dans l'obscurité.
• Il a conservé les textures fines des arbres et des marquages au sol des images visibles.
• Il n'a pas « délavé » les détails ni rendu les images floues, un problème courant avec d'autres méthodes.

Tâches Aval (Downstream Tasks) :
L'article ne s'est pas contenté de créer de belles images. Les chercheurs ont testé si ces images fusionnées permettaient réellement aux robots de mieux voir.

• Détection d'Objets : Ils ont utilisé les images fusionnées pour entraîner un détecteur YOLOv8s (un système qui trouve des objets). CIS-Fuse a aidé le détecteur à atteindre la plus haute précision (mAP de 59,8) par rapport à toutes les autres méthodes. Il était particulièrement efficace pour repérer les personnes et les voitures dans des conditions difficiles.
• Segmentation Sémantique : Ils ont également testé un système qui étiquette chaque pixel (comme colorier un livre de coloriage). CIS-Fuse a obtenu le meilleur score global (mIoU de 74,3), ce qui signifie qu'il pouvait délimiter avec précision des objets comme des voitures, des garde-fous et des piétons mieux que la concurrence.

Efficacité Énergétique :
C'est l'argument massue de cet article. Parce que CIS-Fuse utilise des neurones à impulsions, il ne travaille que lorsqu'une impulsion se produit.

• Les chercheurs ont mesuré le « taux de décharge » des neurones et ont constaté qu'en moyenne, seulement environ 14,48 % des neurones se sont activés à un instant donné.
• En utilisant un modèle d'énergie standard, ils ont estimé que CIS-Fuse consomme environ un ordre de grandeur (10 fois) moins d'énergie qu'une méthode ANN de taille similaire (spécifiquement DCEvo).
• Les économies d'énergie augmentent encore davantage à mesure que la résolution de l'image augmente.

Ce que l'article écarte

L'article est très clair sur ce qui ne fonctionne pas aussi bien que leur approche :

• L'Addition Simple : Additionner simplement les deux images (addition élément par élément) ou les empiler pour les passer dans un filtre simple a donné des résultats nettement inférieurs. Cela manquait de la nuance nécessaire à l'interaction des signaux.
• La Fusion Unidirectionnelle : Mélanger les signaux dans une seule direction (par exemple, de l'Infrarouge vers le Visible, mais pas l'inverse) était moins efficace qu'un mélange bidirectionnel. L'article soutient que les deux modalités doivent s'affiner mutuellement.
  ature Branches Symétriques : Utiliser deux branches de longueur identique (symétriques) fonctionnait moins bien que leur conception asymétrique (peu profonde vs profonde). L'article suggère que l'asymétrie est la clé pour que le réseau se spécialise et apprenne des rôles différents.
• Neurones Simples : L'utilisation de modèles de neurones plus anciens et plus simples (comme le standard Integrate-and-Fire ou le Leaky Integrate-and-Fire sans paramètres apprenables) donnait de moins bons résultats. L'article souligne que la capacité d'apprendre la « constante de temps » (combien de temps le neurone se souvient du signal) est cruciale.

L'Essentiel à Retenir

L'article CIS-Fuse suggère que nous n'avons pas à choisir entre efficacité énergétique et fusion d'images de haute qualité. En déplaçant le processus de mélange vers l'étape du « potentiel de membrane » — en mélangeant les signaux avant que le neurone ne décide de crier — les chercheurs ont créé un système qui est à la fois incroyablement efficace et hautement performant.

Ils l'ont prouvé en montrant que leur méthode égale la qualité visuelle des modèles d'IA les plus avancés et les plus gourmands en énergie, tout en utilisant une fraction de la puissance. C'est une étape importante pour le déploiement de systèmes de vision intelligents sur des appareils alimentés par batterie comme des drones, des robots et des véhicules autonomes, où chaque joule compte. Les auteurs sont confiants dans leurs résultats, ayant testé leur méthode sur plusieurs jeux de données et tâches, et ont mis leur code à disposition pour que d'autres puissent le vérifier et s'en servir.