Current Injection Spiking Neural Network for Infrared and Visible Image Fusion

Imagina que estás intentando construir la cámara definitiva para un robot que necesita ver perfectamente en cualquier situación. Tienes dos ojos diferentes: uno es un ojo "visible" que ve colores y texturas increíbles, como lo hace un humano, pero se queda ciego en la oscuridad o a través del humo. El otro es un ojo "infrarrojo" que ve el calor, por lo que puede detectar a una persona en la oscuridad total o a través de la niebla, pero parece una mancha térmica gris y borrosa sin detalles finos. El objetivo de la Fusión de Imágenes es combinar estos dos ojos en un único sistema de supervisión que tenga lo mejor de ambos mundos.

Durante mucho tiempo, los científicos han intentado hacer esto utilizando Redes Neuronales Artificiales (ANN). Piensa en estas como un contable superrápido y supercansado que suma cada uno de los números en una hoja de cálculo, sin importar cuán pequeños o poco importantes sean. Funciona bien, pero consume mucha energía, como correr un maratón solo para ir a revisar el correo.

Entra en escena las Redes Neuronales de Impulsos (SNN). Estas están inspiradas en cómo funcionan nuestros cerebros reales. En lugar de estar constantemente sumando números, actúan como una sala llena de gente esperando para gritar. Solo "disparan" una señal (un impulso o spike) cuando algo interesante sucede. Esto las hace increíblemente eficientes energéticamente, como una bombilla que solo se enciende cuando alguien entra en la habitación. Sin embargo, hay un inconveniente: debido a que solo gritan cuando son lo suficientemente fuertes, podrían perder los susurros silenciosos de información importante. Si una señal térmica es demasiado débil para hacer que la neurona grite, se ignora, y el robot pierde ese detalle crucial.

Aquí es donde entra un nuevo artículo para resolver este problema. Los investigadores, liderados por Rui Zhao y sus colegas, proponen un truco ingenioso llamado CIS-Fuse. En lugar de esperar a que la neurona grite (dispare un impulso) antes de mezclar los dos tipos de visión, mezclan las señales antes de que ocurra el grito. Utilizan un mecanismo llamado Inyección de Corriente, donde la señal silenciosa y débil de un ojo se inyecta suavemente en la "batería" (potencial de membrana) de la neurona del otro ojo. De esta manera, incluso si la señal es demasiado tenue para gritar por sí sola, puede ayudar a empujar a la neurona al límite para disparar cuando se combina con la señal del otro ojo.

El resultado es un sistema que mantiene los ahorros de energía superbajos de la "neurona que grita", pero no pierde los detalles finos. El equipo probó este método en cuatro conjuntos de datos y descubrió que su método produce imágenes fusionadas tan buenas como las de los contables pesados y hambrientos de energía (ANNs), pero con aproximadamente 10 veces menos energía para funcionar. También demostraron que los robots que utilizan estas imágenes fusionadas son mejores para detectar coches y personas en la oscuridad, demostrando que no es necesario quemar mucha potencia para ver con claridad.

El Problema: El dilema de "demasiado silencioso para gritar"

Para entender por qué este artículo es importante, tenemos que observar la tensión entre dos formas muy diferentes de procesar la información.

Por un lado, tienes las Redes Neuronales Artificiales (ANN) que impulsan la mayor parte de la IA moderna. Estas son como un flujo masivo y continuo de agua. Cada gota de agua (cada pieza de datos) es medida y mezclada. Esto es excelente para capturar cada pequeño detalle, ya sea una luz brillante o una sombra tenue. Pero es costoso. Requiere mucha potencia de cómputo, lo que agota las baterías rápidamente. Este es un problema para cosas como drones o coches autónomos que necesitan funcionar todo el día con energía limitada.

Por otro lado, tienes las Redes Neuronales de Impulsos (SNN). Estas son como una versión digital de un sistema nervioso. Las neuronas en una SNN permanecen tranquilas hasta que reciben suficiente entrada para cruzar un "umbral". Una vez que cruzan esa línea, disparan un único impulso binario (un 1). Si no cruzan la línea, permanecen en silencio (un 0). Esto es increíblemente eficiente porque el sistema solo trabaja cuando algo interesante sucede.

El problema surge cuando intentas usar las SNN para la Fusión de Imágenes. La fusión requiere tomar una señal débil de la cámara infrarroja (tal vez la tenue firma térmica de una persona) y una señal fuerte de la cámara visible (la textura de un árbol) y mezclarlas perfectamente. En una SNN estándar, si la señal infrarroja es demasiado débil para hacer que la neurona dispare, se descarta. Es como intentar mezclar un susurro con un grito; si solo escuchas el grito, pierdes el susurro. El artículo argumenta que esta naturaleza "binaria" de las SNN desecha la información complementaria que hace que la fusión sea útil.

La Solución: Mezclar antes del grito

Los autores de este artículo, CIS-Fuse, se dieron cuenta de que la solución reside en el potencial de membrana. En una neurona biológica (y en las SNN), antes de que una neurona dispare, acumula carga en su "batería" (el potencial de membrana). Esta batería retiene la entrada incluso si no es lo suficientemente fuerte como para activar un grito todavía.

El artículo propone un nuevo operador llamado Inyección de Corriente de Impulsos (CIS). Así es como funciona en términos sencillos:

1. La Configuración: Imagina dos flujos de datos: uno de la cámara Infrarroja y otro de la cámara Visible.
2. La Inyección: En lugar de dejar que luchen para ver quién llega a disparar, el sistema toma el flujo "auxiliar" (por ejemplo, el infrarrojo) y lo inyecta como una "corriente de puerta" en la "batería" del flujo principal (el visible).
3. El Portero: Hay un portero inteligente (una puerta aprendida) que decide cuánto dejar pasar de la señal auxiliar. También tiene un dial especial (un factor de escala aprendible) para cada canal de información, lo que permite al sistema decir: "Oye, este detalle específico es importante, vamos a potenciarlo", o "Este no es necesario, mantenlo bajo".
4. La Fusión: Los dos flores se mezclan dentro de la batería antes de que la neurona decida disparar. Esto significa que una señal infrarroja débil puede ayudar a empujar a una neurona al límite para disparar, incluso si la señal visible por sí sola no hubiera sido suficiente.

Este enfoque preserva las respuestas de "grano fino" que de otro modo se perderían. Es como tener un equipo de personas donde una persona silenciosa aún puede contribuir a la decisión final si está parada junto a alguien ruidoso, en lugar de ser ignorada por no haber hablado primero.

La Arquitectura: Una autopista de dos carriles con conductores especializados

Para que esto funcione de manera efectiva, los investigadores construyeron una arquitectura de red específica. No se limitaron a lanzar la idea en una mezcla aleatoria; diseñaron un sistema de dos ramas con un giro ingenioso.

Crearon dos caminos paralelos (ramas) que procesan las imágenes:

• La Rama Superficial (Shallow Branch): Este camino tiene menos capas (solo un bloque de su módulo de fusión especial).
• La Rama Profunda (Deep Branch): Este camino es más largo, apilando tres bloques del módulo de fusión uno sobre otro.

Al principio, podrías pensar: "¿Por qué tener dos longitudes diferentes?". El artículo sugiere que esta asimetría permite que la red se especialice de forma natural. Después del entrenamiento, la rama "Superficial" y la rama "Profunda" comenzaron a comportarse de manera diferente. La rama superficial aprendió a realizar una mezcla suave, mientras que la rama profunda aprendió a realizar una mezcla intensa y pesada. Es como tener dos chefs en una cocina: uno es un mezclador rápido y ligero, y el otro es un mezclador de alta potencia. Juntos, cubren todas las bases.

El artículo también introduce un Cabezal de Salida Reparametrizado. Este es un truco técnico que hace que el sistema sea más inteligente durante el entrenamiento pero más simple durante el uso. Durante el entrenamiento, el sistema utiliza una estructura de múltiples ramas complejas para aprender la mejor forma de combinar las imágenes. Pero una vez terminado el entrenamiento, el sistema "colapsa" todas esas ramas en una única capa de convolución simple. Esto significa que el producto final es tan rápido y simple como una capa estándar, sin la carga adicional de la complejidad del entrenamiento.

Los Resultados: Alta Calidad, Baja Energía

Los investigadores probaron CIS-Fuse en cuatro diferentes bancos de pruebas (conjuntos de datos de imágenes infrarrojas y visibles) y lo compararon con otros 15 métodos de vanguardia, incluyendo pesos pesados como Text-IF, DCEvo y S4Fusion.

Calidad Visual:
Los resultados mostaron que CIS-Fuse produce imágenes fusionadas que son tan buenas como los mejores métodos basados en ANN. De hecho, ocupó la cima en términos de rendimiento promedio en todas las métricas.

• Preservó los contornos térmicos nítidos de personas y coches en la oscuridad.
• Mantuvo las texturas finas de árboles y marcas viales de las imágenes visibles.
• No "lavó" los detalles ni hizo que las imágenes parecieran borrosas, un problema común con otros métodos.

Tareas Derivadas (Downstream Tasks):
El artículo no se detuvo solo en crear imágenes bonitas. Probaron si estas imágenes fusionadas ayudaban a los robots a ver mejor.

• Detección de Objetos: Utilizaron las imágenes fusionadas para entrenar un detector YOLOv8s (un sistema que encuentra objetos). CIS-Fuse ayudó al detector a lograr la mayor precisión (mAP de 59.8) en comparación con todos los demás métodos. Fue particularmente bueno detectando personas y coches en condiciones difíciles.
• Segmentación Semántica: También probaron un sistema que etiqueta cada píxel (como colorear un libro de colorear). CIS-Fuse logró la mejor puntuación general (mIoU de 74.3), lo que significa que podía delinear con precisión objetos como coches, guardarraíles y peatones mejor que la competencia.

Eficiencia Energética:
Esta es la "característica estrella" del artículo. Debido a que CIS-Fuse utiliza neuronas de impulsos, solo trabaja cuando ocurre un impulso.

• Los investigadores midieron la "tasa de disparo" de las neuronas y encontraron que, en promedio, solo alrededor del 14.48% de las neuronas dispararon en cualquier momento dado.
• Utilizando un modelo de energía estándar, estimaron que CIS-Fuse utiliza aproximadamente un orden de magnitud (10 veces) menos energía que un método basado en ANN de tamaño similar (específicamente DCEvo).
• Los ahorros de energía se vuelven aún mayores a medida que aumenta la resolución de la imagen.

Lo que el artículo descarta

El artículo es muy claro sobre lo que no funciona tan bien como su enfoque:

• Suma Simple: Simplemente sumar las dos imágenes (suma elemento a elemento) o apilarlas y pasarlas por un filtro simple funcionó significativamente peor. Se perdió el matiz de cómo deberían interactuar las señales.
• Fusión Unidireccional: Mezclar las señales en una sola dirección (por ejemplo, de Infrarrojo a Visible, pero no de vuelta) fue peor que mezclar ambas direcciones. El artículo sostiene que ambas modalidades deben refinarse mutuamente.
• Ramas Simétricas: Usar dos ramas de la misma longitud exacta (simétricas) no funcionó tan bien como su diseño asimétrico (superficial vs. profundo). El artículo sugiere que la asimetría es clave para que la red se especialice y aprenda diferentes roles.
• Neuronas Simples: El uso de modelos de neuronas más antiguos y simples (como el estándar de Integrar y Disparar o Integrar e Integrar y Disparar sin parámetros aprendibles) dio resultados peores. El artículo enfatiza que la capacidad de aprender la "constante de tiempo" (cuánto tiempo recuerda la neurona la señal) es crucial.

La Conclusión

El artículo CIS-Fuse sugiere que no tenemos que elegir entre eficiencia energética y fusión de imágenes de alta calidad. Al mover el proceso de mezcla a la etapa del "potencial de membrana" —mezclando las señales antes de que la neurona decida gritar—, los investigadores crearon un sistema que es increíblemente eficiente y altamente efectivo.

Demostraron esto mostrando que su método iguala la calidad visual de los modelos de IA más avanzados y hambrientos de energía, utilizando una fracción de su potencia. Este es un paso significativo para el despliegue de sistemas de visión inteligentes en dispositivos alimentados por baterías como drones, robots y vehículos autónomos, donde cada julio de energía cuenta. Los autores confían en sus resultados, habiéndolos probado en múltiples conjuntos de datos y tareas, y han puesto su código a disposición de los demás para verificarlo y construir sobre él.