Evaluating an Adaptive Multispectral Turret System for Autonomous Tracking Across Variable Illumination Conditions

Resumen Técnico: Evaluación de un Sistema de Torreta Multiespectral Adaptativa para el Seguimiento Autónomo en Condiciones de Iluminación Variable

Planteamiento del Problema
Las plataformas robóticas autónomas se despliegan cada vez más en sectores críticos como los servicios de emergencia y la defensa, lo que requiere una detección de objetos fiable y en tiempo real a través de condiciones ambientales impredecibles. Los procesos de detección tradicionales de Rojo-Verde-Azul (RGB) se degradan significativamente en entornos de baja luminosidad, mientras que los sistemas térmicos de Infrarrojo de Onda Larga (LWIR), aunque efectivos en la oscuridad, carecen de la información de color y textura que proporcionan los sensores del espectro visible. Los enfoques de fusión multimodal existentes a menudo luchan con un desajuste entre el rendimiento de referencia y la fiabilidad operativa en el mundo real, particularmente en lo que respecta a las compensaciones entre las estrategias de fusión, la eficiencia computacional en plataformas embebidas y la adaptabilidad a los cambios dinámicos de iluminación sin intervención humana.

Metodología
Los autores desarrollaron un marco adaptativo que fusiona flujos de vídeo RGB y LWIR para mejorar el rendimiento del seguimiento autónomo. La arquitectura del sistema consiste en un prototipo de torreta basado en Raspberry Pi 5 equipado con una cámara RGB (Emeet S600), una cámara térmica (FLIR Vue Pro R) y un sensor de luz ambiental (Adafruit VEML7700). La Pi transfiere los datos de los sensores a un servidor remoto para realizar la inferencia computacionalmente intensiva, devolviendo las coordenadas de detección a los motores paso a paso para el control de pan (panorámica) y tilt (inclinación).

La metodología experimental central consistió en:

1. Recopilación de Datos: Se grabaron flujos de vídeo RGB y térmicos sincronizados con objetos objetivo (tazas de diversos colores) sobre una plataforma giratoria. Se generaron y anotaron aproximadamente 22,000 imágenes fusionadas.
2. Categorización de la Iluminación: Las escenas se clasificaron en tres categorías basadas en las lecturas de lux: Luz plena (>1000 lux), Luz tenue (10–1000 lux) y Sin luz (<10 lux).
3. Estrategia de Fusión: Los fotogramas se fusionaron mediante una fórmula de mezcla lineal ($F = \alpha \cdot RGB_{norm} + (1 - \alpha) \cdot LWIR_{norm}$) a través de 11 proporciones ($\alpha$ de 1.0 a 0.0 en incrementos de 0.1), que van desde RGB puro hasta LWIR puro.
4. Entrenamiento del Modelo: Los autores ajustaron (fine-tuned) 33 modelos distintos YOLOv11 nano (YOLOv11n). Cada modelo fue especializado para una combinación específica de una proporción de fusión y una categoría de iluminación. Se utilizaron dos líneas base preentrenadas (YOLOv5n y YOLOv11n entrenado en COCO) para la comparación.
5. Evaluación: El rendimiento se midió utilizando la confianza media de detección a través de seis colores de tazas (incluyendo dos colores de prueba no utilizados en el entrenamiento: verde azulado y amarillo). Se calculó una puntuación compuesta para equilibrar la confianza media frente a la desviación estándar (variabilidad) para identificar los modelos más robustos.

Contribuciones Clave
El artículo presenta tres contribuciones primarias:

1. Enfoque de Fusión Práctico: Un método para mezclar imágenes RGB y LWIR alineadas a distintos niveles de opacidad para mejorar la visibilidad del objetivo en diversas condiciones de iluminación.
2. Entrenamiento de Modelos Especializados: El entrenamiento y la evaluación de 33 modelos YOLO para identificar las configuraciones de fusión óptimas para regímenes de iluminación específicos, utilizando un conjunto de datos de más de 22,000 imágenes anotadas que los autores han liberado como código abierto.
3. Marco Adaptativo: La implementación de un sistema de ejecución que selecciona dinámicamente el modelo de detección óptimo basándose en las lecturas de iluminación ambiental, permitiendo que la torreta cambie entre modelos específicos de iluminación sin intervención manual.

Resultos
La evaluación demostró que la fusión adaptativa RGB–LWIR superó significativamente a las líneas base de una sola modalidad (YOLOv5n y YOLOv11n) en todas las condiciones:

• Luz Plena: La configuración óptima fue 80% RGB / 20% LWIR, alcanzando una confianza media del 92.8%. Esto superó significativamente a la línea base YOLOv11n (82.6%) y a YOLOv5n (71.5%).
• Luz Tenue: La configuración de 90% RGB / 10% LWIR produjo el mayor rendimiento con un 92.0% de confianza media, superando a las líneas base YOLOv11n (72.4%) y YOLOv5n (69.5%).
• Sin Luz: El rendimiento alcanzó su punto máximo en niveles de fusión intermedios. El modelo de 40% RGB / 60% LWIR logró un 71.0% de confianza. Aunque la relación 50/50 mostró una confianza media ligeramente superior, la relación 40/60 fue seleccionada como óptima debido a una variabilidad significativamente menor (mayor puntuación compuesta). Ambos modelos de fusión superaron a las líneas base (YOLOv11n: 54.1%; YOLOv5n: 38.4%), aunque la significación estadística fue menor que en las condiciones de luz.
• Generalización: El sistema mantuvo una alta confianza en los colores de tazas no utilizados en el entrenamiento (verde azulado y amarillo), lo que indica que los comportamientos de fusión aprendidos se generalizaron más allá del conjunto de entrenamiento.

Significancia y Reivindicaciones
Los autores afirman que su trabajo demuestra la superioridad de la fusión adaptativa sensible a la iluminación sobre las estrategias de fusión fijas o la detección de una sola modalidad. Al seleccionar dinámicamente la proporción de fusión óptima y el modelo correspondiente especializado basándose en las lecturas de lux en tiempo real, el sistema logra una ganancia absoluta de hasta un 30% en la confianza media de detección en comparación con los modelos YOLO de referencia.

El artículo enfatiza que una proporción de fusión única y fija es subóptima para entornos variables. En su lugar, el enfoque propuesto de entrenar modelos específicos para cada condición permite que el sistema aproveche las fortalezas del RGB (textura, color) en condiciones de luz y del LWIR (firmas térmicas) en la oscuridad, utilizando mezclas intermedias para estabilizar la detección cuando una modalidad se degrada. Los autores señalan que este enfoque simplifica el despliegue en sistemas embebidos al depender de una única lectura de sensor para el cambio de modelo, en lugar de una reponderación de características en línea compleja y computacionalmente costosa. Los resultados sugieren que este marco es directamente aplicable a tareas de misión crítica como torretas de seguridad autónomas, robótica móvil y operaciones de búsqueda y rescate donde las condiciones de iluminación pueden cambiar abruptamente.

Limitaciones
Los autores reconocen varias limitaciones, incluyendo un cambio de dominio de entrenamiento-prueba (donde imágenes estáticas de entrenamiento fueron probadas contra movimiento dinámico), posible ruido de etiquetas debido a la anotación manual y el uso de una única paleta de colores térmicos fija. También señalan que el ruido del sensor y los reflejos térmicos causaron ocasionalmente falsos positivos. Se propone trabajo futuro para abordar esto mediante la expansión de la diversidad del conjunto de datos, la aplicación de aumentación de datos y la exploración de arquitecturas de razonamiento temporal.