Resumen Técnico: InfraNet: Guía RGB Consciente de la Calidad para la Detección de Objetos en Infrarrojo Eficiente

1. Planteamiento del Problema

La detección robusta de objetos bajo condiciones visuales adversas (por ejemplo, baja iluminación, deslumbramiento, niebla) sigue siendo un desafío significativo para los sistemas de percepción multimodal. Si bien la detección por infrarrojos (IR) ofrece robustez al capturar la radiación térmica de forma independiente a la luz ambiental, los métodos de fusión existentes suelen tratar las modalidades RGB e IR de manera equitativa tanto durante el entrenamiento como durante la inferencia. Esta suposición de "tratamiento igualitario" pasa por alto un fallo crítico: la falta de fiabilidad de la modalidad RGB en condiciones degradadas.

Cuando las imágenes RGB están severamente degradadas (por ejemplo, volviéndose oscuras o con ruido), la fusión indiscriminada de estas con características IR fiables puede introducir información irrelevante o perjudicial, lo que provoca una "transferencia negativa" que perjudica la precisión general de la detección. Además, la mayoría de los métodos actuales de vanguardia (SOTA) exigen la entrada de doble modalidad durante la inferencia, lo que los hace poco prácticos cuando los sensores RGB no están disponibles o están corrompidos. Existe la necesidad de un marco que aproveche el RGB como una señal de guía durante el entrenamiento para mejorar el aprendizaje IR, pero que permita un despliegue eficiente y de alta precisión basado únicamente en IR.

2. Metodología

Marco Central: InfraNet

Los autores proponen InfraNet, un marco centrado en IR y consciente de la calidad, diseñado para regular la guía RGB durante el entrenamiento, permitiendo al mismo tiempo un despliegue flexible tanto en modos RGB–IR como solo IR. InfraNet emplea una arquitectura asimétrica que consta de:

1. Vía IR Primaria: Extrae características infrarrojas multiescala para las predicciones.
2. Vía RGB Auxiliar: Proporciona señales de supervisión controladas por la fiabilidad durante el entrenamiento.

Componente Clave: QualGate

La innovación central de InfraNet es QualGate, un módulo de fusión consciente de la calidad desplegado en múltiples escalas dentro de la red. QualGate aprende una señal de control orientada a la tarea para regular dinámicamente las interacciones intermodales. Su operación involucra dos mecanismos paralelos:

• Puntuación de Control de Fiabilidad ($q$): Se predice una puntuación escalar $q \in (0, 1)$ a partir de las características auxiliares RGB ($A_{in}$) utilizando un MLP ligero. Esta puntuación se optimiza para el objetivo de detección en lugar de servir como una métrica de calidad de imagen predefinida.
• Puerta de Supresión RGB: La contribución auxiliar se pondera mediante $w_{rgb}(q) = q$. Cuando la calidad del RGB es deficiente (bajo $q$), la guía RGB se reduce para evitar la inyección de ruido.
• Puerta de Amplificación IR: Simultáneamente, se aplica una ganancia de fiabilidad inversa $\alpha(q)$ a la vía IR. Definida como $\alpha(q) = \text{clip}(1.5 - q; 1.0, 1.5)$, este mecanismo aumenta la contribución de las características IR cuando la guía RGB es débil, asegurando que la representación IR permanezca robusta.
• Fusión: El resultado final $A_{out}$ es una fusión del término auxiliar suprimido y la inyección IR amplificada:
  $$A_{out} = w_{rgb}(q) \cdot A_{in} + \sum_{k=1}^{K} \alpha(q) \cdot g_k \cdot F_k$$
  donde $F_k$ representa las características IR alineadas y $g_k$ es una puerta de contenido.

Variantes Arquitectónicas

Basándose en InfraNet, se diseñan dos arquitecturas específicas:

1. InfraNet-IR: Una red de una sola rama ligera optimizada para la eficiencia computacional. Se entrena con entradas emparejadas RGB–IR (usando el RGB como supervisión auxiliar privilegiada), pero se despliega con inferencia solo IR. La rama RGB y todos los módulos de fusión se eliminan en el momento de la prueba, lo que no genera sobrecarga adicional.
2. InfraNet-RGB-IR: Una estructura de doble rama de mayor capacidad que procesa entradas tanto de RGB como de IR durante el entrenamiento y la inferencia, utilizando QualGate para una fusión intermodal controlada por la fiabilidad.

Estrategia de Entrenamiento

El marco utiliza una función de pérdida asimétrica:
$$\mathcal{L} = \mathcal{L}^{(\text{main})}_{\text{det}} + w_{\text{aux}} \mathcal{L}^{(\text{aux})}_{\text{det}}$$
donde el peso de la pérdida auxiliar $w_{\text{aux}}$ se establece en 0.25. Esto asegura que la optimización esté dominada por la vía infrarroja, mientras que la rama auxiliar proporciona una guía adaptativa para mejorar las representaciones IR.

3. Contribuciones Clave

• Marco de Trabajo InfraNet: Un marco de detección de objetos infrarrojos guiado por RGB y consciente de la calidad que trata al RGB como una señal auxiliar controlada por la fiabilidad durante el entrenamiento, permitiendo un despliegue flexible solo con IR.
• Módulo QualGate: Un novedoso mecanismo de fusión que aprende una señal de control orientada a la tarea para suprimir la guía RGB no fiable y compensar las características IR, mitigando el riesgo de transferencia negativa de los datos RGB degradados.
• Despliegue de Doble Modo: El diseño de dos variantes (InfraNet-IR y InfraNet-RGB-IR) que logran un rendimiento competitivo tanto en la inferencia de un solo modo eficiente como en la fusión de alta capacidad de doble modo.

4. Resultados Experimentales

El método fue evaluado en cuatro conjuntos de datos de referencia: LLVIP, FLIR-Aligned, M3FD y DroneVehicle.

• Rendimiento: InfraNet logró una precisión fuerte o competitiva en todos los conjuntos de datos.
  • En LLVIP, la variante RGB–IR (YOLOv8) alcanzó un 70.5% de mAP, superando al SOTA WaveMamba (66.0%). La variante solo IR logró un 68.8% de mAP sin sobrecarga de inferencia.
  • En FLIR-Aligned, la variante solo IR (ResNet50) alcanzó un tiempo de inferencia de 9.4 ms con un 53.0% de mAP, significativamente más rápido que los competidores de doble modalidad manteniendo una precisión competitiva.
  • En DroneVehicle, la variante solo IR de YOLOv12 alcanzó un 84.7% de mAP50, superando a WaveMamba por una ganancia absoluta de +4.9%, con mejoras notables en la detección de objetos pequeños (por ejemplo, coches, autobuses).
  • En M3FD, el método demostró robustez en los subconjuntos de noche y desafíos, donde la visibilidad RGB está severamente comprometida.
• Eficiencia: InfraNet-IR mantiene una alta eficiencia en la inferencia solo IR, eliminando la rama RGB y los módulos de fusión por completo durante el despliegue.
• Estudios de Ablación: Los experimentos confirmaron que tanto la rama de supresión RGB como la de amplificación IR de QualGate son necesarias; eliminar cualquiera de las dos provoca caídas en el rendimiento. Se demostró que la puntuación de control $q$ aprendida se adapta eficazmente a las degradaciones controladas del RGB (niebla, brillo) sin necesidad de anotaciones de calidad explícitas.

5. Significado y Reivindicaciones

El artículo afirma que InfraNet aborda el problema de larga data de la falta de fiabilidad del RGB en condiciones adversas, cambiando el paradigma de la "fusión equitativa" al de "guía consciente de la calidad centrada en IR".

• Robustez: Al suprimir las pistas RGB no fiables y amplificar las características IR, el método evita la contaminación de las representaciones IR, lo que conduce a una detección más estable en condiciones de baja luz y clima adverso.
• Flexibilidad de Despliegue: A diferencia de los métodos de fusión existentes que requieren entrada de doble modalidad durante la inferencia, InfraNet-IR ofrece una solución práctica para escenarios donde los sensores RGB no están disponibles o están corrompidos, logrando una alta precisión sin el costo computacional de mantener una arquitectura de doble flujo en tiempo de ejecución.
• Eficiencia: El marco demuestra que la supervisión auxiliar durante el entrenamiento puede aumentar significamente el rendimiento solo con IR sin incurrir en sobrecarga de despliegue, lo que lo hace adecuado para aplicaciones con recursos limitados como la conducción autónoma y la vigilancia mediante UAV.