MobileRACMA: Reliability-Aware Cross-Modal Attention for Efficient RGB–Thermal Monocular Depth Measurement on Edge Platforms

Resumen Técnico: MobileRACMA

Planteamiento del Problema
La estimación de profundidad monocular es una capacidad crítica para la instrumentación inteligente, que sustenta aplicaciones que van desde la navegación robótica hasta los dispositivos de asistencia. Aunque el aprendizaje profundo ha avanzado en la estimación de profundidad basada únicamente en RGB, estos sistemas siguen siendo frágiles ante la degradación fotométrica, como la niebla, la lluvia, la baja iluminación, el desenfoque por movimiento y el ruido del sensor. La imagen infrarroja térmica ofrece una modalidad complementaria que captura la radiación emitida en lugar de la luz reflejada, manteniendo su utilidad en condiciones adversas. Sin embargo, la fusión ingenua de datos RGB y térmicos introduce desafíos significativos: aumento del coste computacional, potencial inestabilidad cuando un sensor se degrada y una falta de garantías formales de que el intercambio de información transmodal permanezca acotado. Los mecanismos de fusión existentes suelen fallar al no restringir explícitamente la influencia transmodal, lo que conlleva el riesgo de saturación de la atención o "colapso modal", donde un sensor con ruido corrompe la salida fusionada. Además, muchas arquitecturas multimodales son demasiado costosas computacionalmente para el despliegue en tiempo real en GPUs de borde (edge) de consumo.

Metodología
El artículo propone MobileRACMA (Atención Transmodal Consciente de la Fiabilidad), una arquitectura ligera diseñada para la medición eficiente de la profundidad RGB–térmica en plataformas de borde. El marco de trabajo se basa en tres principios fundamentales: fusión consciente de la fiabilidad, influencia transmodal acotada y eficiencia desplegable.

1. Arquitectura: El modelo utiliza codificadores ligeros y paralelos para las entradas RGB y térmica, empleando convoluciones separables en profundidad para minimizar la carga computacional. Un decodificador compacto reconstruye el mapa de profundidad métrica densa.
2. Rama de Estimación de Fiabilidad: Una rama dedicada y ligera predice mapas de fiabilidad por píxel ($R_R$ y $R_T$) para ambas modalidades. Estos mapas, restringidos al intervalo $[0, 1]$ mediante una activación sigmoide, indican la confiabilidad local de las características para la estimación de la profundidad.
3. Módulo RACMA: La innovación central es el módulo de Atención Transmodal Consciente de la Fiabilidad (RACMA). En lugar de la atención cruzada estándar, RACMA calcula un sesgo de fiabilidad con signo definido como $R_{bias} = \lambda(R_T - R_R)$, donde $0 < \lambda < 1$. Este sesgo se añade a las puntuaciones de atención antes de la operación softmax.
   • Si la fiabilidad térmica supera la fiabilidad RGB, el sesgo fomenta la contribución térmica.
   • Si el RGB es más fiable, la influencia térmica se suprime.
   • Crucialmente, la magnitud de esta influencia está estrictamente acotada por $\lambda$.
4. Garantía Teórica: Los autores proporcionan una prueba formal (Teorema 1) que demuestra que, para todas las entradas admisibles, el sesgo con signo satisface $|R_{bias}| < \lambda < 1$. Esto asegura que el mecanismo de atención no crezca sin control, previniendo teóricamente la saturación de la atención y el colapso modal durante la operación degradada.
5. Entrenamiento Consciente de la Degradación: La estrategia de entrenamiento expone a la red a seis clases de corrupción sintética (baja iluminación, niebla, lluvia, desenfoque, ruido, pérdida de contraste) aplicadas de forma independiente a los flujos RGB y térmicos. Este enfoque de aprendizaje por currículo obliga a la rama de fiabilidad a aprender la calidad local del sensor en lugar de memorizar preferencias fijas de la modalidad.

Contribuciones Clave

• Arquitectura MobileRACMA: Un marco de estimación de profundidad RGB–térmica ligero diseñado específicamente para el despliegue en el borde, utilizando backbones de convolución separable en profundidad para restringir el coste computacional a 1.73 GFLOPs.
• Módulo RACMA: Un novedoso mecanismo de atención transmodal acotado que regula el intercambio de características utilizando puntuaciones de fiabilidad por píxel, asegurando que ninguna modalidad pueda dominar el proceso de fusión de forma incontrolada.
• Prueba de Estabilidad Formal: Una demostración teórica de que el sesgo de fiabilidad con signo está acotado por $\lambda$, proporcionando una garantía contra la inestabilidad asociada frecuentemente a los mecanismos de atención no restringidos en la fusión multimodal.
• Protocolo de Evaluación Exhaustivo: Un protocolo experimental propuesto que cubre el rendimiento en benchmarks limpios, robustez bajo degradación, estudios de ablación, validación estadística, transferencia entre conjuntos de datos y evaluación de latencia en el borde.

Resultados (Marcador Sintético)
Nota: El artículo establece explícitamente que todos los valores numéricos presentados son marcadores sintéticos generados para el desarrollo del manuscrito y deben ser reemplazados por datos experimentales reales antes de la entrega.

Utilizando estos valores ilustrativos en el conjunto de datos NYU Depth V2, MobileRACMA logró:

• RMSE: 0.342 m
• Precisión $\delta_1$: 0.897
• SSIM: 0.924
• Rendimiento en el Borde: 45 FPS en una GPU NVIDIA MX250 de 2 GB con una latencia mediana de 26 ms.

El modelo superó a siete variantes de ablación (incluyendo "Sin Fiabilidad", "Sin Límite" y "Fusión Estándar") y a cinco baselines ligeros (p. ej., FastDepth, MobileViT-Depth). En las pruebas de transferencia entre conjuntos de datos en DIODE y las evaluaciones cualitativas de cero disparos (zero-shot) en LLVIP, el modelo mantuvo un ranking superior, lo que sugiere que la fusión consciente de la fiabilidad aprende a seleccionar claves localmente útiles en lugar de memorizar apariencias específicas de un conjunto de datos. El análisis de robustez indicó que MobileRACMA redujo significamente el incremento de errores bajo condiciones de baja iluminación y niebla en comparación con las variantes de solo RGB.

Significado y Reivindicaciones
El artículo afirma que MobileRACMA aborda la brecha entre la alta precisión de la fusión multimodal y las estrictas restricciones de la instrumentación en el borde. Al demostrar que la fusión de fiabilidad acotada puede mejorar la robustez sin sacrificar la eficiencia, este trabajo ofrece una dirección práctica para el despliegue de sensores de profundidad en entornos reales degradados. Los autores enfatizan que la naturaleza acotada del sesgo de atención proporciona un nivel de estabilidad y explicabilidad que suele faltar en la fusión convencional basada en atención, haciendo que el sistema sea más adecuado para la instrumentación de seguridad crítica donde las mediciones deben permanecer estables bajo la degradación de los sensores.

Los autores concluyen con un descargo de responsabilidad modesto: el presente manuscrito sirve como una propuesta estructural y teórica. Las métricas de rendimiento específicas son marcadores de posición, y la validez de las afirmaciones relativas a la robustez y la eficiencia depende de la regeneración exitosa de estos resultados utilizando datos experimentales reales y alineaciones de sensores reales antes de la entrega a la revista.