Progressive Pixel-Neighborhood Deformable Cross-Attention for Multispectral Object Detection

Resumen Técnico: Atención Cruzada Deformable de Vecindad de Píxeles Progresiva para la Detección de Objetos Multiespectral

Declaración del Problema
La detección de objetos multiespectrales, que fusiona imágenes visibles (RGB) e infrarrojas térmicas (TIR), enfrenta dos desafíos principales: el débil desalineamiento espacial entre las modalidades y el alto costo computacional de la interacción global de características.

1. Desalineamiento Débil: Debido al desplazamiento de los sensores, errores de calibración y diferencias en los campos de visión, las imágenes visibles y térmicas suelen presentar desplazamientos espaciales no lineales. Los métodos de fusión convencionales que asumen un registro estricto a nivel de píxel sufren de fantasmagoría de características (feature ghosting), bordes difusos y sesgo de localización.
2. Eficiencia Computacional: Aunque las arquitecturas basadas en Transformers (p. ej., ICAFusion) ofrecen un fuerte modelado de largo alcance mediante atención cruzada global, su complejidad computacional escala cuadráticamente con la resolución de la imagen ($O((HW)^2)$). Esto impone una sobrecarga de memoria prohibitiva y limita el despliegue en plataformas con recursos limitados. Además, la atención global suele introducir ruido de fondo irrelevante, diluyendo el poder discriminativo de los objetivos salientes.

Metodología: PNAFusion
Los autores proponen PNAFusion (Atención Cruzada Deformable de Vecindad de Píxeles Progresiva), un marco diseñado para equilibrar la precisión de la alineación con la eficiencia de la memoria. La arquitectura consta de un backbone de doble flujo para la extracción de características, seguido de una etapa de fusión iterativa y un cabezal de detección. Las innovaciones centrales son:

1. Atención Cruzada de Vecindad de Píxeles (PNCA):

   • En lugar de un emparejamiento global, la PNCA restringe la interacción transmodal a una vecindad local de $k \times k$ alrededor de cada píxel de consulta (query).
   • Esto reduce la complejidad dominante de la atención de $O((HW)^2)$ a $O(HWk^2)$, disminuyendo significativamente el consumo de memoria y los FLOPs.
   • Suprime el ruido de fondo al evitar el emparejamiento global irrelevante, enfocando la interacción en regiones locales semánticamente relevantes.

2. Alineación Deformable Adaptativa (ADA):

   • Para abordar los desplazamientos espaciales no lineales, la ADA predice desplazamientos de muestreo conscientes del contenido (content-aware sampling offsets) para la modalidad de clave-valor (p. ej., TIR) basándose en la modalidad de consulta (p. ej., RGB).
   • Utilizando una red de desplazamiento aprendida, la ADA realiza un muestreo bilinear deformable para alinear las características antes del cálculo de la atención.
   • Crucialmente, estos desplazamientos están restringidos dentro de la vecindad local, corrigiendo el desalineamiento local sin realizar un muestreo global arbitrario.

3. Mecanismo de Retroalimentación Iterativa:

   • El marco emplea un bucle recurrente donde los bloques de doble flujo PNDCA (PNCA + ADA) se apilan y ejecutan iterativamente ($N$ veces).
   • Este refinamiento progresivo permite al modelo corregir recursivamente los errores de alineación residual y profundizar la interacción semántica, utilizando la salida de una iteración como la previa para la siguiente.

4. Fusión Ligera:

   • Tras el refinamiento iterativo, los flujos de características alineados se concatenan y comprimen mediante un módulo Network-in-Network (NiN) (convolución de $1 \times 1$) antes del cabezal de detección, evitando interacciones espaciales costosas adicionales.

Contribuciones Clave

• Diseño del Marco: Introducción de PNAFusion, que aborda explícitamente el compromiso entre la precisión de la alineación transmodal y la escalabilidad de memoria/FLOPs en la fusión de características de alta resolución, en lugar de reclamar una ventaja de latencia estricta.
• Módulos Novedosos:
  • ADA: Aprende desplazamientos conscientes del contenido para compensar el desalineamiento espacial no lineal local.
  • PNCA: Restringe la interacción transmodal a una vecindad de $k \times k$, reduciendo la complejidad de $O((HW)^2)$ a $O(HWk^2)$.
• Refinamiento Iterativo: Demuestra que un mecanismo de retroalimentación progresiva maneja mejor el desalineamiento débil que simplemente aumentar la profundidad de la red.

Resultados Experimentales
El método fue evaluado en tres bancos de datos: FLIR, M3FD y DroneVehicle.

• Precisión:
  • En FLIR, PNAFusion logró 84.2 mAP@0.5 (YOLOv5) y 86.8 mAP@0.5 (Co-DETR).
  • En M3FD, alcanzó 90.5 mAP@0.5 (YOLOv5) y 90.8 mAP@0.5 (Co-DETR).
  • En DroneVehicle, logró 85.5 mAP@0.5.
  • Notablemente, el método mostró ganancias significativas en mAP@0.75, lo que indica una mejora en la precisión de la localización y una reducción de la fantasmagoría de características.
• Eficiencia:
  • Comparado con la línea base de atención cruzada global (ICAFusion), PNAFusion redujo la memoria GPU asignada en un 33.0% (de 775.09 MB a 519.61 MB).
  • Los FLOPs teóricos se redujeron de 194.8 G a 156.4 G.
  • Compromiso de Latencia: Los autores reconocen que, debido al muestreo deformable y al refinamiento iterativo, la latencia absoluta de inferencia aumentó (p. ej., 36.80 ms frente a 25.67 ms para ICAFusion en una RTX 4090D). Por lo tanto, el beneficio se enmarca como un compromiso entre precisión y memoria/FLOPs en lugar de una ventaja de velocidad.

Significancia y Reclamaciones
El artículo afirma que PNAFusion proporciona una solución práctica para la detección de objetos multiespectrales débilmente alineados al:

1. Corregir el Desalineamiento Local: Manejar eficazmente los desplazamientos espaciales no lineales mediante el muestreo deformable consciente del contenido dentro de una vecindad restringida.
2. Optimizar el Uso de Recursos: Lograr una alta precisión de detección reduciendo sustancialmente la huella de memoria y el costo computacional en comparación con los mecanismos de atención global, haciéndolo más adecuado para plataformas con recursos limitados.
3. Mejorar la Robustez: Mejorar la completitud de la detección y la localización de bordes en condiciones desafiantes (poca luz, deslumbramiento, desorden) mediante la supresión de la activación de fondo irrelevante.

Los autores señalan modestamente las limitaciones, incluyendo la falta de una verdad de campo (ground truth) de alineación de píxeles densos para la evaluación directa de desplazamientos, la ausencia de etiquetas oficiales de día/noche en los conjuntos de datos públicos para el análisis de iluminación específico, y la ineficiencia de hardware en los patrones de acceso a memoria irregulares del muestreo deformable en ciertas plataformas. Se sugiere que el trabajo futuro se centre en el muestreo deformable amigable con el hardware y la supervisión de desplazamiento explícita.