💻 ciencias de la computación

Lightweight Real-Time RGB-IR Pedestrian Detection Based on DoG Detail Enhancement and Region-Guided Attention

Este artículo propone DRGF-YOLOv10n, un método de detección de peatones RGB-IR en tiempo real y ligero que integra un DualBranchStem con mejora de detalles DoG y Atención Espacial Guiada por Región para mejorar la precisión y la robustez en entornos complejos manteniendo una alta velocidad de inferencia.

Autores originales: LinXi Zhong, Zhaohui Xiao

Publicado 2026-10-14

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: LinXi Zhong, Zhaohui Xiao

Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

En el mundo de la visión artificial, las máquinas aprenden constantemente a ver, pero a menudo luchan con las mismas limitaciones que aquejan a los ojos humanos en condiciones difíciles. Una cámara que depende únicamente de la luz visible, el tipo que usamos todos los días, puede confundirse fácilmente por la oscuridad, la lluvia intensa o el resplandor cegador, lo que provoca que pase por alto a personas paradas en las sombras. Por el contrario, las cámaras que detectan el calor, conocidas como sensores infrarrojos, pueden detectar un cuerpo cálido en la oscuridad total, pero a menudo no logran mostrar cómo es ese cuerpo, representándolo como una mancha borrosa y sin textura. Para resolver esto, los investigadores han intentado durante mucho tiempo combinar estos dos tipos de visión, con la esperanza de fusionar los detalles nítidos de una foto estándar con el poder de detección de calor de una cámara térmica. El desafío radica en enseñar a una computadora a mezclar estos dos flujos de información tan diferentes sin perder las fortalezas específicas de cada uno, todo ello manteniendo el sistema lo suficientemente rápido como para ejecutarse en tiempo real en una computadora portátil o una cámara de seguridad.

Un equipo de investigadores de la Universidad Tecnológica de Chongqing ha desarrollado un nuevo enfoque para este problema, creando un sistema diseñado para detectar peatones con alta fiabilidad incluso en entornos desordenados y complejos. Su método, basado en un marco de detección ligero, trata la imagen de luz visible y la imagen de calor como dos flujos de información separados desde el principio, en lugar de aplastarlos juntos inmediatamente. Descubrieron que al mantener estas dos vistas distintas para el procesamiento inicial, la computadora puede comprender mejor la textura y los bordes de una persona de la luz visible mientras rastrea simultáneamente su firma de calor. Esta estrategia de doble flujo evita que el sistema se confunda por las diferencias entre los dos tipos de imágenes, permitiéndole construir una imagen mucho más clara de quién está en la escena.

Para hacer que la imagen de luz visible sea aún más útil, los investigadores añadieron un paso específico antes de que la computadora comience su análisis principal. Aplicaron una técnica que actúa como un filtro de nitidez, diseñado específicamente para resaltar los contornos y bordes de los objetos. Este proceso hace que los detalles finos de la ropa de una persona o la curva de un hombro destaquen más claramente contra un fondo saturado, compensando el hecho de que la cámara de calor a menudo carece de estos detalles finos. Al alimentar el sistema con esta imagen mejorada y más nítida junto con los datos de calor brutos, la computadora obtiene un conjunto de pistas más rico con el cual trabajar, lo que facilita distinguir a una persona real de un parche confuso de ruido de fondo.

El sistema también incluye un mecanismo de enfoque inteligente que entra en juego después de que la computadora ha procesado las imágenes hasta cierta profundidad. En lugar de intentar prestar atención a cada parte de la imagen por igual, lo que desperdiciaría potencia de cómputo, este mecanismo aprende a ignorar los detalles irrelevantes del fondo, como árboles, cercas o sombras. Concentra su energía específicamente en las áreas donde es probable que haya una persona, aumentando efectivamente el volumen del peatón y bajando el volumen al resto del mundo. Esta atención selectiva ayuda al sistema a evitar falsas alarmas, asegurando que cuando señala una detección, tiene una alta confianza en que realmente hay una persona allí.

Cuando se probó en un conjunto de datos estándar que contiene imágenes emparejadas de luz visible e infrarroja de peatones, el nuevo sistema mostró una mejora significativa en la precisión en comparación con métodos anteriores. Logró una puntuación de precisión de 0.9204, lo que significa que cuando el sistema decía que veía a una persona, era correcto más del 92 por ciento de las veces. Si bien el sistema perdió algunos objetivos distantes o muy pequeños, lo que resultó en una tasa más baja de capturar a todas las personas, su capacidad para evitar falsas alarmas fue su punto más fuerte. Los investigadores señalaron que el sistema funciona a una velocidad de aproximadamente 31 fotogramas por segundo en una tarjeta gráfica de una computadora portátil estándar, lo cual es lo suficientemente rápido para el monitoreo de video en tiempo real.

Los autores sugieren que esta herramienta no está destinada necesariamente a ser la primera línea de defensa en un sistema de seguridad, sino más bien una segunda opinión altamente confiable. En una configuración de vigilancia típica, un primer detector podría escanear una transmisión de video y marcar muchos objetivos potenciales para asegurar que no se pase nada por alto, incluso si marca algunos objetos inofensivos por error. Este nuevo sistema actuaría entonces como un paso de verificación, reexaminando esas áreas marcadas con su realce de bordes y atención enfocada para confirmar cuáles son realmente personas. Este enfoque de dos etapas permite que los sistemas de seguridad mantengan altos estándares de seguridad sin verse abrumados por alertas incorrectas constantes, lo que lo hace particularmente valioso para el monitoreo nocturno o áreas donde las falsas alarmas son costosas y disruptivas.

Resumen Técnico: Detección de Peatones RGB-IR en Tiempo Real y Ligera Basada en el Realce de Detalles DoG y Atención Guiada por Región

Planteamiento del Problema
La detección de peatones es crítica para la vigilancia inteligente y la conducción autónoma, pero enfrenta desafíos significativos en entornos complejos. La detección de un solo modo RGB tiene dificultades con la baja iluminación, el contraluz y los fondos desordenados, mientras que la detección de un solo modo Infrarrojo (IR) carece de texturas y detalles de límites semánticos a pesar de sus ventajas de saliencia térmica. Los enfoques de fusión multimodal existentes suelen depender de arquitecturas pesadas o de una simple concatenación de canales, lo que puede fallar al preservar las características específicas de cada modalidad o al intentar cumplir con los requisitos de inferencia en tiempo real. Además, los mecanismos de atención estándar pueden ser computacionalmente costosos o pueden suprimir inadvertidamente detalles locales útiles cuando se aplican demasiado pronto en la red.

Metodología
El artículo propone DRGF-YOLOv10n, un marco de detección de peatones ligero y en tiempo real construido sobre la arquitectura YOLOv10n. El método integra tres componentes principales para abordar las limitaciones de la detección de un solo modo y las estrategias de fusión complejas:

Estructura de Entrada DualBranchStem:
En lugar de concatenar los canales RGB e IR en una única entrada de seis canales para la convolución estándar, los autores introducen un DualBranchStem. Este módulo procesa las imágenes RGB e IR a través de ramas paralelas separadas en la etapa inicial. La rama RGB extrae características de textura, bordes y contornos, mientras que la rama IR extrae información de saliencia térmica. Estas características se fusionan solo después de la extracción inicial, preservando las características distintivas de cada modalidad antes de combinarlas para la red de soporte (backbone).
Realce de Detalles DoG (Preprocesamiento):
Para compensar la limitada textura y los detalles de los límites en las imágenes IR y para fortalecer la percepción de la rama RGB de objetivos débiles, se aplica una operación de Diferencia de Gaussianas (DoG) durante la etapa de preprocesamiento de los datos RGB.
- La operación se formula como un realce residual: $I_{rgb\_dog} = I_{rgb} + \alpha \cdot (G_{\sigma1}(I_{rgb}) - G_{\sigma2}(I_{rgb}))$ , donde $\alpha = 0.025$ .
- Este paso resalta los bordes de alta frecuencia y las variaciones estructurales locales sin alterar las características de saliencia térmica de la entrada IR. Se aplica como un paso de preprocesamiento fijo, no como una capa aprendible dentro de la red.
Atención Espacial Guiada por Región (RG-SA):
Un módulo ligero de Atención Espacial Guiada por Región (RG-SA) se integra en la octava capa del backbone de YOLOv10n (una etapa semántica profunda).
- Mecanismo: El módulo utiliza un Módulo de Guía de Región (RGM) para comprimir las características de entrada en características regionales de baja resolución ( $X_r$ ). Luego genera la Consulta ( $Q$ ) a partir de las características de alta resolución originales y la Clave/Valor ( $K, V$ ) a partir de las características regionales.
- Racional: Al utilizar características regionales de baja resolución para $K$ y $V$ , el módulo reduce la complejidad computacional en comparación con la autoatención global. Colocarlo en la capa profunda asegura que el mecanismo de atención opere sobre información semántica rica en lugar de ruido de textura superficial, fortaleciendo efectivamente las regiones relacionadas con peatones mientras se suprimen las interferencias del fondo.

Contribuciones Clave
Los autores resumen sus contribuciones de la siguiente manera:

DualBranchStem: Una estructura de entrada de doble rama que extrae por separado la textura-borde RGB y la saliencia térmica IR, mitigando las limitaciones de la detección de un solo modo y evitando los inconvenientes de la mezcla superficial temprana.
Integración de RG-SA: La incorporación de un mecanismo de atención ligero guiado por región en la rama RGB profunda para mejorar las respuestas de la región del peatón y suprimir la interferencia del fondo.
Realce de Detalles DoG: La introducción de una estrategia de preprocesamiento basada en DoG para la rama RGB con el fin de reforzar los bordes locales y los detalles de los contornos, abordando la degradación de detalles causada por fondos complejos.

Resultados Experimentales
Los experimentos se realizaron en el conjunto de datos de peatones RGB-IR CVC-14 utilizando una GPU de portátil NVIDIA RTX 5060.

Rendimiento: El DRGF-YOLOv10n propuesto logró una Precisión de 0.9204, un Recall de 0.1912, un mAP50 de 0.5231 y un mAP50-95 de 0.2361.
Comparaciones: El modelo superó a las líneas base de un solo modo (solo RGB y solo IR) y a una línea base simple de concatenación de seis canales. También demostró una Precisión y mAP superiores en comparación con otras estrategias de fusión como CBAM-6ch y SE-6ch Fusion, a pesar de tener un tamaño de modelo menor (32.01 MB).
Eficiencia: El modelo mantiene un rendimiento en tiempo real con 2.894M de parámetros, 1.908 GFLOPs y una latencia de inferencia de 31.47 ms (aprox. 31.78 FPS), satisfaciendo el requisito de 25–30 FPS para vigilancia por video.
Ablación: Se encontró que eliminar las aumentaciones de datos fuertes (por ejemplo, Mosaic, MixUp) era crucial, ya que estas podrían amplificar las texturas del fondo local y contrarrestar los beneficios del realce DoG.

Significado y Posicionamiento
El artículo posiciona explícitamente al DRGF-YOLOv10n no como un detector de alto recall independiente para todo el flujo de detección, sino como un módulo de verificación de alta confianza post-etapa para sistemas de vigilancia sensibles a las falsas alarmas.

Alta Precisión, Menor Recall: El modelo exhibe una alta precisión pero un recall más bajo, lo que indica una tendencia a emitir solo objetivos de alta confianza. Esta característica se aprovecha para filtrar los falsos positivos generados por un detector de etapa frontal (que utiliza un umbral más bajo para asegurar un alto recall).
Escenario de Aplicación: Los autores sugieren un despliegue en cascada donde un detector de etapa frontal identifica regiones candidatas, y el DRGF-YOLOv10n realiza una verificación secundaria para filtrar falsas alarmas causadas por sombras, fuentes de calor u objetos no humanos. Este enfoque es particularmente adecuado para escenarios donde las falsas alarmas son costosas, como la detección de intrusión en parques industriales, el monitoreo de almacenes nocturnos y la seguridad perimetral.
Perspectiva Futura: Los autores reconocen que el modelo todavía tiene dificultades con objetivos distantes, de pequeña escala o fuertemente ocluidos. El trabajo futuro puede centrarse en mejorar el recall mediante un mejor alineamiento transmodal y estrategias de fusión dinámica, pero la contribución actual se enmarca como una solución robusta para refinar la fiabilidad de la detección en entornos complejos y en tiempo real.

Más como este