Automatic Labelling for Low-Light Pedestrian Detection

Resumen Técnico: Etiquetado Automático para la Detección de Peatones en Condiciones de Baja Luz

1. Planteamiento del Problema

La detección de peatones es fundamental para la seguridad en vehículos autónomos y sistemas avanzados de asistencia al conductor (ADAS). Sin embargo, las condiciones de baja luz o nocturnas representan un desafío crítico:

• Limitaciones de los sensores RGB: Las cámaras RGB, el sensor más común en vehículos, sufren una drástica reducción en su precisión debido a la falta de luz, el bajo contraste y el ruido.
• Escasez de datos etiquetados: La creación de conjuntos de datos de baja luz requiere un etiquetado manual intensivo y costoso, lo que limita el entrenamiento de modelos robustos.
• Riesgo de accidentes: Las estadísticas indican que la probabilidad de un accidente fatal durante la noche es nueve veces mayor que durante el día.

El objetivo de esta investigación es superar la necesidad de intervención humana en el etiquetado de datos para baja luz, aprovechando la invariancia a la iluminación de las cámaras infrarrojas (IR).

2. Metodología Propuesta

Los autores proponen una pipeline de etiquetado automático de IR a RGB que consta de tres etapas principales (ilustrada en la Fig. 1 del artículo):

1. Detección en Infrarrojos (IR):
   • Se utiliza un modelo de detección de peatones pre-entrenado y ajustado finamente (fine-tuned) con datos de IR diurnos.
   • Dado que la radiación IR emitida por los cuerpos humanos es invariante a la luz visible y el contraste entre peatones y fondo es mayor por la noche, el modelo detecta peatones en imágenes IR de baja luz con alta fiabilidad.
2. Transferencia de Etiquetas:
   • Las cajas delimitadoras (bounding boxes) detectadas en el marco IR se transfieren directamente a la imagen RGB correspondiente.
   • Este proceso es posible gracias a la calibración y alineación de los sensores (en el conjunto de datos KAIST, se utiliza un divisor de haz para alinear los puntos principales de las cámaras IR y RGB), permitiendo una transferencia directa de coordenadas sin necesidad de transformaciones complejas de perspectiva.
3. Entrenamiento del Modelo RGB:
   • Se entrena un modelo de detección de objetos para imágenes RGB (en condiciones de baja luz) utilizando las etiquetas generadas automáticamente a partir de los datos IR.
   • El modelo final resultante es 100% basado en RGB, eliminando la necesidad de sensores IR en el despliegue final.

3. Contribuciones Clave

• Pipeline Automatizada Escalable: Se presenta un flujo de trabajo que elimina completamente el esfuerzo humano en el etiquetado, requiriendo solo la recolección de datos.
• Validación en Múltiples Arquitecturas: El método se evaluó utilizando tres arquitecturas de detección de objetos distintas: YOLOv11, Faster RCNN y DETR (transformadores).
• Análisis de Umbrales de Confianza: Se investigó el impacto de diferentes umbrales de confianza (0.25 y 0.5) en la generación de etiquetas y el rendimiento final del modelo.
• Código Abierto: El código fuente y la metodología están disponibles públicamente para fomentar la reproducibilidad.

4. Resultados Experimentales

El estudio se realizó utilizando el conjunto de datos KAIST Multi-spectral Pedestrian Detection Benchmark. Se compararon modelos entrenados con etiquetas generadas automáticamente (autolabels) frente a modelos entrenados con etiquetas de verdad fundamental (ground truth) manual.

• Rendimiento Superior: En la evaluación con secuencias de imágenes no vistas, los modelos entrenados con etiquetas automáticas superaron a los entrenados con ground truth en:
  • 5 de 6 casos en las métricas mAP@50 y LAMR (Tasa Promedio de Fallos Logarítmica).
  • Todos los casos (6/6) en la métrica mAP@50-95.
• Mejor Arquitectura: El modelo DETR entrenado con etiquetas automáticas generadas con un umbral de confianza de 0.25 obtuvo el mejor rendimiento global.
• Efecto del Umbral de Confianza:
  • Un umbral más bajo (0.25) generó más etiquetas (mayor recall) y, paradójicamente, mejoró el rendimiento general del modelo RGB en comparación con el umbral de 0.5.
  • Esto sugiere que incluir más datos, incluso con cierta incertidumbre, beneficia el entrenamiento en baja luz más que filtrar estrictamente solo las detecciones más seguras.
• Filtrado de Casos Difíciles: Se observó que las etiquetas automáticas tienden a ignorar peatones extremadamente ocultos o apenas visibles (que sí están etiquetados en el ground truth manual). Esto actúa como un filtro de "ruido", evitando que el modelo aprenda de ejemplos donde las características visuales son insuficientes, lo que podría explicar por qué el rendimiento supera al ground truth en algunos casos.

5. Significado e Impacto

• Viabilidad del Etiquetado Automático: El estudio demuestra que el etiquetado automático basado en sensores IR es una estrategia viable y efectiva para generar grandes conjuntos de datos de entrenamiento para baja luz, logrando un rendimiento igual o superior al etiquetado manual.
• Despliegue Práctico: Aunque la recolección de datos requiere un vehículo equipado con cámaras IR y RGB calibradas (lo cual es costoso), el modelo final entrenado solo necesita una cámara RGB estándar, que es común en la mayoría de los vehículos modernos.
• Escalabilidad: La metodología permite la creación masiva de datasets para baja luz, un área donde la falta de datos ha sido un cuello de botella histórico.
• Futuro: Los autores sugieren que este enfoque puede extenderse a otras tareas de visión por computadora en baja luz, como la estimación de la postura (pose estimation) y la predicción de intenciones de cruce de peatones.

En conclusión, la investigación ofrece una solución técnica robusta para el problema de la detección de peatones en la oscuridad, demostrando que la fusión de datos de sensores (IR para etiquetado, RGB para inferencia) puede superar las limitaciones de los datos manuales y mejorar la seguridad vial.