Contrastive-SDXL: Annotation-Preserving Night-Time Augmentation for Pedestrian Detection

A continuación se presenta un resumen técnico detallado del artículo "Contrastive-SDXL: Augmentación Nocturna que Preserva la Anotación para la Detección de Peatones".

Planteamiento del Problema

La detección de peatones nocturna es un desafío crítico para los vehículos autónomos y los Sistemas Avanzados de Asistencia a la Conducción (ADAS). Aunque los detectores funcionan bien en condiciones diurnas, su fiabilidad se degrada significativamente en entornos de poca luz debido a la visibilidad reducida, el deslumbramiento, el ruido y las grandes diferencias de iluminación. La recopilación y anotación de conjuntos de datos nocturnos a gran escala es costosa y difícil de escalar.

La augmentación de dominio cruzado ofrece una alternativa al traducir imágenes diurnas etiquetadas a imágenes de estilo nocturno, permitiendo la reutilización de las anotaciones originales. Sin embargo, los métodos existentes de traducción imagen-a-imagen basados en difusión suelen priorizar el realismo perceptual sobre la preservación de detalles específicos a nivel de objeto. En tareas críticas para la seguridad como la detección de peatones, si una traducción distorsiona, elimina o desplaza a un peatón, las anotaciones de cajas delimitadoras heredadas se vuelven poco fiables, lo que potencialmente hace que el detector aguas abajo aprenda señales incorrectas. Existe una brecha en el uso de Modelos de Difusión Latente (LDM) para augmentación que garantice explícitamente la preservación de peatones pequeños, ocluidos y en entornos concurridos, necesarios para un entrenamiento válido de detección.

Metodología: Contrastive-SDXL

Los autores proponen Contrastive-SDXL, un marco de augmentación de día a noche construido sobre SDXL-Turbo y ajustado finamente utilizando Adaptación de Bajo Rango (LoRA). El marco está diseñado para traducir imágenes diurnas a imágenes nocturnas realistas mientras preserva estrictamente la estructura semántica y la integridad de los peatones.

El método se guía por cuatro objetivos complementarios y una tubería de curación de datos en dos etapas:

1. Esqueleto del Generador y Adaptación Eficiente:

   • El marco utiliza SDXL-Turbo, un modelo de difusión latente preentrenado de un solo paso, como esqueleto del generador.
   • Para adaptar el modelo al dominio nocturno sin un reentrenamiento completo, se aplica LoRA a las capas de atención cruzada del UNet, a los MLP de transformadores, a las capas convolucionales y a las capas del codificador/decodificador VAE.
   • Se conservan las conexiones de salto codificador-decodificador para preservar la estructura espacial de grano fino.

2. Supervisión Contrastiva Semántica por Parches (Guiada por DINOv2):

   • A diferencia de los métodos de traducción no emparejados anteriores (por ejemplo, PSCUT) que dependen de características del codificador del generador (que pueden ser inestables en modelos de difusión debido al ruido estocástico), Contrastive-SDXL utiliza un codificador DINOv2 preentrenado y congelado.
   • Este codificador externo extrae características semánticas multinivel tanto de las imágenes fuente (día) como de las traducidas (noche).
   • Se calculan dos pérdidas sobre estas características:
     • Pérdida de Consistencia de Relaciones Semánticas (SRC): Preserva las relaciones semánticas relativas entre parches en la imagen fuente y sus contrapartes en la imagen traducida utilizando la divergencia de Jensen-Shannon.
     • Pérdida Contrastiva de Negativos Difíciles (hDCE): Acerca los parches fuente y traducidos correspondientes mientras aleja los parches no coincidentes pero semánticamente similares para imponer distintividad.

3. Pérdida de Consistencia de Objetos Guiada por Detector:

   • Para asegurar explícitamente que los peatones permanezcan detectables, se utiliza un detector YOLO11 preentrenado (ajustado finamente en EuroCity Persons) como supervisor fijo.
   • El generador minimiza una pérdida de detección ($L_{det}$) calculada en la imagen traducida frente a las anotaciones originales de cajas delimitadoras diurnas. Esto penaliza las traducciones donde los peatones se distorsionan, borran o desalinean, asegurando que las anotaciones originales sigan siendo válidas.

4. Alineación Adversarial y Regularización de Identidad:

   • Una pérdida adversarial ($L_{adv}$) con un discriminador aumentado por características de CLIP asegura que las imágenes generadas se alineen con la distribución estadística de escenas nocturnas reales.
   • Una pérdida de identidad ($L_{idt}$) alienta al modelo a realizar cambios mínimos en las imágenes que ya están en el dominio objetivo.

5. Tubería de Curación de Datos en Dos Etapas:

   • Para garantizar la fiabilidad de los datos sintéticos, se aplica un proceso de filtrado antes de entrenar los detectores:
     • Etapa 1 (Fidelidad): Filtra las traducciones donde la similitud de características DINOv2 entre fuente y objetivo cae por debajo de un umbral (0.95), asegurando la fidelidad semántica.
     • Etapa 2 (Preservación de Peatones): Utiliza un clasificador binario basado en YOLOv8 para verificar que los parches de peatones recortados de la imagen traducida (en las ubicaciones originales de anotación) sigan siendo clasificados como peatones. Las imágenes que fallan esta verificación se descartan.

Contribuciones Clave

• Investigación de LDM: El trabajo evalúa Modelos de Difusión Latente preentrenados como herramientas de augmentación de dominio cruzado para la detección de peatones nocturna crítica para la seguridad.
• Marco Contrastive-SDXL: Propone un marco novedoso de traducción de día a noche utilizando SDXL-Turbo y LoRA, guiado por aprendizaje contrastivo semántico por parches basado en DINOv2 en lugar de características del generador.
• Pérdida de Consistencia de Objetos: Introduce una pérdida guiada por detector para imponer explícitamente la preservación de peatones, asegurando la validez de la anotación durante la traducción.
• Validación Empírica: Demuestra que la augmentación por difusión impulsada por consistencia puede apoyar efectivamente la detección crítica para la seguridad, logrando un rendimiento comparable al entrenamiento con datos nocturnos reales.

Resultados Experimentales

El método fue evaluado utilizando el conjunto de datos EuroCity Persons (ECP) y probado en dos detectores aguas abajo: Pedestron y YOLO26.

• Calidad de Imagen: Contrastive-SDXL logró una Distancia de Inception Fréchet (FID) de 22.57 y una Distancia de Wasserstein (WD) de 11.27 frente a imágenes nocturnas reales de ECP. Esto superó significativamente a líneas base como InstructPix2Pix (FID 64.11) y CycleGAN-Turbo (FID 38.36). Las visualizaciones UMAP confirmaron que las imágenes sintéticas se agruparon más cerca de los datos nocturnos reales que otros métodos.
• Rendimiento de Detección:
  • Los detectores entrenados con imágenes sintéticas de Contrastive-SDXL (sin ningún dato nocturno real) lograron una reducción del 6–7% en la tasa de fallos en comparación con una línea base solo diurna.
  • Específicamente, para el detector Pedestron, la tasa de fallos "Todos" en el conjunto de validación nocturna bajó del 20.0% (línea base diurna) al 16.0% utilizando solo datos sintéticos.
  • Cuando se mezcló con solo 20% de datos nocturnos reales, Contrastive-SDXL logró una tasa de fallos del 14.0%, igualando el rendimiento de un modelo entrenado con 100% de datos nocturnos reales.
  • Se observaron mejoras similares con el detector YOLO26, demostrando generalización a través de arquitecturas.
• Generalización: El método mostró la capacidad de generalizar a escenas urbanas fuera de distribución (conjunto de datos TJU-DHD), preservando la estructura de los peatones en entornos desconocidos.

Significado y Afirmaciones

El artículo afirma que Contrastive-SDXL demuestra que la augmentación por difusión impulsada por consistencia es una estrategia viable y efectiva para la detección de peatones nocturna crítica para la seguridad. Los autores enfatizan que, para la percepción crítica para la seguridad, el realismo visual por sí solo es insuficiente; la preservación de la semántica a nivel de objeto y la validez de la anotación son primordiales.

Los resultados sugieren que:

1. Los LDM preentrenados pueden servir como potentes herramientas de augmentación si se guían por restricciones de consistencia explícitas (pérdidas contrastivas semánticas y a nivel de objeto).
2. Los datos sintéticos generados por este marco pueden reducir significativamente la brecha de dominio entre el día y la noche, acercándose al rendimiento de modelos entrenados con datos nocturnos reales con una inyección mínima de datos reales.
3. El marco propuesto no está atado a una arquitectura de detector específica, ya que se observaron beneficios tanto en Pedestron como en YOLO.

Los autores concluyen que, aunque el método muestra promesa, el trabajo futuro debería explorar su aplicación a otras tareas de transporte (por ejemplo, reconocimiento de señales de tráfico) e investigar cómo la arquitectura del detector y las estrategias de ajuste fino afectan el rendimiento de adaptación.