Out-of-Distribution Object Detection in Street Scenes via Synthetic Outlier Exposure and Transfer Learning

1. El Problema

La detección de objetos fuera de distribución (OOD - Out-of-Distribution) en escenas de calles es una tarea crítica pero poco explorada, especialmente en aplicaciones de seguridad como la conducción autónoma.

• Limitación actual: Los detectores de objetos estándar tienden a ignorar objetos atípicos (OOD) que no pertenecen a las clases de entrenamiento, tratándolos erróneamente como fondo.
• Brecha en la investigación: Aunque existen métodos para clasificación OOD y segmentación semántica, la detección de objetos OOD carece de benchmarks unificados y datos realistas.
• Desafío de los OVOD: Los Detectores de Objetos de Vocabulario Abierto (OVOD), como GroundingDINO, tienen buena generalización zero-shot, pero a menudo fallan en escenarios complejos de calles o dependen de prompts que no pueden anticipar objetos desconocidos. Además, no está claro cómo ajustar (fine-tune) estos modelos para detectar simultáneamente objetos conocidos (ID) y desconocidos (OOD) sin degradar su rendimiento.

2. Metodología: SynOE-OD

Los autores proponen SynOE-OD, un marco unificado que combina la Exposición a Valores Atípicos (Outlier Exposure - OE) con el Aprendizaje por Transferencia. El objetivo es entrenar un único detector para localizar y clasificar tanto objetos in-distribution (ID) como OOD.

El proceso se divide en dos etapas principales:

A. Generación de Datos Sintéticos (Pipeline de Datos)

En lugar de depender de datos reales OOD escasos, el método genera "valores atípicos" sintéticos directamente en el espacio de la imagen:

1. Selección de Objetos Inusuales: Se utiliza ChatGPT para generar una lista de categorías de objetos inusuales para escenas de calles (ej. animales domésticos, objetos del hogar).
2. Inpainting con Stable Diffusion: Se utiliza el modelo generativo Stable Diffusion para insertar estos objetos sintéticos en imágenes de escenas de calles (reemplazando objetos ID existentes o insertándolos en espacios libres de la carretera).
3. Generación de Etiquetas (GroundingDINO): Para obtener las cajas delimitadoras y etiquetas de clase precisas de los objetos sintéticos, se utiliza un detector OVOD fuerte, GroundingDINO (GDINO), en modo zero-shot.
   • Se refina la caja delimitadora del objeto original con el nuevo texto de categoría.
   • Si el inpainting falla (ej. no genera el objeto OOD), se reasigna la etiqueta o se descarta la muestra.
   • Los objetos sintéticos se etiquetan con una nueva clase especial: OOD ($y_{n+1}$).

B. Aprendizaje por Transferencia y Entrenamiento

• Se toma un detector de objetos pre-entrenado (como DINO-DETR o GDINO) y se realiza un fine-tuning en el conjunto de datos aumentado (objetos reales ID + objetos sintéticos OOD).
• Se añade una clase adicional ($n+1$) al clasificador para manejar explícitamente la clase OOD.
• El modelo aprende a localizar objetos desconocidos sin colapsarlos en el fondo, manteniendo al mismo tiempo el rendimiento en objetos conocidos.

3. Contribuciones Clave

1. Marco Unificado (SynOE-OD): Un enfoque que integra la exposición a valores atípicos sintéticos y el aprendizaje por transferencia para adaptar detectores estándar a la detección conjunta de ID y OOD.
2. Pipeline de Generación de Datos: Un método sistemático que utiliza modelos generativos (Stable Diffusion) y detectores de vocabulario abierto (GDINO) para crear datos de entrenamiento OOD realistas y semánticamente significativos a nivel de objeto.
3. Rendimiento SOTA: Demostración de que el método alcanza el estado del arte en benchmarks establecidos, superando a los enfoques zero-shot puros y a otras metodologías de detección OOD.
4. Evaluación Exhaustiva: Análisis de diferentes arquitecturas (DINO-DETR, GDINO), backbones y composiciones de datos, validando la robustez del enfoque.

4. Resultados Experimentales

Los experimentos se realizaron utilizando datasets de escenas de calles como NuImages, Cityscapes y BDD100K, evaluados en el benchmark OoDIS (que incluye RoadObstacle, RoadAnomaly, Fishyscapes y LostAndFound).

• Rendimiento en OOD: SynOE-OD superó consistentemente a los detectores OVOD zero-shot y a otros métodos baselines (como UGainS).
  • En el dataset RoadObstacle, logró un AP50..95 de 54.02% (vs 48.53% de OVODs zero-shot).
  • En RoadAnomaly, alcanzó 29.42% (vs 22.72%).
  • En Fishyscapes, obtuvo 41.23% (vs 33.31%).
• Rendimiento en ID: El modelo mantuvo un rendimiento competitivo en la detección de objetos conocidos (ID), demostrando que la adición de datos OOD no degrada significativamente la capacidad de detección de objetos normales.
• Análisis de Ablación:
  • Se encontró que la diversidad semántica de los objetos OOD no es el factor principal; más bien, la ubicación (ej. en la carretera) y la proporción de muestras OOD vs. ID son críticas.
  • Una proporción moderada de datos sintéticos OOD ofrece el mejor equilibrio entre la detección de OOD y la retención de precisión en ID.
  • El uso de backbones más potentes (Swin-L) y la combinación de datasets (NuImages + Cityscapes) mejoró aún más los resultados.

5. Significado e Impacto

Este trabajo es significativo porque:

• Cierra la brecha entre la investigación de detección OOD y las aplicaciones del mundo real, proporcionando un marco práctico que no requiere datos OOD reales costosos de recolectar.
• Demuestra la insuficiencia del enfoque zero-shot: Muestra que, aunque los modelos de vocabulario abierto son potentes, el ajuste fino con datos sintéticos específicos es necesario para la seguridad en entornos críticos como la conducción autónoma.
• Solución Elegante: Ofrece una solución unificada donde un solo detector puede manejar tanto lo conocido como lo desconocido, reduciendo la complejidad de los sistemas de percepción en comparación con arquitecturas que requieren ramas auxiliares complejas.

En resumen, SynOE-OD establece un nuevo estándar para la detección de objetos OOD en escenas de calles, utilizando la generación sintética y el aprendizaje por transferencia para crear sistemas de visión más robustos y seguros.