Resumen Técnico: Evaluación de Modelos Fundacionales de Visión para la Supervisión de Entradas en la Conducción Autónoma

Declaración del Problema

Las redes neuronales profundas (DNN) desplegadas en dominios complejos del mundo abierto, como la conducción autónoma (CA), enfrentan desafíos significativos relacionados con los cambios de distribución. Estos cambios se manifiestan como cambios semánticos (encuentro con objetos o clases novedosos no vistos durante el entrenamiento) o cambios de covariable (variaciones en estilos visuales como iluminación, clima o artefactos de la cámara). Los métodos actuales de detección de datos fuera de distribución (OOD) a menudo sufren limitaciones críticas: pueden requerir acceso a capas internas del modelo (lo cual es poco práctico para sistemas de CA propietarios), depender de arquitecturas específicas o necesitar supervisión con muestras OOD durante el entrenamiento. En consecuencia, existe una falta de monitores fiables, no supervisados y agnósticos al modelo capaces de identificar cambios de distribución imprevistos para garantizar la seguridad operativa.

Metodología

Los autores proponen un marco para la supervisión de entradas no supervisada y agnóstica al modelo que unifica la detección de cambios semánticos y de covariable. El enfoque central implica dos etapas:

1. Extracción de Características mediante Modelos Fundacionales de Visión (VFMs): En lugar de utilizar DNN estándar o autoencoders entrenados en conjuntos de datos limitados, el método aprovecha VFMs preentrenados (específicamente CLIP, DINO, DINOv2 y Grounding DINO) como extractores de características. Estos modelos, entrenados en conjuntos de datos diversos y a gran escala, codifican contextos semánticos ricos y distinciones visuales sutiles en sus representaciones latentes.
2. Modelado de Densidad: El sistema modela la distribución del espacio de características de los datos de entrenamiento. Para una nueva imagen de entrada, el codificador VFM extrae un vector de características, y una técnica de estimación de densidad calcula una puntuación "dentro de la distribución" (ID) basada en la probabilidad o densidad de ese punto dentro de la distribución aprendida.

El estudio evalúa cuatro técnicas de modelado de densidad de complejidad creciente:

• Basadas en instancias: Similitud de Parejas Promedio (APS) y Similitud Media de Características (MFS) utilizando similitud del coseno.
• Máquina de Vectores de Soporte de Una Clase (OC-SVM): Un algoritmo de detección de novedades que encuentra un hiperplano que separa los datos del origen.
• Modelo de Mezcla Gaussiana (GMM): Modelar las características como una mezcla de Gaussianas, con el número de componentes optimizado mediante el Criterio de Información de Akaike (AIC).
• Flujos de Normalización (NF): Específicamente arquitecturas Real-NVP, que utilizan mapeos invertibles para estimar densidades de probabilidad de alta dimensión.

El marco se evalúa en 12 conjuntos de datos (tanto sintéticos como del mundo real) que cubren cambios semánticos (por ejemplo, Lost and Found, Bravo-Synobj), cambios de covariable (por ejemplo, Foggy Cityscapes, ACDC) y cambios combinados (SegmentMeIfYouCan, Indian Driving Dataset).

Contribuciones Clave

1. Pipeline Modular: La propuesta de un pipeline modular para la detección no supervisada de cambios de distribución semánticos, de covariable y conjuntos utilizando codificaciones de características VFM y modelado de densidad.
2. Evaluación Exhaustiva: La primera evaluación sistemática de VFMs para la detección OOD en el dominio desafiante de la conducción autónoma. Esto incluye probar 4 VFMs con backbones diversos (ResNet, ViT, Swin) frente a 7 baselines OOD establecidos y contrapartes entrenadas en ImageNet.
3. Demostración de Usabilidad Práctica: Evidencia de que el método propuesto identifica entradas de alto riesgo que probablemente causen errores en tareas de percepción aguas abajo (segmentación semántica), mejorando así la fiabilidad general del sistema cuando se utiliza como filtro.
4. Marco de Evaluación: El establecimiento de un marco integral para evaluar la clasificación binaria OOD en CA, combinando diversos tipos de cambios, conjuntos de datos y protocolos de evaluación.

Resultados

Los experimentos extensos arrojan varios hallazgos clave:

• Superioridad de los VFMs: Las incrustaciones VFM combinadas con estimación de densidad (particularmente Flujos de Normalización y GMM) superan consistentemente a las codificaciones DNN estándar (modelos entrenados en ImageNet) y a los métodos clásicos de detección OOD (por ejemplo, GradNorm, Energy, Entropy, KNN).
• Sinergia entre Arquitectura y Método: El rendimiento depende en gran medida de la combinación de la arquitectura VFM y la técnica de modelado de densidad. Por ejemplo, Grounding DINO (Swin Transformer) combinado con Flujos de Normalización logró resultados de vanguardia, incluida una detección casi perfecta (FPR95 ≈ 0) en varios escenarios de cambios de covariable y cambios semánticos sintéticos.
• Generalización Real vs. Sintética: Mientras que algunos modelos (como CLIP) mostraron un rendimiento consistente en datos del mundo real pero lucharon con anomalías sintéticas, Grounding DINO con modelado basado en flujos mantuvo su eficacia en ambos, sugiriendo una generalización superior a diversos tipos de cambios.
• Impacto Aguas Abajo: Cuando se aplica como un monitor de entradas para filtrar muestras OOD antes de alimentarlas a una red de segmentación semántica (DeepLabV3+), el método mejoró significativamente el rendimiento de la segmentación (mIoU y mAcc) en conjuntos de datos OOD como el Indian Driving Dataset, demostrando que el monitor identifica con éxito entradas propensas a errores.
• Comparación con Baselines: Los métodos OOD tradicionales que dependen de los internos del modelo (logits, gradientes o puntuaciones de confianza) mostraron un rendimiento moderado a deficiente, particularmente en cambios semánticos, mientras que el enfoque basado en VFM opera independientemente de los internos de la red monitoreada.

Significado y Afirmaciones

El artículo afirma que los Modelos Fundacionales de Visión, cuando se acoplan con técnicas robustas de modelado de densidad, ofrecen un camino prometedor hacia la realización de monitores de seguridad agnósticos al modelo, no supervisados y fiables para tareas de visión complejas.

Los autores enfatizan que su enfoque aborda el problema de la "cola larga" en la conducción autónoma al detectar cambios de distribución imprevistos sin requerir acceso a los internos de modelos propietarios ni exposición previa a ejemplos OOD. Aunque el estudio se centra en la detección más que en la mitigación, los resultados sugieren que es factible identificar entradas con un alto riesgo de inducir errores en DNN aguas abajo. El trabajo establece que el rico poder representacional de los VFMs preentrenados es suficiente para modelar distribuciones de datos de manera efectiva, superando tanto a los extractores de características estándar como a los métodos existentes de clasificación binaria OOD en el contexto de la supervisión de entradas para la conducción autónoma.