Operating Within the Operational Design Domain: Zero-Shot Perception with Vision-Language Models

Resumen Técnico: Operación dentro del Dominio de Diseño Operativo con Modelos Visuales-Lingüísticos de Cero Disparos

Enunciado del Problema
La adopción generalizada de los Sistemas de Conducción Autónoma (ADS) está limitada no solo por la capacidad, sino por la necesidad de seguridad verificable y el cumplimiento de normativas regulatorias estrictas. Un concepto central en estas regulaciones es el Dominio de Diseño Operativo (ODD), que define las condiciones ambientales y operativas específicas bajo las cuales un ADS está destinado a funcionar de manera segura. Garantizar el cumplimiento del ODD requiere sistemas de percepción capaces de detectar una vasta gama de elementos ambientales estáticos y transitorios (por ejemplo, marcas viales, condiciones meteorológicas, señalización y estados de la superficie). Los enfoques tradicionales que dependen de modelos de percepción específicos para tareas, desarrollados manualmente, son ineficientes para la naturaleza diversa y evolutiva de las taxonomías del ODD. Existe una necesidad crítica de un sistema de percepción flexible y adaptable que pueda reconocer elementos complejos del ODD sin un reentrenamiento extenso, particularmente para condiciones raras o en evolución que son poco prácticas de premapear exhaustivamente.

Metodología
Los autores investigan el potencial de los Modelos Visuales-Lingüísticos (VLM) para funcionar como "sensores de ODD de cero disparos". El estudio emplea un diseño experimental multifase:

1. Construcción del Conjunto de Datos: Los autores curaron un conjunto de datos personalizado, ODD-TAX-232, que comprende 2.320 imágenes que representan 232 conceptos distintos de ODD. Estos conceptos se categorizan en cinco grupos: Señalización de Tráfico, Marcas Viales, Elementos del Entorno, Condiciones Meteorológicas y Condiciones de Activación. El conjunto de datos se centra en características ambientales de alta granularidad relevantes para la infraestructura europea, del Reino Unido y de EE. UU., excluyendo objetos en movimiento para aislar las capacidades de percepción estática.
2. Optimización de Cero Disparos: Antes de comparar modelos, los autores realizaron un estudio de ablación en el modelo GPT-4o para identificar estrategias de prompting óptimas. Probaron diversos enfoques, incluyendo:
   • Línea Base: Listas de taxonomías planas y alias de etiquetas.
   • Orientado a Procesos: Auto-refinamiento, pipelines de dos etapas (por ejemplo, clasificación dependiente de la carretera) y Descomposición de Personajes (asignar roles especializados como "Experto en Meteorología" o "Experto en Señales").
   • Mejoras de Razonamiento: Prompting de Cadena de Pensamiento (CoT) para imponer pasos de razonamiento intermedios.
   • Generación Aumentada por Recuperación (RAG): Integración de bases de conocimiento externas para reducir el uso de tokens.
   • Encadenamiento: Pipelines de múltiples etapas donde las salidas de una etapa informan a la siguiente.
3. Evaluación del Modelo: Utilizando la estrategia de prompting de mejor rendimiento (Persona + CoT), los autores evaluaron cuatro VLM:
   • General de Código Cerrado: GPT-4o y Gemini 2.5 Pro.
   • General de Código Abierto: Llama 4 Maverick.
   • Especializado de Código Abierto: Molmo-72B.
4. Tareas: La evaluación cubrió dos tareas:
   • Clasificación: Determinar si una imagen contiene un elemento de ODD específico de referencia (medido por la Recuperación o Recall).
   • Detección: Localizar el elemento dentro de la imagen utilizando coordenadas de cuadros delimitadores (medido por Precisión, puntuación F1 y precisión espacial mediante el Error L2 Promedio). Esto se probó tanto en el conjunto de datos personalizado ODD-TAX-232 como en el conjunto de datos Mapillary Vistas (que proporcionó anotaciones de cuadros delimitadores).

Contribuciones Clave
El artículo contribuye con tres artefactos principales al campo:

1. Estudio Empírico: Un análisis exhaustivo de la clasificación y detección de ODD de cero disparos en cuatro VLM, incluido un análisis detallado de fallos de patrones de error comunes.
2. Análisis de Optimización: Una ablación de estrategias de optimización de cero disparos, proporcionando una visión general de costo-rendimiento (presupuesto de tokens frente a recuperación) e identificando que el prompting de Cadena de Pensamiento anclado a definiciones con descomposición de personajes produce los mejores resultados.
3. Recursos Abiertos: Una suite públicamente disponible de plantillas de prompting reutilizables, directrices de adaptación y el conjunto de datos ODD-TAX-232 para facilitar la investigación y extensión futuras.

Resultados

• Estrategia de Prompting: La estrategia Persona + CoT logró la mayor recuperación (0.73) en ODD-TAX-232, superando significativamente a la línea base (0.40) y a otras estrategias como RAG o pipelines en cascada (que a menudo redujeron el rendimiento debido a la propagación de errores). Sin embargo, este alto rendimiento conllevó un costo sustancial de tokens (~25.000 tokens por muestra).
• Rendimiento del Modelo (Clasificación): Los modelos de código cerrado (GPT-4o y Gemini 2.5 Pro) demostraron un rendimiento superior (Recuperación ~0.72–0.73) en comparación con las alternativas de código abierto (Llama 4 Maverick en 0.67, Molmo-72B en 0.45). Aunque GPT-4o y Gemini 2.5 Pro fueron comparables en general, GPT-4o mostró una ventaja en el reconocimiento de señalización y meteorología, mientras que Gemini destacó en marcas viales y entorno.
• Rendimiento del Modelo (Detección): En el conjunto de datos Mapillary Vistas, GPT-4o logró el mejor equilibrio de precisión (0.82) y recuperación (0.922), resultando en la puntuación F1 más alta (0.87). Gemini 2.5 Pro tuvo la mayor recuperación (0.977) pero una precisión más baja. Llama 4 Maverick demostró la mayor precisión espacial (menor error L2), pero se quedó atrás en la puntuación F1 general. Molmo-72B tuvo un rendimiento deficiente en precisión y puntuación F1.
• Discrepancia del Conjunto de Datos: Todos los modelos tuvieron un rendimiento significativamente mejor en Mapillary Vistas que en ODD-TAX-232. Los autores atribuyen esto a las categorías más gruesas y comunes en Mapillary frente a los conceptos de alta granularidad, raros y críticos para la seguridad en ODD-TAX-232, que son menos frecuentes en los datos de preentrenamiento.

Significado y Afirmaciones
Los autores concluyen que, aunque los VLM muestran un potencial prometedor para el reconocimiento de ODD, una recuperación de cero disparos de aproximadamente 0.73 es insuficiente para el despliegue en producción autónomo a bordo en aplicaciones críticas para la seguridad donde las violaciones de ODD no detectadas podrían conducir a una activación insegura del sistema.

En cambio, el artículo posiciona a los VLM como herramientas altamente viables para aplicaciones fuera de línea, tales como:

• Auditoría de ODD pre-ruta.
• Informes de cumplimiento regulatorio.
• Sembrado de simulaciones.

En estos contextos, el costo de las detecciones perdidas es menor y la supervisión humana puede compensar los errores residuales. El estudio enfatiza que el diseño de los prompts (específicamente CoT con descomposición de personajes) es tan crítico como la selección del modelo. Además, los autores argumentan que las métricas agregadas en conjuntos de datos generales como Mapillary Vistas pueden sobreestimar la preparación para la percepción de ODD; las evaluaciones conscientes de la taxonomía que se centran en elementos de alta granularidad y críticos para la seguridad son esenciales para una evaluación precisa. El trabajo allana el camino para sistemas de percepción basados en ODD transparentes, efectivos y adaptables, siempre que se utilicen dentro de los límites de seguridad apropiados.