Resumen Técnico: DriveJudge: Repensando la Evaluación de la Conducción Autónoma con Modelos de Visión y Lenguaje

1. Planteamiento del Problema

El campo de la conducción autónoma se está desplazando cada vez más hacia el aprendizaje de políticas de extremo a extremo (end-to-end), el cual funciona bien en escenarios nominales pero tiene dificultades con eventos no nominales de cola larga (long-tail). Un cuello de botella crítico para el avance de estas políticas es la falta de métricas de evaluación fiables, interpretables y conscientes del contexto. Los paradigmas de evaluación existentes sufren limitaciones significativas:

• Métricas basadas en reglas (p. ej., EPDMS): Aunque son interpretables y con base física, son inherentemente agnósticas al contexto. Aplican reglas fijas de manera uniforme, lo que a menudo penaliza excesivamente comportamientos razonables en escenarios complejos (p. ej., relajar temporalmente las restricciones de mantenimiento de carril para esquivar un obstáculo).
• Evaluaciones basadas en Modelos de Visión y Lenguaje (VLM): Aunque son conscientes del contexto, a menudo dependen de comparaciones de preferencia ambiguas o de la predicción directa de puntuaciones. Estos enfoques carecen de una base física explícita y de precisión espacial, lo que los hace poco fiables para evaluaciones de seguridad de grano fino y difíciles de descomponer en aspectos específicos de la conducción (seguridad, confort, progreso).

El desafío central es desarrollar un marco de evaluación que combine la comprensión contextual de los VLM con la precisión espacial y la base física de las métricas deterministas basadas en reglas.

2. Metodología: DriveJudge

Los autores proponen DriveJudge, un agente de evaluación guiado por VLM y fundamentado en reglas. A diferencia de trabajos previos que dependen únicamente de juicios de VLM, DriveJudge formula la evaluación de la conducción como un proceso de toma de decisiones agéntico.

2.1 Arquitectura Central

DriveJudge opera interpretando el contexto de la escena ambiental e invocando selectivamente funciones de reglas deterministas.

• Entrada: El agente recibe entradas multimodales, incluyendo imágenes de la cámara frontal y visualizaciones de Vista de Pájaro (BEV) que contienen cajas de objetos, mapas de carriles y trayectorias predichas.
• Razonamiento Contextual: Un VLM (específicamente Qwen-3) analiza la escena para determinar qué reglas de evaluación son relevantes. Produce un vector de compuerta $\hat{g}_i$, donde cada elemento indica la relevancia de una regla específica (p. ej., Mantenimiento de Carril, Tiempo de Colisión) para el estado de conducción actual.
• Invocación de Reglas: Basándose en el vector de compuerta, el sistema ejecuta selectivamente funciones de reglas deterministas ($f^m$) a partir de un conjunto predefinido (p. ej., reglas de EPDMS que cubren seguridad, cumplimiento de carril, progreso y confort).
• Agregación de Puntuación: La puntuación final de conducción se calcula agregando las salidas de las reglas seleccionadas, ponderadas por su relevancia. Esto permite al sistema ignorar restricciones irrelevantes (p. ej., ignorar las penalizaciones de mantenimiento de carril cuando es necesario un desplazamiento para evitar un obstáculo).

2.2 Pipeline de Entrenamiento

Para entrenar y validar DriveJudge, los autores curaron un conjunto de datos a gran escala y emplearon un pipeline de post-entrenamiento de dos etapas:

1. Curación de Datos: Se creó un conjunto de datos de 33,577 muestras de conducción desafiantes a partir del dataset PhysicalAI-Autonomous-Vehicles. Se centra en escenarios de cola larga donde la conducción humana puede violar reglas específicas pero sigue siendo "razonable" en contexto. Los anotadores humanos etiquetaron si el comportamiento era razonable y proporcionaron justificaciones.
2. Ajuste Fino Supervisado (SFT): El modelo se entrena para predecir el vector de compuerta correcto (qué reglas invocar) basándose en las anotaciones humanas. La verdad de terreno para la invocación de reglas se deriva identificando las reglas que penalizarían incorrectamente una trayectoria humana etiquetada como "razonable".
3. Aprendizaje por Refuerzo (RL): Tras el SFT, el modelo se somete a una optimización por RL (usando Optimización de Política Relativa de Grupo, GRPO) para mejorar el rendimiento en tareas downstream, específicamente en la selección de preferencia de trayectoria. La recompensa se basa en si el ranking de trayectorias del modelo se alinea con las preferencias humanas.

3. Benchmarks de Evaluación

El artículo introduce dos tareas de benchmark alineadas con humanos para evaluar la calidad de las propias métricas de conducción:

1. Clasificación de Calidad de Conducción: La métrica debe distinguir entre comportamientos de conducción razonables e irrazonables (clasificación binaria). El rendimiento se mide mediante Precisión, AUC y Precisión Media (AP).
2. Selección de Preferencia de Trayectoria: Dada dos trayectorias candidatas, la métrica debe asignar una puntuación más alta a la preferida por los humanos. El rendimiento se mide mediante la precisión de selección.

4. Resultados Clave

Los experimentos demuestran que DriveJudge supera significativamente a las líneas base existentes en ambas tareas de benchmark:

• Clasificación de Calidad de Conducción: DriveJudge (modelo 8B) logra un AUC de 78.90, superando a la métrica basada en reglas estándar EPDMS por +21.23 AUC. También muestra una mejora masiva en la detección de fallos (AP-), subiendo de 26.34 (EPDMS) a 59.04.
• Selección de Preferencia de Trayectoria: DriveJudge alcanza una precisión del 82.83%, superando al reciente crítico basado en VLM, DriveCritic (76.33%), y a otras líneas base como GPT-5 y Gemini.
• Estudios de Ablación:
  • VLM + Herramientas: Combinar el razonamiento de VLM con la invocación de herramientas basadas en reglas es esencial. El scoring directo de VLM (sin herramientas) o los agentes que no son VLM rinden significativamente peor.
  • SFT + RL: El aprendizaje por refuerzo genera ganancias sustanciales solo cuando se inicializa desde un modelo con Ajuste Fino Supervisado. Comenzar el RL desde un modelo zero-shot resulta en una mejora insignificante, lo que resalta la necesidad del SFT para asentar al modelo en la estructura de la tarea.
  • Escalabilidad: El rendimiento de SFT escala linealmente con el tamaño de los datos, mientras que el RL muestra rendimientos decrecientes después de cierto punto, lo que sugiere la necesidad de datos de preferencia de alta calidad en lugar de solo volumen.

5. Significación y Reivindicaciones

El artículo afirma que DriveJudge establece un nuevo estándar para la evaluación de la conducción interpretable y precisa al cerrar la brecha entre el razonamiento semántico y la base física.

• Conciencia de Contexto: Aborda con éxito el problema de la "cola larga" donde las reglas rígidas fallan, permitiendo la evaluación de maniobras que requieren una relajación temporal de las reglas.
• Interpretabilidad: Al invocar reglas explícitamente, el proceso de evaluación es transparente y descomponible, a diferencia del scoring de caja negra de los VLM.
• Evaluación de Políticas: Al aplicarse a modelos de planificación de vanguardia (p. ej., Hydra-MDP, DriveSuprim), DriveJudge asigna puntuaciones más altas que EPDMS, lo que sugiere que las políticas actuales pueden ser más capaces de lo que indican las métricas convencionales. También insinúa que los benchmarks actuales (como NAVSIM) pueden estar acercándose a la saturación, necesitando métodos de evaluación más matizados.

Los autores concluyen que DriveJudge proporciona una base más sólida para la investigación futura de la conducción autónoma, particularmente para el entrenamiento de políticas en escenarios complejos de cola larga donde las métricas tradicionales son insuficientes.