Do Open-Loop Metrics Predict Closed-Loop Driving? A Cross-Benchmark Correlation Study of NAVSIM and Bench2Drive

A continuación se presenta un resumen técnico detallado del artículo "¿Las métricas de bucle abierto predicen la conducción de bucle cerrado? Un estudio de correlación entre benchmarks cruzados de NAVSIM y Bench2Drive."

1. Planteamiento del Problema

La evaluación de planificadores de conducción autónoma (CA) implica un compromiso entre la evaluación de bucle abierto y la de bucle cerrado:

• La evaluación de bucle cerrado (por ejemplo, Bench2Drive en CARLA) es el "estándar de oro" para evaluar la competencia en el mundo real, pero es computacionalmente costosa, sufre de alta varianza y requiere infraestructura compleja.
• La evaluación de bucle abierto (por ejemplo, NAVSIM) es rápida y reproducible, pero tradicionalmente depende de métricas geométricas como el Error de Desplazamiento Promedio (ADE) y el Error de Desplazamiento Final (FDE).
• La Pregunta Central: ¿Pueden las métricas modernas de bucle abierto conscientes de la seguridad (específicamente las de NAVSIM v2) predecir de manera fiable el rendimiento de conducción en bucle cerrado? Trabajos anteriores sugieren que las métricas tradicionales fallan en esto, pero no está claro si el nuevo paradigma de NAVSIM cierra la brecha.

2. Metodología

Los autores realizaron un estudio sistemático de correlación entre benchmarks utilizando un conjunto de datos emparejado de métodos de última generación (SOTA).

• Recolección de Datos:
  • El equipo cruzó los resultados publicados de 15 métodos que informaron tanto sobre NAVSIM (bucle abierto) como sobre Bench2Drive (bucle cerrado).
  • Filtraron los métodos que utilizaban configuraciones de modelo consistentes en ambos benchmarks para evitar variables de confusión (por ejemplo, diferentes backbones o datos de entrenamiento).
  • Conjunto de Datos Final: 8 métodos con puntos de datos emparejados completos (submétricas de NAVSIM vs. Puntuación de Conducción de Bench2Drive).
• Métricas Analizadas:
  • Bucle Abierto (NAVSIM): Puntuación PDM (PDMS) y sus submétricas: Sin Colisiones con Culpa (NC), Cumplimiento del Área Conduccible (DAC), Tiempo hasta la Colisión (TTC), Progreso del Ego (EP) y Confort (C).
  • Bucle Cerrado (Bench2Drive): Puntuación de Conducción (DS), que combina la finalización de la ruta con penalizaciones por infracciones (colisiones, conducción lenta, tiempos de espera agotados).
• Análisis Estadístico:
  • Se calculó la correlación de rango de Spearman ($\rho$) y el $\tau$ de Kendall para medir la relación entre las puntuaciones de bucle abierto y el rendimiento de bucle cerrado.
  • Se investigaron "inversiones de clasificación" específicas donde la clasificación de un método en bucle abierto difería significativamente de su clasificación en bucle cerrado.
  • Se propuso y probó una métrica proxy simplificada (CL-Proxy) para determinar si menos submétricas podrían lograr el mismo poder predictivo.

3. Hallazgos Clave y Resultados

A. Las Métricas Tradicionales Fallan

• Hallazgo: Las métricas de desplazamiento tradicionales (error L2, ADE, FDE) muestran ninguna correlación significativa con la Puntuación de Conducción de bucle cerrado ($\rho = -0.36, p = 0.43$).
• Implicación: Minimizar el error geométrico de la trayectoria no garantiza una conducción segura o exitosa en entornos interactivos.

B. La PDMS de NAVSIM Muestra una Correlación Fuerte pero No Monótona

• Hallazgo: La Puntuación PDM agregada de NAVSIM (PDMS) exhibe una correlación positiva fuerte con la DS de Bench2Drive ($\rho = 0.90, p = 0.002$).
• Matiz: La correlación no es perfectamente monótona. Hay inversiones de clasificación notables.
  • Ejemplo: SafeDrive se clasifica en 3.º lugar en PDMS (91.6) pero cae al 5.º lugar en DS (66.77).
  • Causa: SafeDrive optimiza intensamente para la seguridad (NC, DAC, TTC), logrando puntuaciones casi perfectas, pero sacrifica el Progreso del Ego (EP). En bucle cerrado, este conservadurismo activa penalizaciones de "Demasiado Lento" y "Tiempo Agotado", reduciendo drásticamente la Puntuación de Conducción.

C. El Progreso del Ego (EP) es el Mejor Predictor

• Hallazgo: Entre las submétricas individuales de NAVSIM, el Progreso del Ego (EP) es el mejor predictor único del éxito en bucle cerrado ($\rho = 0.83$).
• Sorpresa: La métrica más crítica para la seguridad, Sin Colisiones con Culpa (NC), muestra solo una correlación débil a moderada ($\rho = 0.45$).
• Razonamiento: Los métodos SOTA actuales ya alcanzan puntuaciones de NC muy altas (efecto techo, por ejemplo, >98%). Por lo tanto, las mejoras marginales en NC no se traducen en un mejor rendimiento en bucle cerrado, mientras que la capacidad de avanzar (EP) es el diferenciador principal.

D. El "Efecto Bola de Nieve"

• El artículo identifica un mecanismo para la brecha residual entre bucle abierto y cerrado: El Efecto Bola de Nieve.
• Pequeñas desviaciones en una trayectoria de 4 segundos en bucle abierto (por ejemplo, conducir ligeramente lento) pueden incurrir en penalizaciones menores en NAVSIM. Sin embargo, en una ruta de bucle cerrado de varios minutos, estos pequeños retrasos se acumulan: perder un semáforo en verde $\rightarrow$ esperar un ciclo rojo completo $\rightarrow$ quedarse atrás del horario $\rightarrow$ activar severas penalizaciones de "Demasiado Lento" o tiempo agotado. Esto explica por qué EP (una medida de la tendencia al progreso) es más predictiva que las métricas de seguridad instantáneas.

E. Un Proxy Más Simple: CL-Proxy

• Los autores proponen una fórmula simplificada: $CL\text{-}Proxy = NC \times DAC \times EP$.
• Resultado: Esta fórmula de 3 métricas logra exactamente la misma correlación de rango ($\rho = 0.90$) que la PDMS completa de 5 métricas en el conjunto de datos.
• Implicación: Para los métodos de primer nivel actuales, TTC y Confort añaden información marginal insignificante para fines de clasificación porque están distribuidos de manera estrecha o saturados (cerca del 100%).

4. Contribuciones Clave

1. Conjunto de Datos entre Benchmarks: Compiló el primer conjunto de datos emparejado de 8 métodos SOTA evaluados tanto en NAVSIM como en Bench2Drive.
2. Análisis Cuantitativo de la Brecha: Demostró que, aunque la PDMS de NAVSIM se correlaciona fuertemente con el rendimiento en bucle cerrado, sufre de inversiones de clasificación debido al compromiso seguridad-progreso.
3. Jerarquía de Métricas: Identificó al Progreso del Ego (EP) como el predictor crítico del éxito en bucle cerrado, superando a las métricas de colisión en poder predictivo para los modelos SOTA actuales.
4. Proxy Simplificado: Propuso CL-Proxy, una fórmula ligera de 3 métricas que iguala el poder predictivo de la compleja PDMS de 5 métricas, sugiriendo que los benchmarks actuales pueden simplificarse.
5. Identificación del Mecanismo: Propuso el Efecto Bola de Nieve como la razón principal por la que pequeñas desviaciones en bucle abierto conducen a fallos en bucle cerrado.

5. Significado y Recomendaciones

• Para el Diseño de Benchmarks:
  • Reportar Submétricas: Los agregados ocultan el compromiso seguridad-progreso. Las tablas de clasificación deben mostrar submétricas individuales (especialmente EP).
  • Introducir Penalizaciones por Conducción Lenta: NAVSIM debería adoptar una penalización de "Demasiado Lento" similar a la de Bench2Drive para alinear mejor la evaluación de bucle abierto con los resultados de bucle cerrado.
  • Simplificar la Agregación: Los métodos principales actuales saturan en Confort y TTC; estas métricas pueden despriorizarse para la clasificación en favor de EP, NC y DAC.
• Para la Investigación:
  • Los investigadores no deben depender únicamente de puntuaciones agregadas de bucle abierto. Optimizar para la seguridad (NC) a expensas del progreso (EP) conduce a un mal rendimiento en el mundo real.
  • El trabajo futuro debe centrarse en la regresión de submétricas a través de arquitecturas en lugar de depender de puntuaciones agregadas individuales.

Conclusión

El artículo concluye que, aunque las métricas de bucle abierto han mejorado significativamente con NAVSIM, no son proxies perfectos. El compromiso seguridad-progreso y el efecto bola de nieve crean una brecha donde planificadores excesivamente conservadores fallan en bucle cerrado. Al centrarse en el Progreso del Ego y utilizar una métrica simplificada CL-Proxy, la comunidad puede lograr predicciones de bucle abierto más fiables de la competencia en conducción de bucle cerrado.