💻 computer science

CLOVER: Closed-Loop Value Estimation \& Ranking for End-to-End Autonomous Driving Planning

CLOVER es un marco de estimación y clasificación de valor de bucle cerrado que aborda la discrepancia entre entrenamiento y evaluación en la conducción autónoma de extremo a extremo mediante el uso de una arquitectura generador-calificador con trayectorias pseudo-expertas y auto-distilación conservadora para lograr un rendimiento de vanguardia en el benchmark NAVSIM.

Autores originales: Sining Ang, Yuguang Yang, Canyu Chen, Yan Wang

Publicado 2026-05-15

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Sining Ang, Yuguang Yang, Canyu Chen, Yan Wang

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás enseñando a un robot a conducir un coche. Durante mucho tiempo, la forma estándar de enseñarle a este robot era mostrarle un solo video de un humano conduciendo perfectamente y decirle: "Copia esto exactamente".

¿El problema? A veces el robot copia al humano demasiado literalmente. Si el humano cometió un pequeño error o un movimiento extraño, el robot podría copiar ese error, incluso si es peligroso. Por el contrario, a veces el robot podría haber encontrado una forma mejor de conducir (como tomar un carril ligeramente diferente para evitar un camión lento), pero como ese camino no estaba en el único video que se le mostró, nunca pensó en probarlo.

Esta es la discrepancia entre "entrenamiento y prueba" que describe el artículo. El robot se entrena para imitar una sola trayectoria, pero se prueba contra una lista de verificación compleja de reglas de seguridad, comodidad y progreso.

Presentamos CLOVER: El Entrenador de Conducción del Robot

Los autores proponen un nuevo sistema llamado CLOVER (Estimación y Clasificación de Valor en Bucle Cerrado). Piensa en CLOVER no como un solo estudiante, sino como una escuela de conducción con dos roles distintos: un Generador (el estudiante conductor) y un Puntador (el estricto instructor de conducción).

Así es como funciona, usando analogías simples:

1. La Vieja Forma vs. La Forma CLOVER

La Vieja Forma: Al estudiante conductor solo se le permite practicar la única ruta que el instructor condujo ayer. Si el instructor tomó una curva cerrada, el estudiante debe tomar esa curva cerrada, incluso si existía un camino más recto y seguro.
La Forma CLOVER: Se alienta al estudiante conductor a generar 64 rutas posibles diferentes para cada situación. Quizás una es rápida, otra es súper segura, otra es muy suave y otra es un poco arriesgada.

2. El Proceso de Entrenamiento en Dos Etapas

Etapa 1: Construir una "Red de Seguridad" de Ideas
En lugar de solo copiar una trayectoria, el sistema crea una biblioteca de "Pseudo-expertos".

La Analogía: Imagina que el instructor no solo muestra un video. En su lugar, genera un montón de escenarios de "qué pasaría si": "¿Qué pasaría si conduciéramos 5 mph más lento?", "¿Qué pasaría si nos mantuviéramos 2 pies a la izquierda?", "¿Qué pasaría si frenáramos antes?".
El sistema filtra estos escenarios usando un reglamento estricto (el evaluador). Guarda los que son seguros y legales, incluso si no son la trayectoria exacta que tomó el humano.
Luego, se entrena al estudiante conductor (Generador) para cubrir todas estas diferentes posibilidades "seguras", no solo la trayectoria original. Esto asegura que el robot tenga un amplio menú de buenas opciones entre las que elegir.

Etapa 2: El Entrenamiento en "Bucle Cerrado"
Ahora que el estudiante tiene un amplio menú de opciones, necesita aprender a elegir la mejor.

La Analogía: El estudiante genera 64 rutas. El estricto instructor (el Puntador) las examina y les da calificaciones basadas en el reglamento del mundo real (seguridad, comodidad, velocidad).
El Giro: El instructor no es perfecto. A veces podría dar una calificación ligeramente incorrecta. Por lo tanto, CLOVER utiliza un "Profesor" (una versión congelada del sistema) para guiar al estudiante. El profesor dice: "No persigas ciegamente la calificación más alta; mira las 10 mejores rutas y las que mejor equilibran seguridad y velocidad".
El estudiante luego refina su conducción para coincidir con estos ejemplos de "nivel superior" sin perder su capacidad de generar opciones diversas. Es como un entrenador que dice: "Estás mejorando en encontrar buenas rutas, ahora perfeccionemos tus habilidades de selección sin volverte rígido".

3. Por Qué Esto Funciona (La Condición "Mágica")

El artículo plantea una pregunta inteligente: ¿Qué pasa si el instructor (Puntador) comete errores?
Los autores demuestran matemáticamente que, siempre que el instructor sea estadísticamente mejor que adivinar al azar (es decir, que generalmente pueda distinguir las rutas "buenas" de las "malas"), el sistema mejorará. No necesita un instructor perfecto; solo necesita uno lo suficientemente bueno para señalar al estudiante en la dirección correcta.

Los Resultados

Cuando probaron CLOVER en los puntos de referencia de conducción NAVSIM (que son como los "exámenes finales" para los coches autónomos):

Logró una puntuación de 94.5 (sobre 100), superando a todos los métodos anteriores.
Fue particularmente bueno manejando escenarios de conducción difíciles y complicados (NavHard), igualando los mejores resultados jamás reportados.
Crucialmente, no solo mejoró en elegir la única mejor ruta; en realidad, mejoró en generar una variedad más amplia de rutas de alta calidad desde el principio.

Resumen

CLOVER es como actualizar a un estudiante de conducción de "Copia los movimientos exactos del Instructor" a "Genera muchas posibilidades seguras, luego usa un entrenador inteligente para ayudarte a elegir la absolutamente mejor". Resuelve el problema de que los robots sean demasiado rígidos enseñándoles a explorar muchas buenas opciones y luego clasificarlas cuidadosamente, lo que conduce a una conducción autónoma más segura y más similar a la humana.

Resumen Técnico: CLOVER

Enunciado del Problema

Los planificadores de conducción autónoma de extremo a extremo suelen entrenarse mediante aprendizaje por imitación sobre una única trayectoria humana registrada. Sin embargo, se evalúan utilizando métricas de planificación basadas en reglas (por ejemplo, NAVSIM PDMS/EPDMS) que valoran la seguridad, la viabilidad, el progreso y la comodidad. Esto genera una discrepancia fundamental entre entrenamiento y evaluación:

Las trayectorias cercanas a la ruta registrada pueden infringir aún así las reglas de seguridad o inducir interacciones inseguras.
Las trayectorias alternativas que se desvían de la demostración pueden ser válidas y obtener puntuaciones altas, pero nunca se observan durante el entrenamiento.

Esta discrepancia es particularmente limitante para los planificadores de selección de propuestas, que generan múltiples trayectorias candidatas y seleccionan la mejor. Su rendimiento está limitado por dos factores acoplados: la capacidad del generador para cubrir alternativas de alta calidad (cobertura) y la capacidad del evaluador para clasificarlas correctamente (calidad de la clasificación). La supervisión de una sola trayectoria suele colapsar el conjunto de candidatos alrededor de un comportamiento realizado, fallando en capturar la naturaleza multimodal de la conducción (por ejemplo, mantener la velocidad frente a frenar frente a cambiar de carril).

Metodología: Marco CLOVER

CLOVER (Estimación de Valor y Clasificación en Bucle Cerrado) es un marco diseñado para cerrar el ciclo entre la generación de propuestas y la clasificación de trayectorias. Emplea una arquitectura ligera de generador-evaluador y opera en dos etapas de entrenamiento distintas.

Arquitectura

Generador: Produce $K$ trayectorias futuras candidatas del vehículo ego ( $\tau_i$ ) basadas en imágenes de cámaras multivista y el estado del vehículo ego.
Evaluador: Un módulo a nivel de trayectoria que predice subpuntuaciones de métricas de planificación (colisión, área transitable, progreso, comodidad, etc.) para cada candidato.
Inferencia: Los candidatos se clasifican según la puntuación predicha compuesta (utilizando la regla oficial PDMS $\Gamma_{PDMS}$ ), y se selecciona la trayectoria mejor clasificada. El evaluador basado en reglas no es necesario en el despliegue.

Etapa 1: Cobertura de Propuestas Filtrada por Evaluador

Para abordar la falta de diversidad en la imitación de una sola trayectoria, CLOVER construye un conjunto pseudo-experto $\mathcal{E}(o)$ para cada escena durante el entrenamiento.

Generación: En lugar de perturbar la trayectoria registrada, los candidatos se generan a partir de familias de acciones interpretables (por ejemplo, variando desplazamientos laterales, perfiles de aceleración, comportamientos de parada-marcha, casos límite) utilizando información privilegiada de caché de métricas (centro de ruta, ocupación futura de obstáculos) disponible solo en el entrenamiento.
Filtrado: Los candidatos se prefiltran por área transitable y ocupación, se puntúan mediante el evaluador basado en reglas real y se seleccionan mediante una estrategia consciente de la cobertura para asegurar patrones de subpuntuación y rangos de puntuación diversos.
Objetivo de Entrenamiento: El generador se entrena para cubrir estos pseudo-expertos mientras retiene la trayectoria registrada como prior. El evaluador se preentrena para predecir las subpuntuaciones del evaluador real.
- Pérdida: $L_{stage1} = \lambda_{gt} L_{gt} + \lambda_{pe} L_{pe} + \lambda_{score} L_{score}$ , donde $L_{pe}$ fomenta la cobertura del conjunto pseudo-experto.

Etapa 2: Auto-distilación Conservadora en Bucle Cerrado

Esta etapa refina la distribución de propuestas expandida utilizando un procedimiento conservador y alterno para evitar la inestabilidad de maximizar directamente una recompensa aprendida imperfecta.

Fase del Evaluador: El evaluador se ajusta a las subpuntuaciones del evaluador real sobre el conjunto actual de propuestas generadas.
Fase del Generador: Un "profesor" congelado (el generador actual) produce propuestas. El evaluador las evalúa para seleccionar dos conjuntos objetivo:
- Conjunto Top-k: Seleccionado por la puntuación predicha compuesta.
- Conjunto Vector-Pareto: Compuesto por propuestas no dominadas en el espacio de subpuntuaciones (preservando las compensaciones seguridad-progreso-comodidad).
- El generador estudiante se entrena para cubrir estos objetivos utilizando un término de regularización de estabilidad que desalienta la deriva de la distribución del profesor.
- Pérdida: $L_{gen} = \lambda_{traj} L_{gt} + \lambda_{topk} L_{set} + \lambda_{pareto} L_{set} + \lambda_{stab} L_{stab}$ .

Justificación Teórica

El artículo analiza cuándo un evaluador imperfecto puede mejorar fiablemente al generador. Plantea una condición de enriquecimiento del conjunto seleccionado: si los objetivos seleccionados por el evaluador (Top-k o Pareto) están estadísticamente enriquecidos con trayectorias verdaderamente de alta calidad en comparación con la distribución actual de propuestas, entonces la distilación conservadora a nivel de conjunto aumenta la masa de probabilidad en las trayectorias de alta puntuación. Los autores demuestran que CLOVER satisface esta condición empíricamente, ya que los objetivos seleccionados por el evaluador tienen puntuaciones reales significativamente más altas que el promedio del conjunto de propuestas.

Contribuciones Clave

Marco CLOVER: Un marco de estimación de valor y clasificación en bucle cerrado que acopla la generación de propuestas y la clasificación de trayectorias para abordar la discrepancia entre entrenamiento y evaluación.
Supervisión Pseudo-experta Filtrada por Evaluador: Un método para extender la imitación de una sola trayectoria al entrenamiento multimodal a nivel de conjunto, construyendo conjuntos de candidatos diversos y de alta calidad utilizando información privilegiada disponible durante el entrenamiento.
Auto-distilación Conservadora en Bucle Cerrado: Una estrategia de entrenamiento alterna que ajusta el evaluador a las subpuntuaciones reales y refina el generador utilizando objetivos Top-k y Vector-Pareto seleccionados por el profesor con regularización de estabilidad, evitando los peligros de la maximización de recompensas sin restricciones.
Análisis Teórico y Empírico: Una demostración de que los evaluadores imperfectos pueden guiar eficazmente el refinamiento si los objetivos seleccionados están estadísticamente enriquecidos bajo el evaluador real, validado por datos empíricos que muestran brechas de enriquecimiento significativas en los conjuntos seleccionados por el evaluador.

Resultados Experimentales

CLOVER se evaluó en los benchmarks de bucle abierto NAVSIM v1, NAVSIM v2 (EPDMS), NavHard y nuScenes.

NAVSIM v1: Logró 94.5 PDMS, superando la fuerte línea base DrivoR (93.7) y clasificándose primero o segundo en todas las subpuntuaciones.
NAVSIM v2 (navtest): Logró 90.4 EPDMS (implementación oficial actualizada) y 87.2 EPDMS (código original), igualando o superando los resultados más fuertes reportados.
NavHard: Logró 48.3 EPDMS en la división desafiante navhard-two-stage, igualando el resultado más fuerte reportado.
nuScenes Bucle Abierto: Logró el menor error de desplazamiento L2 (0.31m bajo el protocolo ST-P3) y la mejor tasa de colisión (0.10%) o empatada con la mejor entre los métodos comparados.
Ablación y Análisis:
- La Etapa 1 expandió significativamente el espacio de propuestas (Oracle@64 aumentó de 0.9933 a 0.9976) pero introdujo una cola de baja puntuación.
- La Etapa 2 refinó esta distribución, mejorando el PDMS seleccionado a 0.9448 mientras preservaba una alta diversidad (ADE Pareado de 5.20 frente a 1.80 de la línea base).
- Las ganancias se atribuyeron a una distribución de candidatos más fuerte en lugar de simplemente seleccionar una mejor trayectoria top-1.

Significado y Afirmaciones

El artículo afirma que CLOVER establece un nuevo estado del arte en el rendimiento en los principales benchmarks de planificación de conducción autónoma. Su significado radica en:

Resolver la Discrepancia: Utilizar explícitamente la retroalimentación proporcionada por el evaluador para entrenar un estimador de valor a nivel de trayectoria y refinar la distribución de candidatos, en lugar de depender únicamente de la imitación de una sola trayectoria.
Refinamiento Fiable: Demostrar que un evaluador aprendido imperfecto puede servir como un mediador útil para el refinamiento de propuestas, siempre que los objetivos seleccionados estén estadísticamente enriquecidos bajo el evaluador real y las actualizaciones permanezcan conservadoras.
Mejora Centrada en Propuestas: Mostrar que las mejoras en las métricas finales de planificación provienen de mejorar tanto la calidad como la diversidad de todo el conjunto de candidatos, no solo de la selección final.

Los autores señalan que, aunque CLOVER se asemeja al aprendizaje por refuerzo actor-crítico, es distinto porque opera completamente fuera de línea sobre escenas registradas con un evaluador basado en reglas, sin interacción con el entorno en línea ni exploración por ensayo y error. Se sugiere trabajo futuro para integrar evaluadores conscientes del historial o a nivel de secuencia para modelar mejor la consistencia temporal para métricas como Comodidad Extendida (EC).