💻 computer science

CLEAR: Closed-Loop Reinforcement Learning at Scale for End-to-End Autonomous Driving

CLEAR introduce un marco de aprendizaje por refuerzo de bucle cerrado escalable para la conducción autónoma de extremo a extremo que entrena una política de puntos de ruta residual sobre modelos preentrenados de Visión-Lenguaje-Acción utilizando un flujo de simulación heterogéneo, logrando un rendimiento de vanguardia en evaluaciones desafiantes al superar las limitaciones de desplazamiento de distribución del aprendizaje por imitación tradicional.

Autores originales: Yunxiao Shi, Hong Cai, Mohammad Ghavamzadeh, Fatih Porikli

Publicado 2026-07-07

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Yunxiao Shi, Hong Cai, Mohammad Ghavamzadeh, Fatih Porikli

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás enseñando a un coche autónomo. Durante mucho tiempo, la mejor forma de hacerlo era mediante el Aprendizaje por Imitación. Piensa en esto como un estudiante de conducción sentado en el asiento trasero de un coche conducido por un experto perfecto. El estudiante simplemente copia lo que hace el experto. Si el experto gira a la izquierda, el estudiante gira a la izquierda.

¿El problema? Esto solo funciona en un examen de "libro abierto". Si el estudiante ve una situación que el experto nunca le mostró, o si el estudiante comete un pequeño error, se confunde. En el mundo real (o en una simulación compleja), un pequeño error puede provocar un accidente, y el estudiante no sabe cómo recuperarse porque solo se le enseñó a copiar, no a pensar o adaptarse.

Recientemente, los investigadores empezaron a utilizar modelos de Visión-Lenguaje-Acción (VLA). Estos son como instructores de conducción superinteligentes que pueden "ver" la carretera, "leer" las señales de tráfico y "hablar" los comandos de conducción, todo al mismo tiempo. Pero incluso estos instructores inteligentes fueron entrenados mayoritariamente utilizando el método de "copiar al experto", lo que los deja vulnerables cuando las cosas salen mal.

Entra en escena CLEAR.

La Gran Idea: El Entrenador "Residual"

Los autores de este artículo construyeron un sistema llamado CLEAR para solucionar esto. En lugar de solo copiar, enseñaron a la IA a ser un entrenador que corrige a un aprendiz.

El "Aprendiz" Preentrenado: Primero, toman un modelo VLA muy inteligente (el aprendiz) y le enseñan lo básico utilizando una enorme biblioteca de datos de conducción experta. Este aprendiz es bueno prediciendo una trayectoria general, como un GPS que dice: "Gire a la izquierda en 500 pies".
El "Entrenador" (RL): Luego, introducen el Aprendizaje por Refuerzo (RL). Imagina a un entrenador parado junto al aprendiz. El aprendiz hace una predicción (la "trayectoria base") y el entrenador dice: "En realidad, gira un poco más a la izquierda para evitar ese bache".
- La IA no vuelve a aprender a conducir desde cero (lo que requeriría demasiada potencia de cómputo).
- En su lugar, aprende una política residual. Esto es como aprender la diferencia entre un buen plan y un plan perfecto. Solo aprende las pequeñas "correcciones" necesarias para arreglar los errores del aprendiz.

El "Pipeline Heterogéneo": Solucionando el Atasco de Tráfico

Entrenar a estos entrenadores de IA requiere una cantidad de datos voraz. Necesitas ejecutar millones de simulaciones de conducción para enseñarlos.

Aquí está el cuello de botella:

El Simulador (La Carretera): Ejecutar un simulador de conducción realista (como CARLA) es pesado en cuanto a gráficos de computadora. Es como ejecutar un videojuego de alta gama.
El Aprendiz (El Cerebro): El modelo de IA también es enorme y necesita potentes tarjetas gráficas (GPUs) para pensar.

Si intentas ejecutar el simulador y el cerebro en la misma computadora, pelearán por las tarjetas gráficas. Es como intentar correr un maratón y una pesada competición de levantamiento de pesas en el mismo gimnasio pequeño al mismo tiempo; todo se ralentiza o se bloquea.

La Solución de CLEAR: Construyeron un pipeline heterogéneo.

Pusieron los Simuladores (las carreteras) en un conjunto de computadoras más viejas y baratas.
Pusieron el Cerebro de la IA (el aprendiz) en un clúster de computadoras separado y superpotente.
Los conectaron con un túnel digital (SSH).

Esto es como tener una flota de pistas de carreras remotas (los simuladores) enviando datos a una sede central (el cerebro). Las pistas no tienen que ser sofisticadas; solo necesitan funcionar. El cerebro recibe todos los datos que necesita sin verse ralentizado por el renderizado de gráficos. Esto les permitió ejecutar 64 simulaciones al mismo tiempo y entrenar con 100 millones de muestras.

Los Resultados: De "Fallar" a "Ganar"

El artículo probó este sistema en algunos desafíos de conducción muy difíciles (como los benchmarks "longest6" y "Bench2Drive").

Antes de CLEAR: Los métodos anteriores, incluso los más inteligentes, fallaban casi el 100% de las veces en estas rutas difíciles. Se estrellaban o se quedaban atrapados porque no podían recuperarse de los pequeños errores.
Con CLEAR: El sistema aprendió a corregir sus propios errores. No se limitó a seguir un guion; aprendió a navegar alrededor de obstáculos y a lidiar con el tráfico complejo.
- En un benchmark, la tasa de éxito saltó del 0% (fallo total) al 25%.
- En otro, logró las puntuaciones más altas jamás registradas, superando a todos los métodos anteriores en eficiencia de conducción y seguridad.

Resumen

Piensa en CLEAR como el proceso de tomar a un estudiante de conducción inteligente pero rígido, darle un entrenador superinteligente que aprenda a darle pequeños empujones en la dirección correcta cuando empieza a desviarse, y construir una enorme instalación de entrenamiento distribuida para que puedan practicar millones de millas sin que la computadora colapse. El resultado es un sistema de conducción autónoma que es significativamente mejor para manejar la realidad desordenada e impredecible de la carretera.

Resumen Técnico: CLEAR – Aprendizaje por Refuerzo de Bucle Cerrado a Escala para la Conducción Autónoma de Extremo a Extremo

Planteamiento del Problema

La conducción autónoma de extremo a extremo (E2E-AD) busca mapear datos sensoriales brutos directamente a acciones de conducción. Recientemente, los modelos de Visión-Lenguaje-Acción (VLA) han emergido como un paradigma prometedor, integrando la percepción visual, la comprensión del lenguaje y la predicción de acciones dentro de una única política. Sin embargo, los enfoques basados en VLA existentes dependen predominantemente del Aprendizaje por Imitación (IL). Aunque el IL escala bien con los datos, sufre de un desplazamiento de distribución crítico entre el entrenamiento de bucle abierto (aprendizaje a partir de trayectorias de expertos registradas) y la inferencia de bucle cerrado (donde las propias acciones del agente afectan los estados futuros). Este desplazamiento suele derivar en un rendimiento subóptimo y fallos en escenarios complejos y dinámicos.

Además, aplicar el Aprendizaje por Refuerzo (RL) a políticas basadas en visión a gran escala enfrenta obstáculos de ingeniería significativos. El RL requiere una gran cantidad de datos y necesita miles de entornos de simulación paralelos. En la práctica, ejecutar el simulador (por ejemplo, CARLA) y el aprendiz VLA en el mismo hardware crea una contención de recursos (específicamente memoria GPU e inestabilidad de renderizado), lo que limita el número de entornos paralelos y dificulta el entrenamiento efectivo.

Metodología: El Sistema CLEAR

Los autores proponen CLEAR, un sistema diseñado para permitir el ajuste fino (finetuning) de RL de bucle cerrado a gran escala para políticas VLA. El enfoque consta de tres componentes principales:

1. Marco de Entrenamiento de Dos Etapas

Etapa 1: Preentrenamiento de Bucle Abierto: El sistema primero preentrena un modelo VLA (usando InternVL3-1B como columna vertebral) en un gran conjunto de datos de trayectorias de expertos (~3.1 millones de muestras) mediante aprendizaje por imitación. Esto establece un "prior de puntos de ruta" (waypoint prior), dotando al modelo de capacidades de conducción base y una percepción robusta.
Etapa 2: Ajuste Fino de RL de Bucle Cerrado: En lugar de entrenar desde cero o generar controles de bajo nivel directamente, CLEAR aprende una política de puntos de ruta residual (residual waypoint policy).
- El VLA preentrenado genera una trayectoria base y puntos de ruta de velocidad.
- El agente de RL (optimizado mediante Optimización de Política Próxima, PPO) aprende a predecir correcciones residuales ( $\Delta y, \Delta v$ ) a estos puntos de ruta base.
- El comando final del punto de ruta es la suma del plan base y el residual, limitado a márgenes de seguridad.
- Un controlador determinista mapea estos puntos de ruta a controles de vehículo de bajo nivel (dirección, aceleración, freno). Crucialmente, el controlador se trata como parte de la dinámica del entorno, lo que significa que no fluyen gradientes a través de él durante las actualizaciones de RL.

2. Pipeline de Ajuste Fino Heterogéneo

Para superar el cuello de botella del escalado, CLEAR emplea un pipeline heterogéneo que desacopla el entorno de simulación del agente de aprendizaje:

Separación de Cómputo: Los simuladores CARLA se lanzan en máquinas host independientes (usando GPUs de generación anterior o de consumo como la Tesla V100), mientras que el aprendiz VLA se ejecuta en clústeres de alto rendimiento (por ejemplo, NVIDIA H100).
Comunicación: Túneles de Secure Shell (SSH) facilitan la comunicación entre el servidor (simulador) y el cliente (aprendiz).
Impacto: Esta arquitectura elimina la contención de recursos, permitiendo que el sistema lance 64 entornos CARLA paralelos simultáneamente. Esto permite entrenar con 100 millones de muestras con tamaños de lote grandes (lote total: 16,384; mini-lote: 4,096), lo cual es crítico para la convergencia de algoritmos de RL que demandan muchos datos.

3. Función de Recompensa

El objetivo de RL maximiza el retorno descontado esperado basado en la Completitud de la Ruta (RC). La función de recompensa incluye:

Un factor de penalización suave por desviaciones.
Penalizaciones estrictas (que terminan el episodio) por colisiones, violaciones de semáforos en rojo o infracciones de señales de alto.

Contribuciones Clave

RL de Bucle Cerrado para VLA: CLEAR es el primer sistema que permite efectivamente el ajuste fino de RL de bucle cerrado a gran escala para políticas E2E-AD basadas en VLA, yendo más allá de las limitaciones del aprendizaje por imitación puro.
Política de Puntos de Ruta Residual: Al aprender correcciones alrededor de un prior de puntos de ruta preentrenado en lugar de un control directo de bajo nivel, el método aprovecha eficazmente el conocimiento embebido en el VLA preentrenado mientras mejora la robustez en entornos de bucle cerrado.
Infraestructura Heterogénea Escalable: El pipeline propuesto resuelve el problema de contención de recursos de GPU, permitiendo el despliegue de una enorme cantidad de simuladores paralelos (64+) y el entrenamiento con 100M de muestras, lo que los autores identifican como un factor clave para alcanzar un rendimiento de vanguardia (state-of-the-art).

Resultados Experimentales

CLEAR fue evaluado en tres entornos de prueba desafiantes:

CARLA longest6 v2: Este benchmark presenta rutas largas con escenarios complejos y críticos para la seguridad.
- Los métodos previos (incluyendo IL a gran escala y intentos previos de IL+RL) lograron una Tasa de Éxito (SR) del 0%, fallando en todas las rutas.
- CLEAR (InternVL3-1B) logró una SR del 25.00% y una Completitud de Ruta (RC) del 47.24%, superando significativamente a todos los baselines.
Bench2Drive: Un benchmark con 220 escenarios distintos de seguridad crítica.
- CLEAR alcanzó el mayor Puntaje de Conducción (86.8), Tasa de Éxito (69.5%) y Eficiencia entre todos los métodos comparados, incluyendo otros enfoques VLA y basados en transformadores.
nuScenes: Un conjunto de datos del mundo real.
- CLEAR fue evaluado en un entorno de zero-shot (sin entrenamiento en datos de nuScenes). Logró el mejor error L2 promedio (0.49m) y tasas de colisión competitivas en comparación con modelos entrenados específicamente para nuScenes, demostrando una fuerte generalización.

Significado y Limitaciones

El artículo afirma que CLEAR establece un nuevo estado del arte para las políticas VLA en simuladores de conducción, demostando que el Aprendizaje por Refuerzo a escala es esencial para cerrar la brecha entre el entrenamiento de bucle abierto y el rendimiento de bucle cerrado. El trabajo destaca que simplemente escalar los datos mediante la imitación no es suficiente; la optimización de bucle cerrado es necesaria para manejar los desplazamientos de distribución.

Los autores reconocen varias limitaciones y direcciones para trabajos futuros:

Transferencia Sim2Real: El éxito actual es en simulación; desplegar en el mundo real requiere investigar técnicas de transferencia Sim2Real.
Límites de Escala: El escalado actual está limitado por el número de instancias paralelas de CARLA. Mejorar la estabilidad de la pila de renderizado de GPU de CARLA podría permitir un escalado aún mayor.
Diseño de Recompensas: La función de recompensa actual se alinea con el óptimo global de la métrica. Diseñar recompensas efectivas para métricas que carecen de un óptimo global claro sigue siendo una pregunta de investigación abierta.