⚡ electrical engineering

On-Policy Distillation of Language Models for Autonomous Vehicle Motion Planning

Este artículo presenta un método de destilación de conocimiento en política (GKD) que transfiere eficazmente la capacidad de planificación de movimiento de un gran modelo de lenguaje a un modelo más pequeño y desplegable, superando a los enfoques de aprendizaje por refuerzo y acercándose al rendimiento del modelo maestro en el benchmark nuScenes.

Autores originales: Amirhossein Afsharrad, Amirhesam Abedsoltan, Ahmadreza Moradipari, Sanjay Lall

Publicado 2026-04-10

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Amirhossein Afsharrad, Amirhesam Abedsoltan, Ahmadreza Moradipari, Sanjay Lall

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que quieres enseñar a un niño a conducir un coche autónomo. Tienes dos opciones:

Opción A: Contratar al mejor conductor del mundo (el "Maestro"), pero es tan grande, lento y consume tanta gasolina (recursos de computación) que no cabe en el coche pequeño que vamos a usar.
Opción B: Intentar que el niño aprenda por sí solo, pero sin un buen guía, cometerá muchos errores.

Este artículo de investigación trata sobre cómo crear un "Niño Genio" (un modelo de inteligencia artificial pequeño y rápido) que aprenda a conducir tan bien como el "Maestro" (un modelo gigante), pero que quepa en el hardware real de un coche.

Aquí te explico cómo lo hicieron, usando analogías sencillas:

1. El Problema: El Maestro es demasiado grande

Los modelos de lenguaje actuales (como los que usan Chatbots) son increíbles para planear rutas de conducción porque entienden el contexto, las reglas de tráfico y la lógica. Pero son como elefantes en una tienda de porcelana: son demasiado pesados y lentos para correr en tiempo real dentro de un coche.

La solución obvia es "distilar" el conocimiento: tomar al Maestro gigante y enseñarle a un estudiante pequeño. Pero aquí hay un truco: si le das al estudiante solo las respuestas correctas del Maestro (como un libro de texto), el estudiante falla cuando está conduciendo solo. ¿Por qué? Porque si el estudiante se equivoca un poquito al principio (por ejemplo, gira un poco tarde), el libro de texto no le ayuda a corregir ese error en tiempo real. El error se acumula y el coche se sale de la carretera.

2. La Solución: Dos Métodos de Enseñanza

Los investigadores probaron dos formas de enseñar al estudiante (un modelo pequeño de 1.7 mil millones de parámetros) usando al Maestro (un modelo grande de 8 mil millones):

Método 1: El Entrenador de RL (Refuerzo)

Imagina que el estudiante conduce y el Maestro le grita: "¡Bien!" o "¡Mal!" solo cuando el estudiante elige una dirección específica.

La analogía: Es como un entrenador que solo te dice "punto" o "falta" cuando lanzas la pelota, pero no te explica por qué tu lanzamiento fue bueno o malo, ni te muestra todas las otras formas en que podrías haber lanzado.
El resultado: El estudiante aprende, pero a veces se confunde. Como solo recibe una señal simple ("bien/mal"), no entiende la física completa del movimiento. En los experimentos, este método falló bastante: el coche se desviaba mucho y chocaba más.

Método 2: La Distilación GKD (El Método Ganador)

Aquí, el Maestro no solo dice "bien" o "mal". El Maestro le muestra al estudiante todas las posibilidades en cada paso.

La analogía: Imagina que el estudiante está conduciendo y el Maestro le susurra al oído: "Oye, podrías girar un poco a la izquierda, o quizás un poco más a la derecha, o ir recto. Pero si giras a la izquierda, la probabilidad de éxito es del 90%, si giras a la derecha es del 10%...".
El estudiante ve el mapa completo de probabilidades del Maestro en cada instante, incluso si el estudiante elige un camino diferente. Aprende la "intuición" completa del Maestro, no solo la respuesta final.
El resultado: ¡Es un éxito! El estudiante pequeño aprendió a conducir casi tan bien como el Maestro gigante.

3. Los Resultados: El "Niño" casi iguala al "Maestro"

Los investigadores probaron esto en un banco de pruebas real (datos de conducción de la ciudad de NuScenes).

Precisión: El estudiante pequeño (GKD) cometió errores de trayectoria muy pequeños, casi idénticos al Maestro. El otro método (RL) cometió errores mucho mayores.
Seguridad: El estudiante GKD chocó muy poco (casi tanto como el Maestro). El método de RL chocó mucho más.
Tamaño: El estudiante es 5 veces más pequeño que el Maestro. Es como convertir un camión de mudanzas en un coche deportivo: sigue haciendo el trabajo, pero es mucho más rápido y eficiente.

¿Por qué es importante esto?

Hasta ahora, usar inteligencia artificial avanzada para conducir era como intentar meter un servidor de datos en el salpicadero de un coche: imposible.

Este trabajo demuestra que podemos tomar la inteligencia de un "genio" (el modelo grande) y comprimirla en un "cerebro pequeño" (el modelo pequeño) sin perder mucha habilidad, siempre y cuando le enseñemos de la manera correcta (viendo todas las posibilidades, no solo recibiendo un "bien/mal").

En resumen:
Los investigadores descubrieron que para enseñar a un coche autónomo a pensar, no basta con darle las respuestas correctas. Hay que darle al modelo pequeño una "radiografía" completa de lo que el modelo grande está pensando en cada milisegundo. Así, el coche pequeño puede tomar decisiones seguras y rápidas, haciendo realidad los coches autónomos inteligentes que caben en nuestros bolsillos (o mejor dicho, en nuestros coches).

1. Planteamiento del Problema

Los modelos de lenguaje grandes (LLM) han demostrado un gran potencial para la planificación de movimiento en vehículos autónomos, reformulando la predicción de trayectorias como un problema de generación de lenguaje (como en el marco GPT-Driver). Sin embargo, existe un obstáculo fundamental para su implementación práctica: el alto costo computacional y de inferencia de los LLMs capaces, que impide su ejecución en tiempo real en hardware embarcado con recursos limitados.

La solución natural es la distilación de conocimiento (entrenar un modelo "estudiante" más pequeño para replicar a un "maestro" grande). No obstante, la distilación supervisada estándar sufre de una mismatch (desajuste) entre la distribución de entrenamiento e inferencia. En modelos autoregresivos, el estudiante se entrena con secuencias perfectas (generadas por el maestro o datos reales), pero en inferencia debe generar tokens basándose en sus propios errores previos. Esto provoca un efecto cascada de errores, especialmente crítico en la planificación de trayectorias donde un error temprano en las coordenadas puede desviar toda la trayectoria futura.

2. Metodología

El trabajo propone y evalúa dos paradigmas de entrenamiento para un modelo estudiante (Qwen3-1.7B) que intenta imitar a un maestro (Qwen3-8B) entrenado en el conjunto de datos nuScenes mediante el marco GPT-Driver. Ambos métodos utilizan rollouts en política (el estudiante genera sus propias secuencias durante el entrenamiento), pero difieren en la señal de aprendizaje:

A. Distilación Generalizada de Conocimiento (GKD) - Método Propuesto

Concepto: Entrena al estudiante sobre sus propias secuencias generadas (en política), utilizando las distribuciones de probabilidad a nivel de token del maestro como supervisión densa.
Funcionamiento: En lugar de solo predecir el token correcto, el estudiante minimiza la divergencia entre su distribución de probabilidad sobre todo el vocabulario y la del maestro en cada paso.
Métrica de Divergencia: Se utiliza la Divergencia Generalizada de Jensen-Shannon (JSD) con $\beta=0.5$ . Esto equilibra el comportamiento de "cobertura de modos" (Forward KL) y "búsqueda de modos" (Reverse KL), evitando tanto la alucinación como la pérdida de diversidad.
Ventaja Clave: Proporciona una señal de retroalimentación completa sobre el vocabulario, permitiendo al estudiante aprender la estructura implícita de las coordenadas (ej. qué dígitos son plausibles dados los anteriores) y la dinámica física del vehículo, no solo si un token específico fue "bueno".

B. Línea Base de Aprendizaje por Refuerzo (RL) con Retroalimentación Densa

Concepto: Utiliza los log-probabilidades del maestro como señales de recompensa densa por token dentro de un marco de gradiente de política.
Funcionamiento: Calcula la ventaja de un token muestreado comparando la probabilidad que le asigna el maestro frente a la del estudiante.
Limitación: Solo recibe retroalimentación sobre el token que realmente muestreó, descartando información sobre otras continuaciones plausibles. Es análogo a una recompensa escalar en lugar de una distribución completa.

3. Contribuciones Clave

Compresión Efectiva: Demuestran que la distilación en política puede comprimir un planificador basado en LLM, logrando un rendimiento cercano al del maestro con un modelo 5 veces más pequeño (1.7B vs 8B parámetros).
Comparación Controlada: Proporcionan una comparación rigurosa y controlada entre GKD y un enfoque de RL guiado por el maestro, aislando el efecto del algoritmo de aprendizaje manteniendo idénticos todos los demás factores (arquitectura, datos, maestro).
Superioridad en Seguridad y Precisión: Muestran que el estudiante GKD no solo es más preciso, sino que genera trayectorias más seguras (menor tasa de colisiones) y sigue mejor la dinámica de conducción del maestro en comparación con el enfoque RL.

4. Resultados Experimentales

Los experimentos se realizaron en el conjunto de validación de nuScenes (5,119 frames).

Precisión de Trayectoria (Error L2):
- El estudiante GKD alcanzó un error promedio de 0.373 m (convención STP-3), muy cerca del maestro (0.355 m), representando una degradación de solo ~5%.
- El estudiante RL tuvo un error de 0.579 m, un 55% peor que el estudiante GKD.
- La ventaja del GKD sobre el RL aumenta con el horizonte temporal, indicando que los errores del RL se acumulan más severamente.
Tasa de Colisiones:
- El estudiante GKD logró una tasa de colisión promedio del 0.138%, muy cerca del maestro (0.101%).
- El estudiante RL tuvo una tasa significativamente mayor de 0.363% (2.6 veces peor que GKD).
Fiabilidad de Formato: Ambos estudiantes lograron un 0% de errores de formato, demostrando que ambos métodos aprenden la estructura de salida compleja (razonamiento + coordenadas).

5. Significado y Conclusión

El estudio concluye que la distilación en política (GKD) es un enfoque principiado y práctico para desplegar planificadores basados en LLM en sistemas de conducción autónoma con restricciones de recursos.

Por qué funciona: La clave reside en la señal de distribución completa. En la generación de coordenadas, donde la coherencia física es crítica, saber qué otros tokens eran plausibles (distribución del maestro) es mucho más informativo que saber solo si el token elegido fue "bueno" (señal escalar del RL).
Impacto: Este método permite reducir la huella computacional de los planificadores de IA en un factor de 5 sin sacrificar significativamente la seguridad ni la precisión, resolviendo uno de los principales cuellos de botella para la adopción de LLMs en vehículos autónomos reales.

El trabajo sugiere que para tareas de toma de decisiones secuenciales críticas para la seguridad, como la planificación de movimiento, la alineación de distribuciones completas (GKD) es superior a los métodos de ajuste de recompensas por token (RL).