💻 computer science

Before Parc Fermé: RL-Time Pruning for Efficient Embodied LLMs in Autonomous Driving

El artículo propone "Before Parc Fermé" (BPF), una novedosa estrategia de poda que realiza la compresión iterativa de modelos durante el Aprendizaje por Refuerzo para optimizar los controladores de LLM incorporados para la conducción autónoma, logrando una relación rendimiento-memoria superior y hasta un 27% más de capacidad de decodificación en comparación con la poda post-entrenamiento o la selección de modelos densos más pequeños.

Autores originales: Luca Benfenati, Ali Azimi, Matteo Risso, Fabio Carapellese, Daniele Jahier Pagliari, Alessio Burrello

Publicado 2026-06-01

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Luca Benfenati, Ali Azimi, Matteo Risso, Fabio Carapellese, Daniele Jahier Pagliari, Alessio Burrello

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes un conductor robot brillante y superinteligente llamado RobotxR1. Este conductor es impulsado por un "cerebro" llamado Modelo de Lenguaje de Gran Escala (LLM). Piensa en este cerebro como un ingeniero de Fórmula 1 de clase mundial que se ha leído todos los libros sobre conducción, conoce la física de cada coche y puede entender cualquier instrucción que le des en lenguaje sencillo.

Sin embargo, hay un problema: este ingeniero es demasiado grande. Lleva una mochila masiva llena de libros (memoria) y tarda mucho tiempo en pensar antes de dar instrucciones (latencia). Si intentas poner esta mochila pesada en un coche de carreras pequeño y rápido (el robot real), el coche se volverá demasiado lento para competir en tiempo real. Es como intentar correr un maratón cargando un piano.

El Problema: ¿Cuándo encoger el cerebro?

Para hacer que el robot sea más rápido, los ingenieros suelen intentar "podar" el cerebro. La poda es como editar un manuscrito: cortas frases, párrafos o capítulos enteros que no son necesarios, haciendo que el libro sea más corto y ligero.

Pero aquí está la parte difícil: ¿Cuándo haces la edición?

¿Después de que termina la carrera? (Post-entrenamiento): Entrenas el cerebro completo, dejas que aprenda todo y luego intentas reducirlo. El problema es que el cerebro ya ha memorizado las partes pesadas e incorrectas, y cortarlas podría romper su capacidad para conducir.
¿Antes de que comience el entrenamiento? (Pre-entrenamiento): Cortas el cerebro primero y luego lo entrenas. El problema es que aún no sabes qué partes son realmente inútiles hasta que el cerebro haya intentado conducir.

La Solución: "Before Parc Fermé" (BPF)

Los autores de este artículo proponen una nueva estrategia llamada Before Parc Fermé (BPF).

Para entender el nombre, imagina la competición de Fórmula 1. Antes de una carrera, los coches entran en un "Parc Fermé" (un garaje cerrado) donde quedan sellados. Nadie tiene permitido tocar o modificar los coches a partir de ese momento. El coche que entra al garaje es el que compite.

En el mundo del entrenamiento de IA, el "Parc Fermé" es el momento en que el entrenamiento termina y el modelo queda bloqueado en su lugar. Los autores argumentan que no deberías esperar hasta que el modelo esté bloqueado en el garaje para empezar a editarlo. En su lugar, deberías empezar a editarlo mientras el coche todavía está siendo ajustado en la pista.

Ellos llaman a esto RL-Time Pruning (Poda en Tiempo de Aprendizaje por Refuerzo).

Cómo funciona: Las dos variantes

El artículo pone a prueba dos formas de realizar esta edición "en la pista":

BPF-RL (La edición iterativa): Imagina que el robot conductor está aprendiendo a conducir en una pista de carreras. Cada pocos giros, los ingenieros intervienen, revisan las notas del conductor y dicen: "No necesitas este párrafo específico sobre la presión de los neumáticos; vamos a cortarlo". Luego, el conductor continúa las siguientes vueltas con las notas más ligeras, aprendiendo a adaptarse a la información faltante de inmediato. Repiten este proceso hasta que las notas tienen el tamaño justo.
BPF-SFT/RL (La edición en dos etapas): Primero, realizan una edición ligera mientras el conductor aprende las reglas básicas (Ajuste Fino Supervisado o SFT). Luego, una vez que el conductor comienza a competir en simulaciones en tiempo real (Aprendizaje por Refuerzo o RL), realizan la edición pesada, eliminando más relleno mientras el conductor reacciona activamente a la pista.

Los Resultados: Más ligero, más rápido y más inteligente

Los investigadores probaron esto en una configuración de conducción autónoma real con dos partes:

DecisionxR1: El "Cerebro" que decide qué hacer.
MPCxR1: Las "Manos" que realmente dirigen el coche.

Esto es lo que encontraron:

Mejores compensaciones: Si simplemente elegías un cerebro naturalmente más pequeño y débil (un modelo de 1.5B) en lugar de uno grande, el coche conducía peor. Pero si tomaron el cerebro grande y usaron su método BPF-SFT/RL para encogerlo, el "mini-cerebro" resultante fue 1.69 veces mejor equilibrando el tamaño y el rendimiento que simplemente elegir el cerebro pequeño desde el principio. Mantuvo la "inteligencia" del modelo grande pero con el "peso" del modelo pequeño.
Velocidad en el mundo real: Cuando colocaron estos modelos en un robot de carreras equipado con una computadora Jetson AGX Orin, los modelos podados fueron un 27% más rápidos generando instrucciones.
La trampa de la verbosidad: Descubrieron un giro sorprendente. A veces, hacer un modelo más pequeño no hacía que todo el sistema fuera más rápido. ¿Por qué? Porque el modelo más pequeño a veces empezaba a escribir frases más largas para explicar sus decisiones. Es como un corredor más ligero que empieza a hablar consigo mismo todo el tiempo, ralentizándose. Esto les enseñó que no puedes mirar solo el tamaño del modelo; tienes que vigilar todo el proceso.

La Conclusión

El artículo afirma que para los robots que necesitan pensar y actuar en tiempo real (como los coches autónomos), no deberías esperar hasta que el entrenamiento termine para hacer la IA más pequeña. En su lugar, debes encogerla mientras está aprendiendo, permitiendo que el robot se adapte a su propia "cirugía" en tiempo real.

Este enfoque de "Before Parc Fermé" crea un conductor robot que es lo suficientemente ligero para ser rápido, pero lo suficientemente inteligente para manejar tareas de conducción complejas, superando tanto a los modelos pesados originales como a los modelos naturalmente pequeños.

Resumen Técnico: Before Parc Fermé (BPF) para LLMs Corpóreos Eficientes

Planteamiento del Problema

Los Modelos de Lenguaje de Gran Escala (LLMs) corpóreos se despliegan cada vez más en procesos de control robótico, como la conducción autónoma, para interpretar comandos de lenguaje natural y adaptar los parámetros del controlador. Sin embargo, estos modelos enfrentan desafíos significosos de despliegue debido a la sobrecarga de memoria y la latencia de generación, lo que dificulta la ejecución en tiempo real en hardware restringido (por ejemplo, Jetson AGX Orin).

Si bien la poda (pruning) ofrece una solución para reducir el tamaño del modelo y el costo computacional, el momento óptimo para realizar la poda dentro del flujo de entrenamiento específico de los LLMs corpóreos sigue sin estar claro. Estos sistemas suelen someterse a un Ajuste Fino Supervisado (SFT) seguido de Aprendizaje por Refuerzo (RL) con retroalimentación de bucle cerrado.

Poda post-entrenamiento (después de SFT y RL) comprime el modelo final, pero no ofrece a los pesos restantes la oportunidad de adaptarse a las estructuras eliminadas.
Poda pre-RL (después de SFT, antes de RL) elimina estructuras antes de que el modelo haya aprendido los comportamientos específicos de bucle cerrado requeridos para la tarea, lo que podría descartar componentes críticos.
La selección directa de modelos densos más pequeños (por ejemplo, 1.5B frente a 3B de parámetros) a menudo resulta en un compromiso subóptimo entre el tamaño del modelo y la adaptabilidad del control, ya que los modelos más grandes proporcionan capacidades de razonamiento significativamente mejores que las que los modelos más pequeños pueden igualar.

El desafío central es determinar cuándo podar para maximizar la retención de las capacidades de razonamiento y control mientras se minimiza el uso de recursos.

Metodología: Before Parc Fermé (BPF)

Los autores proponen Before Parc Fermé (BPF), una familia de estrategias de poda que integra la compresión directamente en el proceso de entrenamiento, específicamente acoplando la poda con la fase de RL. El nombre "Parc Fermé" se refiere al periodo de la Fórmula 1 donde los coches están bloqueados de modificaciones; aquí, denota metafóricamente la etapa de post-entrenamiento donde la arquitectura está fija. BPF comprime el modelo antes de este bloqueo, mientras aún se está optimizando para el comportamiento de bucle cerrado.

El marco utiliza LLM-Pruner con una puntuación de importancia basada en Taylor para realizar una poda estructurada. El artículo evalúa dos variantes principales de BPF frente a varios modelos de referencia (baselines):

BPF-RL (Poda iterativa durante RL):
- El modelo se somete a un SFT completo sin poda.
- Durante la fase de RL, la poda se realiza de forma iterativa en intervalos predefinidos ( $\Delta t_{RL}$ ).
- En cada intervalo, se eliminan los grupos de parámetros con la puntuación más baja para alcanzar incrementalmente la ratio de poda objetivo.
- Esto permite que los pesos restantes se adapten a las estructuras eliminadas mientras siguen recibiendo retroalimentación de la tarea de bucle cerrado.
BPF-SFT/RL (Poda dividida):
- Etapa SFT: Se aplica una compresión parcial después de una fase de calentamiento inicial, eliminando una parte del modelo ( $\rho_{SFT}$ ).
- Etapa RL: La compresión restante ( $\rho - \rho_{SFT}$ ) se logra iterativamente durante el RL, de manera similar a BPF-RL.
- Este enfoque aprovecha el SFT para eliminar estructuras claramente redundantes basadas en los prompts de la tarea, mientras confía en la retroalimentación de RL para refinar la compresión basada en el desempeño de bucle cerrado.

Modelos de referencia para comparación:

Poda post-entrenamiento (PTP): Poda aplicada después de SFT y RL completos.
PTP + Recuperación: PTP seguido de pasos adicionales de RL para recuperar el rendimiento.
Poda en la etapa SFT: Un único paso de compresión durante el SFT antes de RL.
Modelos densos más pequeños: Uso directo de arquitecturas más pequeñas (por ejemplo, Qwen2.5-1.5B) de la misma familia de modelos.

Contribuciones Clave

Introducción de BPF: Una nueva receta de poda que acopla el RL con la poda estructurada para controladores de LLM corpóreos, demostrando que el tiempo de la compresión es una elección de diseño crítica.
Compromiso entre Rendimiento y Eficiencia: Los autores muestran que las estrategias BPF, particularmente BPF-SFT/RL, logran compromisos superiores entre el tamaño del modelo y el rendimiento de la tarea en comparación con la poda post-entrenamiento o la simple selección de modelos densos más pequeños.
Evaluación de extremo a extremo: El trabajo enfatiza que la poda de los LLMs corpóreos debe evaluarse de manera holística. Los cambios en el recuento de tokens generados debido a la poda pueden alterar la latencia y el comportamiento downstream, lo que requiere una evaluación de todo el pipeline en lugar de un análisis de métricas aisladas.

Resultados Experimentales

Los métodos fueron evaluados en RobotxR1, un pipeline de conducción autónoma que comprende dos módulos:

DecisionxR1: Evalúa si el comportamiento actual coincide con las instrucciones del usuario.
MPCxR1: Adapta los parámetros del Control Predictivo basado en Modelo (MPC).

1. Rendimiento de la Tarea y Adaptabilidad

Superioridad de BPF-SFT/RL: En el módulo DecisionxR1 (3B de parámetros), BPF-SFT/RL logró el mejor compromiso. Con una ratio de poda del 45%, mejoró la adaptabilidad del control en un 11.4% en comparación con PTP+R y un 17% en comparación con PTP.
Comparación con modelos más pequeños: Al comprimir el modelo de 3B, BPF-SFT/RL logró un mejor compromiso entre tamaño y rendimiento end-to-end de 1.69× que la selección directa del modelo denso de 1.5B. Específicamente, BPF-SFT/RL redujo los parámetros en 0.91B con una pérdida del 7.61% en adaptabilidad, mientras que cambiar al modelo de 1.5B redujo los parámetros en 1.55B pero incurrió en una pérdida del 21.7%.
Poda conjunta: La poda conjunta de ambos módulos reveló que MPCxR1 es más sensible a la poda que DecisionxR1. Una poda moderada de MPCxR1 (por ejemplo, 10%) combinada con una mayor poda de DecisionxR1 (por ejemplo, 30-45%) produjo los mejores resultados de Pareto-óptimos.

2. Despliegue Embebido (Jetson AGX Orin)

Throughput y Memoria: Los modelos podados mostraron mejoras significativas en el throughput de decodificación y la huella de memoria. Por ejemplo, podar DecisionxR1 en un 45% redujo la memoria de 2.07GB a 1.51GB y aumentó el throughput de 45 a 58 tokens/seg.
Matiz de Latencia: El artículo señala que reducir los parámetros no reduce automáticamente la latencia end-to-end. La poda puede aumentar la verbosidad de los tokens generados (por ejemplo, MPCxR1 generando más texto), lo que puede compensar las ganancias computacionales. La configuración óptima para la latencia (20% de poda en DecisionxR1, 0% en MPCxR1) redujo la latencia en un 19.5% con solo una caída del 0.8% en el rendimiento de la tarea.

Significado y Reivindicaciones

El artículo afirma que BPF-SFT/RL representa la estrategia más efectiva para desplegar LLMs corpóreos en la conducción autónoma. Su principal significado radica en demostrar que:

El tiempo importa: Podar durante la fase de RL, mientras el modelo aún se está adaptando a la retroalimentación de bucle cerrado, preserva más capacidad de razonamiento y control que podar una vez completado el entrenamiento.
Eficiencia vs. Capacidad: Es posible comprimir modelos más grandes y capaces significativamente (por ejemplo, 45%) manteniendo niveles de rendimiento cercanos al modelo grande original, superiores a lo que se logra simplemente cambiando a un modelo denso más pequeño.
Evaluación Holística: La compresión efectiva para sistemas robóticos requiere evaluar todo el pipeline de control, ya que los cambios inducidos por la poda en la longitud de la generación de tokens pueden impactar críticamente la latencia downstream y el comportamiento del sistema.

Los autores reconocen limitaciones, incluyendo la falta de entrenamiento conjunto de los módulos podados (MPCxR1 fue entrenado con salidas de DecisionxR1 no podado), el uso de intervalos de poda fijos y la ausencia de poda consciente de la cuantización, lo que actualmente requiere padding para alinear las dimensiones para los entornos de ejecución (runtimes).