💻 computer science

Before Parc Fermé: RL-Time Pruning for Efficient Embodied LLMs in Autonomous Driving

Le papier propose « Before Parc Fermé » (BPF), une nouvelle stratégie d'élagage qui effectue une compression de modèle itérative pendant l'apprentissage par renforcement afin d'optimiser les contrôleurs de LLM incarnés pour la conduite autonome, atteignant un compromis performance-mémoire supérieur et un débit de décodage jusqu'à 27 % plus élevé par rapport à l'élagage post-entraînement ou à la sélection de modèles denses plus petits.

Auteurs originaux : Luca Benfenati, Ali Azimi, Matteo Risso, Fabio Carapellese, Daniele Jahier Pagliari, Alessio Burrello

Publié 2026-06-01

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Luca Benfenati, Ali Azimi, Matteo Risso, Fabio Carapellese, Daniele Jahier Pagliari, Alessio Burrello

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un pilote de robot brillant et super intelligent nommé RobotxR1. Ce pilote est alimenté par un « cerveau » appelé Modèle de Langage Étendu (LLM). Considérez ce cerveau comme un ingénieur de Formule 1 de classe mondiale qui a lu tous les livres sur la conduite, connaît la physique de chaque voiture et peut comprendre n'importe quelle instruction que vous lui donnez en langage courant.

Cependant, il y a un problème : cet ingénieur est trop gros. Il porte un sac à dos massif rempli de livres (mémoire) et met beaucoup de temps à réfléchir avant de donner des instructions (latence). Si vous essayez de mettre ce sac à dos lourd sur une petite voiture de course rapide (le robot réel), la voiture devient trop lente pour faire la course en temps réel. C'est comme essayer de courir un marathon en portant un piano.

Le Problème : Quand réduire la taille du cerveau ?

Pour rendre le robot plus rapide, les ingénieurs essaient généralement de « élaguer » (pruning) le cerveau. L'élagage, c'est comme éditer un manuscrit : vous supprimez des phrases, des paragraphes ou des chapitres entiers qui ne sont pas nécessaires, rendant le livre plus court et plus léger.

Mais voici la partie délicate : Quand faites-vous cette édition ?

Après la course ? (Post-entraînement) : Vous entraînez le cerveau complet, vous le laissez tout apprendre, puis vous essayez de le réduire. Le problème est que le cerveau a déjà mémorisé les parties lourdes et « incorrectes », et l'élaguer pourrait briser sa capacité à conduire.
Avant le début de l'entraînement ? (Pré-entraînement) : Vous réduisez le cerveau d'abord, puis vous l'entraînez. Le problème est que vous ne savez pas encore quelles parties sont réellement inutiles avant que le cerveau n'ait essayé de conduire.

La Solution : « Avant le Parc Fermé » (BPF)

Les auteurs de cet article proposent une nouvelle stratégie appelée Before Parc Fermé (BPF).

Pour comprendre le nom, imaginez la course de Formule 1. Avant une course, les voitures vont dans un « Parc Fermé » (un garage verrouillé) où elles sont scellées. Personne n'est autorisé à toucher ou modifier les voitures désormais. La voiture qui entre dans le garage est celle qui fait la course.

Dans le monde de l'entraînement de l'IA, le « Parc Fermé » est le moment où l'entraînement est terminé et où le modèle est verrouillé en place. Les auteurs soutiennent qu'il ne faut pas attendre que le modèle soit verrouillé dans le garage pour commencer à l'éditer. Au lieu de cela, vous devriez commencer à l'éditer pendant que la voiture est encore en train d'être réglée sur la piste.

Ils appellent cela l'Élagage pendant l'Apprentissage par Renforcement (RL-Time Pruning).

Comment cela fonctionne : Les deux variantes

L'article teste deux façons de réaliser cet éditement « sur la piste » :

BPF-RL (L'édition itérative) : Imaginez que le robot apprend à conduire sur un circuit de course. Tous les quelques tours, les ingénieurs interviennent, regardent les notes du conducteur et disent : « Tu n'as pas besoin de ce paragraphe spécifique sur la pression des pneus ; supprimons-le. » Ensuite, le conducteur continue les tours suivants avec des notes plus légères, apprenant à s'adapter immédiatement à l'absence d'informations. Ils répètent ce processus jusqu'à ce que les notes aient la taille idéale.
BPF-SFT/RL (L'édition en deux étapes) : D'abord, ils effectuent un édiment léger pendant que le conducteur apprend les règles de base (Apprentissage Supervisé par Affinement / SFT). Ensuite, une fois que le conducteur commence à faire la course en temps réel dans des simulations (Apprentissage par Renforcement / RL), ils effectuent l'édition lourde, supprimant davantage de superflu pendant que le conducteur réagit activement à la piste.

Les Résultats : Plus léger, plus rapide et plus intelligent

Les chercheurs ont testé cela sur une configuration de conduite autonome réelle comprenant deux parties :

DecisionxR1 : Le « Cerveau » qui décide de ce qu'il faut faire.
MPCxR1 : Les « Mains » qui dirigent réellement la voiture.

Voici ce qu'ils ont découvert :

Meilleurs compromis : Si vous choisissiez simplement un cerveau naturellement plus petit et plus faible (un modèle de 1,5B) au lieu d'un gros, la voiture conduirait moins bien. Mais s'ils ont pris le gros cerveau et utilisé leur méthode BPF-SFT/RL pour le réduire, le « mini-cerveau » résultant était 1,69 fois meilleur pour équilibrer la taille et la performance que le simple choix d'un petit cerveau au départ. Il a conservé l'intelligence du gros modèle mais avec le poids du petit.
Vitesse en conditions réelles : Lorsqu'ils ont placé ces modèles sur un véritable robot de course équipé d'un ordinateur Jetson AGX Orin, les modèles élagués étaient 27 % plus rapides pour générer des instructions.
Le piège de la « Verbosité » : Ils ont découvert un rebondissement surprenant. Parfois, rendre un modèle plus petit ne rendait pas l'ensemble du système plus rapide. Pourquoi ? Parce que le modèle plus petit commençait parfois à écrire des phrases plus longues pour expliquer ses décisions. C'est comme un coureur plus léger qui se mettrait à se parler à lui-même tout le long, ce qui le ralentit. Cela leur a appris qu'on ne peut pas se contenter de regarder la taille du modèle ; il faut surveiller l'ensemble du pipeline.

L'essentiel

L'article affirme que pour les robots qui doivent penser et agir en temps réel (comme les voitures autonomes), vous ne devriez pas attendre la fin de l'entraînement pour rendre l'IA plus petite. Au lieu de cela, vous devriez la réduire pendant qu'elle apprend, permettant au robot de s'adapter à sa propre « chirurgie » en temps réel.

Cette approche « Avant le Parc Fermé » crée un pilote de robot assez léger pour être rapide, mais assez intelligent pour gérer des tâches de conduite complexes, surpassant à la fois les modèles lours originaux et les modèles naturellement petits.

Résumé technique : Before Parc Fermé (BPF) pour les LLM incarnés efficaces

Problématique

Les modèles de langage de grande taille (LLM) incarnés sont de plus en plus déployés dans des pipelines de contrôle robotique, tels que la conduite autonome, pour interpréter des commandes en langage naturel et adapter les paramètres de contrôle. Cependant, ces modèles font face à des défis de déploiement importants dus à la surcharge de mémoire et à la latence de génération, ce qui entrave l'exécution en temps réel sur du matériel contraint (ex. : Jetson AGX Orin).

Bien que l'élagage (pruning) offre une solution pour réduire la taille du modèle et le coût computationnel, le moment optimal de l'élagage au sein du pipeline d'entraînement spécifique des LLM incarnés reste incertain. Ces systèmes subissent généralement un ajustement fin supervisé (SFT) suivi d'un apprentissage par renforcement (RL) avec rétroaction en boucle fermée.

L'élagage post-entraînement (après le SFT et le RL) compresse le modèle final, mais les poids restants n'ont aucune opportunité de s'adapter aux structures supprimées.
L'élagage pré-RL (après le SFT, avant le RL) supprime des structures avant que le modèle n'ait appris les comportements spécifiques en boucle fermée requis pour la tâche, risquant ainsi de rejeter des composants critiques.
La sélection directe de modèles denses plus petits (ex. : 1,5B vs 3B de paramètres) entraîne souvent un compromis sous-optimal entre la taille du modèle et l'adaptabilité du contrôle, car les modèles plus grands offrent des capacités de raisonnement nettement supérieures que les modèles plus petits ne peuvent égaler.

Le défi central est de déterminer quand élagir pour maximiser la rétention des capacités de raisonnement et de contrôle tout en minimant l'utilisation des ressources.

Méthodologie : Before Parc Fermé (BPF)

Les auteurs proposent Before Parc Fermé (BPF), une famille de stratégies d'élagage qui intègre la compression directement dans le processus d'entraînement, en couplant spécifiquement l'élagage avec la phase de RL. Le nom « Parc Fermé » fait référence à la période de la Formule 1 où les voitures sont verrouillées pour empêcher toute modification ; ici, il désigne métaphoriquement l'étape post-entraînement où l'architecture est fixée. BPF compresse le modèle avant ce verrouillage, pendant qu'il est encore en cours d'optimisation pour le comportement en boucle fermée.

Le cadre utilise LLM-Pruner avec un score d'importance basé sur Taylor pour effectuer un élagage structuré. L'article évalue deux variantes principales de BPF par rapport à plusieurs lignes de base :

BPF-RL (Élagage itératif pendant le RL) :
- Le modèle subit un SFT complet sans élagage.
- Pendant la phase de RL, l'élagage est effectué de manière itérative à des intervalles prédéfinis ( $\Delta t_{RL}$ ).
- À chaque intervalle, les groupes de paramètres ayant les scores les plus bas sont supprimés pour atteindre progressivement le ratio d'élagage cible.
- Cela permet aux poids restants de s'adapter aux structures supprimées tout en recevant toujours la rétroaction de la tâche en boucle fermée.
BPF-SFT/RL (Élagage fractionné) :
- Étape SFT : Une compression partielle est appliquée après une phase de chauffe initiale, supprimant une partie du modèle ( $\rho_{SFT}$ ).
- Étape RL : La compression restante ( $\rho - \rho_{SFT}$ ) est réalisée de manière itérative pendant le RL, de la même manière que BPF-RL.
- Cette approche exploite le SFT pour supprimer les structures clairement redondantes basées sur les prompts de la tâche, tout en s'appuyant sur la rétroaction du RL pour affiner la compression basée sur la performance en boucle fermée.

Lignes de base pour comparaison :

Élagage post-entraînement (PTP) : Élagage appliqué après l'intégralité du SFT et du RL.
PTP + Récupération : PTP suivi d'étapes de RL supplémentaires pour récupérer la performance.
Élagage en étape SFT : Étape de compression unique pendant le SFT avant le RL.
Modèles denses plus petits : Utilisation directe d'architectures plus petites (ex. : Qwen2.5-1.5B) issues de la même famille de modèles.

Contributions clés

Introduction de BPF : Une nouvelle recette d'élagage qui couple le RL avec l'élagage structuré pour les contrôleurs de LLM incarnés, démontrant que le timing de la compression est un choix de conception critique.
Compromis Performance vs Efficacité : Les auteurs montrent que les stratégies BPF, particulièrement BPF-SFT/RL, atteignent des compromis supérieurs entre la taille du modèle et la performance de la tâche par rapport à l'élagage post-entraînement ou à la simple sélection de modèles denses plus petits.
Évaluation de bout en bout : Le travail souligne que l'élagage des LLM incarnés doit être évalué de manière holistique. Les changements dans le nombre de jetons générés dus à l'élagage peuvent altérer la latence et le comportement en aval, nécessissant une évaluation de l'ensemble du pipeline plutôt qu'une analyse isolée des métriques.

Résultats expérimentaux

Les méthodes ont été évaluées sur RobotxR1, un pipeline de conduite autonome comprenant deux modules :

DecisionxR1 : Évalue si le comportement actuel correspond aux instructions de l'utilisateur.
MPCxR1 : Adapte les paramètres du contrôle prédictif (MPC).

1. Performance de la tâche et adaptabilité

Supériorité de BPF-SFT/RL : Sur le module DecisionxR1 (3 milliards de paramètres), BPF-SFT/RL a obtenu le meilleur compromis. À un ratio d'élagage de 45 %, il a amélioré l'adaptabilité du contrôle de 11,4 % par rapport à PTP+R et de 17 % par rapport à PTP.
Comparaison avec des modèles plus petits : En compressant le modèle 3B, BPF-SFT/RL a obtenu un meilleur compromis taille–performance de bout en bout de 1,69× que la sélection directe du modèle dense 1,5B. Plus précisément, BPF-SFT/RL a réduit les paramètres de 0,91B avec une perte de 7,61 % d'adaptabilité, tandis que le passage au modèle 1,5B a réduit les paramètres de 1,55B mais a entraîné une perte de 21,7 %.
Élagage conjoint : L'élagage conjoint des deux modules a révélé que MPCxR1 est plus sensible à l'élagage que DecisionxR1. Un élagage modéré de MPCxR1 (ex. : 10 %) combiné à un élagage plus élevé de DecisionxR1 (ex. : 30-45 %) a produit les meilleurs résultats de Pareto-optimalité.

2. Déploiement embarqué (Jetson AGX Orin)

Débit et Mémoire : Les modèles élagués ont montré des améliorations significatives du débit de décodage et de l'empreinte mémoire. Par exemple, l'élagage de DecisionxR1 de 45 % a réduit la mémoire de 2,07 Go à 1,51 Go et a augmenté le débit de 45 à 58 jetons/sec.
Nuance de Latence : L'article note que la réduction des paramètres ne réduit pas automatiquement la latence de bout en bout. L'élagage peut augmenter la verbosité des jetons générés (ex. : MPCxR1 générant plus de texte), ce qui peut compenser les gains de calcul. La configuration optimale pour la latence (20 % d'élagage sur DecisionxR1, 0 % sur MPCxR1) a réduit la latence de 19,5 % avec seulement une baisse de 0,8 % de la performance de la tâche.

Signification et affirmations

L'article affirme que BPF-SFT/RL représente la stratégie la plus efficace pour le déploiement de LLM incarnés dans la conduite autonome. Sa principale signification réside dans la démonstration que :

Le timing est crucial : L'élagage pendant la phase de RL, alors que le modèle est encore en train de s'adapter à la rétroaction en boucle fermée, préserve davantage de capacités de raisonnement et de contrôle que l'élagage une fois l'entraînement terminé.
Efficacité vs Capacité : Il est possible de compresser considérablement des modèles plus grands et plus capables (ex. : 45 %) tout en conservant des niveaux de performance proches du modèle large d'origine, ce qui est supérieur à ce qui est réalisable en changeant simplement pour un modèle dense plus petit.
Évaluation Holistique : Une compression efficace pour les systèmes robotiques nécessite d'évaluer l'ensemble du pipeline de contrôle, car les changements induits par l'élagage dans la longueur de génération des jetons peuvent impacter de manière critique la latence en aval et le comportement du système.

Les auteurs reconnaissent des limites, notamment l'absence d'entraînement conjoint des modules élagués (MPCxR1 a été entraîné sur les sorties de DecisionxR1 non élagué), l'utilisation d'intervalles d'élagage fixes, et l'absence d'élagage conscient de la quantification, ce qui nécessite actuellement un bourrage (padding) pour aligner les dimensions avec les runtimes d'inférence.