⚡ electrical engineering

On-Policy Distillation of Language Models for Autonomous Vehicle Motion Planning

Cet article propose une méthode de distillation de connaissances « on-policy » qui permet de transférer efficacement les compétences de planification de mouvement d'un grand modèle de langage vers un modèle plus compact, surpassant les approches par apprentissage par renforcement et atteignant des performances proches de l'enseignant pour des systèmes de conduite autonome aux ressources limitées.

Auteurs originaux : Amirhossein Afsharrad, Amirhesam Abedsoltan, Ahmadreza Moradipari, Sanjay Lall

Publié 2026-04-10

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Amirhossein Afsharrad, Amirhesam Abedsoltan, Ahmadreza Moradipari, Sanjay Lall

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🚗 Le Défi : La Voiture Autonome "Gourmande"

Imaginez que vous voulez créer une voiture autonome très intelligente. Pour cela, les chercheurs ont utilisé un "cerveau" géant, une Intelligence Artificielle (IA) de type LLM (comme un super ChatGPT). Ce cerveau est capable de comprendre la route, de raisonner comme un humain et de décider où aller.

Le problème ? Ce cerveau est énorme. C'est comme essayer de faire tourner un supercalculateur dans une petite voiture de ville. Il consomme trop d'énergie, prend trop de place et est trop lent pour être installé directement dans la voiture.

🎓 La Solution : L'Art du "Mentorat" (Distillation)

Pour résoudre ce problème, les chercheurs ont eu une idée brillante : l'enseignement.
Ils ont pris ce "Grand Professeur" (l'IA géante) et ont essayé d'enseigner tout son savoir à un "Petit Élève" (une IA beaucoup plus petite et légère) qui, lui, pourrait facilement tenir dans la voiture.

C'est ce qu'on appelle la distillation de connaissances. Mais attention, il y a deux façons de faire, et c'est là que l'histoire devient intéressante.

🥊 Le Duel : Deux Méthodes d'Enseignement

Les chercheurs ont comparé deux méthodes pour apprendre au "Petit Élève" :

1. La Méthode "Récompense au Doigt" (Apprentissage par Renforcement / RL)

Imaginez que l'élève écrit une phrase mot par mot.

À chaque fois qu'il écrit un mot, le Professeur regarde et dit : "Bravo, c'est un bon mot !" ou "Non, c'est un mauvais mot."
L'élève reçoit juste un petit signal (un point positif ou négatif) pour ce mot précis.
Le problème : L'élève ne sait pas pourquoi c'était bon ou mauvais, ni quelles étaient les autres options possibles. C'est comme jouer à un jeu vidéo où on vous dit juste "Gagné" ou "Perdu" à la fin, sans vous expliquer les erreurs.

2. La Méthode "Le Copier-Coller Intelligent" (Distillation GKD - On-Policy)

C'est la méthode gagnante de l'article.

Ici, l'élève écrit sa propre phrase (même s'il fait des erreurs au début).
Le Professeur ne se contente pas de dire "Bravo". Il regarde toutes les options que l'élève aurait pu choisir à chaque étape.
Le Professeur dit : "Tu as choisi le mot 'Gauche', c'est bien. Mais sache que le mot 'Droite' était aussi une bonne option, et le mot 'Stop' était terrible. Voici exactement comment je aurais réparti mes choix."
L'élève apprend non seulement de ses choix, mais aussi de toutes les possibilités que le Professeur a envisagées. Il comprend la logique derrière la décision, pas juste le résultat.

🏆 Les Résultats : Qui gagne ?

Les chercheurs ont testé ces deux méthodes sur un vrai jeu de données de conduite (nuScenes) avec des situations réelles de circulation.

Le Petit Élève "Copier-Coller" (GKD) : Il est devenu presque aussi bon que le Grand Professeur ! Même s'il est 5 fois plus petit, il fait des erreurs très rares et évite les accidents presque aussi bien que le géant. Il a compris la "musique" de la route.
Le Petit Élève "Récompense" (RL) : Il a beaucoup plus de mal. Il fait plus d'erreurs, ses trajectoires sont moins fluides et il risque plus de percuter des objets. Il a appris à "deviner" le bon mot, mais pas à comprendre la logique globale.

💡 L'Analogie Finale : Apprendre à Dessiner

Imaginez que vous apprenez à dessiner un visage :

Méthode RL : Vous dessinez un nez. Le professeur dit "C'est bien". Vous dessinez une bouche. Il dit "C'est mal". Vous finissez par avoir un visage bizarre parce que vous ne savez pas comment les traits s'assemblent.
Méthode GKD : Vous dessinez un nez. Le professeur vous montre son propre dessin et dit : "Tu as mis le nez ici, c'est bien. Mais regarde, j'aurais pu le mettre un peu plus haut ou plus bas. Voici comment les proportions changent tout le visage." Vous apprenez la structure globale, pas juste les points.

🚀 Conclusion Simple

Ce papier nous dit que pour mettre l'intelligence artificielle dans nos voitures, il ne suffit pas de prendre un petit modèle et de le punir ou le récompenser. Il faut lui montrer toute la logique du grand modèle, même quand il fait des erreurs.

Grâce à cette technique de "mentorat intelligent" (GKD), on peut maintenant mettre un cerveau de voiture autonome très performant dans une petite voiture, sans avoir besoin d'un supercalculateur, tout en restant en sécurité. C'est une victoire pour l'avenir de la conduite autonome !

1. Problématique et Contexte

Le domaine de la planification de mouvement pour les véhicules autonomes a récemment intégré les Grands Modèles de Langage (LLM). Des approches comme GPT-Driver reformulent la prédiction de trajectoire comme un problème de génération de langage naturel, où les observations de la scène et l'état du véhicule sont convertis en invites (prompts) textuelles. Le modèle génère ensuite une trajectoire (une série de points de passage) accompagnée d'un raisonnement explicite (Chain-of-Thought).

Cependant, une barrière majeure à leur déploiement réel réside dans les contraintes de ressources des systèmes embarqués automobiles. Les LLM performants sont trop volumineux pour fonctionner en temps réel sur du matériel de bord. La solution naturelle est la distillation de connaissances (entraîner un petit modèle "élève" à imiter un grand modèle "enseignant").

Le défi technique principal est le décalage de distribution entre l'entraînement et l'inférence (train-inference distribution mismatch). Dans l'apprentissage supervisé classique, l'élève est entraîné sur des séquences parfaites (générées par l'enseignant ou la vérité terrain). En inférence, l'élève doit générer token par token en se basant sur ses propres prédictions précédentes, qui peuvent contenir des erreurs. Dans la planification de trajectoire, une petite erreur précoce (ex: un chiffre erroné dans un point de passage) peut se propager et dégrader toute la trajectoire future, entraînant des erreurs composées potentiellement dangereuses.

2. Méthodologie

Les auteurs proposent d'appliquer la Distillation de Connaissances Généralisée On-Policy (GKD) à la planification de mouvement, en la comparant à une approche d'Apprentissage par Renforcement (RL) dense.

A. Architecture et Données

Enseignant : Un modèle Qwen3-8B finetuné par apprentissage supervisé (SFT) sur le jeu de données nuScenes (via le cadre GPT-Driver). Il génère des trajectoires structurées avec un raisonnement explicite.
Élève : Un modèle plus petit, Qwen3-1.7B (5 fois moins de paramètres), destiné au déploiement.
Tâche : Générer une trajectoire de 6 points de passage sur 3 secondes, incluant une description textuelle des objets notables, des effets potentiels, une action méta (ex: "tourner à droite") et les coordonnées numériques.

B. Approche 1 : Distillation GKD On-Policy (Proposée)

Cette méthode résout le décalage de distribution en entraînant l'élève sur ses propres séquences générées (échantillons on-policy).

Mécanisme : Pour une invite donnée, l'élève génère une réponse complète $\hat{y}$ . L'objectif est de minimiser la divergence entre la distribution de probabilité de chaque token de l'élève et celle de l'enseignant, conditionnée par la séquence générée par l'élève.
Fonction de perte : Utilisation de la Divergence Jensen-Shannon Généralisée (JSD). Contrairement à la simple maximisation de vraisemblance, cela permet de capturer la structure complète de la distribution de l'enseignant (tous les tokens plausibles), pas seulement le token échantillonné.
Avantage : L'élève apprend la structure implicite des coordonnées (ex: la validité des nombres décimaux, la cohérence physique) en voyant la distribution complète de l'enseignant pour chaque étape, même si l'élève a fait une erreur de sélection précédente.

C. Approche 2 : RL à Feedback Dense (Baseline)

Cette méthode utilise les log-probabilités de l'enseignant comme signaux de récompense denses au niveau de chaque token dans un cadre de gradient de politique (Policy Gradient).

Mécanisme : L'avantage d'un token échantillonné est calculé comme la différence entre le log-probabilité de l'enseignant et celle de l'élève.
Limitation : Contrairement à la GKD, le feedback est scalaire et ne concerne que le token échantillonné. L'élève ne reçoit aucune information sur les alternatives plausibles que l'enseignant aurait pu choisir, ce qui est critique pour la génération de coordonnées précises.

3. Contributions Clés

Compression Efficace : Démonstration qu'un modèle 5 fois plus petit (1.7B vs 8B) peut atteindre des performances quasi-identiques à l'enseignant grâce à la distillation on-policy, rendant viable le déploiement de planificateurs basés sur LLM.
Comparaison Principée : Mise en place d'une comparaison contrôlée entre la GKD (matching de distribution complet) et le RL (feedback scalaire par token), isolant l'impact de l'algorithme d'apprentissage.
Supériorité de la GKD : Preuve que la GKD surpasse significativement le RL sur la précision de la trajectoire et la sécurité (évitement de collisions), en particulier pour les tâches de génération de séquences structurées comme les coordonnées.

4. Résultats Expérimentaux

Les expériences ont été menées sur le jeu de données de validation nuScenes (5 119 cadres).

Précision de la Trajectoire (Erreur L2) :
- L'élève GKD atteint une erreur moyenne de 0,373 m (convention STP-3), très proche de l'enseignant (0,355 m). L'écart de performance est d'environ 5-6%.
- L'élève RL obtient 0,579 m, soit une dégradation de 55% par rapport à l'élève GKD.
- L'avantage de la GKD s'accroît avec l'horizon temporel, indiquant que le RL accumule plus d'erreurs sur les séquences longues.
Sécurité (Taux de Collision) :
- L'élève GKD a un taux de collision moyen de 0,138%, proche de l'enseignant (0,101%).
- L'élève RL présente un taux de 0,363%, soit 2,6 fois plus élevé que l'élève GKD.
Fiabilité du Format :
- Les deux élèves apprennent parfaitement le format de sortie structuré (0% d'erreurs de format), contrairement à l'enseignant qui en a 0,08%.
Stabilité de l'Entraînement :
- La GKD montre une amélioration stable sur 3 époques.
- Le RL atteint son pic dès la première époque puis se dégrade, suggérant une instabilité ou un surapprentissage typique des méthodes de gradient de politique sur des séquences structurées.

5. Signification et Conclusion

Cet article démontre que la distillation on-policy (GKD) est une approche supérieure et plus robuste que l'apprentissage par renforcement guidé par l'enseignant pour compresser les planificateurs de mouvement basés sur les LLM.

La clé du succès réside dans la nature du signal d'apprentissage : pour la génération de coordonnées, la distribution complète de l'enseignant (fournie par la GKD) encode des connaissances implicites sur la dynamique physique du véhicule et la validité des nombres, que le signal scalaire du RL ne peut pas transmettre.

Impact pratique : Ces résultats ouvrent la voie au déploiement de planificateurs de mouvement intelligents et interprétables sur des véhicules autonomes aux ressources limitées, en permettant d'utiliser des modèles 5 fois plus petits sans sacrifier la sécurité ni la précision. Les travaux futurs viseront à intégrer ces méthodes dans des simulations en boucle fermée et à explorer l'inclusion d'objectifs de sécurité explicites dans le processus de distillation.