RT-VLA: Real-Time Vision-Language-Action Models via Knowledge Distillation

Le document propose RT-VLA, un modèle Vision-Langage-Action léger et distillé qui transfère les capacités de conduite et de raisonnement du modèle enseignant de pointe SimLingo vers un étudiant compact, atteignant des réductions significatives de la latence d'inférence (jusqu'à 44,8x) tout en maintenant des performances en boucle fermée compétitives et en permettant un contrôle en temps réel avec une explicabilité a posteriori.

L'essentiel

Imaginez que vous enseigniez à un nouveau pilote de course ultra-rapide (l'Étudiant) comment conduire dans une rue de la ville. Habituellement, pour enseigner quelque chose d'aussi complexe, vous lui feriez suivre l'ombre d'un professeur de classe mondiale, hautement éduqué (le Professeur), qui explique chaque virage, vérifie la météo, analyse les schémas de circulation et rédige un essai détaillé sur la raison pour laquelle il a pris chaque décision.

Le problème ? Le professeur est si minutieux et réfléchi qu'au moment où il finit son explication, la voiture a déjà eu un accident. Le professeur est trop lent pour le monde réel.

Ce document présente RT-VLA, une nouvelle façon d'entraîner cet étudiant conducteur. Au lieu de rendre l'étudiant lent et bavard comme le professeur, les chercheurs ont utilisé une technique appelée Distillation de Connaissances. Considérez cela comme une « télépathie de transfert » où l'étudiant absorbe directement les instincts et les décisions du professeur, sans avoir besoin que le professeur parle à chaque étape.

Voici comment cela fonctionne, décomposé en concepts simples :

1. Le Problème : Le Conducteur « Sur-réfléchissant »

Les modèles d'IA de conduite autonome actuels (appelés modèles VLA) sont comme ce professeur. Ils peuvent « voir » la route, « lire » les panneaux et « parler » de leurs décisions. Ils sont intelligents, mais ils sont lents. Ils mettent du temps à réfléchir avant de tourner le volant. Dans une ville animée, ce délai d'une fraction de seconde est dangereux. Vous avez besoin d'un conducteur qui réagit instantanément.

2. La Solution : L'Étudiant « Léger »

Les chercheurs ont construit un modèle plus petit et plus rapide (RT-VLA).

• Le Professeur : Une IA massive et lente (SimLingo) qui conduit bien et peut expliquer son raisonnement en anglais.
• L'Étudiant : Une IA minuscule et rapide qui doit conduire presque aussi bien, mais en une fraction du temps.

3. La Méthode d'Entraînement : « Télépathie Multi-Niveaux »

Habituellement, on enseigne à un étudiant en lui montrant la réponse finale (ex : « Tournez à gauche »). Mais ce document affirme que cela ne suffit pas. Ils ont utilisé la Distillation Multi-Niveaux, ce qui revient à enseigner à l'étudiant non seulement la réponse, mais tout le processus de pensée :

• Caractéristiques Visuelles : L'étudiant apprend à « voir » la route exactement comme le professeur la voit (repérer un piéton ou un feu rouge).
• Représentations de Requêtes : L'étudiant apprend comment le professeur « focalise » son attention (quelles parties de l'image sont les plus importantes).
• Prédictions de Waypoints : L'étudiant apprend le chemin exact que le professeur prévoit de suivre.
• Logits de Langage : C'est le tour de magie. L'étudiant apprend les probabilités des mots que le professeur utiliserait, sans pour autant générer la phrase complète en temps réel.

4. La Stratégie des « Deux Cerveaux »

C'est la partie la plus ingénieuse. L'étudiant possède deux « cerveaux » (ou branches) :

• Le Cerveau Rapide (Temps Réel) : Cette partie fonctionne en permanence pendant la conduite. Elle regarde la caméra et décide instantanément où diriger le volant et à quelle vitesse aller. Elle ne parle pas. Elle agit, tout simplement. Cela rend la voiture super rapide.
• Le Cerveau Lent (Explication Hors-Ligne) : Cette partie est désactivée pendant que la voiture roule pour gagner du temps. Cependant, si la voiture commet une erreur (comme heurter un trottoir ou brûler un feu rouge), vous pouvez l'activer plus tard. Elle regarde la vidéo de ce qui s'est passé et génère une explication écrite : « J'ai essayé de suivre la voiture noire, mais je n'ai pas vu que la route se divisait, donc je me suis trompé de direction. »

Cela signifie que la voiture conduit comme une voiture de sport, mais peut toujours rédiger un bulletin de notes plus tard si quelque chose ne va pas.

5. Les Résultats : Rapide, Intelligent et Bavard (Quand Nécessaire)

Les chercheurs ont testé cela dans une ville simulée (Bench2Drive). Voici ce qu'ils ont trouvé :

• Vitesse : Le nouvel étudiant conducteur est 44,8 fois plus rapide que le professeur lors de la conduite seule (vision uniquement). Même en incluant la partie linguistique, il est 7,9 fois plus rapide.
• Compétence : L'étudiant conduit presque aussi bien que le professeur. Ils ont terminé les itinéraires avec des taux de réussite très similaires.
• Explication : Lorsqu'on lui demande d'expliquer une erreur plus tard, l'explication de l'étudiant est presque aussi bonne que celle du professeur (marquant 50,9 contre 51,8 sur un maximum théorique).

L'Essentiel à Retenir

Ce document prouve que vous n'avez pas à choisir entre une IA intelligente et explicable et une IA rapide et en temps réel. En utilisant cette méthode d'entraînement « télépathique », vous pouvez avoir un conducteur qui réagit instantanément pour assurer votre sécurité, tout en pouvant faire une pause et expliquer son raisonnement après coup pour aider les ingénieurs à comprendre ce qui s'est mal passé.

Ce que le document ne prétend PAS :

• Il ne prétend pas que cette voiture est prête à conduire sur de vraies autoroutes demain.
• Il ne prétend pas que la voiture est parfaite (elle a encore des accidents en simulation).
• Il ne prétend pas que cela fonctionnera avec la pluie, le brouillard ou d'autres capteurs comme le LiDAR (il n'utilise que des caméras).
• Il ne prétend pas que cela sera utilisé dans les hôpitaux ou d'autres domaines ; c'est strictement destiné à la conduite autonome.

Résumé technique

Résumé Technique : RT-VLA – Modèles Vision-Langage-Action en Temps Réel via la Distillation de Connaissances

Problématique

Les modèles Vision-Language-Action (VLA) ont émergé comme un paradigme prometteur pour la conduite autonome de bout en bout (E2E), intégrant la perception visuelle, le raisonnement linguistique et la prédiction d'actions pour permettre une prise de décision interprétable. Cependant, les modèles VLA de pointe actuels (par exemple, SimLingo, DriveCoT, ORION) s'appuient sur de larges dorsaux (backbones) vision-langage et des modules de raisonnement autoregressifs. Ces composants introduisent une latence d'inférence substantielle, les rendant inadaptés à un déploiement en temps réel dans des environnements routiers dynamiques et critiques pour la sécurité, où des mises à jour rapides de la trajectoire sont essentielles. Le défi central est de préserver le raisonnement de haut niveau et l'explicabilité des modèles VLA tout en réduissant drastiquement le coût computationnel et le temps d'inférence pour répondre aux exigences strictes de latence de la conduite autonome.

Méthodologie

Les auteurs proposent RT-VLA, un modèle VLA léger et distillé, conçu pour transférer les capacités de conduite et de raisonnement d'un grand modèle enseignant (SimLingo) vers un modèle étudiant compact. Le cadre utilise une stratégie de distillation supervisée multi-niveaux et une architecture découplée pour équilibrer performance et efficacité.

Architecture

• Modèle Enseignant : Un modèle de style SimLingo figé utilisant un encodeur de vision de haute capacité InternVL-2 et un modèle de langage Qwen2-0.5B.
• Modèle Étudiant (RT-VLA) :
  • Encodeur de Vision : Utilise le modèle plus efficace EVA-02.
  • Branche de Conduite : Traite les jetons visuels, les plongements d'état (vitesse, GPS) et les jetons de requête entraînables via un modèle de langage léger pour prédire des points de passage (waypoints) géométriques et temporels.
  • Branche de Raisonnement : Une branche de langage séparée et légère qui compresse les jetons visuels via un Perceiver Resampler. Cette branche est découplée de la boucle de contrôle en temps réel ; elle n'est invoquée qu'en mode hors ligne pour l'explication post-hoc ou lors de phases d'entraînement spécifiques, garantissant qu'elle n'ajoute pas de latence à la conduite en temps réel.

Stratégie de Distillation Multi-Niveaux

Pour transférer les connaissances de l'enseignant vers l'étudiant, les auteurs définissent une fonction de perte composite couvrant quatre niveaux distincts :

1. Distillation de Caractéristiques Visuelles ($L_{vision}$) : Aligne les caractéristiques visuelles de l'étudiant avec les caractéristiques de haute dimension de l'enseignant via une projection apprenable et un pooling adaptatif.
2. Distillation de Représentation de Requête ($L_{query}$) : Correspond aux représentations de requête internes (plongements pertinents pour la tâche) entre les deux modèles.
3. Distillation de Prédiction de Waypoint ($L_{waypoint}$) : Supervise les prédictions de waypoints de l'étudiant par rapport aux sorties de l'enseignant.
4. Distillation de Logit de Langage ($L_{kl}$) : Utilise la Distillation de Connaissances (divergence KL) sur les logits de langage pour transférer les capacités de raisonnement. Ceci est complété par un Affinage de Langage On-Policy, où l'étudiant génère des jetons via un décodage glouton (greedy decoding), et l'enseignant figé évalue ces jetons spécifiques pour minimiser le décalage de distribution.

Schéma d'Entraînement

L'entraînement est réalisé en deux étapes :

1. Optimisation de la Conduite : L'étudiant est entraîné en utilisant une combinaison de supervision de waypoints de vérité terrain et des pertes de distillation multi-niveaux ($L_{driving}$) pour optimiser les comportements de conduite en boucle fermée. La branche de conduite est ensuite figée.
2. Spécialisation du Langage : Le modèle est affiné exclusivement sur les pertes de langage ($L_{language}$), comprenant l'entropie croisée de vérité terrain et la distillation de logit de langage, pour se spécialiser dans la génération d'explications sans compromettre la politique de conduite figée.

Contributions Clés

1. Modèle RT-VLA : Un modèle VLA distillé et léger qui maintient les capacités de conduite et de raisonnement basées sur le langage tout en réduisant considérablement la latence d'inférence.
2. Distillation Multi-Niveaux : Une stratégie novatrice qui transfère les connaissances à travers les caractéristiques visuelles, les représentations de requête, les prédictions de waypoints et les logits de langage, se distinguant des méthodes antérieures qui se concentrent principalement sur la prédiction d'actions.
3. Mécanisme de Raisonnement Efficace : L'introduction de la distillation de logit de langage et de l'affinage on-policy permet une explication post-hoc hors ligne sans engendrer de latence d'exécution lors du contrôle en temps réel.
4. Compromis Performance-Efficacité : Démonstration de scores compétitifs de conduite en boucle fermée et de raisonnement linguistique sur le benchmark Bench2Drive avec des temps d'inférence considérablement réduits.

Résultats Expérimentaux

Les expériences ont été menées sur le jeu de données Bench2Drive (CARLA v0.9.15) en utilisant un GPU NVIDIA A100.

• Performance de Conduite : RT-VLA a atteint un score de conduite (DS) de 85,19, comparable à SimLingo (85,07) et proche de SimLingo-BASE (85,94). Notamment, RT-VLA surpasse le modèle complet SimLingo tout en conservant des capacités linguistiques que SimLingo-BASE ne possède pas.
• Efficacité d'Inférence :
  • Mode Vision Seule : RT-VLA a réduit le temps d'inférence de 1544,34 ms (SimLingo) à 34,48 ms, soit une accélération de 44,8×.
  • Mode Vision + Langage : Avec la branche de langage activée, RT-VLA a réduit la latence à 196 ms, soit une accélération de 7,9× par rapport à SimLingo.
• Qualité du Commentaire : RT-VLA a obtenu un score de qualité de commentaire de 50,9 (évalué par DeepSeek-V4-Flash), soit seulement 0,9 point de moins que le modèle complet SimLingo (51,8), malgré la réduction massive de la taille du modèle et de la latence.
• Études d'Ablation : Le retrait de la distillation a entraîné une chute catastrophique du score de conduite (34,05), confirmant que la distillation multi-niveaux est essentielle pour récupérer des politiques de conduite robustes dans une architecture légère.

Signification et Revendications

L'article affirme que la distillation supervisée est une approche pratique pour construire des modèles de conduite de type VLA, en temps réel et explicables. En découplant la branche de raisonnement linguistique coûteuse de la boucle de contrôle en temps réel et en utilisant une distillation multi-niveaux, RT-VLA parvient à combler l'écart entre les hautes capacités de raisonnement des grands modèles VLA et les contraintes de latence strictes de la conduite réelle.

Les auteurs soulignent que si RT-VLA préserve la capacité de l'enseignant à générer des explications critiques pour la sécurité, il le fait sans ajouter de latence au contrôle en temps réel. Cela permet une « explication post-hoc hors ligne » où les observations de conduite enregistrées peuvent être analysées après un incident pour comprendre les modes de défaillance, aidant ainsi au développement de systèmes E2E plus sûrs. Ce travail suggère qu'il est possible de conserver les avantages d'interprétabilité et de raisonnement des modèles VLA tout en les rendant viables pour un déploiement dans des environnements de trafic denses et sensibles au temps.

Limites

Les auteurs reconnaissent plusieurs limites :

• RT-VLA ne peut pas éliminer totalement les défaillances critiques pour la sécurité (ex: collisions), car il repose sur la supervision et la distillation plutôt que sur une optimisation explicite des contraintes de sécurité.
• C'est un cadre basé uniquement sur la caméra, manquant de capteurs LiDAR ou d'autres capteurs géométriques, ce qui peut limiter la robustesse dans des conditions météorologiques défavorables (pluie, brouillard, faible luminosité).
• Le modèle hérite des limitations du modèle enseignant et de l'environnement d'entraînement basé sur la simulation, ce qui peut affecter la fiabilité lors de changements de domaine dans le monde réel ou de scénarios de longue traîne.