🤖 AI

Think at 5 Hz, Act at 20 Hz: Asynchronous Fast-Slow Vision-Language-Action Inference for Closed-Loop Driving

Cet article introduit une architecture asynchrone rapide-lent pour la conduite en boucle fermée qui découple un squelette vision-langage gelé (tournant à 5 Hz) d'un expert d'action léger (tournant à 20 Hz) via une représentation mise en cache, éliminant ainsi les compromis de latence de contrôle et améliorant considérablement les mesures de complétion de trajectoire et de sécurité par rapport aux bases de référence de saut d'images.

Auteurs originaux : Yun Li, Jiachen Gong, Simon Thompson, Ehsan Javanmardi, Qunli Zhang, Zifan Zeng, Shiming Liu, Peng Wang, Zixuan Guo, Manabu Tsukada

Publié 2026-07-20

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Yun Li, Jiachen Gong, Simon Thompson, Ehsan Javanmardi, Qunli Zhang, Zifan Zeng, Shiming Liu, Peng Wang, Zixuan Guo, Manabu Tsukada

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'apprendre à une voiture robotisée à conduire seule en utilisant un cerveau super intelligent capable de lire des cartes, de comprendre les panneaux de signalisation et même de discuter avec vous de votre destination. C'est le monde des modèles Vision-Langage-Action (VLA). Considérez ces modèles comme une immense bibliothèque de connaissances combinée à une caméra et à un ensemble d'instructions de direction. Ils sont excellents pour comprendre des situations complexes — comme « tournez à gauche après la maison rouge, mais seulement si le feu est vert » — mais ils sont aussi incroyablement lourds et lents à réfléchir.

Maintenant, imaginez que vous conduisez une vraie voiture. La voiture n'attend pas que vous réfléchissiez ; elle doit effectuer de minuscules ajustements sur le volant et la pédale d'accélérateur 20 fois par seconde (20 Hz) pour rester dans sa voie et éviter de percuter des objets. Si le cerveau de la voiture met trop de temps à réfléchir, la voiture dérivera de sa trajectoire ou s'écrasera avant que la pensée suivante n'arrive. Le gros problème auquel les scientifiques ont été confrontés est un décalage : le cerveau « intelligent » est trop lent pour suivre les réflexes « rapides » nécessaires à la conduite. Pour contourner cela, les systèmes précédents devaient jouer à un étrange jeu de « attendre, puis deviner », où la voiture prenait une décision, puis répétait simplement cette même décision pendant les quelques secondes suivantes pendant que le cerveau rattrapait son retard. Cela signifiait que la voiture conduisait souvent sur la base d'informations obsolètes, ignorant ce qui se passait juste devant elle.

Ce document présente une nouvelle méthode ingénieuse pour corriger ce décalage, appelée Architecture Rapide-Lente (Fast-Slow Architecture). Au lieu de forcer le cerveau lent et lourd à tout faire, les chercheurs ont divisé le travail en deux rôles. Ils ont un « Système Lent » (le grand cerveau de 7 milliards de paramètres) qui agit comme un bibliothécaire sage. Il lit l'historique complet du trajet et les instructions de navigation, mais il ne met à jour ses notes que toutes les quelques secondes. Crucialement, il conserve une « représentation stationnaire » du monde — un résumé mis en cache de tout ce qu'il a vu jusqu'à présent — prêt à être utilisé. Ensuite, ils ont un « Système Rapide » (un expert minuscule et léger de 337 millions de paramètres) qui agit comme un conducteur réflexe. Cet expert rapide saisit les notes mises en cache du bibliothécaire et la toute dernière image de la caméra toutes les 50 millisecondes (20 fois par seconde) pour prendre des décisions de direction immédiates.

Les chercheurs ont testé ce système dans une simulation informatique appelée CARLA. Ils ont découvert qu'en utilisant cette approche divisée, la voiture pouvait prendre des décisions fraîches et instantanées à chaque battement de l'horloge, plutôt que de sauter des étapes. Les résultats ont été spectaculaires : alors que l'ancienne méthode (qui devait sauter des images) n'avait complété que 37 % des itinéraires de test, ce nouveau système rapide-lent en a complété 94 %. Il a également réduit les infractions aux feux rouges d'un tiers. L'équipe a démontré que l'expert « rapide » était assez intelligent pour gérer le fait que les notes du bibliothécaire lent étaient légèrement obsolètes (un concept qu'ils appellent « staleness » ou obsolescence), car ils ont entraîné l'expert à s'attendre précisément à ce genre de délai. En bref, ils ont prouché qu'il n'est pas nécessaire de rendre tout le cerveau plus rapide ; il suffit de laisser un assistant rapide faire le plus gros du travail en utilisant la sagesse mise en cache du cerveau lent, permettant ainsi à la voiture de conduire de manière sûre et fluide en temps réel.

Résumé Technique : Inférence de Vision-Langage-Action Asynchrone Rapide-Lente pour la Conduite en Boucle Fermée

Énoncé du Problème

Les grands modèles vision-langage (VLM) ont introduit le suivi d'instructions et le raisonnement de scène à la conduite autonome de bout en bout. Cependant, leur latence d'inférence élevée crée un conflit fondamental avec les taux de contrôle requis pour la conduite en boucle fermée (typiquement 20 Hz, soit des cycles de 50 ms). Les agents existants, tels que LMDrive, résolvent cela en sautant des cycles de simulation : le modèle s'exécute sur des cycles alternés, et la commande précédente est rejouée entre-temps. Cette approche de « saut de trame » signifie que le véhicule agit sur des décisions obsolètes pendant 50 à 100 ms, ignorant les observations les plus récentes. Les auteurs soutiennent que cela est une limitation architecturale plutôt que fondamentale, car la compréhension des instructions et l'agrégation temporelle changent lentement, tandis que la mise en correspondance de la trame actuelle à une trajectoire doit être rapide.

Méthodologie

Le papier propose une Architecture Asynchrone Rapide-Lente qui découple le raisonnement lourd du VLM de la boucle de contrôle à haute fréquence.

Décomposition du Système :
- Système Lent (Le Backbone) : Un backbone LLaMA 7B gelé (basé sur LMDrive) sert de système lent. Il traite les instructions de navigation et l'historique visuel à une faible fréquence (par exemple, tous les $K=4$ cycles). Crucialement, il expose son cache Clé-Valeur (KV) par couche comme une représentation stationnaire de la scène. Le backbone ajoute de nouveaux jetons visuels à ce cache via une passe avant incrémentielle et ne reconstruit entièrement le cache qu'en cas d'événements d'invalidation spécifiques (changement d'instruction, fin d'épisode ou limite de fenêtre).
- Système Rapide (L'Expert d'Action) : Un transformeur léger de 337 millions de paramètres agit comme le système rapide. Il s'exécute à chaque cycle de simulation (20 Hz). Il effectue une attention croisée dans les états de cache KV du backbone à chaque couche tout en traitant la trame de la caméra actuelle et un jeton d'état de l'ego (contenant les prédictions précédentes et la vitesse). Il régresse cinq points de passage (waypoints) en une seule passe avant. Le backbone n'accède jamais aux jetons de l'expert, garantissant que le cache reste identique que l'expert s'exécute ou non.
Entraînement Augmenté par l'Obsolescence (Staleness-Augmented Training) :
Puisque le cache lors du déploiement accuse un retard par rapport à l'état actuel du monde jusqu'à $K$ cycles, l'expert doit apprendre à opérer sur un contexte obsolète. Les auteurs introduisent une obsolescence randomisée pendant l'entraînement : pour chaque échantillon, un délai $\delta$ aléatoire est appliqué, masquant le préfixe du backbone visible pour l'expert de sorte qu'il se termine à un cadre antérieur ( $j - \delta$ ). Cela force l'expert à fusionner un résumé de scène obsolète avec des preuves fraîches par cycle, alignant la distribution d'entraînement avec la réalité asynchrone du déploiement.
Déploiement Asynchrone :
L'agent maintient le cache du backbone comme un état mutable. Tous les $K$ cycles, le système lent met à jour le cache. À chaque cycle, le système rapide lit le cache existant et la trame actuelle pour générer le contrôle. Cela permet au système d'émettre un contrôle frais à 20 Hz avec un coût par cycle indépendant de la longueur de l'historique.

Contributions Clés

Schéma d'Inférence Rapide-Lente Asynchrone : Une architecture novatrice qui transforme le backbone du VLM en un fournisseur de contexte mis à jour de manière incrémentielle et mis en cache, déplaçant toute la computation par cycle vers un expert léger.
Entraînement Augmenté par l'Obsolescence : Une stratégie d'entraînement qui simule explicitement le retard du cache présent dans le déploiement asynchrone, permettant à l'expert de compenser un contexte obsolète.
Première Évaluation en Boucle Fermée avec Latence Mesurée : La première démonstration d'un paradigme VLA rapide-lent atteignant des taux de contrôle complets sur du matériel grand public (RTX 3090 Ti) avec une latence mesurée, allant au-delà des benchmarks en boucle ouverte où la latence est simplement enregistrée.

Résultats Expérimentaux

Évalué sur le benchmark LangAuto-Short dans CARLA (Town 05) et transfert zero-shot vers des villes non vues :

Complétion de l'Itinéraire : Le système a augmenté la complétion de l'itinéraire de 37,0 % à 94,0 % par rapport à la ligne de base de saut de trame.
Score de Conduite : Le score de conduite est passé de 28,8 à 32,9.
Ablation des Facteurs :
- Qualité de l'Expert : Faire tourner le même expert au taux de 10 Hz (saut de trame) de la ligne de base améliore le score de conduite à 34,0, indiquant que l'expert lui-même améliore la qualité de la décision.
- Fraîcheur du Contrôle : Passer de 10 Hz à 20 Hz (contrôle frais à chaque cycle) a augmenté la complétion de l'itinéraire de 82,1 % à 94,0 %, réduit les déviations de trajectoire de plus de moitié et a diminué les violations de feux rouges d'un tiers.
Latence : L'approche héritée (recalcul complet) prend 89–169 ms par étape, dépassant le budget de 50 ms. La méthode proposée maintient un coût par cycle constant de 32 ms (32,4 ms de calcul de modèle), quelle que soit la longueur de l'historique, s'insérant confortablement dans le budget de 50 ms.
Précision en Boucle Ouverte : L'expert a réduit l'erreur L1 des points de passage de 0,123 (tête du backbone gelée) à 0,031, soit une amélioration de près d'un facteur quatre.
Transfert Zero-Shot : Entraîné uniquement sur Town 05, l'expert a atteint 84,3 % de complétion sur Town 01 et 94,4 % sur Town 02, surpassant considérablement la ligne de base (40,5 % et 30,7 %, respectivement).
Limitations : Sur de longs itinéraires dans Town 03 (non vue pendant l'entraînement), le système a complété 85,4 % de l'itinéraire mais a souffert de problèmes de sécurité (collisions, violations de feux rouges) dus à un manque de données d'entraînement pour le trafic dense et la négociation de dangers à long horizon.

Signification et Revendications

Le papier affirme que le problème de latence dans la conduite basée sur les VLM est architectural, et non fondamental. En séparant les composants lourds de raisonnement des composants réactifs rapides, le système atteint :

Contrôle Frais : La capacité de réagir à chaque cycle de simulation sans sacrifier les capacités de raisonnement d'un grand modèle.
Scalabilité : Le coût par cycle est indépendant de la longueur de l'historique, permettant un raisonnement à long horizon sans augmenter le temps d'inférence.
Gains de Performance : La combinaison d'un meilleur expert d'action et de la fraîcheur par cycle améliore considérablement la complétion des itinéraires et les mesures de sécurité (moins de déviations et de violations) par rapport aux lignes de base de saut de trame de pointe.

Les auteurs soulignent que bien que le système démontre des améliorations significatives en simulation, il reste une étude de simulation entraînée sur des itinéraires courts. Ils avertissent que le succès de l'architecture dans la négociation de dangers à long horizon est limité par les données d'entraînement, et non par l'architecture elle-même, et que le système n'est pas encore prêt pour un déploiement routier réel.