Latent Chain-of-Thought World Modeling for End-to-End Driving

Conduire une voiture est un acte continu de prédiction. Avant qu'un conducteur humain ne tourne le volant, il imagine déjà ce qui va se passer ensuite : la voiture devant lui pourrait freiner, un piéton pourrait descendre du trottoir, ou un intervalle dans la circulation pourrait se refermer. Cette simulation mentale du futur est ce qui nous maintient en sécurité. Depuis des décennies, les ingénieurs tentent d'apprendre aux ordinateurs à faire la même chose, en construisant des systèmes capables d'observer la route et de décider de la direction à prendre. Les systèmes les plus avancés, connus sous le nom de conduite autonome de bout en bout (end-to-end), tentent d'apprendre l'ensemble de ce processus en une seule fois, en associant directement les images brutes de la caméra aux commandes de direction, sans règles établies par l'homme. Récemment, des chercheurs ont tenté d'améliorer ces systèmes en leur donnant une « voix », permettant à l'ordinateur de penser à voix haute en langage naturel avant de prendre une décision, tout comme un conducteur humain qui narrerait ses pensées.

Cependant, une nouvelle étude suggère que, pour une machine, parler en phrases n'est pas le moyen le plus efficace de réfléchir. Les chercheurs, travaillant avec des données de NVIDIA et de l'Université du Texas à Austin, ont découvert que forcer une voiture autonome à générer un flux de texte pour expliquer son raisonnement la ralentit et peut même conduire à des erreurs. Au lieu de cela, ils ont développé un système appelé LCDrive qui pense dans un langage interne silencieux composé de nombres et de motifs. Ce système n'écrit pas de mots comme « la voiture devant ralentit ». Au lieu de cela, il simule instantanément les conséquences futures de ses actions dans un espace mathématique compact, ce qui lui permet de prendre des décisions plus sûres et plus rapides.

L'idée centrale de ce travail est de remplacer le raisonnement bavard et verbeux de l'intelligence artificielle traditionnelle par un processus silencieux et rationalisé. Par le passé, les chercheurs tentaient d'aider les voitures autonomes en leur faisant générer une chaîne de texte, un « processus de pensée » écrit en anglais, avant de décider d'une manœuvre de conduite. Bien que cela imite la conversation humaine, les chercheurs soutiennent que c'est mal adapté aux exigences de la conduite à la fraction de seconde. Le langage naturel est lent à générer et échoue souvent à capturer la géométrie précise de la route ou la danse complexe de plusieurs véhicules en interaction. Une phrase décrivant un virage peut ne pas s'aligner parfaitement avec l'angle de direction réel que la voiture doit prendre, créant un fossé entre ce que l'ordinateur dit et ce qu'il fait.

Pour résoudre ce problème, l'équipe a créé un modèle qui raisonne dans un espace « latent », une couche cachée du cerveau de l'ordinateur où l'information est stockée sous forme de motifs denses plutôt que de mots. Dans ce nouveau système, la voiture ne raconte pas une histoire sur la route. Au lieu de cela, elle parcourt rapidement une série d'étapes internes : elle propose une action possible, comme un léger virage, et simule immédiatement à quoi ressemblerait le monde une seconde plus tard si cette action était entreprise. Elle propose ensuite une autre action et simule ce futur également. Cela se produit en une fraction de seconde, l'ordinateur comparant ces simulations silencieuses pour décider quel chemin est le plus sûr. Le système est entraîné pour prédire ces résultats futurs directement à partir de la scène actuelle, apprenant ainsi à « rêver » de la route à venir sans jamais avoir besoin de parler.

Les chercheurs ont testé cette approche sur un ensemble massif de données de journaux de conduite réels, totalisant plus de 1 700 heures de séquences dans des environnements urbains complexes. Ils ont comparé leur modèle de raisonnement silencieux et latent à deux autres types de systèmes : un qui prenait des décisions sans aucun raisonnement, et un autre qui utilisait le raisonnement textuel traditionnel. Les résultats ont montré que le modèle silencieux était nettement plus rapide et plus précis. Il produisait des trajectoires de conduite plus proches de celles d'un expert humain, avec moins d'erreurs de position et un taux beaucoup plus faible de sortie de voie ou de collision avec d'autres véhicules.

Peut-être plus important encore, le système de raisonnement silencieux s'est avéré plus adaptable lorsqu'il a été entraîné avec une technique appelée apprentissage par renforcement. Dans cette phase, l'ordinateur s'exerce à conduire en boucle, recevant un retour sur sa performance et ajustant sa logique interne pour faire mieux la fois suivante. Le système basé sur le texte a eu du mal à progresser avec cette pratique, échouant souvent à connecter ses pensées parlées avec ses actions de conduite réelles. En revanche, le système silencieux a prospéré, utilisant ses simulations internes pour affiner ses décisions et devenir notablement plus sûr et plus précis. L'étude a révélé que cette approche a réduit la distance moyenne entre la trajectoire de la voiture et la trajectoire idéale de manière significative, particulièrement dans des situations difficiles comme l'insertion dans le trafic ou la navigation dans des intersections animées.

Le succès de cette méthode suggère que, pour les machines, la façon la plus efficace de penser n'est pas de parler. En éliminant les inefficacités du langage et en raisonnant directement dans le langage des propres prédictions de la machine, le système atteint un niveau de coordination entre la pensée et l'action que les modèles textuels ne peuvent égaler. Les chercheurs notent que, bien que leur système soit hautement efficace, il repose actuellement sur un processus d'entraînement qui nécessite des données précises sur la position des autres véhicules, ce qui peut être difficile à collecter à grande échelle. Ils reconnaissent également que, parce que le raisonnement se déroule dans un espace mathématique caché, il est plus difficile pour les humains de regarder à l'intérieur du système et de voir exactement ce qu'il pense, contrairement à un système textuel qui peut imprimer son raisonnement.

Malgré ces limites, les conclusions offrent une direction claire pour l'avenir de la conduite autonome. L'étude démontre que le raisonnement le plus avancé pour les voitures autonomes peut ne pas ressembler du tout à une conversation humaine. Au lieu de cela, il ressemble à un calcul rapide et silencieux de possibilités, où le véhicule vérifie constamment son propre futur par rapport à la réalité de la route. Ce passage de la parole à la simulation permet à la voiture de réagir avec une vitesse et une précision qui reflètent la nature instinctive de la conduite humaine, prouvant que, parfois, la meilleure façon de résoudre un problème complexe est de cesser de parler et de commencer à penser dans le seul langage qui compte vraiment : celui du futur lui-même.