Efficient Block-Layer Parallel Inference for Vision-Language-Action on Hybrid Architectures
Cet article présente un cadre d'inférence hybride CPU-GPU qui partitionne les modèles Vision-Langage-Action (VLA) au niveau des couches de blocs pour décharger le calcul vers le CPU via un pipeline asynchrone, réduisant considérablement la latence d'inférence et l'utilisation de la mémoire GPU afin de permettre un déploiement réussi sur des plateformes de conduite autonome aux ressources limitées.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
La conduite autonome repose depuis longtemps sur une approche modulaire, où des programmes informatiques distincts gèrent des tâches séparées comme voir la route, prédire la trajectoire des autres voitures et décider de la direction à prendre. Ces systèmes travaillent ensemble, mais ils sont souvent rigides et peinent à s'adapter à des situations complexes et changeantes. Récemment, un nouveau type d'intelligence artificielle appelé modèle Vision-Langage-Action est apparu comme une alternative prometteuse. Ces modèles agissent davantage comme un conducteur humain capable de regarder une scène, de comprendre une instruction parlée ou un scénario de trafic complexe, et de décider immédiatement d'une action physique, le tout au sein d'un seul cerveau unifié. Bien que ces modèles présentent un grand potentiel pour créer une conduite plus fluide et plus sûre, ils se heurtent à un obstacle majeur : ils sont incroyablement gourmands en ressources informatiques. Ils exigent des quantités massives de puissance de calcul et de mémoire, dépassant souvent les capacités des puces graphiques spécialisées présentes dans les voitures autonomes actuelles. Cela crée un goulot d'étranglement où l'ordinateur de la voiture ne peut pas suivre les besoins du modèle, ce qui rend difficile l'installation de ces systèmes avancés sur de vrais véhicules sans sacrifier la vitesse ou la sécurité.
Des chercheurs de la City University of Hong Kong et de l'Université Mohamed bin Zayed d'Intelligence Artificielle ont développé une nouvelle façon de faire fonctionner ces modèles puissants qui résout ce problème de ressources sans modifier les modèles eux-mêmes. Au lieu de forcer l'intégralité du cerveau d'intelligence artificielle à s'exécuter sur la puce graphique, ils partagent le travail entre la puce graphique et le processeur central principal de la voiture. Ils ont découvert que si la puce graphique est excellente pour la tâche initiale de « voir » la route, le processeur central, qui reste habituellement inactif pendant ces tâches visuelles lourdes, est parfaitement capable de gérer les étapes ultérieures de raisonnement. En divisant le modèle en couches et en attribuant les premières couches à la puce graphique et les couches finales au processeur central, ils ont créé un système équilibré. De plus, comme une voiture est en mouvement constant et reçoit un flux de nouvelles images, les chercheurs ont conçu un pipeline où le processeur central travaille sur le raisonnement du moment présent pendant que la puce graphique commence déjà à traiter l'instant suivant. Ce chevauchement des tâches permet de maintenir les deux processeurs occupés, accélérant considérablement le processus de prise de décision.
Lorsque l'équipe a testé cette approche sur deux modèles de conduite autonome de pointe, les résultats ont été substantiels. Pour un modèle nommé Orion, le temps nécessaire pour prendre une décision de conduite est passé de 521 millisecondes à 408 millisecondes, soit une réduction de près de 22 %. Pour un autre modèle appelé MindDrive, le temps est passé de 443 millisecondes à 306 millisecondes, une baisse de plus de 30 %. Peut-être plus crucial que la vitesse encore était le soulagement apporté à la mémoire de la voiture. Le modèle Orion original nécessitait 45 gigaoctets de mémoire sur la puce graphique, une demande si élevée qu'il ne pouvait pas fonctionner aux côtés d'autres systèmes essentiels de la voiture sur le véhicule de test. La nouvelle approche hybride a réduit cette exigence à 29 gigaoctets, permettant au modèle de fonctionner avec succès sur le même matériel là où la version originale avait totalement échoué. Tout au long de ces tests, la qualité des décisions de conduite est restée inchangée ; la voiture n'a pas moins bien conduit ou n'a pas subi plus d'accidents, prouvant que les gains de vitesse ne se sont pas faits au détriment de la sécurité.
Les chercheurs ont également découvert que le simple fait de diviser le travail ne suffisait pas ; le moment de cette division importait énormément. Si on attribuait trop de travail au processeur central, celui-ci devenait le nouveau goulot d'étranglement, ralentissant l'ensemble du système. Si on en attribuait trop peu, la puce graphique restait surchargée. Ils ont trouvé un point d'équilibre spécifique où la charge de travail était répartie de manière égale, permettant au système d'atteindre sa vitesse maximale. Ils ont également confirmé que le pipeline de chevauchement était essentiel. Sans lui, le système devrait toujours attendre qu'une tâche soit complètement terminée avant de commencer la suivante, ce qui annulerait les bénéfices de l'utilisation de deux processeurs. En laissant les processeurs travailler simultanément sur différents cadres vidéo, le système a obtenu un flux de décisions constant et à haute vitesse.
Ce travail démontre que les limites de l'équipement actuel de conduite autonome ne sont pas une impasse, mais plutôt un signal nous incitant à repenser la distribution des tâches. L'étude suggère qu'en traitant l'ordinateur de la voiture comme une équipe de spécialistes plutôt que comme une puissance unique, il est possible de déployer des modèles d'intelligence artificielle avancés et de grande échelle sur des véhicules existants. Les chercheurs ont validé cela en faisant fonctionner leur système sur un véhicule réel aux côtés d'une suite logicielle de conduite standard, montrant que l'approche hybride n'est pas seulement une amélioration théorique, mais une solution pratique capable de coexister avec les logiciels complexes déjà requis pour conduire une voiture. Les conclusions indiquent qu'une conception de système efficace, plutôt que d'attendre simplement un matériel plus puissant, est la clé pour amener ces modèles de conduite sophistiqués dans le monde réel.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.