A Survey of State of the Art Large Vision Language Models: Alignment, Benchmark, Evaluations and Challenges
Cette enquête fournit un aperçu actualisé des grands modèles de vision-langage jusqu'en 2026, retraçant l'évolution de leur architecture des systèmes basés sur des adaptateurs vers des modèles unifiés de monde et d'action, analysant le passage des bancs d'essai vers le raisonnement complexe et les tâches incarnées, et passant en revue les méthodes d'alignement post-entraînement tout en mettant en évidence les défis critiques liés à l'hallucination, à la sécurité et à l'efficacité.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez un ordinateur capable non seulement de lire une phrase, mais aussi d'examiner une photographie, une vidéo ou un graphique complexe et de comprendre comment tout cela s'articule. Pendant des années, l'intelligence artificielle a excellé dans le traitement du texte, mais elle peinait à véritablement « voir » le monde comme le font les humains. Elle pouvait décrire une image, mais elle passait souvent à côté du contexte profond, de la séquence des événements ou des détails subtils qui relient une image à une histoire. Ce fossé entre la lecture et la vision est ce que les chercheurs appellent le fossé vision-langage. L'objectif d'une nouvelle génération de systèmes informatiques est de combler ce fossé, en créant des modèles capables de raisonner simultanément sur des images, des vidéos, de l'audio et du texte, tout comme un humain le fait lorsqu'il observe une scène et comprend instantanément les relations entre les objets, les personnes et les actions.
Une nouvelle enquête exhaustive menée par des chercheurs de l'Université du Maryland et de l'Université de Californie du Sud cartographie l'évolution rapide de ces systèmes, connus sous le nom de modèles vision-langage, jusqu'en 2026. Le document ne se contente pas de lister de nouvelles sorties de logiciels ; il retrace un changement fondamental dans la manière dont ces machines sont construites et dont nous les testons. Les chercheurs ont constaté que le domaine s'est éloigné du simple fait de fixer une caméra à un processeur de texte. Au lieu de cela, les systèmes les plus avancés traitent désormais la vision et le langage comme un flux unique et unifié d'informations dès le début de leur entraînement. Ce changement a permis à ces modèles de gérer des séquences d'informations beaucoup plus longues, de raisonner sur des tâches complexes comme la navigation sur un site web ou le contrôle d'un robot, et même de prédire ce qui pourrait se passer ensuite dans un environnement physique.
L'histoire de ces modèles est celle d'une transformation architecturale. Dans les premiers jours, les chercheurs construisaient des systèmes avec deux tours séparées : l'une pour traiter les images et l'autre pour traiter le texte, lesquelles étaient ensuite reliées par un pont. Ces systèmes étaient doués pour associer des images à des mots, mais peinaient à générer de nouvelles idées ou à raisonner profondément. L'étape suivante a consisté à prendre un puissant processeur de texte et à y ajouter un projecteur pour lui injecter des informations visuelles. Bien que cela ait amélioré les performances, la partie vision restait un ajout secondaire. La frontière s'est maintenant déplacée vers une nouvelle ère où le modèle est entraîné nativement sur tous les types de données à la fois. Dans ces systèmes modernes, les images, les vidéos, l'audio et le texte sont tous convertis en un flux unique de jetons (tokens) que le modèle traite ensemble. Cela permet au système de comprendre qu'une vidéo d'une tasse qui tombe et une phrase décrivant le son d'un verre brisé font partie de la même réalité physique, plutôt que d'être simplement deux morceaux de données distincts.
Ce saut architectural a conduit à une nouvelle classe de modèles capables de faire plus que répondre à des questions. Ils commencent à agir comme des agents capables d'accomplir des tâches. Par exemple, ces systèmes peuvent désormais regarder un écran d'ordinateur, identifier un bouton et cliquer dessus pour naviguer sur un site web, ou ils peuvent analyser un tableau de bord pour extraer des points de données spécifiques. L'enquête souligne que les familles de modèles les plus capables, développées par de grands laboratoires de recherche, tendent vers des capacités de « monde-action ». Cela signifie que le modèle ne se contente pas d'observer le monde, mais apprend également à prédire comment le monde changera en réponse à ses propres actions. Il apprend à être un générateur, un percepteur et un décideur à la fois, capable de simuler des scénarios futurs pour choisir la meilleure course à suivre.
Cependant, à mesure que ces systèmes deviennent plus puissants, la manière de les tester a dû changer elle aussi. L'ancienne norme consistait à poser des questions simples au modèle, telles que « De quelle couleur est la voiture ? », et à vérifier si la réponse était correcte. Les chercheurs ont constaté que cette approche n'est plus suffisante. Les nouveaux tests de référence (benchmarks) se concentrent sur des défis beaucoup plus difficiles, comme la capacité d'un modèle à suivre un objet sur une longue vidéo, à maintenir sa confiance lors de l'extraction de données d'un document désordonné, ou à juger correctement de la sécurité du mouvement d'un robot. L'enquête souligne que de nombreux tests actuels reposent encore sur de simples questions à choix multiples, ce qui peut être trompeur car les modèles peuvent parfois deviner la bonne réponse sans réellement comprendre l'image. Le domaine est désormais engagé dans une course pour développer de meilleures méthodes afin d'évaluer si un modèle raisonne réellement ou s'il se contente de mémoriser des motifs.
Malgré ces avancées, des défis importants subsistent. Les chercheurs ont identifié que ces modèles souffrent encore d'« hallucinations », où ils décrivent avec assurance des objets ou des événements qui ne sont pas réellement présents dans l'image. Il s'agit d'un problème critique, en particulier lorsque ces systèmes sont utilisés pour des tâches à enjeux élevés comme le diagnostic médical ou la conduite autonome. L'enquête note également que la sécurité et l'équité sont des préoccupations majeures, car les modèles peuvent être trompés pour ignorer leurs règles de sécurité ou peuvent présenter des biais envers certains groupes de personnes. De plus, la quantité massive de données requise pour entraîner ces systèmes devient un goulot d'étranglement, les chercheurs explorant des moyens d'utiliser des données synthétiques ou l'apprentissage auto-supervisé pour surmonter la rareté des exemples de haute qualité étiquetés par des humains.
Le document conclut que, bien que le progrès des modèles vision-langage soit rapide et transformateur, le domaine est encore dans une phase de découverte active. Le passage de la simple association image-texte à des systèmes agentiques unifiés représente un changement fondamental dans la manière dont l'intelligence artificielle interagit avec le monde. Les chercheurs soulignent que les prochaines années seront définies non seulement par la construction de modèles plus vastes, mais aussi par la résolution de problèmes difficiles d'alignement, de sécurité et de raisonnement fiable. Ils suggèrent que l'avenir de cette technologie réside dans la création de systèmes qui peuvent non seulement voir et parler, mais aussi agir de manière responsable et précise dans le monde physique complexe dans lequel nous vivons. Le voyage d'une machine capable de décrire une photo vers une machine capable de naviguer dans une ville ou de diagnostiquer une maladie est bien engagé, mais la route à suivre nécessite une navigation prudente pour garantir que ces outils puissants soient à la fois capables et dignes de confiance.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.