v1: Learning to Point Visual Tokens for Multimodal Grounded Reasoning

Imaginez que vous essayez de résoudre un puzzle complexe, mais que les pièces sont cachées à l'intérieur d'une image géante et compliquée. Dans le monde de l'intelligence artificielle, il existe des cerveaux « multimodaux » spéciaux qui peuvent regarder des images et lire du texte en même temps. Habituellement, lorsque ces modèles d'IA essaient de résoudre un problème mathématique impliquant un diagramme, ils jettent un coup d'œil rapide à l'image, mémorisent l'ambiance générale, puis tentent de résoudre le reste du problème en utilisant uniquement des mots. C'est comme regarder une carte pendant cinq secondes, fermer les yeux, puis essayer de conduire vers une nouvelle ville sans jamais regarder à nouveau la carte. Le problème est qu'à mesure que les instructions de conduite deviennent plus longues et plus complexes, l'IA commence à oublier exactement où se trouvent les virages ou à quoi ressemblent les points de repère. Elle perd son « ancrage », ce qui signifie qu'elle s'éloigne des preuves visuelles dont elle a besoin pour être exacte.

Ce document présente une nouvelle façon pour ces cerveaux d'IA de réfléchir, appelée v1. Au lieu de simplement jeter un regard et de deviner, v1 apprend au modèle à pointer activement les parties spécifiques de l'image dont il a besoin pour se souvenir, à copier cette information et à la coller à nouveau dans son processus de réflexion chaque fois qu'il est bloqué. C'est comme avoir un étudiant super intelligent qui, tout en résolvant un long problème de mathématiques, continue de tendre le doigt pour tapoter le diagramme, en disant : « Attendez, laissez-moi vérifier à nouveau cet angle », puis ramène ce détail visuel spécifique directement dans ses notes pour l'aider à terminer son calcul. Les chercheurs ont constaté que cette astuce simple de « pointer et copier » aide l'IA à rester concentrée sur les bonnes parties de l'image, menant à de bien meilleures réponses lors de tests mathématiques visuels difficiles.

Le Problème : Le Piège du « Coup d'Œil »

La plupart des modèles d'IA actuels capables de voir et de lire sont comme des étudiants à qui l'on dit d'étudier un diagramme pendant une fraction de seconde, puis de fermer les yeux. Ils encodent l'image dans leur mémoire une seule fois, puis tentent de raisonner à travers le problème en utilisant uniquement du texte. Les chercheurs ont remarqué une faille dans cette approche : à mesure que le raisonnement devient plus long et plus complexe, le modèle commence à perdre sa concentration. C'est comme si les yeux de l'étudiant devenaient vitreux ; il cesse de prêter attention aux détails importants de l'image. Le document montre qu'à mesure que l'IA rédige davantage d'étapes pour résoudre un problème, son attention portée à l'image réelle s'estompe, et elle commence à commettre des erreurs parce qu'elle ne « regarde » plus les preuves dont elle a besoin.

La Solution : Pointer et Copier

Pour corriger cela, l'équipe a créé v1, une mise à jour légère pour ces modèles d'IA. Voyez v1 comme si l'on donnait à l'IA un pointeur magique et une photocopieuse. Lorsque l'IA réfléchit à un problème et réalise qu'elle doit vérifier une partie spécifique de l'image — comme un angle dans un triangle ou une barre sur un graphique — elle ne se contente pas de deviner. Au lieu de cela, elle utilise un mécanisme de « pointage » pour sélectionner exactement cette zone de l'image.

Une fois qu'elle a pointé, elle « copie » l'information visuelle de cet endroit et la colle directement dans son flux de pensée. Cela signifie que l'IA peut revisiter la preuve visuelle autant de fois qu'elle le souhaite, gardant l'image fraîche dans son esprit pendant qu'elle fait les mathématiques. Crucialement, il ne s'agit pas de générer de nouvelles images ou de dessiner de nouveaux dessins ; il s'agit de réaccéder aux données de l'image originale avec une précision chirurgicale. Le modèle apprend à dire : « J'ai besoin de regarder à nouveau la barre rouge », pointe vers elle, copie ses données, puis poursuit son raisonnement avec ce contexte visuel frais.

Comment Ils Ont Enseigné à l'IA

On ne peut pas simplement dire à une IA de « regarder plus attentivement » ; elle doit être entraînée pour le faire. Les chercheurs ont construit un immense ensemble de données appelé v1g, contenant 300 000 exemples de problèmes mathématiques où les étapes de raisonnement sont explicitement liées à des parties spécifiques de l'image. Ils ont utilisé un processus automatisé ingénieux pour créer ces données :

1. Ils ont pris des chemins de raisonnement existants provenant d'autres modèles d'IA.
2. Ils ont utilisé un modèle de langage puissant pour décomposer ces chemins, identifiant là où l'IA aurait dû regarder l'image.
3. Ils ont ajouté des annotations d'« ancrage », qui sont comme des notes autocollantes numériques disant : « Quand vous mentionnez cet angle, vous devez regarder cette région spécifique de l'image. »

Cet ensemble de données a appris au modèle v1 que lorsqu'il est bloqué ou qu'il a besoin de vérifier une étape, il doit tendre le bras, pointer le bon endroit et copier l'information.

Les Résultats : Un Raisonnement Plus Intelligent et Concentré

L'équipe a testé v1 sur plusieurs tests mathématiques exigeants, notamment MathVista, MathVision et MathVerse. Ces tests sont remplis de diagrammes, de graphiques et de formes géométriques qui nécessitent une inspection visuelle minutieuse.

Les résultats sont impressionnants. Même si v1 est un modèle relativement petit (7 milliards de paramètres), il a surpassé de nombreux modèles plus grands et d'autres modèles de raisonnement spécialisés.

• Sur le benchmark MathVision, le modèle de base sans la fonction de pointage a obtenu un score de 23,6.
• Lorsque la fonction de pointage a été ajoutée pendant l'entraînement mais non utilisée pendant le test, le score a légèrement augmenté pour atteindre 25,3.
• Mais quand le modèle a été autorisé à utiliser la fonction pointer et copier pendant le test, le score a bondi à 34,5.

Cela montre que la capacité de revisiter activement l'image est le moteur clé du succès. Le modèle n'est pas seulement devenu meilleur en mathématiques ; il est devenu meilleur pour regarder tout en faisant des mathématiques. Dans un exemple, alors que d'autres modèles identifiaient mal la barre la plus haute d'un graphique, v1 a correctement pointé la barre spécifique, a copié ses données et a calculé le bon pourcentage. Dans une autre tâche impliquant un puzzle de recherche de chemin avec des hexagones, v1 a réussi à pointer les formes correctes pour vérifier l'itinéraire, là où les autres s'étaient perdus.

Ce Que Cela Signifie

Le document suggère que l'avenir du raisonnement multimodal ne consiste pas seulement à rendre les modèles plus grands ou plus intelligents dans la génération de texte. Il s'agit de leur donner la capacité d'accéder dynamiquement à l'information visuelle lorsqu'ils en ont besoin. En permettant au modèle de « pointer et copier », les chercheurs ont trouvé un moyen de maintenir les preuves visuelles alignées avec les étapes de raisonnement, empêvant le modèle de s'éloigner de la vérité.

Les chercheurs précisent avec prudence que ce n'est pas une baguette magique qui résout tous les problèmes. Parfois, le modèle pointe encore la mauvaise zone, ou il peut pointer trop souvent, ou il peut avoir du mal avec des concepts très abstraits qui ne rentrent pas proprement dans une boîte. Cependant, la conclusion fondamentale est claire : le référencement visuel actif aide. Cela transforme l'IA, passant d'un étudiant qui jette un regard sur la carte une seule fois et espère que tout ira bien, à un navigateur qui vérifie constamment la carte, s'assurant que chaque tour est correct.