🤖 AI

When Prompts Become Pixels: Prompt-Region Grounding for Multimodal Reasoning

Cet article introduit la Sémantique de Tâche Visualisée (VTS) pour révéler un écart de performance significatif dans les modèles multimodaux lorsque les instructions sont intégrées sous forme de pixels plutôt que de texte, et propose une méthode de mise en correspondance entre l'invite et la région qui comble efficacement cet écart de canal sémantique sans nécessiter d'OCR ou de métadonnées de région lors de l'inférence.

Auteurs originaux : Yongxin Wang, Ruizhe Zhou, Yueling Tang, Yingying Zhu, Xuemin Zhao, Xiaojun Chang, Xiaodan Liang

Publié 2026-08-06

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yongxin Wang, Ruizhe Zhou, Yueling Tang, Yingying Zhu, Xuemin Zhao, Xiaojun Chang, Xiaodan Liang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous enseigniez à un robot super intelligent comment résoudre des énigmes. Ce robot, connu sous le nom de Modèle de Langage Large Multimodal (MLLM), est un peu comme un élève de génie qui peut lire du texte et regarder des images en même temps. Habituellement, vous donnez au robot une image d'un problème mathématique et un message textuel distinct disant : « Résous ceci ! » Le robot lit l'instruction textuelle, regarde l'image et donne la réponse. Mais et si vous ne donniez pas l'instruction sous forme de message textuel ? Et si vous écriviez l'instruction à l'intérieur de l'image elle-même, comme un panneau peint sur un mur ?

Les scientifiques se sont demandé si ce robot fonctionnerait toujours aussi bien. Est-ce que cela importe si l'instruction est un « jeton textuel » (un mot numérique) ou un « pixel » (un minuscule point de couleur sur un écran) ? Dans le monde de l'intelligence artificielle, il existe une suspicion que les robots puissent être excellents pour lire du texte mais terribles pour « lire » des instructions qui font partie de l'image. Ils pourraient être capables de copier parfaitement les mots (comme une photocopieuse) mais échouer à réellement comprendre que ces mots sont le patron qui leur donne des ordres. Ce document plonge dans ce mystère pour voir si le robot est confus lorsque les règles sont écrites dans l'image plutôt que dans la boîte de discussion.

Le Mystère de la Question « Pixélisée »

Les chercheurs, une équipe issue d'universités et d'entreprises technologiques, ont décidé de tester cette idée avec une expérience ingénieuse qu'ils appellent Visualized Task Semantics (VTS). Imaginez que vous ayez un test de mathématiques standard. Habituellement, la question est tapée au-dessus de l'image. Pour leur expérience, ils ont pris la question exacte, ont effacé le texte tapé et ont peint la question directement sur l'image, juste au-dessus du problème. Ils ont même remplacé l'instruction textuelle originale par une petite note banale qui disait simplement : « Aide-moi à résoudre le problème. »

Ils ont soumis ce test à six modèles d'IA différents en utilisant quatre types différents de benchmarks complexes (comme des graphiques mathématiques et des diagrammes élaborés). Le résultat fut une chute massive de la performance. En moyenne, les modèles étaient 17,8 points moins précis lorsque la question était peinte dans l'image par rapport à lorsqu'elle était tapée. Dans certains cas, la chute a été de 28,0 points.

Ce n'était pas seulement que les robots ne pouvaient pas lire les lettres. Les chercheurs ont vérifié, et les modèles pouvaient en fait transcrire les mots peints correctement la plupart du temps. Le problème était plus profond : les modèles échouaient à utiliser ces mots comme des instructions. C'est comme si le robot voyait le panneau sur le mur, pouvait épeler les mots, mais ne réalisait pas : « Oh, ce panneau me dit quoi faire ! » Les chercheurs appellent cela un « écart de canal sémantique ». Le chemin que prend l'information (texte vs image) modifie la façon dont le robot réfléchit, même si les mots sont identiques.

La Solution : Apprendre au Robot à « Ancrer » le Panneau

Pour corriger cela, l'équipe a développé une nouvelle méthode d'entraînement appelée Prompt-Region Grounding. Voyez cela comme apprendre à un enfant à pointer un panneau du doigt et à dire : « Ceci est la règle ! »

Ils ont utilisé deux astuces spéciales pendant l'entraînement :

PVRD-SG (L'« Adéquation de Sens ») : Ils ont montré au robot l'image avec la question peinte et une version textuelle distincte et propre de cette même question. Ils ont forcé le robot à réaliser que la zone spécifique de pixels contenant la question signifie la même chose que le texte tapé. C'est comme connecter le panneau physique sur le mur au concept de la règle dans le cerveau du robot.
PRMLP (Le « Test du Point Aveugle ») : Ils ont pris l'image avec la question peinte et ont recouvert certaines parties du texte avec une boîte noire (masquage). Ensuite, ils ont demandé au robot de deviner le sens du texte caché en se basant sur le reste de l'image. Cela a forcé le robot à apprendre l'essence de l'instruction, et non pas seulement à mémoriser les pixels exacts.

Le meilleur dans tout cela ? Cet entraînement ne nécessitait pas que le robot utilise des outils spéciaux comme l'OCR (Reconnaissance Optique de Caractères) ou qu'il sache exactement où se trouvait la boîte de texte lorsqu'il passait l'examen. Lors de l'examen final, le robot voit simplement l'image avec la question peinte et répond directement, tout comme avant.

Les Résultats : Combler l'Écart

Les résultats étaient prometteurs. Après ce nouvel entraînement, la précision des modèles sur les tests de « question peinte » est passée de 58,0 % à 66,3 %. C'est une amélioration significative, réduisant l'écart entre les instructions textuelles et les instructions d'image. Les modèles sont également devenus légèrement meilleurs aux tests originaux basés sur le texte (passant de 69,1 % à 70,3 %), prouvant qu'ils n'ont pas perdu leurs anciennes compétences.

Les chercheurs ont testé cela sur plus de 1 000 images réelles qu'ils n'avaient jamais vues auparavant, comme des photos de feuilles de travail, des formulaires et des captures d'écran. La nouvelle méthode a amélioré la précision de 7,9 points sur ces pages du monde réel.

Ce que cela signifie

L'article conclut que lire du texte dans une image et utiliser ce texte comme une instruction sont deux compétences différentes. Ce n'est pas parce qu'un robot peut lire les mots qu'il sait les écouter lorsqu'ils font partie d'une image. En apprenant au robot à « ancrer » la question visuelle à son sens, ils l'ont aidé à combler l'écart.

Les auteurs précisent avec prudence que, bien qu'ils aient amélioré la situation, ils ne l'ont pas totalement résolue. Il reste un petit écart, et la méthode fonctionne mieux lorsque le texte est clairement visible et dans un format standard. Cependant, cette étude prouve que la manière dont nous parlons à l'IA est cruciale. Si nous voulons que les robots soient véritablement intelligents, nous devons leur apprendre qu'une question écrite en pixels est tout aussi importante qu'une question tapée dans une boîte de discussion.

Résumé Technique : Quand les Prompts Deviennent des Pixels : Ancrage de la Région de Prompt pour le Raisonnement Multimodal

1. Énoncé du Problème

Les modèles de langage de grande taille multimodaux (MLLM) traitent de plus en plus des captures d'écran et des documents où les instructions de la tâche sont elles-mêmes rendues sous forme de texte dans l'image (pixels). Bien que les modèles à haute résolution puissent lire ce texte avec une grande précision, il reste incertain de savoir s'ils utilisent ces instructions visuelles avec la même efficacité que les prompts textuels.

Des travaux antérieurs ont observé des baisses de performance lorsque les instructions sont visualisées, mais ces écarts confondent souvent plusieurs facteurs : l'expansion du canevas, le redimensionnement de l'image, les artefacts de rendu et le changement sémantique des jetons textuels vers les pixels. Crucialement, les benchmarks existants ne distinguent pas si l'échec d'un modèle provient de sa capacité à lire le texte visuel (échec d'OCR) ou de sa capacité à l'utiliser comme une instruction de raisonnement (écart de canal sémantique). Ce papier pose l'hypothèse que lire du texte porteur de tâches et l'ancrer en tant qu'instruction sont deux capacités distinctes, et que les MLLM actuels présentent un « écart de canal sémantique » systématique où les instructions visuelles sont moins efficaces que les instructions tapées, même lorsque le texte est transcrit correctement.

2. Méthodologie

2.1 Sémantique de Tâche Visualisée (VTS)

Pour isoler l'écart de canal sémantique, les auteurs introduisent la Sémantique de Tâche Visualisée (VTS), une intervention contrôlée.

Vue Originale : La question $q$ est fournie sous forme de jetons textuels, et l'image $x$ contient des preuves visuelles.
Vue VTS : La question $q$ est rendue sous forme de pixels textuels dans un panneau blanc situé au-dessus de l'image $x$ . Le prompt textuel natif est remplacé par un indice fixe (ex: « Aide-moi à résoudre le problème »).
Contrôles : L'étude utilise des contrôles pour la géométrie du canevas, la duplication du prompt (question présente dans les deux canaux) et les entrées d'image seule afin d'exclure des causes non sémantiques pour les baisses de performance.

2.2 Ancrage de la Région de Prompt

Pour combler cet écart, les auteurs proposent l'Ancrage de la Région de Prompt (Prompt-Region Grounding), un cadre d'entraînement qui aligne explicitement la représentation visuelle de la région du prompt avec sa sémantique tapée. Cette méthode opère lors de l'ajustement fin supervisé (SFT) et de l'apprentissage par renforcement (GSPO) sans modifier l'interface d'inférence (aucun OCR ou métadonnée de région n'est requis au moment du test).

Le cadre introduit deux objectifs au niveau de la région appliqués aux exemples VTS et aux exemples de prompts visuels du monde réel :

Distillation de la Représentation Prompt-Visuelle avec Ancrage Sémantique (PVRD-SG) :
- Objectif : Aligner la représentation visuelle de la région du prompt avec la représentation sémantique figée de la question tapée.
- Mécanisme : Le modèle regroupe les jetons visuels de la boîte de la région de prompt connue $b_i$ dans l'image rendue. Cette représentation $z_i^{vis}$ est optimisée pour maximiser la similitude cosinus avec un embedding textuel figé et mis en cache $t_i$ dérivé de la question tapée.
- Contrainte : La cible textuelle est figée et le gradient est arrêté (stop-gradient), garantissant que le modèle apprenne à récupérer la sémantique de la tâche à partir de la région visuelle sans être forcé de transcrire le texte.
Prédiction Latente Masquée de la Région de Prompt (PRMLP) :
- Objectif : Garantir que la représentation visuelle de la région du prompt reste stable et récupérable, même lorsqu'une partie du texte rendu est occultée ou difficile à observer.
- Mécanisme : Une fraction de la région de prompt dans l'image composite est masquée. Le modèle doit prédire la représentation du crop propre (la région de prompt non masquée) à partir de l'entrée masquée.
- Contrainte : Il s'agit d'un objectif de cohérence latente, et non de reconstruction de pixels. Cela force le modèle à maintenir une représentation interne robuste de la région d'instruction.

2.3 Pipeline d'Entraînement

Rejeu Équilibré (Balanced Replay) : Le modèle est entraîné sur un jeu de données apparié contenant à la fois les vues Originale et VTS du même problème, partageant la même cible de réponse.
Ajustement Fin Supervisé (SFT) : Le modèle minimise une perte combinée : la perte autoregressive standard de prochain jeton ( $L_{sft}$ ) plus les pertes au niveau de la région ( $L_{sg}$ et $L_{prmlp}$ ).
Apprentissage par Renforcement (GSPO) : Le checkpoint supervisé est affiné via l'Optimisation de Politique de Séquence de Groupe (GSPO) avec des récompenses pour la correction du format et l'exactitude de la réponse.

3. Principales Contributions

Quantification de l'Écart de Canal Sémantique : L'étude démontre que le passage d'une question de jetons textuels à des pixels d'image provoque une baisse systématique de la précision sur six MLLM et quatre benchmarks. La baisse moyenne est de 17,8 points, certaines paires chutant jusqu'à 28,0 points.
Découplage de la Lecture et du Raisonnement : Les tests de diagnostic révèlent que les modèles transcendent souvent les questions visuelles correctement (87,6 % de correspondance exacte) mais échouent à les utiliser efficacement (48,4 % de précision). La réinsertion du texte transcrit dans le canal textuel restaure une précision significative, prouvant que l'écart n'est pas simplement un échec d'OCR mais un échec d'ancrage du texte visuel en tant qu'instruction.
Méthode d'Ancrage de la Région de Prompt : Les auteurs introduisent une recette d'entraînement qui comble cet écart. En alignant la région du prompt visuel avec la sémantique tapée et en imposant la cohérence latente, la méthode améliore considérablement la précision VTS sans nécessiter d'OCR ou de détection de région lors de l'inférence.
Généralisation : La méthode améliore les performances sur des pages du monde réel mises de côté (interfaces utilisateur, feuilles de travail, formulaires) et sur des benchmarks indépendants (VISTA-Bench, OCRBench v2), suggérant que la capacité d'ancrage apprise se transfère au-delà du rendu VTS spécifique.

4. Résultats Expérimentaux

Les expériences ont été principalement menées sur Qwen3-VL-4B et Qwen3-VL-8B, avec des résultats de transfert sur InternVL3.5-8B.

Performance de Base (Baseline) : À travers quatre benchmarks (MATH-Vision, MathVista, ChartQA, MMMU), la précision VTS moyenne pour la baseline (Balanced Replay) est de 61,4 %, contre 69,8 % sur l'interface Originale (un écart de 8,4 points).
Performance de la Méthode : La méthode proposée (« Ours ») a porté la précision VTS moyenne à 66,3 % tout en maintenant la précision Originale à 70,3 %.
- Cela réduit l'écart de canal sémantique de 8,4 points (Balanced Replay) à 4,0 points.
- Gains spécifiques sur VTS : +7,8 (MATH-Vision), +7,0 (MathVista), +6,2 (ChartQA), +12,4 (MMMU).
Analyse des Composants :
- PVRD-SG a fourni le plus grand gain de composant unique (+2,6 points par rapport à PRMLP seul).
- PRMLP ajoute un gain supplémentaire de +1,8 point lorsqu'il est combiné avec PVRD-SG.
- La lecture spécifiquement depuis le panneau de prompt surpasse les résumés de l'image complète ou de régions aléatoires.
Généralisation au Monde Réel : Sur 1 000 pages réelles mises de côté, la méthode a amélioré la précision de 7,9 points (passant de 58,0 % à 65,8 %) par rapport au SFT standard, démontant une robustesse aux divers layouts et polices.
Efficacité des Coûts : Les améliorations ont été obtenues à des coûts d'entraînement (FLOPs) équivalents à ceux du SFT standard, prouvant que les gains proviennent des objectifs spécifiques plutôt que d'un simple temps d'entraînement accru.

5. Signification et Revendications

Le papier affirme que le canal transportant une question modifie fondamentalement les capacités de raisonnement des MLLM, même lorsque la formulation et la réponse restent identiques. La principale signification réside dans la distinction entre deux capacités souvent traitées comme identiques : lire du texte dans une image et ancrer ce texte en tant qu'instruction de tâche.

Les auteurs soutiennent que :

L'écart est Sémantique, pas seulement OCR : Les modèles peuvent lire le texte mais échouent à traiter les pixels visuels comme des instructions faisant autorité.
La Supervision au Niveau de la Région est Efficace : Connecter explicitement la région visuelle de l'instruction à sa sémantique tapée permet aux modèles de récupérer la représentation « propre » de la tâche, comblant ainsi l'écart de canal.
Simplicité d'Inférence : La méthode ne nécessite aucun module supplémentaire (OCR, détection d'objets) lors de l'inférence ; le modèle apprend à prêter attention à la région pertinente de manière implicite pendant l'entraînement.

Le papier conclut que, bien que déplacer les questions dans les pixels ne soit pas un nouveau problème, le mécanisme spécifique de l'ancrage de la région de prompt offre une solution scalable à l'écart de canal sémantique, permettant aux MLLM de raisonner sur des instructions visuelles aussi efficacement que sur des instructions tapées. Les auteurs restent modestes, notant que la méthode suppose des régions de tâches connues pendant l'entraînement et ne prétend pas être un détecteur de région de tâche général pour des images arbitraires.