⚡ electrical engineering

Ask Twice, Look Twice: Prompt Echoing Resolves the Question-First Paradox in Vision-Language Models

Ce document identifie et résout le « paradoxe de la question en premier » dans les modèles vision-langage — où placer les questions avant les images guide intuitivement la perception mais échoue lors de la génération de la réponse — en introduisant une stratégie d'« écho de l'invite » sans entraînement qui reformule la question des deux côtés de l'image afin de guider simultanément la perception et d'assurer l'accès à la réponse, augmentant ainsi considérablement les performances sur plusieurs bancs d'essai.

Auteurs originaux : Rakshanda Hassan Abhinandan, John Galeotti, Deva Ramanan, Gautam Rajendrakumar Gare

Publié 2026-07-20

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Rakshanda Hassan Abhinandan, John Galeotti, Deva Ramanan, Gautam Rajendrakumar Gare

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'apprendre à un robot comment voir le monde. Ce robot est un type spécial de cerveau informatique appelé Modèle Vision-Langage (VLM). Voyez-le comme un étudiant super intelligent qui peut regarder une image et répondre à des questions sur celle-ci, mais qui lit tout sous la forme d'une seule et longue ligne de texte. Pour le robot, une image n'est pas une image unique ; c'est une longue liste de minuscules pièces de puzzle (tokens) qui décrivent ce qui se trouve dans la photo.

La grande question que les scientifiques se posent est : « Quand vous parlez à ce robot, devez-vous lui dire ce qu'il doit chercher avant de lui montrer l'image, ou après ? » Cela semble être du bon sens de dire que la question devrait venir en premier. Si vous dites à un humain : « Cherche la voiture rouge », il sait exactement où porter son regard avant même de voir la rue. On s'attendrait à ce que le robot fonctionne de la même manière. Mais voici le rebondissement : quand les chercheurs ont testé cela avec les robots les plus intelligents, ceux qui recevaient la question en premier obtenaient des réponses erronées plus souvent que ceux qui recevaient la question en dernier. C'est un peu comme si vous disiez à un détective : « Trouve le biscuit disparu », que vous lui tendiez une photo d'une cuisine, puis que vous réalisiez qu'il a raté le biscuit parce qu'il regardait au mauvais endroit. Cette situation déroutante est ce que les scientifiques appellent un « paradoxe ».

Ce document, intitulé « Ask Twice, Look Twice » (Demander deux fois, regarder deux fois), plonge dans ce mystère pour comprendre pourquoi le robot échoue et comment le corriger sans rien lui apprendre de nouveau. Les chercheurs ont découvert que le robot écoute en réalité la question au début ; c'est juste que le cerveau du robot est submergé par la longue liste de pièces d'images et oublie la question au moment où il doit donner une réponse. C'est comme lire un long livre où la première page résume l'intrigue, mais à la page 100, vous avez oublié le début. La solution qu'ils ont trouvée est étonnamment simple : posez la question deux fois. En répétant la question une fois avant la photo et une fois après, le robot obtient le meilleur des deux mondes : il sait ce qu'il doit chercher, et il se souvient de la question au moment de parler.

Le Mystère du Robot Oublieux

Les chercheurs ont commencé par tester cette idée de « Question-First » (Question d'abord) sur cinq robots intelligents différents (VLM) en utilisant trois tests différents. Ils ont gardé les images et les questions exactement les mêmes, ne changeant que l'ordre. Les résultats ont été choquants. Sur un test appelé NaturalBench, le robot qui entendait la question en premier avait un score de 8,1 points inférieur à celui qui l'entendait en dernier. Sur un autre test difficile appelé Winoground, l'écart était encore plus large, avec le robot « Question-First » perdant 9,5 points. Dans certains cas, comme avec le robot LLaVA, poser la question en premier rendait le robot si confus qu'il se mettait à dire « Oui » à tout, obtenant un score parfait de zéro sur les parties les plus difficiles.

L'équipe voulait savoir : le robot ignore-t-il la question au début ? Ou l'entend-il mais l'oublie-t-il ensuite ?

Le Travail de Détective : Deux Étapes de Réflexion

Pour résoudre l'affaire, les chercheurs ont utilisé des outils spéciaux pour regarder à l'intérieur du cerveau du robot pendant qu'il réfléchissait. Ils ont observé deux moments spécifiques :

L'étape de la « Vue » : Est-ce que la question change la façon dont le robot voit l'image ?
L'étape de la « Réponse » : Est-ce que le robot utilise réellement la question lorsqu'il décide de ce qu'il va dire ?

Ils ont découvert quelque chose de fascinant. Le robot « Question-First » faisait parfaitement la première partie. Lorsque la question arrivait avant l'image, le cerveau du robot déplaçait réellement son attention. Si vous demandiez « Y a-t-il de l'eau ? », le robot commençait à voir des éléments de « ruissellement » et de « jeu » dans les fragments d'image au lieu de simplement « vêtements » ou « arrière-plan ». Il regardait au bon endroit !

Mais ensuite, la seconde partie échouait. Parce que l'image est composée de centaines de petits morceaux, le robot devait lire une longue liste de jetons d'image avant de pouvoir enfin donner sa réponse. Au moment où il atteignait la fin pour parler, la question originale était si loin dans sa mémoire qu'il n'y prêtait presque plus attention. Au lieu de cela, le robot se contentait de deviner en fonction de ce qu'il voyait dans l'image, se trompant souvent. C'était comme un étudiant qui a étudié le bon chapitre mais qui a oublié la question spécifique de l'examen parce qu'elle était écrite sur une page différente.

La Correction par « Écho »

Les chercheurs ont réalisé que le robot avait besoin de la question à deux endroits à la fois. Ils ont inventé une astuce appelée Question Echoing (Écho de la question). Au lieu de poser la question une seule fois, ils disent au robot : « Voici la question. Maintenant regarde l'image. Et voici la question à nouveau. »

Ce simple changement a fonctionné comme par magie. La première copie de la question indiquait au robot exactement où regarder (l'étape de la « Vue »), et la deuxième copie, placée juste à côté de la réponse, rappelait au robot ce qu'il était censé dire (l'étape de la « Réponse »).

Ils ont même essayé une version super appelée Image Echoing (Écho de l'image), où ils montraient l'image deux fois : une fois avant la première question et une fois après la seconde. Cela aidait le robot à voir l'image entière comme une seule grande scène plutôt que comme une série de morceaux déconnectés.

Les Résultats

La correction a été incroyablement efficace. En répétant simplement la question (et parfois l'image), les scores du robot ont bondi. Sur le test le plus difficile, Winoground, la méthode « Echoing » a amélioré le score du robot de jusqu'à 19 points par rapport à la méthode « Question-First ». Elle a même battu la méthode standard « Question-Last » (Question en dernier), qui était auparavant considérée comme la meilleure.

Le plus beau ? Ils n'ont pas eu besoin de réentraîner les robots ni de modifier leur code. Ils ont simplement changé la façon de poser les questions. C'est comme réaliser que si vous voulez mémoriser un numéro de téléphone, le répéter à voix haute deux fois vous aide à le garder en tête plus longtemps.

Pourquoi Cela Importe

Cette découverte est importante car elle montre que la façon dont nous parlons aux robots compte tout autant que l'intelligence de ces robots. Pendant longtemps, les gens ont pensé que l'ordre des mots n'avait pas beaucoup d'importance, ou que la méthode « Question-First » était la plus logique. Ce document prouve que la logique n'est pas toujours la bonne approche pour les robots.

Les chercheurs ont également constaté que ce n'est pas un bug spécifique à un seul robot ; cela se produit à travers différents types de modèles, des plus petits aux plus grands et plus intelligents. Ils ont même remarqué que cette idée de « Ask Twice » est similaire à une technique d'enseignement utilisée par les humains depuis cinquante ans, où les professeurs posent une question avant et après une lecture pour aider les élèves à comprendre mieux. Il semble que, que l'on soit un élève humain ou un robot, il faut parfois entendre les choses importantes deux fois pour bien les saisir.

En fin de compte, le document suggère que l'avenir de la communication avec les robots ne dépend pas seulement de les rendre plus intelligents, mais de savoir leur parler de la bonne manière. Et parfois, la bonne manière consiste à demander deux fois.

Résumé Technique : Demander deux fois, Regarder deux fois

1. Énoncé du problème : Le paradoxe de la question-en-premier

Les modèles de vision-langage (VLM) traitent les entrées comme un flux de jetons (tokens) entrelacés comprenant des messages système, des jetons d'image et des jetons de tâche (question). Un choix de conception critique concerne l'ordre de ces composants : la question doit-elle précéder l'image (Question-First, STI) ou la suivre (Question-Last, SIT) ?

L'intuition suggère que placer la question en premier devrait améliorer les performances en permettant au modèle de « diriger » sa perception visuelle vers des concepts pertinents avant d'encoder l'image. Cependant, les auteurs observent un paradoxe de la question-en-premier : à travers cinq familles de VLM ouverts (Qwen3-VL, Qwen2.5-VL, InternVL3, LLaVA-1.5 et partiellement Gemma-3) et trois benchmarks (NaturalBench, POPE, Winoground), le prompting de type question-en-premier sous-performe systématiquement par rapport au prompting de type question-en-dernier. Dans certains cas (par exemple, LLaVA-1.5 sur NaturalBench), l'ordre question-en-premier provoque l'effondrement du modèle vers une réponse constante et incorrecte, entraînant des écarts de précision de groupe allant jusqu'à 17,5 points.

2. Méthodologie : Diagnostic mécaniste

Les auteurs emploient une combinaison d'outils d'interprétabilité et d'interventions causales pour diagnostiquer le mécanisme de défaillance, allant au-delà des observations corrélationnelles pour identifier les étapes de calcul spécifiques responsables.

2.1 Sondes

Sonde de perception (Logit Lens) : Les auteurs utilisent le logit lens pour décoder les états cachés intermédiaires des patchs d'image. Ils mesurent à quel point la représentation visuelle dévie vers des concepts pertinents pour la question lorsque la question précède l'image.
Sonde de lecture (Suivi de l'attention) : Ils suivent les poids d'attention du jeton de réponse final à travers les couches pour déterminer à quel point le décodeur prête attention à la question par rapport à l'image.
Courbes d'émergence : Ils surveillent la probabilité de l'émergence du jeton de la réponse correcte à mesure que le modèle traite des couches plus profondes.

2.2 Intervention causale (Suppression de l'attention)

Pour établir la causalité, les auteurs effectuent une suppression de l'attention (attention knockout). Lors d'une passe directe (forward pass), ils ajoutent un biais $-\infty$ pré-softmax aux arêtes d'attention des jetons de réponse vers des segments spécifiques (question, image ou texte aléatoire) dans toutes les couches de texte. Cela sectionne le chemin de lecture directe tout en laissant intact le reste du calcul (y compris le flux d'information indirect via les jetons relais).

2.3 Analyse de la résolution

L'étude analyse si l'écart augmente avec le nombre de jetons d'image (et donc la distance entre la question et la réponse) afin de valider l'hypothèse de l'« accès ».

3. Principaux résultats et mécanisme

Le diagnostic révèle une dissociation entre deux mécanismes distincts que l'ordre de prompting confond : la Direction Visuelle (Steering) et l Accès au Décodeur.

La direction est réelle mais gaspillée : La sonde de perception confirme que le prompting de type question-en-premier réussit effectivement à diriger la perception visuelle. Les patchs d'image décodent vers des concepts plus pertinents pour la question (par exemple, « eau » au lieu de « vêtements ») lorsque la question précède l'image. Cette direction est bénigne et correcte.
L'accès est le point de défaillance : La sonde de lecture révèle que le jeton de réponse prête très peu attention à la question dans l'ordre question-en-premier. Parce que la question est isolée derrière des centaines de jetons d'image, le décodeur s'engage prématurément sur une réponse ancrée dans l'image (souvent incorrecte) avant que la représentation de la question ne puisse influencer la décision.
Confirmation causale : La suppression de l'attention confirme que sous l'ordre question-en-dernier (SIT), le jeton de réponse dépend causalement de la question (la précision chute lorsque l'arête est sectionnée). Sous l'ordre question-en-premier (STI), le jeton de réponse dépend de l'image (la précision chute lorsque l'arête de l'image est sectionnée), et l'arête de la question est inerte.
Échelle de distance : L'écart de précision s'élargit à mesure que le nombre de jetons d'image augmente, confirmant que la distance physique entre la question et le jeton de réponse est le principal moteur de l'échec.

4. Solution proposée : Écho de la question (Prompt Echoing)

Sur la base du diagnostic, les auteurs proposent une correction sans réentraînement appelée Écho de la question (STIT). Cela consiste à reformuler la question à la fois avant et après l'image :

Question pré-image : Fournit le signal descendant pour diriger l'encodage visuel (préservant le bénéfice de la question-en-premier).
Question post-image : Restaure l'adjacence entre la question et le jeton de réponse, garantissant que le décodeur puisse lire la question (préservant le bénéfice de la question-en-dernier).

Écho de l'image (SITIT) : Une variante supplémentaire présente à nouveau l'image aux côtés de la question répétée. Dans les décodeurs causaux (comme Qwen3-VL), un seul jeton d'image ne peut pas prêter attention aux jetons suivants. En répétant l'image, les patchs de la seconde copie peuvent prêter attention à l'ensemble de la première copie, récupérant ainsi efficacement une vue « image complète » bidirectionnelle que le masque causal rejette autrement.

5. Résultats

Les méthodes d'écho proposées comblent l'écart de performance et surpassent souvent le meilleur ordre de passage unique sans aucun réentraînement ou changement architectural.

Gains de performance : Sur le benchmark exigeant de Winoground, l'écho de la question (STIT) améliore la précision de groupe jusqu'à 19 points par rapport à l'ordre question-en-premier. L'écho de l'image (SITIT) améliore davantage les performances, surpassant la ligne de base standard de la question-en-dernier.
Généralisation : Les gains sont observés sur tous les modèles testés (Qwen3-VL, Qwen2.5-VL, InternVL3, LLaVA-1.5). Bien que Gemma-3-27B ne présente pas le paradoxe (STI $\approx$ SIT), l'écho apporte tout de même des gains marginaux, suggérant que le mécanisme est général.
Génération ouverte : Les bénéfices s'étendent au VQA ouvert (VQAv2), où l'« échelle de position » (STI < SIT < STIT < SITIT) est respectée pour les scores de précision "soft".
Ablations : Les auteurs excluent d'autres explications telles que l'augmentation du nombre de jetons ou le calcul pré-réponse. Le facteur critique est la présence d'une question complète adjacente à la réponse. De plus, l'ordre de la répétition de l'image compte : répéter l'image dans l'ordre de la distribution d'entraînement (Image-First) donne de meilleurs résultats que de la répéter dans l'ordre de la question-en-premier.

6. Signification et revendications

L'article prétend résoudre une tension fondamentale dans le prompting multimodal : le compromis entre diriger ce que le modèle voit et préserver l'accès à ce qui lui a été demandé.

Contribution scientifique : Ce travail démontre que la direction visuelle et la lecture de la réponse sont des mécanismes dissociables avec des préférences positionnelles différentes. Il remet en question le « folklore » de l'ordre de prompting en fournissant une explication mécaniste de la raison pour laquelle la question-en-premier échoue, passant d'une heuristique à une limitation structurelle et causale des architectures de décodeurs causaux actuelles.
Impact pratique : Les auteurs fournissent une technique de prompt engineering simple, sans réentraînement (l'écho), qui améliore considérablement les performances des VLM sur les benchmarks compositionnels et adverses.
Contexte plus large : Le papier établit un parallèle avec des découvertes de la psychologie de l'éducation vieilles de 50 ans concernant les « questions adjointes », où la répétition d'une question avant et après un passage textuel aide à la compréhension. Cela suggère que la division du travail (question préalable pour l'attention, question ultérieure pour la consolidation) est une propriété générale de la compréhension séquentielle, et non un artefact spécifique aux architectures de VLM.

Les auteurs concluent que l'ordre de prompting doit être traité comme une science mesurée et mécaniquement fondée plutôt que comme une heuristique, et que l'écho résout le paradoxe en servant simultanément les mécanismes de direction et de lecture.