AQuA: Toward Strategic Response Generation for Ambiguous Visual Questions

Ce papier présente AQuA, un nouveau jeu de données et une méthode de fine-tuning qui permettent aux modèles vision-langage de classifier les ambiguïtés visuelles en quatre niveaux et d'adopter dynamiquement des stratégies de réponse adaptées, telles que la demande de clarification ou l'énumération d'alternatives, surpassant ainsi les modèles existants dans la gestion des questions visuelles ambiguës.

L'essentiel

Imaginez que vous êtes un serveur dans un restaurant très fréquenté. Les clients (les images) sont devant vous, et ils vous posent des questions.

Dans le monde de l'intelligence artificielle actuelle, la plupart des robots sont formés pour répondre à des commandes très claires : « Apportez-moi le menu bleu, s'il vous plaît ». Si le client dit cela, le robot apporte le menu bleu. C'est facile.

Mais dans la vraie vie, les clients disent souvent des choses floues : « Apportez-moi ce menu. »

Le problème, c'est qu'il y a trois menus sur la table. Lequel ?

• Le robot actuel (les modèles IA actuels) va souvent deviner au hasard, prendre le premier qu'il voit, et vous dire : « Voici le menu ! » avec une confiance absolue, même s'il se trompe. C'est comme si le serveur vous apportait le menu rouge alors que vous vouliez le bleu, en disant : « Je suis sûr à 100 % que c'est celui-ci ! ».
• Parfois, le robot dit : « Je ne sais pas, je ne peux pas répondre. » C'est mieux, mais ce n'est pas toujours la meilleure solution non plus.

La solution proposée par ce papier (rAQUA) :

Les chercheurs ont créé un nouveau jeu d'entraînement, appelé AQUA, pour apprendre aux robots à devenir de véritables « détectives de l'ambiguïté ». Au lieu de simplement répondre ou de ne rien dire, ils apprennent à choisir la stratégie parfaite selon la situation.

Ils ont classé les questions floues en 4 niveaux, comme des degrés de brouillard :

1. Niveau 0 (Pas de brouillard) : « Quel est le menu bleu ? »
   • Stratégie : Répondre directement. « C'est celui-ci. » (Pas de problème).
2. Niveau 1 (Un peu de brouillard, mais évident) : « Apportez-moi ce menu. » (Il y a trois menus, mais un seul est ouvert et au centre de la table).
   • Stratégie : Le robot doit dire : « Ah, vous voulez dire ce menu ouvert au centre ? Voici celui-ci. » Il utilise le contexte pour deviner intelligemment sans poser de question.
3. Niveau 2 (Brouillard moyen, plusieurs options) : « Apportez-moi ce menu. » (Il y a deux menus ouverts, un bleu et un rouge, tous deux aussi importants).
   • Stratégie : Le robot ne devine pas ! Il dit : « Je vois deux menus ouverts : le bleu et le rouge. Lequel préférez-vous ? » Il liste les options possibles.
4. Niveau 3 (Brouillard total) : « Apportez-moi ce menu. » (Il y a dix menus partout, sur la table, dans les chaises, par terre).
   • Stratégie : Le robot ne devine pas, il ne liste pas tout (ce serait trop long). Il dit poliment : « Il y a trop de menus ici, je ne sais pas lequel vous voulez. Pouvez-vous me dire lequel ? »

Ce que les chercheurs ont découvert :

• Le problème : Même les robots les plus intelligents (comme GPT-5 ou Gemini) sont très mauvais dans ce jeu. Ils ont tendance à être trop confiants et à deviner n'importe quoi, même quand c'est flou. C'est comme un serveur qui vous apporterait un plat au hasard en disant « C'est sûr que c'est ce que vous vouliez ! ».
• La solution : Ils ont pris des robots « intelligents » mais « naïfs » et les ont entraînés avec ce nouveau jeu (AQUA).
  • D'abord, ils leur ont montré des exemples (comme un professeur qui montre des cartes).
  • Ensuite, ils ont utilisé une technique spéciale (un peu comme un coach sportif qui félicite le robot quand il choisit la bonne stratégie et le corrige quand il se trompe) pour qu'ils apprennent à choisir la bonne réaction.

Le résultat ?

Les robots entraînés avec cette méthode sont devenus des serveurs modèles.

• Quand c'est clair, ils répondent vite.
• Quand c'est un peu flou mais évident, ils devinent avec logique.
• Quand il y a plusieurs choix, ils listent les options.
• Quand c'est trop flou, ils demandent de l'aide.

Ils battent même les robots géants et très chers qui n'ont pas reçu cet entraînement spécifique.

En résumé :
Ce papier nous dit que pour que l'IA soit vraiment utile dans la vraie vie, elle ne doit pas seulement savoir répondre, elle doit savoir comment répondre. Elle doit apprendre à dire « Je ne suis pas sûr, lequel voulez-vous ? » au bon moment, plutôt que de répondre n'importe quoi avec une confiance aveugle. C'est un pas de géant vers des robots plus humains et plus intelligents.

Résumé technique

Voici un résumé technique détaillé de l'article de conférence rAQUA: TOWARD STRATEGIC RESPONSE GENERATION FOR AMBIGUOUS VISUAL QUESTIONS, publié à ICLR 2026.

1. Problématique

Les modèles Vision-Language (VLM) actuels excellent dans les tâches de Réponse aux Questions Visuelles (VQA) basées sur des paires image-question claires et non ambiguës. Cependant, dans les scénarios réels, les requêtes sont souvent ambiguës (par exemple, l'utilisation de pronoms comme "ceci" ou "cela" dans une image contenant plusieurs objets similaires).

Les défis identifiés sont les suivants :

• Manque de catégorisation systématique : Les benchmarks existants ne distinguent pas les niveaux de nuance dans l'ambiguïté.
• Stratégies de réponse rigides : La plupart des modèles, même les plus avancés (GPT-5, Gemini 2.5), adoptent une stratégie binaire inefficace : soit ils répondent avec une confiance excessive (en choisissant arbitrairement un objet), soit ils demandent systématiquement une clarification, même lorsque le contexte permet une inférence logique.
• Absence de datasets adaptés : Il n'existe pas de ressource permettant d'entraîner les modèles à sélectionner dynamiquement la stratégie de réponse la plus appropriée selon le degré d'ambiguïté.

2. Méthodologie

L'article propose une approche complète comprenant la création d'un nouveau dataset, une stratégie d'entraînement hybride et une évaluation rigoureuse.

A. Le Dataset AQUA (Ambiguous Visual Question Answering)

Les auteurs introduisent AQUA, un dataset finement granulaire qui classe les instances de VQA ambiguës en quatre niveaux distincts, chacun associé à une stratégie de réponse optimale :

• Niveau 0 (Non ambigu) : Questions claires avec une réponse unique. (Sert de groupe témoin).
• Niveau 1 (Ambiguïté référentielle faible) : Le contexte rend la référence évidente (ex: "de quoi est fait ceci ?" où un seul objet domine). La stratégie optimale est d'inférer l'intention et de répondre directement.
• Niveau 2 (Interprétations multiples valides) : Il existe 2 à 3 objets plausibles. La stratégie optimale est de lister toutes les options possibles plutôt que de demander une clarification.
• Niveau 3 (Ambiguïté élevée) : Trop d'objets similaires ou aucune indication contextuelle. La stratégie optimale est de demander explicitement une clarification.

Le dataset est généré à partir de COCO, filtré via une pipeline à trois étapes (vérification de cohérence, validation du "meilleur ajustement" et validation de la qualité réelle) et validé par des humains (MTurk). Il contient 7 200 échantillons (3 600 pour l'entraînement, 3 600 pour l'évaluation).

B. Stratégie d'Entraînement

Pour apprendre aux modèles à adapter leur stratégie, les auteurs utilisent une approche en deux étapes sur des modèles open-source (Qwen2.5-VL-3B et InternVL3-2B) :

1. Fine-Tuning Supervisé (SFT) : Enseigne l'espace des stratégies possibles (réponse directe, inférence, énumération, clarification) en utilisant les données AQUA.
2. Optimisation de Politique Relative par Groupes (GRPO) : Une méthode d'apprentissage par renforcement (RL) appliquée après le SFT.
   • Fonction de récompense : Un juge (GPT-5-mini) évalue si la stratégie choisie par le modèle correspond au niveau d'ambiguïté de la question.
   • Pénalité : Une pénalité est appliquée si la réponse contient des hallucinations factuelles, même si la stratégie est correcte.
   • Objectif : Renforcer la capacité du modèle à choisir la stratégie contextuelle appropriée plutôt que de simplement mémoriser des réponses.

C. Évaluation

L'évaluation utilise un cadre "LLM-as-a-judge" (GPT-5-mini) pour mesurer deux métriques :

• Exactitude factuelle : La réponse est-elle ancrée dans l'image ?
• Exactitude stratégique : La stratégie de réponse (Niveau 0-3) correspond-elle à la vérité terrain ?

3. Résultats Clés

Les résultats présentés dans le tableau 2 et les analyses montrent des performances significatives :

• Échec des modèles de base : Les modèles zero-shot (Qwen, InternVL, GPT-5, Gemini) obtiennent de mauvaises performances sur les niveaux 1 à 3 (souvent < 30% d'exactitude stratégique). Ils tendent à répondre avec confiance (choix arbitraire) même lorsque la clarification est nécessaire, ou à demander une clarification inutilement.
• Limites du Prompting : L'ajout de "Chain-of-Thought" (CoT) ou de prompts de stratégie n'améliore pas significativement les performances, confirmant que l'adaptation stratégique nécessite un apprentissage explicite.
• Performance des modèles entraînés (AQUA Tuned) :
  • Les modèles Qwen2.5-VL-3B-Tuned et InternVL3-2B-Tuned atteignent environ 80-86% d'exactitude stratégique globale.
  • Ils surpassent nettement les modèles plus grands (72B/78B) et les modèles propriétaires fermés (GPT-5, Gemini 2.5 Flash) sur les tâches ambiguës.
  • Ils démontrent une capacité à distinguer les niveaux d'ambiguïté : inférer quand c'est possible (Niveau 1), énumérer quand il y a peu d'options (Niveau 2), et demander de l'aide quand c'est nécessaire (Niveau 3).

4. Contributions Principales

1. AQUA Dataset : Le premier dataset de VQA à catégoriser l'ambiguïté en quatre niveaux fins, permettant un entraînement et une évaluation systématiques des stratégies de réponse.
2. Preuve de concept de l'entraînement stratégique : Démonstration que le fine-tuning combiné (SFT + GRPO) permet à des modèles de taille modeste (3B) de maîtriser la gestion de l'ambiguïté mieux que des modèles massifs non entraînés.
3. Analyse des erreurs : Identification des biais des modèles de base (tendance à répondre avec confiance) et des limites des modèles entraînés (confusion aux frontières des niveaux d'ambiguïté et erreurs dues à la saillance visuelle).
4. Validation de l'efficacité de la clarification : Preuve expérimentale que pour les cas hautement ambigus (Niveau 3), une seule interaction de clarification permet de résoudre l'incertitude avec une grande précision (80% de réussite).

5. Signification et Impact

Ce travail marque un tournant dans l'évaluation des VLM en passant de la simple vérification de la justesse factuelle à l'évaluation de la compétence conversationnelle et stratégique.

• Vers des agents plus humains : Il montre que les IA doivent imiter le comportement humain qui adapte sa réponse selon le contexte (inférer, lister, ou demander), plutôt que d'appliquer une règle rigide.
• Efficacité des petits modèles : Il suggère que la qualité de l'entraînement (données stratégiques) est plus déterminante que la simple augmentation de la taille du modèle pour les tâches complexes de raisonnement contextuel.
• Fondation pour la recherche future : AQUA fournit une base standardisée pour développer des modèles capables de gérer l'incertitude et de raisonner de manière flexible, une étape cruciale pour le déploiement de VLM dans des applications réelles où l'ambiguïté est la norme.