Ref-Adv: Exploring MLLM Visual Reasoning in Referring Expression Tasks

Le papier présente Ref-Adv, un nouveau benchmark conçu pour évaluer le raisonnement visuel des modèles de langage multimodaux en éliminant les raccourcis cognitifs présents dans les tâches de compréhension d'expressions référentielles existantes, révélant ainsi leurs lacunes actuelles malgré leurs performances élevées sur les benchmarks standards.

L'essentiel

Imaginez que vous êtes un professeur qui teste la capacité de compréhension de ses élèves (les modèles d'IA) en leur montrant une photo et en leur demandant de pointer du doigt un objet précis.

1. Le Problème : L'Examen Trop Facile

Pendant des années, les chercheurs ont utilisé des "examens" classiques (appelés RefCOCO) pour tester les IA. Mais il s'avère que ces examens sont piégeusement faciles, un peu comme si on demandait à un élève : "Montre-moi le chat" sur une photo où il n'y a qu'un seul chat.

L'IA n'a pas besoin de réfléchir. Elle regarde la photo, voit un seul chat, et pointe dessus. Elle a l'air intelligente, mais en réalité, elle a juste deviné ou utilisé un raccourci. C'est comme si un détective résolvait un meurtre en disant : "Le seul suspect dans la pièce est le coupable" sans jamais vérifier les preuves.

Les chercheurs ont remarqué trois défauts majeurs dans ces anciens examens :

• Les questions sont trop courtes : "Le chien". Pas besoin de comprendre la grammaire ou les détails.
• Il n'y a pas de fausses pistes : Si vous cherchez un chien, il n'y a pas de chats, de chats noirs ou de chiens qui ressemblent au vôtre pour vous embrouiller.
• Les indices sont redondants : Parfois, la description est si longue et précise que l'IA peut ignorer la moitié de la phrase et trouver la réponse juste en regardant un seul mot.

2. La Solution : "Ref-Adv", le Nouveau Grand Oral

Pour corriger cela, l'équipe de l'Université Northeastern a créé un nouvel examen appelé Ref-Adv.

Imaginez que vous entrez dans une pièce remplie de 20 personnes qui portent toutes un t-shirt rouge. Le professeur dit :

"Trouvez la personne qui a des lunettes de soleil, qui ne porte pas de collier, et qui est assise à gauche de quelqu'un qui rit."

C'est là que ça devient intéressant. Pour réussir, l'IA ne peut plus se contenter de chercher "un t-shirt rouge". Elle doit :

1. Lire et comprendre la phrase complexe (raisonnement textuel).
2. Observer la photo pour trouver les lunettes, le collier manquant, et la position relative (raisonnement visuel).
3. Éliminer les fausses pistes (les autres personnes en rouge).

C'est ce qu'on appelle un "distracteur dur" : quelqu'un qui ressemble beaucoup à la cible, mais qui ne correspond pas exactement à tous les détails de la description.

3. La Méthode : Comment ont-ils créé cet examen ?

Au lieu de demander à des humains de tout écrire (ce qui prendrait des années), ils ont utilisé une IA intelligente (comme GPT-4) pour aider à créer l'examen, mais avec une supervision humaine stricte.

Le processus ressemble à une chasse au trésor guidée par un robot :

1. Sélection : Ils prennent une photo avec beaucoup d'objets similaires (ex: 3 tasses à café).
2. Comparaison : L'IA identifie les deux tasses les plus semblables (les "rivaux").
3. Différenciation : L'IA trouve les petits détails qui les distinguent (l'une a une fissure, l'autre est pleine).
4. Création : Elle écrit une phrase précise pour cibler l'une des deux, en utilisant parfois la négation ("pas celle avec la fissure").
5. Vérification humaine : Des humains vérifient que la phrase est claire et qu'il n'y a pas d'erreur.

4. Les Résultats : La Révélation

Quand ils ont passé cet examen "Ref-Adv" aux meilleures IA du monde (comme GPT-4o, Gemini, Qwen, etc.), la surprise a été totale.

• Sur les vieux examens : Les IA avaient 90% de réussite. Elles semblaient géniales.
• Sur le nouvel examen Ref-Adv : Leurs scores ont chuté drastiquement (souvent en dessous de 60%).

Ce que cela signifie :
Les IA sont devenues très bonnes pour "tricher" en utilisant des raccourcis sur les vieux examens. Mais dès qu'on leur demande de vraiment raisonner (combiner plusieurs indices, utiliser la négation, distinguer des objets très similaires), elles montrent leurs limites. Elles ont du mal à faire le lien entre ce qu'elles lisent et ce qu'elles voient avec précision.

5. L'Analogie Finale

Pensez à un enfant qui apprend à conduire.

• Les vieux examens (RefCOCO) : C'est comme lui faire conduire une voiture sur une piste vide, sans autres voitures, avec un seul panneau "STOP" visible. Il réussit à chaque fois.
• Le nouvel examen (Ref-Adv) : C'est le mettre dans une circulation dense, avec des panneaux flous, des piétons qui traversent et des voitures qui klaxonnent. Soudain, on se rend compte qu'il ne sait pas vraiment conduire, il savait juste suivre une ligne droite.

Conclusion

Ce papier nous dit : "Arrêtons de nous mentir sur les capacités de l'IA."
Nous avons créé un nouvel outil (Ref-Adv) pour tester la vraie intelligence visuelle et logique des machines. Les résultats montrent qu'il y a encore beaucoup de travail à faire pour que les IA comprennent vraiment le monde visuel, et pas seulement qu'elles reconnaissent des motifs simples. C'est une étape cruciale pour construire des robots et des assistants plus fiables et intelligents.

Résumé technique

1. Problématique

Le papier identifie des limitations critiques des benchmarks classiques de Compréhension d'Expressions Référentielles (REC) tels que RefCOCO, RefCOCO+ et RefCOCOg. Bien que les Modèles de Langage Multimodaux (MLLM) atteignent des scores de précision supérieurs à 90 % sur ces ensembles de données, les auteurs soutiennent que ces résultats masquent une faiblesse fondamentale en matière de raisonnement visuel et d'ancrage (grounding). Les problèmes principaux sont :

• Expressions trop courtes : La longueur moyenne est d'environ 3 mots, ce qui réduit la demande de raisonnement linguistique.
• Absence de distracteurs : Les images contiennent peu d'objets de la même catégorie (distracteurs), rendant la tâche de sélection triviale.
• Solutions par raccourcis (Shortcuts) : Des descripteurs redondants permettent aux modèles de localiser la cible en ne vérifiant qu'un sous-ensemble d'indices, sans comprendre l'expression complète. Cela crée une corrélation négative paradoxale où des expressions plus longues peuvent parfois donner de meilleurs résultats car elles offrent plus d'indices redondants.

L'objectif est de créer un benchmark moderne qui force les modèles à effectuer un raisonnement multietapes réel, combinant compréhension textuelle et perception visuelle fine.

2. Méthodologie : Le Benchmark Ref-Adv

Les auteurs introduisent Ref-Adv, un nouveau benchmark conçu pour supprimer les raccourcis cognitifs et imposer des défis de raisonnement stricts.

Collecte et Construction des Données

• Sources : Échantillonnage sur les ensembles de validation et de test de COCO et OpenImages v7, filtrés pour ne garder que les images avec des annotations d'instances panoptiques.
• Critères de sélection :
  • Pression des distracteurs : Chaque image doit contenir au moins 3 instances de la même catégorie que la cible (distracteurs "faciles" et "difficiles").
  • Distracteurs difficiles (Hard Distractors) : Définition d'objets qui correspondent partiellement à l'expression mais pas exactement, forçant le modèle à distinguer des nuances subtiles.
  • Complexité linguistique : Utilisation de LLM (GPT-4o) pour générer des expressions naturelles, plus longues (moyenne de 11,5 mots) et diversifiées, incluant la négation.
• Pipeline de génération (Figure 3) :
  1. Préparation : Ajout de tags numériques aux instances candidates.
  2. Jugement de similarité : Le LLM identifie les paires d'objets similaires et extrait des attributs discriminants (groupe vs individu).
  3. Génération d'expression : Construction d'expressions minimales mais suffisantes, utilisant soit des descripteurs positifs, soit la négation des distracteurs.
  4. Vérification humaine : Trois annotateurs vérifient l'exactitude, l'absence d'ambiguïté et la présence de distracteurs difficiles. Le taux de conservation est de 18,7 % pour les données générées par LLM.

Analyses de Qualité

Pour valider la rigueur du benchmark, les auteurs effectuent des ablations :

• Test de biais : Remplacement de l'expression par un prompt fixe ("the one"). Ref-Adv montre une sensibilité moindre au biais statistique que les benchmarks existants.
• Test de nécessité textuelle (Bag-of-Words) : Mélanger l'ordre des mots fait chuter drastiquement la performance sur Ref-Adv (contrairement à RefCOCOg), prouvant que la structure syntaxique est cruciale.
• Test de suppression de descripteur : Supprimer un descripteur clé fait chuter la performance, confirmant l'absence de raccourcis de type "grounding shortcut".

3. Contributions Clés

1. Ref-Adv : Un nouveau benchmark REC contenant 2 833 images et 5 000 instances, caractérisé par des expressions plus longues, un vocabulaire riche, un taux de négation élevé (21,25 %) et une forte densité de distracteurs difficiles.
2. Sous-ensemble Ref-Adv-s : Publication d'un sous-ensemble de 1 142 cas annotés pour permettre une évaluation reproductible immédiate.
3. Analyse des lacunes des MLLM : Démonstration que les modèles performants sur les benchmarks classiques échouent sur Ref-Adv, révélant une surestimation de leurs capacités de raisonnement visuel.
4. Étude comparative : Évaluation de 13 modèles MLLM d'état de l'art (OpenAI, Google, Qwen, InternVL, etc.), incluant des modèles avec et sans "Chain-of-Thought" (CoT).

4. Résultats Expérimentaux

L'évaluation porte sur des modèles variés (Qwen2.5-VL, InternVL-3, Gemini 2.5, GPT-4o, Claude-3.5) avec des métriques d'Intersection sur Union (IoU) à 0,5, 0,75 et 0,9.

• Chute de performance : Alors que les modèles obtiennent souvent >90 % sur RefCOCO, leurs scores sur Ref-Adv chutent considérablement (par exemple, Qwen2.5-VL-72B passe de ~92 % à ~58 % sur Ref-Adv).
• Impact des distracteurs : La performance diminue à mesure que le nombre de distracteurs augmente. Pour les images avec ≥7 distracteurs, la baisse de précision est significative (jusqu'à -13 % pour certains modèles).
• Rôle du Chain-of-Thought (CoT) :
  • Sur Ref-Adv, l'activation du CoT améliore généralement les performances (ex: +4 à +6 % pour les modèles Qwen), car le raisonnement explicite aide à gérer la complexité textuelle et visuelle.
  • À l'inverse, sur RefCOCO, le CoT n'apporte souvent aucun gain, voire dégrade les performances, confirmant que les benchmarks classiques ne nécessitent pas de raisonnement profond.
• Analyse qualitative : Les modèles échouent souvent en choisissant le "distracteur difficile" au lieu de la cible, indiquant une incapacité à intégrer pleinement les contraintes négatives et les relations spatiales complexes.

5. Signification et Impact

Ce travail met en lumière une crise de l'évaluation dans le domaine des MLLM. Les scores élevés sur les benchmarks historiques sont trompeurs car ils récompensent la mémorisation de motifs superficiels plutôt que la compréhension visuelle réelle.

• Ref-Adv sert de nouveau standard pour tester la robustesse des modèles face à la complexité visuelle et linguistique.
• Il souligne la nécessité de développer des architectures capables de raisonnement multietapes et de gestion fine des distracteurs, au-delà de la simple corrélation statistique.
• Les résultats suggèrent que l'intégration de mécanismes de raisonnement explicite (CoT) est essentielle pour progresser vers une véritable intelligence visuelle, mais que les modèles actuels, même les plus avancés, ont encore des lacunes majeures dans l'ancrage sémantique précis.

En conclusion, Ref-Adv ne propose pas seulement un nouveau jeu de données, mais une refonte nécessaire des critères d'évaluation pour guider le développement futur de MLLM vers une compréhension visuelle plus profonde et fiable.