IRIS: Intent Resolution via Inference-time Saccades for Open-Ended VQA in Large Vision-Language Models

Ce papier présente IRIS, une méthode sans entraînement qui utilise des données de suivi oculaire en temps réel pour résoudre les ambiguïtés dans les questions ouvertes de VQA, doublant ainsi la précision des réponses sur les cas ambigus tout en maintenant les performances sur les requêtes claires.

L'essentiel

🌟 IRIS : Le "Regard" qui résout les mystères de l'IA

Imaginez que vous êtes assis devant un tableau rempli de nombreux objets : un chat, un chien, un oiseau et un poisson. Vous demandez à un ami (qui est une intelligence artificielle très intelligente) : "Qu'est-ce que c'est ?"

Si votre ami est une IA classique, il va probablement paniquer. "Qu'est-ce que c'est ? Le chat ? Le chien ? L'oiseau ?" Il va deviner au hasard ou vous répondre avec une phrase confuse. C'est ce qu'on appelle l'ambiguïté.

C'est là qu'intervient IRIS (Intent Resolution via Inference-time Saccades). IRIS est une nouvelle méthode qui donne aux IA une super-pouvoir : la capacité de comprendre ce que vous regardez.

🧐 Le problème : L'IA est aveugle à votre intention

Les modèles d'IA actuels (les "cerveaux" numériques) sont très forts pour voir des images et répondre à des questions. Mais ils ont un défaut majeur : ils ne savent pas ce que vous avez en tête.

Si vous pointez du doigt (ou si vos yeux se posent) sur le poisson, mais que vous dites juste "Qu'est-ce que c'est ?", l'IA ne sait pas que vous parlez du poisson. Elle pourrait vous dire "C'est un chat" parce qu'il y a un chat dans l'image.

👁️ La solution : IRIS, le traducteur des yeux

Les chercheurs ont découvert quelque chose de fascinant chez les humains : nos yeux parlent avant notre bouche.

Avant même de prononcer le mot "poisson", vos yeux se sont déjà posés sur le poisson pendant quelques millisecondes. C'est comme si vos yeux faisaient un petit "point d'exclamation" sur l'objet qui vous intéresse.

IRIS utilise ce phénomène. Voici comment cela fonctionne, étape par étape, avec une analogie simple :

1. Le Scénario : Vous regardez une photo complexe et vous posez une question à l'IA.
2. Le Détecteur : Pendant que vous parlez, un petit appareil enregistre où vos yeux se posent (les "fixations").
3. Le Filtre Magique : IRIS ne regarde pas tout le mouvement de vos yeux pendant toute la photo. Il se concentre uniquement sur le moment précis où vous commencez à parler (comme si on regardait ce que vous regardiez juste avant de dire le mot).
4. Le Message : L'IA reçoit l'image, votre question, et une petite croix blanche sur l'image qui indique exactement où vos yeux étaient fixés.
5. La Réponse : L'IA dit : "Ah ! Vos yeux étaient sur le poisson. Donc, quand vous dites 'Qu'est-ce que c'est ?', vous parlez du poisson !"

📊 Les résultats : Une amélioration spectaculaire

Les chercheurs ont testé cette idée avec 500 images et des questions ambiguës. Les résultats sont bluffants :

• Sans IRIS (juste l'image) : L'IA avait raison seulement 35 % du temps sur les questions floues. C'était comme tirer à l'aveugle.
• Avec IRIS (image + regard) : L'IA a eu raison 77 % du temps !

C'est plus que doubler la précision ! Et le plus beau, c'est que cela ne gâche rien pour les questions claires. Si la question est déjà évidente, l'IA reste aussi bonne qu'avant.

🛠️ Pourquoi c'est génial ?

1. Pas de réapprentissage : IRIS ne demande pas de rééduquer l'IA (ce qui est long et cher). C'est comme ajouter un nouveau filtre à une caméra existante. Ça marche tout de suite avec n'importe quelle IA moderne.
2. Naturel : On n'a pas besoin d'apprendre à l'IA à comprendre nos yeux. On utilise simplement notre comportement naturel (regarder ce qu'on parle).
3. Pour le futur : Imaginez des lunettes de réalité augmentée (AR/VR) dans le futur. Vous regarderez un objet dans votre salon et demanderez à votre assistant IA : "Comment ça marche ?". L'IA saura exactement de quel objet vous parlez, juste en suivant votre regard, sans que vous ayez à pointer du doigt ou à dire "celui-là".

En résumé

IRIS, c'est comme donner à l'IA des "yeux" pour voir ce que vos yeux voient. Cela permet de résoudre les malentendus en utilisant le signal le plus naturel qui soit : le fait que nous regardons ce dont nous parlons. C'est une petite révolution pour rendre nos interactions avec les machines beaucoup plus fluides et humaines.

Résumé technique

Titre

IRIS : Résolution d'intention par des saccades au moment de l'inférence pour la VQA ouverte dans les grands modèles vision-langage

1. Problématique

Les modèles de vision-langage (VLM) ont atteint des performances remarquables sur les benchmarks standards de réponse aux questions visuelles (VQA). Cependant, ils peinent toujours face à un défi majeur du monde réel : l'ambiguïté référentielle.
Dans des scénarios ouverts, lorsqu'une image contient plusieurs objets similaires et que l'utilisateur pose une question vague (ex: "Qu'est-ce que c'est ?" ou "De quelle couleur est cela ?"), le modèle manque de contexte pour identifier l'objet cible spécifique (le "référent"). Les VLM actuels, ne disposant que de l'image et du texte, doivent souvent deviner ou échouer, car ils ne peuvent pas distinguer quel objet parmi plusieurs candidats est visé par l'utilisateur.

2. Méthodologie : IRIS

Les auteurs proposent IRIS (Intent Resolution via Inference-time Saccades), une approche sans réentraînement (training-free) qui utilise les données de suivi oculaire (eye-tracking) en temps réel pour désambiguïser les requêtes.

Principe de base

L'hypothèse centrale repose sur le couplage cognitif bien établi entre les mouvements oculaires, l'attention et la planification linguistique. Les fixations oculaires précèdent généralement la verbalisation de plusieurs centaines de millisecondes, reflétant l'objet sur lequel l'utilisateur se concentre au moment de formuler sa question.

Architecture du système

Le système intègre trois composants clés :

1. Suivi oculaire en temps réel : Capture des patterns de fixations (localisation) pendant que l'utilisateur observe l'image.
2. Reconnaissance vocale : Identifie le moment exact du début de la parole (speech onset) et le contenu de la question.
3. Intégration au VLM : Le modèle de vision-langage reçoit l'image, la question transcrise et une superposition visuelle des données de fixation (marquées par des croix blanches) pour guider sa réponse.

Protocole de traitement des données (Filtrage spatio-temporel)

Pour maximiser l'efficacité, IRIS ne transmet pas toutes les fixations, mais applique un filtrage rigoureux :

• Fenêtre temporelle : Seules les fixations occurring autour du début de la parole (speech onset) sont conservées. L'analyse a montré que la fenêtre optimale se situe entre -1s et +1s autour du début de la question.
• Filtrage spatial : Une médiane spatiale est calculée sur les fixations temporellement filtrées. Seules les fixations situées dans un rayon de 2 degrés visuels (dva) de cette médiane sont conservées.
• Représentation visuelle : Les fixations filtrées sont superposées à l'image originale sous forme de croix blanches sur des cercles noirs, servant de contexte visuel supplémentaire au VLM.

Évaluation

• Données : Une nouvelle base de données a été collectée avec 10 participants et 50 images, générant 500 paires image-question uniques (40 ambiguës, 10 non ambiguës).
• Modèles : L'approche a été testée sur 10 VLMs state-of-the-art (incluant GPT-5, Gemini 2.5, Claude Opus, Qwen, etc.).
• Métriques : Précision binaire (correct/incorrect) et similarité sémantique (cosinus) par rapport à une vérité terrain générée par consensus humain et modèles avancés.

3. Résultats Clés

Amélioration de la précision sur les questions ambiguës

L'ajout des données de regard a permis une amélioration spectaculaire pour les questions ambiguës :

• La précision est passée de 35,2 % (Image seule) à 77,2 % (Image + Regard).
• Cela représente une amélioration de 115 %.
• Pour les questions non ambiguës, la performance est restée stable (pas de dégradation), passant de 83,0 % à 86,0 % (non significatif), ce qui confirme que la méthode n'introduit pas de bruit inutile.

Analyse temporelle

L'étude a identifié que les fixations les plus informatives se produisent quelques millisecondes avant le début de la parole (fenêtre optimale autour de -200ms à +400ms).

• Les fixations éloignées dans le temps (plus de ±4,5s) apportent peu de valeur ajoutée.
• La distance médiane entre les fixations et l'objet cible (LOI - Location of Interest) est minimale au moment de la parole, validant que les gens regardent l'objet qu'ils sont en train de demander.

Robustesse architecturale

L'amélioration est cohérente à travers toutes les architectures de VLM testées (des modèles compacts open-source aux modèles propriétaires de pointe). Cela suggère que le regard agit comme une "priorité de désambiguïsation" robuste, indépendante de la taille du modèle ou de son architecture spécifique.

Ablation Study

La méthode de représentation des fixations sous forme de croix blanches (Overlaid crosses) s'est révélée supérieure aux alternatives :

• Heatmaps (cartes de chaleur) : Moins précises car le lissage dilue l'information spatiale.
• Boîtes englobantes (Bounding boxes) : Moins efficaces.
• Coordonnées textuelles : Pires performances.
• Images recadrées : Les pires résultats, car cela supprime le contexte nécessaire.

4. Contributions Principales

1. IRIS : Une méthode sans réentraînement qui utilise les données oculaires humaines pour orienter les représentations des VLM vers les référents intentionnels, sans modifier les paramètres du modèle.
2. Preuve de concept empirique : Démonstration que conditionner sur le regard autour du début de la parole double la précision sur les questions ambiguës.
3. Analyse temporelle : Identification de la fenêtre temporelle critique (autour du speech onset) où le regard est le plus informatif pour la désambiguïsation.
4. Ressources ouvertes : Publication d'un nouveau jeu de données, d'un protocole expérimental interactif en temps réel et d'une suite d'évaluation pour la communauté de recherche.

5. Signification et Impact

Ce travail démontre que l'intégration de signaux physiologiques naturels (le regard) peut résoudre des limitations fondamentales des IA multimodales actuelles concernant la compréhension du contexte et de l'intention humaine.

• Applicabilité immédiate : La méthode est "plug-and-play" pour les VLM existants, ne nécessitant ni réentraînement ni changement d'architecture.
• Futur des interactions : Avec la démocratisation du suivi oculaire dans les dispositifs AR/VR et les outils d'accessibilité, IRIS ouvre la voie à des systèmes de communication Homme-IA plus intuitifs et précis, capables de comprendre non seulement ce qui est dit, mais aussi ce à quoi l'utilisateur fait attention.
• Limitations : L'étude a été menée dans des conditions contrôlées avec un équipement de recherche (EyeLink 1000). Bien que les résultats soient prometteurs, la généralisation à des environnements bruyants et à des équipements grand public (moins précis) reste un défi pour les travaux futurs.

En résumé, IRIS transforme le regard humain en un signal de contrôle explicite pour les modèles de vision-langage, comblant le fossé entre l'ambiguïté linguistique et la clarté visuelle intentionnelle.