IRIS: Intent Resolution via Inference-time Saccades for Open-Ended VQA in Large Vision-Language Models

Deze paper introduceert IRIS, een trainingsvrije methode die real-time oogvolgingsdata gebruikt om ambiguïteit in open-ended Vraag-Antwoord-taken voor grote visueel-taalmodellen op te lossen, waardoor de nauwkeurigheid op dubbelzinnige vragen meer dan verdubbelt.

De kern

Stel je voor dat je met een slimme robot praat die alles op een foto kan zien. Je wijst naar een groepje mensen en vraagt: "Wat draagt die persoon?"

De robot kijkt naar de foto, ziet tien mensen, en denkt: "Welke bedoel je nou? De man met de hoed? De vrouw met de rode jas? Of misschien diegene op de achtergrond?" Omdat de robot niet weet waar jij precies naar kijkt, raakt hij in de war en geeft hij een verkeerd antwoord. Dit noemen onderzoekers referentiële ambiguïteit: de vraag is niet duidelijk genoeg voor de computer.

In dit paper presenteren de auteurs IRIS (Intent Resolution via Inference-time Saccades). Het is een slimme truc om dit probleem op te lossen zonder de robot opnieuw te hoeven trainen.

Hier is hoe het werkt, vertaald in begrijpelijke taal:

1. Het Probleem: De "Waar kijk je naar?"-Vraag

Mensen zijn geweldig in het aanwijzen van dingen met hun ogen. Als je naar iets kijkt en iets vraagt, bewegen je ogen daar al naartoe voordat je je mond opent. Je hersenen plannen het gesprek terwijl je kijkt.

Computers (zoals de grote AI-modellen die nu populair zijn) zien alleen de foto en de tekst van je vraag. Ze missen die subtiele aanwijzing: "Hé, ik kijk naar dat ene object!" Zonder die aanwijzing gokken ze vaak, en dat gaat vaak fout.

2. De Oplossing: IRIS (De "Oog-Telefoon")

IRIS is een systeem dat je ogen in real-time meekijkt terwijl je een vraag stelt. Het werkt als een extra zintuig voor de robot.

• Hoe het werkt: Terwijl je naar een foto kijkt en een vraag stelt (bijvoorbeeld via een microfoon), houdt een camera je ogen in de gaten.
• Het moment van waarheid: Het systeem zoekt naar het exacte moment waarop je begint te praten. Onderzoek toont aan dat je ogen op dat specifieke moment (en een fractie van een seconde ervoor) vastzitten op het object waar je het over hebt.
• De magische toevoeging: Het systeem neemt die oogbewegingen, zet er een klein wit kruisje op de foto (alsof je met een laserpen wijst) en stuurt die foto samen met je vraag naar de robot.

3. Een Creatieve Analogie: De Gids in het Museum

Stel je voor dat je in een groot museum bent met een gids (de AI). Je staat voor een zaal vol met 50 schilderijen. Je vraagt: "Wat is dat?"

• Zonder IRIS: De gids kijkt naar de hele zaal, raakt in paniek en zegt: "Er zijn hier 50 schilderijen. Ik denk dat je dat ene blauwe bedoelt?" (Gokwerk).
• Met IRIS: Terwijl je de vraag stelt, kijkt je gids niet alleen naar de zaal, maar ook naar waar jij kijkt. Hij ziet dat je ogen strak gefocust zijn op het rode schilderij. Hij zegt direct: "Ah, je bedoelt het rode schilderij! Dat is een meesterwerk van..."

IRIS is die extra blik van de gids op jouw ogen.

4. Wat hebben ze ontdekt?

De onderzoekers hebben dit getest met 500 verschillende foto's en vragen. De resultaten waren verbazingwekkend:

• Dubbel zo slim: Bij verwarrende vragen (waar meerdere dingen mogelijk zijn) verdubbelde de nauwkeurigheid van de robot. Het ging van 35% goed naar 77% goed.
• Geen extra werk: Het systeem hoeft de robot niet opnieuw te leren (geen "training"). Het werkt direct met bestaande, super-slimme robots.
• Alleen bij twijfel: Als de vraag al duidelijk was (bijvoorbeeld: "Wat is de kleur van de lucht?"), maakte het weinig uit of de robot naar je ogen keek. Maar bij twijfel was het een game-changer.

5. Waarom is dit belangrijk voor de toekomst?

We gaan steeds meer leven in een wereld met brillen met camera's (zoals AR/VR-brillen) en slimme apparaten. IRIS laat zien dat als we die apparaten koppelen aan waar we echt naar kijken, ze veel menselijker en accurater kunnen communiceren.

In plaats van dat we onze vragen steeds preciezer moeten formuleren ("Ik bedoel de rode jas aan de linkerkant, niet de rechter"), kunnen we gewoon natuurlijk praten en kijken, en laat de computer de rest invullen. Het maakt de interactie tussen mens en machine veel intuïtiever, alsof de computer eindelijk "kijkt" met jou mee.

Kortom: IRIS geeft computers de gave om te begrijpen wat je bedoelt door te kijken waar je kijkt, precies op het moment dat je het vraagt. Het is alsof we de robot eindelijk een paar ogen hebben gegeven om te zien wat wij zien.

Technische samenvatting

Titel: IRIS: Intent Resolution via Inference-time Saccades for Open-Ended VQA in Large Vision-Language Models

Auteurs: Parsa Madinei, Srijita Karmakar, Russell Cohen Hoffing, Felix Gervitz, Miguel P. Eckstein.
Affiliaties: UC Santa Barbara, DEVCOM Army Research Laboratory.

---

1. Het Probleem: Referentiële Ambiguïteit in VQA

Hoewel recente Vision-Language Models (VLMs) indrukwekkende prestaties leveren op standaard benchmarks voor Visuele Vraag-Antwoord (VQA), worstelen ze met een fundamenteel probleem in de echte wereld: referentiële ambiguïteit.

• De uitdaging: Wanneer een gebruiker een open vraag stelt zoals "Wat is dat?" of "Wat is de kleur?", en er meerdere objecten van hetzelfde type in de afbeelding aanwezig zijn, ontbreekt het de VLM aan de context om te bepalen naar welk specifiek object (de "referent") de gebruiker verwijst.
• Huidige beperkingen: Bestaande oplossingen vereisen vaak modeltraining, architecturale wijzigingen of het gebruik van geschatte blikpunten. Er is een behoefte aan een methode die ambiguïteit oplost tijdens de inferentie (tijdens het gebruik) zonder het model te hoeven hertrainen.

2. Methodologie: Het IRIS-systeem

IRIS (Intent Resolution via Inference-time Saccades) is een training-vrije aanpak die oogbewegingsdata (eye-tracking) in real-time gebruikt om de intentie van de gebruiker te verduidelijken. Het systeem baseert zich op de cognitieve wetenschappelijke bevinding dat oogbewegingen (fixaties) nauw gekoppeld zijn aan taalplanning en dat mensen vaak kijken naar het object waar ze over spreken, enkele honderden milliseconden voordat ze het daadwerkelijk zeggen.

De werking van IRIS:

1. Data Collectie: Gebruikers bekijken een afbeelding en stellen een vraag hardop. Hun oogbewegingen worden vastgelegd met een EyeLink 1000 (1000 Hz).
2. Tijdsgebonden Analyse: Het systeem identificeert het tijdstip van spraakstart (speech onset) via spraakherkenning.
3. Spatio-temporele Filtering:
   • Er wordt een tijdsvenster gedefinieerd rond de spraakstart (optimale prestaties werden gevonden in een venster van ongeveer ±1 seconde rond de spraakstart).
   • Binnen dit venster worden de fixaties gefilterd. Een ruimtelijke filter (gebaseerd op het mediaan van de fixaties binnen dit venster) wordt toegepast om ruis te verwijderen. Alleen fixaties binnen een straal van 2 graden van het mediaanpunt worden behouden.
4. Inferentie en Integratie: De gefilterde fixaties worden als visuele overlay (witte kruisen op zwarte cirkels) over de originele afbeelding gelegd. Deze "verrijkte" afbeelding, samen met de getranscribeerde vraag, wordt naar de VLM gestuurd.
5. Prompt Engineering: De VLM krijgt een systeemprompt die instructeert om de oogdata te gebruiken om de referent te identificeren, maar niet om te vermelden dat oogdata is gebruikt, zodat de interactie natuurlijk blijft.

3. Belangrijkste Bijdragen

• IRIS Framework: Een nieuwe, training-vrije methode die oogdata gebruikt om VLM-representaties te sturen naar de beoogde referent zonder modelparameters aan te passen.
• Nieuw Dataset en Benchmark: Een dataset van 500 unieke afbeelding-vraagparen met gesynchroniseerde spraak, oogbewegingen en "Location of Interest" (LOI) annotaties, specifiek ontworpen voor het testen van ambiguïteitsoplossing.
• Tijdsanalyse: Het identificeren van het kritieke tijdsvenster (rond spraakstart) waarin oogbewegingen de meest waardevolle informatie bevatten voor disambiguering.
• Real-time Interactie: Een experimenteel paradigma dat spraak, oogbeweging en visuele input synchroniseert voor open-ended VQA.

4. Resultaten

De auteurs hebben IRIS geëvalueerd op 10 state-of-the-art VLMs (waaronder GPT-5, Gemini 2.5, Claude, en diverse Qwen/Ovis modellen) en 500 trials met menselijke deelnemers.

• Prestatieverbetering bij Ambiguïteit:
  • Voor ambiguie vragen (waar meerdere objecten mogelijk zijn), steeg de nauwkeurigheid van 35,2% (alleen afbeelding) naar 77,2% (afbeelding + oogdata). Dit is een verbetering van meer dan 100%.
  • De semantische gelijkenis met het grondwaarheid-antwoord steeg significant van 0,531 naar 0,650.
• Prestatie bij Niet-Ambiguie Vragen:
  • Voor niet-ambiguie vragen (waar maar één object mogelijk is) bleef de prestatie statistisch onveranderd (ongeveer 83-86%), wat aantoont dat de methode geen negatieve invloed heeft op duidelijke scenario's.
• Tijdsdynamiek:
  • De analyse toonde aan dat fixaties die plaatsvinden rond de spraakstart de sterkste disambigueringssignalen geven. Het toevoegen van fixaties ver weg van de spraakstart levert weinig extra waarde op.
  • Zelfs een simpele aggregatie van alle fixaties tijdens het bekijken verbeterde de prestaties ten opzichte van alleen de afbeelding, maar de gefilterde data rond spraakstart presteerde het beste.
• Architectonische Onafhankelijkheid: De verbetering was consistent over verschillende modelarchitecturen en groottes, wat suggereert dat oogdata een robuust, model-onafhankelijk signaal is.
• Vergelijking van Representaties: De methode van het overleggen van witte kruisen (crosses) op de afbeelding presteerde beter dan alternatieven zoals warmtekaarten (heatmaps), bounding boxes of het verstrekken van coördinaten als tekst.

5. Betekenis en Toekomstperspectief

• Praktische Toepasbaarheid: Omdat IRIS geen training vereist en werkt op bestaande VLMs, is het direct inzetbaar in systemen met oogtracking, zoals AR/VR-brillen en toegankelijkheidstools.
• Mens-AI Communicatie: Het paper onderstreept dat het integreren van natuurlijke menselijke signalen (zoals blik) essentieel is voor het oplossen van ambiguïteit in mens-machine interactie.
• Toekomstig Werk: De auteurs pleiten voor het uitbreiden van dit paradigma naar andere modaliteiten en taken, wat de manier waarop we met intelligente systemen communiceren fundamenteel kan veranderen.

Conclusie: IRIS bewijst dat het gebruik van oogbewegingsdata tijdens de inferentie een krachtige, training-vrije oplossing biedt voor het probleem van referentiële ambiguïteit in Vision-Language Models, waardoor de nauwkeurigheid op complexe, open-ended vragen drastisch wordt verbeterd zonder de modelarchitectuur aan te passen.