Vision-Language Models Mistake Head Orientation for Gaze Direction: Nonverbal Conversation Cues

1. Probleemstelling

Vision-Language Models (VLM's) worden steeds meer geacht non-verbale communicatiekaders, zoals blikrichting, te begrijpen om mens-robotinteractie en sociale AI te faciliteren. Hoewel er gespecialiseerde modellen voor blikrichtingsschatting bestaan, missen ze de algemene redeneercapaciteiten van VLM's. Het blijft echter onduidelijk of VLM's blikdoelen (waar een persoon naar kijkt) nauwkeurig kunnen afleiden in zero-shot settings, met name bij het onderscheid tussen oogverschijning (de werkelijke richting van de ogen) en hoofdoriëntatie (de richting waarin het gezicht wijst).

Het kernprobleem dat wordt onderzocht, is of VLM's de fundamentele capaciteit bezitten om blik af te leiden op basis van subtiele oogkaders, of dat ze vertrouwen op een heuristische bias waarbij ze aannemen dat een persoon kijkt in de richting waarin het hoofd is gericht, zelfs wanneer de ogen ergens anders kijken.

2. Methodologie

A. Dataset en Stimuli Constructie

De auteurs hebben een gecontroleerde dataset samengesteld van 1.360 realistische foto's met een enkele persoon die aan een tafel zit met 2–4 objecten.

• Gecontroleerde Variabelen:
  • Blikdoel: Het specifieke object waar de persoon naar kijkt.
  • Hoofddoel: De richting waarin het hoofd van de persoon is gericht.
  • Voorwaarden:
    • Congruent: Hoofd en ogen wijzen naar hetzelfde object.
    • Incongruent: Het hoofd wijst naar één object, maar de ogen kijken naar een ander object (de kritieke testcase).
    • Natuurlijk: Hoofdoriëntatie is niet beperkt maar comfortabel.
  • Manipulaties: Kijkhoek (Voor, Links, Rechts), Objectnabijheid (1–3, waarbij 3 het dichtstbij is), en Aantal Objecten (2–4).
• Nieuwheid: De afbeeldingen zijn realistische foto's (niet synthetisch) om statistische regulariteiten van licht en schaduw te waarborgen, maar ze zijn nieuw genoeg om overlap met trainingsdata te minimaliseren.

B. Experimenteel Ontwerp

• Geëvalueerde Modellen: De studie testte 111 VLM's in een pre-pilot, met een hoofdonderzoek dat zich richtte op de beste presteerders: GPT-4o, GPT-5.2, Qwen3-VL, InternLM-XComposer2 en GLM-4.6V.
• Baselines: Inclusief gespecialiseerde modellen zoals Moondream2 (hybride met gespecialiseerde blikfunctie) en GazeLLE (fine-tuned visueel model).
• Taak: Een meerkeuzevraagformaat met de vraag: "Naar welk object kijkt deze persoon?" met gerandomiseerde opties.
• Evaluatieprotocol: Elke VLM zag 1360 afbeeldingen 16 keer met verschillende prompt-sjablonen (totaal ongeveer 21.760 proeven per model) om statistische power te waarborgen.

C. Karakteriseringskader

De auteurs stelden een reeks empirische tests voor om modelgedrag te categoriseren in vijf hypothetische typen (gevisualiseerd in Figuur 2 van het artikel):

1. Blik-competent: Menselijke precisie.
2. Oog-bewust: Precisie onder het menselijke niveau, maar niet zwaar beïnvloed door hoofdoriëntatie.
3. Hoofd-dominant: Kan blik niet nauwkeurig oplossen; vertrouwt zwaar op hoofdoriëntatie als heuristiek.
4. Alleen-hoofd: Negeert grotendeels oogverschijning.
5. Oog-hoofd ambivalent: Willekeurig wisselend tussen hoofd- en blikdoelen.

Belangrijkste Tests:

• Test 1 (Prestatiekloof): Vergelijk VLM-nauwkeurigheid met menselijke deelnemers.
• Test 2 (Hoofdbias): Kiest het model vaker het hoofddoel dan het blikdoel wanneer deze verschillen? Daalt de prestatie significant in de Incongruente voorwaarde?
• Test 3 (Blikresponsiviteit): Neemt de foutafstand van het model toe naarmate de afstand tussen het hoofddoel en het blikdoel toeneemt?
• Test 4 (Muntopgooien): Verandert de keuzeverdeling van het model op basis van het aantal objecten tussen het hoofd- en blikdoel?

D. Mitigatie-experiment (Proof-of-Concept)

Om te bepalen of de bias architecturaal of datagedreven is, fine-tuneden de auteurs GazeLLE op hun specifieke stimuli-set (7:1:2 train/val/test-split).

3. Belangrijkste Resultaten

A. Prestatiekloof

• Mensen: Bereikten 89% nauwkeurigheid op de pilot-stimuli.
• VLM's: De meeste modellen presteerden dicht bij willekeur (~42%). Zelfs de beste modellen (GPT-5.2, GPT-4o) bereikten slechts 30–46% nauwkeurigheid op de stimuli van het hoofdonderzoek (Natuurlijke Voorwaarde).
• Gespecialiseerde Modellen: Moondream2 en GazeLLE haalden in de zero-shot setting ook geen menselijke niveaus, hoewel GazeLLE beter presteerde dan algemene VLM's.

B. De Bias van Hoofdoriëntatie

• Dominante Falingsmodus: De meeste VLM's vertoonden een sterke Hoofd-dominante bias.
  • In de Incongruente Voorwaarde selecteerden modellen frequent het object waar het hoofd naar toe keek in plaats van het object waar de ogen naar keken.
  • Test 2.1: GPT-5.2 en Qwen3 kozen significant vaker dan willekeurig het Hoofddoel boven het Blikdoel (respectievelijk 62% en 57%).
  • Test 2.3: De prestatie daalde drastisch wanneer Hoofddoel $\neq$ Blikdoel (bijvoorbeeld daalde GPT-5.2 van 45% nauwkeurigheid in Congruent naar 28% in Incongruent).
• Nabijheidseffect: Modellen presteerden slechter wanneer objecten dichter bij elkaar lagen, wat aangeeft dat ze visuele informatie gebruiken maar moeite hebben met fijnmazige discriminatie.
• Kijkhoek-effect: Modellen vertoonden minder gevoeligheid voor oogverschijning bij een zijaanzicht vergeleken met een vooraanzicht, in tegenstelling tot mensen die een hoge nauwkeurigheid behouden.

C. Oorzaakanalyse

De auteurs schakelden verschillende alternatieve verklaringen uit:

• Resolutie: Het verhogen van de resolutie (tot 1024x1024) verbeterde de nauwkeurigheid niet.
• Objectbenaming: Modellen konden objecten correct identificeren; de fout lag in het koppelen van blik aan het object.
• Architectuur/Grootte: Grotere modellen (meer parameters) en nieuwere releases vertoonden geen significante verbeteringen.
• Conclusie: De bias is waarschijnlijk datagedreven. Trainingsdata (internetafbeeldingen) representeren waarschijnlijk gevallen waar hoofd en blik overeenkomen oververtegenwoordigd, en ondervertegenwoordigen "schuine blikken" of incongruente cues, waardoor het model de sociale nuance van het ontkoppelen van oog en hoofd niet leert.

D. Fine-tuning Resultaten

• Fine-tuning van GazeLLE op de specifieke dataset mitigeerde de bias significant.
• Incongruente Voorwaarde: Nauwkeurigheid steeg van 15,65% (pre-trained) naar 34,15% (fine-tuned).
• Congruente Voorwaarde: Verbeterde bescheiden (62,82% $\to$ 70,00%).
• Implicatie: Het model kan leren vertrouwen op oogverschijning als het wordt blootgesteld aan voldoende tegenvoorbeelden, wat de hypothese over de data-distributie bevestigt.

4. Belangrijkste Bijdragen

1. Empirische Karakterisering: Introductie van een rigoureus kader om VLM-blikinferentie-gedrag te categoriseren, verder gaand dan eenvoudige nauwkeurigheidsbenchmarks om te begrijpen hoe modellen falen (bijvoorbeeld Hoofd-dominant versus Oog-bewust).
2. Dataset Creatie: Publicatie van een hoogwaardige, gecontroleerde dataset van 1.360 realistische afbeeldingen die specifiek is ontworpen om hoofdoriëntatie te ontkoppelen van blikrichting.
3. Identificatie van Bias: Sterk bewijs geleverd dat huidige state-of-the-art VLM's vertrouwen op een "hoofdoriëntatie-heuristiek" in plaats van oogverschijning te analyseren, wat leidt tot een significante prestatiekloof ten opzichte van mensen.
4. Data-gerichte Inzicht: Aangetoond via fine-tuning dat deze bias geen inherente architecturale beperking is, maar het gevolg is van de verdeling van trainingsdata, wat een duidelijk pad voor verbetering biedt.

5. Betekenis en Toekomstige Richtingen

• Sociale AI: Om robots en conversatieagenten natuurlijk te laten interageren, moeten ze blik begrijpen om referentieverwarring op te lossen en intentie af te leiden. Huidige VLM's zijn onbetrouwbaar voor deze taak.
• Evaluatiemethodologie: Het artikel pleit voor "hypothese-gedreven evaluatie" en gecontroleerd gedragsprobing (gelijkaardig aan cognitieve wetenschap) in plaats van alleen benchmarking op internetafbeeldingen, waar hoofdheuristieken vaak volstaan.
• Trainingsaanbevelingen: Toekomstige VLM's vereisen trainingsdata die expliciet de wisselwerking tussen lichaams-/hoofdoriëntatie en oogverschijning vastlegt, met name inclusief "incongruente" gevallen waarbij hoofd en ogen in verschillende richtingen wijzen.
• Ethische Overwegingen: De auteurs waarschuwen dat hoewel huidige modellen deze vaardigheid missen, het potentieel voor machines om non-verbale cues te interpreteren zonder toestemming een maatschappelijk risico is dat moet worden beheerd naarmate de technologie verbetert.

Kortom, het artikel onthult dat ondanks hun geavanceerde capaciteiten, huidige VLM's "blind" zijn voor de subtiele cues van menselijke blik, en terugvallen op een eenvoudigere, vaak onjuiste, hoofdoriëntatie-heuristiek. Deze beperking is oplosbaar door gerichte data-curatie en fine-tuning.