💻 computer science

Comparing Human Gaze and Vision-Language Model Attention in Safety-Relevant Environments

Deze studie toont aan dat grote visie-taalmodellen, met name GPT-4o en Gemini Pro, effectief menselijke visuele aandachtspatronen kunnen benaderen in veiligheidsrelevante omgevingen zonder de noodzaak van oogtracking-trainingsgegevens, zoals blijkt uit sterke ruimtelijke uitlijningsmetrieken tussen door het model gegenereerde saliency-kaarten en menselijke blik-heatmaps.

Oorspronkelijke auteurs: Marta Vallejo, Siwen Wang

Gepubliceerd 2026-06-16

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Marta Vallejo, Siwen Wang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je over een drukke stadsstraat loopt. Je ogen schieten vanzelf naar de gierende banden van een auto die net een aanrijding ontwijkt, de gladde ijslaag op de stoep, of de bouwbarrière die de weg blokkeert. Je hoeft er niet over na te denken; je brein is geprogrammeerd om eerst op potentiële gevaren te letten. Dit wordt negativiteitsbias genoemd — we zijn biologisch geprogrammeerd om de aandacht op bedreigingen te richten.

Stel je nu voor dat je een superintelligente computer (een AI) wilt leren om hetzelfde te doen. Je wilt dat het naar een foto kijkt en zegt: "Hé, kijk hier! Dit is waar een mens een risico zou opmerken."

Dit artikel stelt een eenvoudige vraag: Kan een moderne AI "gevaar" zien zoals een mens dat doet, zonder dat het ooit is getraind door naar menselijke ogen te kijken?

Het Experiment: Een spelletje "Waar kijk je naar?"

De onderzoekers zetten een spel op met twee teams: De Mensen en De AI.

Team Mens (De Eye-Trackers):
Ze plaatsten 10 universiteitsstudenten in een kamer en gaven ze speciale brillen (genaamd Pupil Invisible) die fungeren als kleine camera's voor de ogen. Deze brillen kijken niet alleen naar de studenten; ze kijken naar waar de studenten naar kijken.

De studenten bekeken 33 verschillende foto's van alledaagse scènes (zoals een overstroomde straat, een druk kruispunt of een rustig park).
Sommige foto's bevatten duidelijke risico's (zoals een auto-ongeluk of een storm), terwijl andere veilig waren.
De brillen legden precies vast waar de ogen van elke student landden, wat een "heat map" (warmtekaart) creëerde. Denk aan deze warmtekaart als een foto van een thermische camera: de heetere (helderdere) plek is waar de meeste mensen naar keken.

Team AI (Het Vision-Language Model):
De onderzoekers lieten de AI, een krachtig model genaamd GPT-4o, vervolgens dezelfde 33 foto's zien.

Ze hebben de AI niet getraind op de eye-tracking data. Ze hebben niet gezegd: "Hier keek een mens naar."
In plaats daarvan vroegen ze de AI simpelweg: "Kijk naar deze foto. Als een mens hier 10 seconden naar zou kijken, waar zouden hun ogen dan naartoe gaan? Geef me de coördinaten van de belangrijkste plekken."
De AI genereerde zijn eigen "warmtekaart" op basis van wat hij belangrijk vond.

De Confrontatie: Het vergelijken van de kaarten

De onderzoekers legden vervolgens de Human Heat Map en de AI Heat Map over elkaar heen om te zien hoe goed ze overeenkwamen. Ze gebruikten vier verschillende "linialen" (wiskundige tests) om de overlap te meten:

De "Zijn ze vergelijkbaar?" Test (Pearson Correlatie): Legde de AI dezelfde algemene gebieden uit als de mensen?
- Resultaat: Ja, redelijk goed. De AI en de mensen waren het in 51% van de gevallen eens over de algemene lay-out.
De "Heb je daar gekeken?" Test (NSS): Wanneer mensen naar een specifieke plek keken, vond de AI die plek ook belangrijk?
- Resultaat: Ja. De AI gaf hoge scores aan de exacte plekken waar mensen naar staarden.
De "Vorm Match" Test (KL Divergentie): Zag de verdeling van de aandacht van de AI er hetzelfde uit als die van de mens?
- Resultaat: GPT-4o was eigenlijk het beste in het matchen van de vorm van de menselijke aandacht, zelfs als andere modellen iets beter waren in het aanwijzen van exacte locaties.
De "Ontdek het Gevaar" Test (AUC-Judd): Als je moest raden welke delen van de afbeelding riskant waren, kon de AI dat dan beter dan door de middelbare kans?
- Resultaat: Absoluut. De AI scoorde 0,80 uit 1,0, terwijl willekeurig raden slechts 0,5 zou scoren.

Het Oordeel

De studie concludeerde dat GPT-4o bijna precies kan "zien" waar menselijke veiligheidsrisico's zich bevinden, ook al heeft het nooit een eye-tracking bril gedragen.

De link met "Negativiteitsbias": De AI lijkt de negativiteitsbias geleerd te hebben van zijn enorme hoeveelheid trainingsdata (alle tekst en afbeeldingen die het online heeft gelezen) dat mensen de neiging hebben om zich op enge of gevaarlijke dingen te concentreren. Het imiteert onze "negativiteitsbias" op natuurlijke wijze.
Het is niet slechts één model: De onderzoekers testten ook andere AI's (zoals Gemini Pro en Claude). Ze presteerden allemaal beter dan de kansberekening, maar GPT-4o was het beste in het matchen van het patroon van menselijke aandacht, terwijl Gemini Pro iets beter was in het aanwijzen van de exacte locatie van risico's.

Waarom dit ertoe doet (volgens het artikel)

Het artikel concludeert dat we misschien geen dure eye-tracking brillen nodig hebben om veiligheidssystemen voor robots of zelfrijdende auto's te bouwen. Als een groot AI-model kan voorspellen waar een mens naar gevaar zou kijken door simpelweg over de afbeelding na te "denken", kunnen we deze AI gebruiken om machines veilig te laten navigeren.

Kortom: De AI hoefde niet te leren hoe hij moest kijken; hij hoefde alleen maar gevraagd te worden, en hij begreep dat hij — net als wij — aandacht moet schenken aan de engere zaken.

Technische Samenvatting: Vergelijking van menselijke blik en aandacht van Vision-Language Models in veiligheidsrelevante omgevingen

Probleemstelling
Veiligheidsbewuste kunstmatige intelligentie (AI)-systemen, met name in autonoom rijden en robotica, vereisen het vermogen om scèneregio's te identificeren die mensen als potentieel risicovol ervaren. Ho'ewel oogtracking-technologie een directe maatstaf biedt voor menselijke visuele aandacht en een "negativiteitsbias" (een disproportionele gevoeligheid voor bedreigende stimuli) onthult, richten bestaande computationele modellen zich vaak op algemene visuele salientie in plaats van op veiligheidsperceptie. Er bestaat een kritieke kloof in het begrip of moderne grote vision-language models (VLMs), die beschikken over semantisch begrip, hun aandacht ruimtelijk kunnen afstemmen op de menselijke blik in veiligheidsrelevante omgevingen zonder dat zij training nodig hebben op oogtracking-data.

Methodologie
De studie maakte gebruik van een tweeledige aanpak bestaande uit menselijke datacollectie en AI-inferentie:

Constructie van een menselijke oogtracking-dataset:
- Stimuli: 33 scène-afbeeldingen die diverse alledaagse omgevingen vertegenwoordigen (straten, gangen, openbare ruimtes, groene gebieden) met variërende niveaus van potentieel risico (bijv. voertuigen, obstakels, waarschuwingsborden voor overstromingen).
- Deelnemers: 10 universiteitsstudenten met een normale of gecorrigeerde normale visie.
- Apparatuur: De Pupil Invisible wearable brillen (200 Hz binoculaire bliktracking, 30 fps scènecamera) werden gebruikt om de blik te registreren terwijl deelnemers de afbeeldingen 10 seconden lang bekeken op een 24-inch monitor.
- Verwerking: Ruwe blikgegevens werden gefilterd op validiteit, gemapt van het gezichtsveld van de scènecamera naar de stimulusresolutie (1.536 × 1.024 pixels), en omgezet in individuele fixatiedichtheidskaarten met behulp van Gaussische smoothing ( $\sigma = 30$ px). Deze werden gemiddeld om 33 populatie-niveau menselijke blik-heatmaps te creëren.
Generatie van AI-salientiemaps:
- Model: GPT-4o werd geselecteerd vanwege de multimodale redeneercapaciteiten.
- Pipeline: Een geautomatiseerd Python-script promptte GPT-4o via de OpenAI Vision API om op te treden als een "expert in visuele salientie". Het model kreeg de instructie om een gestructureerd JSON-object terug te geven met 20–25 genormaliseerde fixatiepunten $(x, y)$ met salientiewichten $(w)$ , die voorspellen waar mensen naar zouden kijken tijdens vrije observatie.
- Rendering: De JSON-output werd gerasterd in gevulde schijven ( $r=40$ px) op een canvas, gevolgd door Gaussische smoothing ( $\sigma = 60$ px) om continue salientiemaps te genereren die vergelijkbaar zijn met menselijke heatmaps. Er is geen oogtracking-data gebruikt om het model te trainen.
Evaluatie:
- De ruimtelijke afstemming tussen menselijke en AI-heatmaps werd gekwantificeerd met vier metrieken over alle 33 afbeeldingen:
  - Pearson Correlatie ( $r$ ): Lineaire ruimtelijke overeenkomst.
  - Genormaliseerde Scanpath Salientie (NSS): Correspondentie van AI-waarden bij menselijke fixatiepunten.
  - Kullback–Leibler (KL) Divergentie: Distributionele verschil tussen de twee kaarten.
  - AUC-Judd: Het vermogen om gefixeerde versus niet-gefixeerde locaties te onderscheiden.
- Een cross-model vergelijking werd uitgevoerd met Gemini Pro, Gemini Flash en Claude.

Belangrijkste Resultaten

GPT-4o Prestaties: Het model vertoonde een betekenisvolle ruimtelijke afstemming met de menselijke blik zonder voorafgaande oogtracking-training.
- AUC-Judd: $0,806 \pm 0,076$ (substantieel boven de kansbaseline van 0,5).
- NSS: $0,988 \pm 0,323$ (positieve score die wijst op bovengemiddelde waarden bij menselijke fixatiepunten).
- Pearson $r$ : $0,515 \pm 0,117$ (matig maar consistent lineaire correlatie).
- KL Divergentie: $1,766 \pm 0,844$ .
Cross-model Vergelijking: Alle geteste modellen (GPT-4o, Gemini Pro, Gemini Flash, Claude) overschreden de AUC-Judd kansbaseline en behaalden positieve NSS-scores.
- Gemini Pro behaalde de hoogste scores in Pearson correlatie ($0,571$), NSS ($1,131$) en AUC-Judd ($0,840$), wat duidt op superieure ruimtelijke lokalisatie.
- GPT-4o behaalde de laagste KL divergentie ($1,766$), wat aangeeft dat de voorspelde salientieverdeling van het model het dichtst bij de menselijke aandachtverdeling lag, ondanks iets lagere scores voor ruimtelijke lokalisatie dan Gemini Pro.
Scène Variabiliteit: De afstemming was het sterkst in scènes waar risico-gerelateerde inhoud ruimtelijk gelokaliseerd was (bijv. Afbeelding 05, Afbeelding 02) en zwakker in scènes met diffuse menselijke blikpatronen.

Belangrijkste Bijdragen

Dataset Creatie: De studie heeft een toegewijde oogtracking-dataset geconstrueerd die 33 diverse alledaagse scène-typen met variërende risiconiveaus dekt, wat populatie-gemiddelde menselijke blik-heatmaps biedt als grondwaarheid voor veiligheidsperceptie.
Demonstratie van Zero-Shot Alignment: Het heeft empirisch aangetoond dat grote VLMs, wanneer geprompt om risico's te identificeren, ruimtelijke voorspellingen kunnen genereren die overeenkomen met menselijke aandachtpatronen zonder dat er specifieke oogtracking-trainingsdata nodig zijn.
Evaluatiekader: Het artikel past een uitgebreide set complementaire salientiemetrieken toe om de ruimtelijke correspondentie tussen AI-gegenereerde risicokaarten en de menselijke blik in veiligheidsrelevante contexten te kwantificeren.

Betekenis en Claims
De auteurs beweren dat grote vision-language models regio's van potentieel risico kunnen identificeren die breed overeenkomen met waar mensen hun visuele aandacht richten in veiligheidsrelevante scènes. Dit suggereert dat VLMs impliciet menselijke neigingen om risicovolle regio's te prioriteren begrijpen, waarschijnlijk door training op door mensen gegenereerde content, ook al ervaren de modellen zelf geen psychologische "negativiteitsbias".

De significantie van deze bevindingen ligt in het potentieel van VLMs om te dienen als een schaalbaar instrument voor het benaderen van menselijke aandachtpatronen in veiligheidsbewuste AI-toepassingen. Deze capaciteit zou de ontwikkeling van systemen (zoals autonome robots of voertuigen) kunnen ondersteunen die op elkaar aansluiten met de menselijke perceptie van risico, zonder dat daarvoor tijdens de inzet gespecialiseerde, dure oogtracking-hardware nodig is. De auteurs merken op dat hoewel de resultaten veelbelovend zijn, ze ook bescheiden zijn; de afstemming is niet perfect, en de studie erkent beperkingen met betrekking tot de kleine steekproef van deelnemers en de ijle aard van de door AI gegenereerde JSON-output vergeleken met de dichte menselijke blikdata. Toekomstig werk wordt gesuggereerd om grotere, meer diverse steekproeven en dynamische videostimuli te omvatten om deze bevindingen verder te valideren.

Het Experiment: Een spelletje "Waar kijk je naar?"

De Confrontatie: Het vergelijken van de kaarten

Het Oordeel

Waarom dit ertoe doet (volgens het artikel)

Meer zoals dit