Can Individual Internal Models Predict Idiosyncratic Scene Exploration?

Deze studie toont aan dat individuele verschillen in kijkgedrag bij het verkennen van scènes worden voorspeld door persoonlijke interne modellen, maar dat dit effect vooral optreedt wanneer er strategische exploratie wordt aangemoedigd of sensorische onzekerheid aanwezig is.

De kern

Hoe onze eigen "mentale schetsboeken" bepalen wat we zien

Stel je voor dat jij en een vriendje naar dezelfde foto van een keuken kijken. Jij denkt direct aan de koelkast, terwijl je vriendje meteen naar het fornuis kijkt. Waarom doen we dat? Waarom kijken we allemaal op een heel eigen manier naar dezelfde wereld?

Deze studie van Micha Engeser en zijn team probeert dat mysterie op te lossen. Ze hebben een heel slim idee getest: kijken we anders omdat we in ons hoofd een ander "intern model" hebben?

Wat is een "intern model"?

Stel je voor dat je hersenen een enorme bibliotheek zijn vol met schetsboeken. In elk schetsboek staat een tekening van hoe een "typische" keuken of badkamer eruit zou moeten zien, gebaseerd op alles wat je ooit hebt gezien.

• Voor de een is een keuken een plek met veel kookgerei en een groot fornuis.
• Voor de ander is het een plek met een eettafel en veel licht.

De onderzoekers dachten: "Als twee mensen een heel vergelijkbaar schetsboek in hun hoofd hebben, zullen ze dan ook op dezelfde manier naar een echte foto kijken?"

Het Experiment: Tekenen en Kijken

Om dit te testen, deden ze twee dingen:

1. Het Tekenen: Deelnemers kregen de opdracht om een "typische" badkamer of keuken te tekenen. Ze mochten alles tekenen wat ze wilden. Dit was hun manier om hun interne schetsboek op papier te zetten.
2. Het Kijken: Vervolgens keken dezelfde mensen naar echte foto's van badkamers en keukens, terwijl een oogtracker precies registreerde waar ze naar keken, hoe lang ze bleven staren en in welke volgorde ze objecten bekeken.

Ze deden dit in twee verschillende situaties:

• Situatie 1 (Vrij kijken): Kijk gewoon eens rond, doe wat je wilt.
• Situatie 2 (Moeilijker kijken): Hier was het lastiger. Je zag alleen een klein rondje om je oogpunt scherp; de rest van de foto was wazig en grijs. Je moest dus echt je hersenen gebruiken om te raden wat er achter dat wazige gedeelte zat, en je moest de foto onthouden voor een geheugentest.

Wat vonden ze?

Situatie 1: Vrij kijken = Geen verband
Toen mensen vrij konden kijken, bleek er geen verband te zijn tussen hun tekening en waar ze naar keken.

• De analogie: Stel je voor dat je in een grote, drukke supermarkt loopt. Je loopt gewoon rond, kijkt naar wat er mooi is, en je gedachten dwalen af. Dat je in je hoofd een specifieke "ideale supermarkt" hebt, maakt dan niet uit. Je laat je leiden door wat er nu op dat moment opvalt (kleur, beweging). Je eigen "schetsboek" speelt geen grote rol.

Situatie 2: Moeilijk kijken = Wel verband!
Maar toen het moeilijker werd (door de wazige foto en de geheugentest), gebeurde er iets fascinerends. Nu wel bleek dat mensen met vergelijkbare tekeningen ook op vergelijkbare manier keken.

• De analogie: Stel je voor dat je in die supermarkt loopt, maar je hebt een blinddoek op en mag alleen door een klein gaatje kijken. Je moet nu je geheugen gebruiken om te raden: "Waar staat de melk? Oh ja, in mijn hoofd staat de melk altijd links van de koelkast."
  In deze situatie leunen mensen zwaar op hun interne schetsboek. Als jouw schetsboek lijkt op dat van je vriendje, dan raden jullie allebei op dezelfde plekken en kijken jullie naar dezelfde objecten.

De conclusie in het kort

Onze hersenen hebben een eigen "handleiding" voor hoe de wereld eruit moet zien.

• Als de wereld helder en duidelijk is, laten we ons vooral leiden door wat we zien (de foto zelf).
• Maar als de wereld onduidelijk is of als we moeten nadenken (zoals bij het onthouden), dan schakelen we over op onze handleiding. Dan bepaalt ons eigen unieke "intern model" waar we naartoe kijken.

Dit onderzoek laat zien dat we niet allemaal dezelfde wereld zien, omdat we allemaal een iets andere handleiding in ons hoofd hebben. En die handleiding wordt vooral gebruikt als we even niet zeker weten wat we zien.

Technische samenvatting

Probleemstelling

Hoewel individuen systematisch verschillen in hoe ze natuurlijke scènes bekijken (bijvoorbeeld in oogbewegingen, fixatiepatronen en de volgorde waarin objecten worden bekeken), is de oorzaak van deze idiosyncratische verschillen onvoldoende begrepen. Bestaande modellen, zoals die gebaseerd op visuele salientie (bottom-up), kunnen de dynamiek van scanpaden en strategische informatievergaring niet volledig verklaren. De auteurs hypotheseren dat deze verschillen worden veroorzaakt door variaties in interne modellen: individuele verwachtingen over hoe een scène er doorgaans uitziet, gebaseerd op levenslange ervaringen. De centrale vraag is of deze interne modellen de individuele verschillen in oogbewegingen kunnen voorspellen.

Methodologie

De studie gebruikt een Inter-Subject Representational Similarity Analysis (IS-RSA) framework om de relatie te testen tussen de gelijkenis in interne modellen en de gelijkenis in oogbewegingspatronen tussen proefpersonen.

1. Kwantificering van Interne Modellen (Tekeningstaken):

• Proefpersonen moesten typische voorbeelden van twee scène-categorieën tekenen: badkamers en keukens.
• Om objectieve gelijkenissen te meten, werden de handgetekende schetsen omgezet naar fotorealistische afbeeldingen met behulp van Draw3D-software.
• Deze gegenereerde afbeeldingen werden verwerkt door een diep neurale netwerk (VGG16, getraind op ImageNet).
• De correlaties van de feature-activaties in de late laag (fc7) tussen paren van deelnemers vormden een Inter-Subject Representational Dissimilarity Matrix (IS-RDM) voor de interne modellen.
• Controle: Om variatie in tekenstijl of vaardigheid uit te sluiten, werd ook een controletaak uitgevoerd waarbij deelnemers identieke foto's naschilderden. Deze controlematrix werd later uitgesloten (partialled out) in de analyses.

2. Oogbewegingsdata (Eye-tracking):
Twee experimenten werden uitgevoerd met onafhankelijke groepen deelnemers (N=34 per experiment) die 300 scènes bekeken:

• Experiment 1 (Vrije kijk): Proefpersonen bekeken de beelden vrij zonder specifieke taak.
• Experiment 2 (Gaze-contingent): De zichtbaarheid van details was beperkt tot een klein venster rondom de huidige blikpositie (2,5° visuele hoek), terwijl de rest van het beeld vervaagd was. Proefpersonen moesten de scènes onthouden voor een latere geheugentest. Dit creëerde onzekerheid en stimuleerde strategisch zoeken op basis van verwachtingen.

3. Oogbewegingsmatrices (IS-RDMs):
Vier verschillende maten werden berekend om de gelijkenis in ooggedrag tussen proefpersonen te kwantificeren:

• Gaze distance: De mediaan Euclidische afstand tussen de blikposities.
• Fixatieaantal: Het aantal fixaties per beeld.
• Object dwells: De proportionele verdeling van fixatieduur over verschillende objectcategorieën.
• Fixatievolgorde: De prioriteitsscore (tijd tot eerste fixatie) voor objectcategorieën.

4. Statistische Analyse:
De auteurs correleerden de IS-RDMs van de interne modellen met de IS-RDMs van de oogbewegingen, gebruikmakend van partiële correlaties om de controletaak te regelen. Significantie werd getest met een niet-parametrische permutatietest (10.000 iteraties) met FDR-correctie.

Belangrijkste Resultaten

• Betrouwbaarheid: In beide experimenten werden betrouwbare individuele verschillen in ooggedrag gevonden (split-half betrouwbaarheid was significant voor alle maten).
• Experiment 1 (Vrije kijk): Er was geen significante correlatie tussen de gelijkenis in interne modellen (tekeningen) en de gelijkenis in oogbewegingen. De interne modellen voorspelden de individuele verschillen in vrije kijk niet.
• Experiment 2 (Strategisch zoeken): Er was een significante correlatie tussen interne modellen en ooggedrag, maar alleen voor specifieke maten:
  • Fixatieaantal: Proefpersonen met vergelijkbare interne modellen maakten een vergelijkbaar aantal fixaties per beeld ($r=0.21, p=0.025$).
  • Fixatievolgorde: De volgorde waarin objectcategorieën werden bekeken, werd voorspeld door de gelijkenis in interne modellen ($r=0.15, p=0.025$).
  • Er was geen significant effect voor gaze distance of object dwells.
• Tekkenorde vs. Kijkorde: De volgorde waarin objecten in de tekening werden gemaakt, voorspelde de eigen kijkvolgorde slechts marginaal beter dan die van anderen (niet significant, $p=0.081$).

Kernbijdragen

1. Conditionele Invloed van Verwachtingen: De studie toont aan dat interne modellen (verwachtingen) de oogbewegingen alleen voorspellen wanneer de sensorische input onvoldoende is om de scène te interpreteren (hoge onzekerheid) en wanneer een doelgerichte taak (geheugen) strategisch zoeken vereist.
2. Validatie van Tekeningen als Proxy: Het bevestigt dat tekeningen van typische scènes een geldige, kwantificeerbare maat zijn voor individuele interne modellen, mits geanalyseerd met diepe leermethodes.
3. Differentiatie van Oogmaten: Het onderzoek onderscheidt dat interne modellen vooral invloed hebben op hoeveel informatie wordt verzameld (aantal fixaties) en in welke volgorde (prioriteit), maar minder op de exacte ruimtelijke locatie (gaze distance) of de duur van het kijken naar een object.

Significantie en Conclusie

De bevindingen ondersteunen het predictive processing-kader, waarin oogbewegingen worden gezien als een actief proces van informatievergaring gestuurd door verwachtingen. De studie laat zien dat individuele verschillen in hoe mensen de visuele wereld verkennen, deels worden bepaald door hun persoonlijke "visuele dieet" en de daaruit voortvloeiende interne modellen.

Deze resultaten suggereren dat computatiemodellen van aandacht en oogbewegingen individuele voorspellingen moeten incorporeren, vooral in situaties met beperkte sensorische informatie. Dit biedt een nieuwe verklaring voor waarom mensen verschillend kijken naar dezelfde beelden en opent de weg voor het bestuderen van perceptie in real-world omgevingen waarbij top-down processen cruciaal zijn.