Generating metamers of human scene understanding

Dit paper introduceert MetamerGen, een tweestromig latent diffusion-model dat beeldmetamers genereert die de menselijke scèneperceptie nabootsen door lage-resolutie 'gist'-informatie uit het perifere gezichtsveld te combineren met hoge-resolutie fixatiegegevens, waarmee het een krachtig hulpmiddel biedt om de onderliggende mechanismen van menselijk scènebegrip te onderzoeken.

De kern

Stel je voor dat je door een drukke stad loopt. Je ogen zijn niet overal even scherp. In het midden van je blikveld (waar je direct naar kijkt) zie je alles haarscherp: de details van een bord, de kleur van een auto. Maar aan de randen van je zicht (je periferie) zie je alleen vaagheid, beweging en grote vormen. Je hersenen vullen deze gaten in en bouwen een compleet plaatje op van wat er om je heen gebeurt.

Deze paper introduceert MetamerGen, een slimme computer die precies doet wat je hersenen doen: hij probeert te raden hoe een scène eruitziet, gebaseerd op slechts een paar scherpe flitsen en een beetje vaagheid aan de randen.

Hier is een uitleg in simpele taal, met een paar creatieve vergelijkingen:

1. Het Probleem: De "Gist" van een Scène

Onze hersenen onthouden niet elke pixel van een foto die we zien. Ze onthouden de "gist" (de kern of het gevoel) van de scène. Als je een foto ziet en daarna een andere foto, kunnen ze er totaal anders uitzien, maar als ze dezelfde "gist" hebben, vinden onze hersenen dat het dezelfde foto is.

In de wetenschap noemen we dit een metamer: twee dingen die er fysiek anders uitzien, maar voor de mens ononderscheidbaar zijn.

2. De Oplossing: MetamerGen (De "Droombouwer")

De auteurs hebben een AI-model gemaakt dat heet MetamerGen. Dit model is als een meester-architect die een huis moet bouwen, maar die alleen een paar foto's van de ramen heeft en een wazige tekening van de tuin.

• Hoe werkt het?
  • De Fovea (Het scherpe midden): De AI krijgt een paar scherpe "flitsen" van waar een mens naar keek (bijvoorbeeld: "hier is een hond", "daar is een boom").
  • De Periferie (De wazige rand): De AI krijgt ook een wazige, onscherpe versie van de hele foto. Dit vertelt de AI: "Er is hier een bos, en daar een weg."
  • De Creatie: De AI combineert deze twee stukjes informatie en probeert de rest van het plaatje in te vullen. Het resultaat is een nieuwe foto die er anders uitziet dan het origineel, maar die voor de kijker "hetzelfde voelt".

3. De Analogie: Het Puzel-spel met een Gids

Stel je voor dat je een enorme puzzel moet maken, maar je mag alleen naar 5 stukjes kijken.

• De oude manier: De computer probeerde alleen de randen van de puzzel te raden op basis van wazige kleuren.
• De nieuwe manier (MetamerGen): De computer krijgt 5 scherpe stukjes (waar je naar keek) én een wazige foto van de hele puzzel. Hij gebruikt deze informatie om de rest van de puzzel te vullen.
• Het doel: Als de computer de puzzel zo invult dat jij, de mens, denkt: "Ja, dit is precies dezelfde puzzel als die ik net zag," dan heeft hij een metamer gemaakt.

4. Wat hebben ze ontdekt? (De Experimenten)

De onderzoekers lieten mensen echte foto's bekijken en hielden bij waar ze naar keken. Daarna liet de computer een nieuwe versie van die foto zien, gebaseerd op die blikpunten. De mensen moesten zeggen: "Is dit hetzelfde of anders?"

Ze ontdekten drie belangrijke dingen:

1. Details zijn niet alles: Het maakt niet uit of de AI elke haartje van de hond perfect nabootst. Als de betekenis klopt (het is een hond in een park), denken mensen dat het hetzelfde is.
2. De randen zijn cruciaal: De AI had meer succes als hij de wazige achtergrond (de context) gebruikte dan alleen de scherpe details. Het is alsof je een verhaal hoort: als je de setting kent (het bos), kun je makkelijker raden wat er gebeurt, zelfs als je niet elk woord hoort.
3. Kijken maakt het beter: Als de AI wist waar de mens echt naar keek, was het resultaat veel geloofwaardiger dan als de AI willekeurige plekken op de foto had gekozen. Het is alsof een gids je vertelt waar je moet kijken; zonder die gids raak je de context kwijt.

5. Waarom is dit belangrijk?

Dit is niet alleen een coole truc om foto's te maken. Het is een venster naar hoe ons brein werkt.

• Voor wetenschappers: Het helpt ons begrijpen wat onze hersenen onthouden en wat ze negeren.
• Voor de toekomst: Het kan leiden tot betere hulpmiddelen voor mensen met visuele beperkingen, of tot slimme camera's die weten wat belangrijk is om scherp te houden en wat onscherp mag zijn om ruimte te besparen.

Kortom: MetamerGen is een digitale kunstenaar die leert hoe wij de wereld zien. Hij leert dat we niet elke pixel nodig hebben om een scène te begrijpen; we hebben alleen de juiste hints en een goed gevoel voor de context nodig. Als de computer die hints goed combineert, zien we de wereld door zijn ogen als onze eigen wereld.

Technische samenvatting

Probleemstelling

Het fundamentele uitdaging in de cognitieve wetenschap is het begrijpen van de latente representatie van een scène die door de mens wordt gevormd na het bekijken ervan. Menselijke visie combineert lage-resolutie "gist"-informatie uit het perifere gezichtsveld met schaarse, maar hoge-resolutie informatie uit fixatiepunten (waar het oog stil staat). Bestaande methoden voor het genereren van "metamers" (stimuli die fysiek verschillen maar door mensen niet van elkaar te onderscheiden zijn) richtten zich voornamelijk op texturen of statische randvoorwaarden. Er ontbreekt echter een model dat kan genereren wat een mens begrijpt van een scène op basis van dynamische kijkpatronen (fixaties) en de contextuele informatie die uit het perifere zicht komt. De vraag is: welke details zijn essentieel voor de menselijke perceptie van een scène, en welke kunnen worden vervangen zonder dat de kijker merkt dat het een andere scène is?

Methodologie: MetamerGen

De auteurs introduceren MetamerGen, een geavanceerd generatief model dat is gebaseerd op een Latent Diffusion Model (LDM), specifiek een aangepaste versie van Stable Diffusion. Het doel is om foto-realistische beelden te genereren die overeenkomen met de menselijke scène-representatie, gebruikmakend van een combinatie van perifere en foveale (fixatie-gebaseerde) informatie.

Kernarchitectuur en Technieken:

1. Dual-Stream Representatie: Het model gebruikt een unieke aanpak waarbij twee stromen van visuele informatie worden gecombineerd:
   • Foveale Stream: Hoog-resolutie informatie afkomstig van specifieke fixatiepunten van de kijker.
   • Perifere Stream: Laag-resolutie, onscherpe informatie die de algemene scène-context (gist) vastlegt.
2. Feature Extractie (DINOv2): In plaats van CLIP (zoals vaak bij IP-Adapters), gebruiken de auteurs DINOv2, een zelf-superviserende vision transformer. DINOv2 is gekozen omdat het patch-tokens levert die zowel lokale details als contextuele relaties (parafoveale informatie) coderen, wat beter aansluit bij hoe het menselijk oog werkt.
   • Voor foveale input worden binariële maskers toegepast op de DINOv2 tokens om alleen de fixatiegebieden te behouden.
   • Voor perifere input wordt het beeld verlaagd (downsampled) en vervolgens weer opgeschaald om een onscherpe versie te creëren, waarna DINOv2 tokens worden geëxtraheerd zonder masking.
3. Adapter Framework: De DINOv2 tokens worden verwerkt via Perceiver-based resampler networks. Deze netwerken comprimeren de 1024 DINOv2 tokens naar 32 conditioning tokens die compatibel zijn met de cross-attention mechanismen van de pre-trained UNet in Stable Diffusion.
4. Conditioning Mechanisme: Het model gebruikt een aangepaste cross-attention formule waarbij de denoising-proces wordt gestuurd door een som van drie bronnen: tekst (hier leeg gelaten), foveale features en perifere features. De bijdrage van elke bron wordt gewogen met schalingsfactoren ($\lambda_{foveal}$ en $\lambda_{peripheral}$).

Training en Inferentie:

• Het model is getraind op de MS-COCO dataset.
• Tijdens training worden willekeurige maskers gebruikt om een wisselend aantal fixaties (1 tot 10) te simuleren.
• Tijdens inferentie worden de echte oogbewegingen van deelnemers gebruikt als conditioning.

Experimenteel Paradigma

Om de perceptuele uitlijning te valideren, hebben de auteurs een real-time "Same-Different" gedragsparadigma ontwikkeld:

1. Bekijken: Deelnemers (n=45) bekijken een scène en kiezen zelf hun fixatiepunten (tot 10 fixaties).
2. Generatie: Na een korte vertraging (5 seconden) genereert MetamerGen een nieuwe versie van de scène op basis van de vastgelegde fixaties en de perifere context.
3. Beoordeling: Deelnemers zien de gegenereerde scène kort (200 ms) en moeten oordelen of deze "hetzelfde" of "anders" is als de originele scène.
4. Definitie: Een gegenereerde scène wordt een metamer genoemd als de deelnemer oordeelt dat deze "hetzelfde" is als het origineel.

Belangrijkste Resultaten

1. Validatie van Metamerisme: MetamerGen slaagt erin om scènes te genereren die door mensen als identiek worden ervaren aan het origineel, zelfs als het beeld fysiek anders is. Dit bewijst dat de latente representatie van de kijker succesvol is gemodelleerd.
2. Rol van Semantiek vs. Pixels:
   • Semantische uitlijning is cruciaal: De kans dat een scène als metamer wordt beoordeeld, hangt sterk samen met hoog-niveau semantische overeenkomsten (gemeten met DreamSim en CLIP), niet met pixel-niveau verschillen (PSNR).
   • Interactie met Fixaties: Wanneer generaties zijn gebaseerd op de eigen fixaties van de kijker, is semantische uitlijning de sterkste voorspeller. Bij generaties op basis van willekeurige fixaties is deze correlatie zwakker, omdat willekeurige fixaties vaak op irrelevante contextuele details vallen.
3. Visuele Hiërarchie:
   • Mid-level features: Dieptestructuur (depth) en proto-object segmentatie zijn sterke voorspellers. Onnauwkeurigheden in de dieptekaart leiden direct tot een "anders"-oordeel.
   • Low-level features: Verbeterde textuurdefinitie (Gabor filters) in de gegenereerde beelden leidt paradoxalerwijs vaker tot "hetzelfde"-oordelen, omdat dit de realiteit van de scène versterkt.
4. Ablatieonderzoek (Foveaal vs. Perifeer):
   • Perifeer is dominant: Alleen perifere conditioning leidt tot een hogere metamer-rate (45,8%) dan alleen foveale conditioning (8,4%). Dit suggereert dat de globale scène-structuur en lay-out (gist) essentieel zijn voor herkenning.
   • Combinatie is optimaal: De combinatie van beide streams resulteert in de hoogste rate (54,5%), wat aantoont dat fijne details uit fixaties de globale structuur aanvullen om een volledig menselijk-gealigneerd beeld te creëren.

Belangrijkste Bijdragen

1. Nieuw Generatief Model: MetamerGen is het eerste model dat specifiek is ontworpen om "scène metamers" te genereren op basis van dynamische menselijke kijkpatronen, in plaats van statische texturen.
2. Dual-Stream Conditioning: De innovatieve integratie van DINOv2 tokens voor zowel foveale als perifere informatie in een diffusion model lost het probleem op van het genereren van beelden uit gemengde resolutie-inputs.
3. Inzicht in Menselijke Perceptie: Het onderzoek biedt kwantitatief bewijs dat menselijke scène-representatie sterk afhankelijk is van hoog-niveau semantische uitlijning en mid-level dieptestructuur, en minder van exacte pixel-overeenkomst.
4. Tool voor Cognitieve Wetenschap: Het biedt een krachtig instrument voor cognitieve wetenschappers om hypothesen te testen over wat mensen "zien" en onthouden in hun perifere zicht, zonder dat er complexe eye-tracking data nodig is voor het genereren van grote datasets (aangezien willekeurige fixaties ook redelijk goed werken voor de basisstructuur).

Betekenis en Toekomst

Deze studie vormt een brug tussen generatieve kunstmatige intelligentie en cognitieve neurowetenschap. Het toont aan dat AI-modellen niet alleen beelden kunnen maken, maar ook de subjectieve ervaring van het menselijk zien kunnen simuleren. Voor de AI-gemeenschap opent dit de weg naar generatieve modellen die beter zijn afgestemd op menselijke perceptie, wat essentieel is voor assistieve technologieën en mens-machine interactie. Voor de cognitieve wetenschap biedt het een nieuwe methode om de "black box" van de menselijke scène-perceptie te doorgronden door te kijken welke details het brein accepteert en welke het afwijst.