Human-level 3D shape perception emerges from multi-view learning

Probleemstelling

Het begrijpen van hoe mensen de driedimensionale (3D) structuur van objecten kunnen afleiden uit tweedimensionale visuele input is een langdurig doel binnen de wetenschap van visuele intelligentie. Hoewel er decennia aan computationele methoden zijn ontwikkeld, hebben deze tot nu toe niet kunnen concurreren met menselijke prestaties op het gebied van 3D-perceptie. Bestaande modellen missen vaak het vermogen tot generalisatie naar willekeurige objecten zonder taakspecifiek trainen. Een centrale vraag in de cognitieve wetenschap is of objectperceptie voortkomt uit algemene leermechanismen over natuurlijke sensorische data (empirisme) of of er specifieke, aangeboren inductieve biases nodig zijn (nativisme). Bestaande modellen hebben deze kloof tussen mens en machine niet overbrugd.

Methodologie

De auteurs introduceren een nieuw modelleringkader dat zich richt op "multi-view" (meerdere weergaven) learning zonder gebruik te maken van objectgerelateerde inductieve biases.

1. Model Architectuur en Training:

   • Er wordt gebruikgemaakt van een nieuwe klasse van neurale netwerken, specifiek Multi-View Vision Transformers (zoals VGGT-1B, DUST3R, MAST3R en Pi3).
   • Deze modellen worden getraind op grote schaal met naturalistische sensorische data (sets van afbeeldingen van dezelfde scène vanuit verschillende perspectieven).
   • Trainingsdoel: Het voorspellen van ruimtelijke informatie (camera-locatie, visuele diepte en correspondentie) op basis van de afbeeldingen.
   • Belangrijk: Er worden geen handgeschreven geometrische priors gebruikt. De 3D-structuurontwikkeling is puur het resultaat van het leren van predictieve relaties tussen afbeeldingen en multi-modale cues (analoog aan stereoscopisch zicht en proprioceptie bij mensen).

2. Evaluatieprotocol (Zero-Shot):

   • Om de prestaties te evalueren zonder taakspecifiek trainen of fine-tuning, wordt een zero-shot evaluatie gebruikt.
   • Taak: Een "oddity"-taak (het vinden van de afwijkende). Deelnemers (mens of model) krijgen drie afbeeldingen: twee van hetzelfde object vanuit verschillende hoeken (A en A') en één van een ander object (B). De taak is om het niet-overeenkomende object (B) te identificeren.
   • Menselijke Data: Er zijn data verzameld van meer dan 300 deelnemers (25.000 proeven) met zowel realistische objecten als abstracte, procedurally gegenereerde vormen.

3. Model Readouts (Uitlezing):

   • Nauwkeurigheid: Het model gebruikt zijn interne schatting van aleatorische onzekerheid (gebaseerd op dieptepredictie-precisie). Het paar met de laagste vertrouwen (hoogste onzekerheid) wordt geïdentificeerd als het niet-overeenkomende object.
   • Vertrouwensmarge: De marge tussen de vertrouwensscores van de overeenkomende paren (A-A') en de niet-overeenkomende paren (A-B) wordt berekend om menselijke moeilijkheidsgraad te voorspellen.
   • Oplossingstijd: Er wordt bepaald in welke laag van het transformer-netwerk de correcte beslissing voor het eerst stabiel optreedt. Dit dient als proxy voor de menselijke reactietijd.

Belangrijkste Bijdragen

• Eerste menselijke prestatie: Dit is het eerste model dat menselijke nauwkeurigheid bereikt bij 3D-vorminferenties voor willekeurige objecten, zonder enige taakspecifieke training of fine-tuning.
• Empiristische validatie: De resultaten ondersteunen het empiristische standpunt dat complexe perceptieve vaardigheden kunnen ontstaan uit algemene leermechanismen over natuurlijke, multi-view data, zonder dat specifieke object-bias nodig is.
• Gedetailleerde gedragsvoorspelling: Het model voorspelt niet alleen of een antwoord correct is, maar ook de foutpatronen en reactietijden van mensen, wat een diepere overeenkomst met menselijke perceptie aantoont dan eerder mogelijk was.

Resultaten

• Nauwkeurigheid: Het VGGT-1B model bereikte een genormaliseerde nauwkeurigheid van 83,0%, wat statistisch niet significant verschilt van menselijke prestaties (78,9%). In tegenstelling hiermee scoorde een state-of-the-art single-view model (DINOv2-Large) slechts 28,5%.
• Vertrouwen en Moeilijkheidsgraad: Er is een sterke correlatie gevonden tussen het vertrouwen van het model en de menselijke nauwkeurigheid ($r = 0,830$). Proeven waar het model weinig vertrouwen had, waren ook voor mensen moeilijker.
• Reactietijden: Er is een duidelijke correlatie tussen de "oplossingslaag" van het model (diepte van verwerking) en de menselijke reactietijd ($r = 0,796$). Proeven die het model in diepere lagen moest oplossen, vereisten ook langere reactietijden van mensen.
• Attention Mechanismen: Kwalitatieve analyses van de attention-maps tonen aan dat het model object-overeenkomsten representeert via de correspondentie tussen ruimtelijke locaties op verschillende objecten, zelfs zonder expliciete objectlabels.

Betekenis en Conclusie

Deze studie markeert een mijlpaal in de cognitieve wetenschap en computer vision. Het bewijst dat menselijke 3D-perceptie kan ontstaan uit een simpel, schaalbaar leerdoel (multi-view predictie) toegepast op natuurlijke data.

• Theoretische Impact: Het ondersteunt theorieën die menselijke intelligentie zien als data-afhankelijk en emergent, in plaats van afhankelijk van ingebouwde, domeinspecifieke kennis.
• Praktische Impact: Het biedt een nieuw raamwerk om cognitieve theorieën te formaliseren en te evalueren. Omdat het model menselijk gedrag (fouten, reactietijden) voorspelt, kan het dienen als een "computational model of the mind" om de onderliggende mechanismen van perceptie te bestuderen.
• Toekomst: Hoewel er nog verschillen zijn (bijv. het model gebruikt geen oogbewegingen of egocentrische coördinaten zoals mensen), opent dit werk de weg voor volgende generatie modellen met sterkere biologische beperkingen om de menselijke waarneming nog nauwkeuriger na te bootsen.