💻 computer science

Learning Human Visual Attention on 3D Surfaces through Geometry-Queried Semantic Priors

Dit artikel introduceert SemGeo-AttentionNet, een dual-stream architectuur die geometrie-geconditioneerde diffusie-gebaseerde semantische priors integreert met point cloud transformers om de menselijke visuele aandacht op 3D-oppervlakken te modelleren door de interactie tussen bottom-up geometrische verwerking en top-down semantische herkenning expliciet te formaliseren.

Oorspronkelijke auteurs: Soham Pahari, Sandeep C. Kumain

Gepubliceerd 2026-02-09

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Soham Pahari, Sandeep C. Kumain

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je naar een 3D-beeldhouwwerk kijkt in een museum. Waarom blijven je ogen op het gezicht hangen? Waarom dwalen ze af naar een glimmende knoop op een jas, zelfs als die knoop plat is en de jas vol rimpels zit?

Lange tijd probeerden computerwetenschappers dit te verklaren door alleen naar de vorm van het object te kijken. Ze dachten: "Als het uitsteekt, een scherpe rand heeft of bobbelig is, dan zal de mens daar naar kijken." Maar dit werkte niet goed. Mensen negeren vaak bobbelige, vreemde vormen en staren in plaats daarvan naar gladde, platte dingen die voor ons een betekenis hebben (zoals een gezicht of een logo).

Dit artikel introduceert een nieuw computerprogramma genaamd SemGeo-AttentionNet dat dit puzzelstukje eindelijk oplost. Zo werkt het, eenvoudig uitgelegd:

1. Twee hersenen die samenwerken

De auteurs realiseerden zich dat menselijke aandacht een teamwork-inspanning is tussen twee verschillende "hersenen":

De "Bottom-Up" hersenen (Geometrie): Dit is je reflex. Het schreeuwt: "Kijk naar die scherpe rand! Kijk naar die vreemde bobbel!" Het reageert op de fysieke vorm.
De "Top-Down" hersenen (Semantiek): Dit is je kennis. Het fluistert: "Wacht even, dat is een gezicht. Dat is een gereedschap. Dat is belangrijk." Het reageert op wat het object is, zelfs als het perfect vlak is.

Eerdere computermodellen hadden alleen de "Bottom-Up" hersenen. Ze waren als een beveiligingscamera die alleen beweging opmerkt, maar niet weet hoe een persoon eruitziet.

2. De nieuwe oplossing: Een slimme detective

Het nieuwe model, SemGeo-AttentionNet, werkt als een detective die beide hersenen tegelijkertijd gebruikt. Het heeft twee hoofdonderdelen:

De Vormscanner (Geometrie-stroom): Het gebruikt een krachtige tool (Point Transformer V3) om elke bobbel, curve en rand van het 3D-object in kaart te brengen, net zoals een beeldhouwer klei voelt.
De Kennisbibliotheek (Semantische stroom): Dit is het magische deel. Omdat de computer geen menselijk brein heeft, gaven de auteurs het een "glazen bol" gemaakt van Diffusiemodellen (dezelfde AI-technologie die kunst creëert vanuit tekst).
- Ze nemen het 3D-object, maken 100 verschillende foto's ervan vanuit alle hoeken en vragen de AI: "Wat is dit?"
- De AI zegt: "Dat is een gezicht," of "Dat is een kopje."
- Dit geeft het model een "semantische prior" — een vooraf geladen begrip van wat het object is, zonder dat het met gelabelde 3D-data hoeft te worden onderwezen.

3. Het "Query"-mechanisme: Wie is de baas?

Dit is de slimme truc. Het model mengt deze twee hersenen niet zomaar bij elkaar; het laat ze in een specifieke volgorde met elkaar praten.

Denk aan de Vorm als een Zoekopdracht (Query) en de Kennis als een Database.

De Vorm zegt: "Ik zie hier een vlak gebied. Laat me de database controleren: Is dit een gezicht? Is dit een scherm?"
De Kennis antwoordt: "Ja, dat vlakke gebied is een gezicht. Let erop!"

Dit zorgt ervoor dat zelfs als een gezicht geometrisch gezien plat en saai is, het model weet om ernaar te kijken omdat het "Kennis"-gedeelte de belangrijkheid bevestigt. De Vorm heeft echter nog steeds een "vetorecht". Als de Kennis zegt "Dat is een gezicht", maar de Vorm zegt "Dat is eigenlijk gewoon een platte muur zonder kenmerken", dan zal het model niet afgeleid raken. Het heeft nodig dat beide het eens zijn.

4. Het "Eye-Tracking" spel (Reinforcement Learning)

Tot nu toe voorspelt het model alleen waar je kijkt. Maar mensen kijken naar dingen in een sequentie (een scanpad). Eerst gaan de ogen naar de neus, dan naar de mond, en dan naar de hoed.

De auteurs hebben het model geleerd om een spel te spelen om deze beweging te simuleren:

Het Spel: Het model is een agent die over het oppervlak van het 3D-object loopt.
De Regels:
1. Ga naar interessante plekken: Beweeg naar gebieden met een hoge salientie (het gezicht, het handvat van een gereedschap).
2. Word niet verveeld: Als je te vaak naar een plek hebt gekeken, krijg je een straf (dit wordt "Inhibition of Return" genoemd). Je moet verdergaan.
3. Verken: Probeer nieuwe gebieden te bezoeken die je nog niet hebt gezien.
Het Resultaat: Het model leert om met zijn "ogen" over het object te "wandelen" op een manier die precies lijkt op hoe een mens het object verkent, waarbij rekening wordt gehouden met het feit dat je niet door de lucht kunt springen; je moet het oppervlak van het object volgen.

5. De Resultaten

Het team heeft het model getest op drie verschillende datasets (verzamelingen van 3D-objecten met menselijke eye-tracking data).

De Score: Hun nieuwe model presteerde aanzienlijk beter dan alle voorgaande methoden. Het was veel beter in het voorspellen van precies waar mensen naar zouden kijken.
Het Bewijs: Toen ze naar de resultaten keken, identificeerde het model correct dat mensen staren naar de ogen van een waterspuwer (ook al is het gezicht glad) en het handvat van een versleten gereedschap, terwijl oude modellen alleen naar de bobbelige, ruisige delen van het beeldhouwwerk keken.

Samenvatting

Kortom, dit artikel heeft een computer vision-systeem gebouwd dat 3D-objecten niet alleen begrijpt door hun vorm, maar ook door hun betekenis. Door een geometrische scanner te combineren met een "kennisbank" afgeleid van AI-kunstgeneratoren, en het vervolgens te leren om met zijn "ogen" te bewegen zoals een mens, hebben ze het meest nauwkeurige model tot nu toe gecreëerd voor het voorspellen waar we naar kijken in een 3D-wereld.

Technische Samenvatting: Leren van de menselijke visuele aandacht op 3D-oppervlakken door middel van geometrie-gekwantificeerde semantische priors

Probleemstelling
Menselijke visuele aandacht op driedimensionale objecten ontstaat uit het samenspel tussen bottom-up geometische verwerking (reageren op randen, uitsteeksels en oppervlakte-discontinuïteiten) en top-down semantische herkenning (het identificeren van gezichten, functionele onderdelen of contextuele betekenis). Bestaande methoden voor 3D-saliëntievoorspelling lijden aan een kritieke dichotomie: handmatig ontworpen geometrische benaderingen (bijv. Gaussische kromming, mesh-saliëntie) falen in het verklaren waarom mensen fixeren op semantisch betekenisvolle maar geometrisch onopvallende regio's (bijv. de ogen van een personage of tekst op een vlak oppervlak). Daarentegen vertrouwen recente deep learning-benaderingen ofwel op geometrische encoders die gebrek aan semantisch bewustzijn vertonen, ofwel op 2D semantische modellen die de 3D-oppervlaktetopologie negeren. Bovendien zijn bestaande scanpath-generatiemodellen beperkt tot 2D-afbeeldingen en houden ze geen rekening met 3D-mesh-connectiviteit of de dynamiek van inhibitie-van-terugkeer (inhibition-of-return).

Methodologie: SemGeo-AttentionNet
De auteurs stellen SemGeo-AttentionNet voor, een duaal-stroom architectuur die is ontworpen om de bottom-up/top-down dichotomie expliciet te formaliseren door middel van asymmetrische cross-modale fusie.

Semantische Priors via Diffusie-distillatie:
- Om semantisch bewustzijn te injecteren zonder gelabelde 3D-data, maakt de methode gebruik van getrainde tekst-naar-beeld diffusiemodellen (Stable Diffusion) en vision transformers (DINOv2).
- De input-mesh wordt gerenderd vanuit 100 gezichtspunten. Voor elk gezichtspunt leiden geometrie-geconditioneerde kaarten (diepte en oppervlaktenormalen) een conditioneel diffusie-inpaintingproces.
- U-Net decoderactivaties uit de laatste 75% van de denoising-stappen worden geaggregeerd om fijnmazige semantische details te vangen. Deze worden gefuseerd met DINOv2-features om 2048-dimensionale per-pixel descriptors te creëren.
- Een unprojectie-operator brengt deze 2D-features terug naar 3D-mesh vertices met behulp van ball-query aggregatie, wat resulteert in per-vertex semantische descriptors ( $S$ ). Deze pipeline draait offline, waarbij diffusie wordt behandeld als een bevroren perceptuele prior.
Geometrische Encodering:
- De mesh wordt uniform gesampled (2.048 punten) om geometrische descriptors (positie en normalen) te extraheren.
- Deze worden verwerkt door Point Transformer V3, die multi-schaal ruimtelijke structuren vastlegt via voxelisatie en space-filling curves, wat 32-dimensionale geometrische features ( $H_{geo}$ ) oplevert.
Asymmetrische Geometrie-naar-Semantiek Fusie:
- De kerninnovatie is een asymmetrisch cross-attention mechanisme waarbij geometrische features fungeren als de query en semantische features als de key en value.
- Dit formaliseert het cognitieve principe dat bottom-up geometrische onderscheidendheid de retrieval van top-down semantische kennis stuurt.
- Een residu-verbinding zorgt ervoor dat geometrische features nooit worden weggegooid, wat voorkomt dat het model vervalt in pure semantische herkenning. Een finale MLP-head voorspelt per-vertex saliëntiescores.
Temporele Scanpath Generatie via Reinforcement Learning:
- Het framework wordt uitgebreid naar het genereren van temporele scanpaths (sequenties van fixaties) met behulp van een Partially Observable Markov Decision Process (POMDP).
- State: Huidige vertex en een visit count vector.
- Action: Bewegen naar een van de $K=6$ dichtstbijzijnde buren op het mesh-oppervlak, waarbij de 3D-topologie wordt gerespecteerd in plaats van Euclidische grids.
- Reward: Een composietfunctie die een balans vindt tussen saliëntie-exploitatie, inhibitie-van-terugkeer (bestraffen van herbezoeken), exploratiebonussen voor nieuwe regio's en diversiteit.
- Training: Het beleid wordt geoptimaliseerd met Proximal Policy Optimization (PPO).

Belangrijkste Bijdragen

Diffusie-gedistilleerde Semantische Priors: De eerste toepassing van geometrie-geconditioneerde diffusie-features om zero-shot semantische gronding in 3D-aandachtsmodellering mogelijk te maken.
Asymmetrische Fusie Architectuur: Een nieuw mechanisme waarbij geometrie de semantiek bevraagt (queries), wat de bottom-up/top-down cognitieve dichotomie expliciet modelleert.
Topologie-bewuste Scanpath RL: Een reinforcement learning framework voor 3D scanpath generatie dat mesh-connectiviteit respecteert en inhibitie-van-terugkeer dynamiek incorporeert, waarmee een gat in bestaande 2D-only modellen wordt gedicht.

Experimentele Resultaten
De methode werd geëvalueerd op drie datasets: SAL3D, NUS3D en 3DVA.

SAL3D: Het model bereikte een Correlation Coefficient (CC) van 0.8492, een verbetering van 28% ten opzichte van de vorige beste (0.6616). De KL Divergentie daalde significant naar 0.1638.
NUS3D: Bereikte een LCC van 0.609 en een AUC-Judd van 0.935, waarmee het MIMO-GAN met 129% versloeg in LCC.
3DVA: Bereikte een gemiddelde LCC van 0.762 met een lage variantie (0.093), waarmee het MIMO-GAN-CRF met 49% versloeg.
Scanpath Generatie: De RL-agent bereikte een NSS van 2.05 en een MultiMatch score van 0.51, wat aangeeft dat de gegenereerde temporele sequenties nauw aansluiten bij menselijk kijkgedrag.
Kwalitatieve Analyse: Visualisaties bevestigen dat het model correct semantisch saillante regio's identificeert (bijv. gargoyle-gezichten, octopus-tentakels) die geometrie-alleen methoden missen, terwijl het nog steeds aandacht besteedt aan geometrisch onderscheidende kenmerken.

Significantie en Claims
Het artikel beweert een nieuw paradigma te hebben gevestigd voor het modelleren van menselijke visuele aandacht op 3D-oppervlakken door geometrische en semantische verwerking te verenigen binnen een cognitief gemotiveerde architectuur. De auteurs stellen dat hun aanpak effectief de kloof overbrugt tussen laag-niveau geometrische onderscheidendheid en hoog-niveau semantische herkenning, en valideren dat dergelijke architecturen menselijke fixatiepatronen op 3D-objecten nauwkeuriger kunnen verklaren dan voorheen gebruikte geometrie-alleen of 2D-gebaseerde methoden. Het werk pioniert tevens de formulering van scanpath generatie direct op 3D-mesh topologieën.