Learning Human Visual Attention on 3D Surfaces through Geometry-Queried Semantic Priors

Sintesi Tecnica: Apprendimento dell'Attenzione Visiva Umana su Superfici 3D attraverso Prior Semantici Interrogati dalla Geometria

Problematica
L'attenzione visiva umana sugli oggetti tridimensionali deriva dall'interazione tra l'elaborazione bottom-up geometrica (reazione a spigoli, protuberanze e discontinuità superficiali) e il riconoscimento semantico top-down (identificazione di volti, parti funzionali o significato contestuale). Gli esistenti metodi di predizione della salienza 3D soffrono di una dicotomia critica: gli approcci geometrici artigianali (ad es. curvatura gaussiana, salienza del mesh) non riescono a spiegare perché gli esseri umani fissino regioni semanticamente significative ma geometricamente poco rilevanti (ad es. gli occhi di un personaggio o del testo su una superficie piatta). Al contrario, i recenti approcci di deep learning utilizzano o encoder geometrici privi di consapevolezza semantica o modelli semantici 2D che ignorano la topologia della superficie 3D. Inoltre, i modelli esistenti di generazione di scanpath sono limitati alle immagini 2D e non rispettano la connettività del mesh 3D o le dinamiche di inibizione del ritorno.

Metodologia: SemGeo-AttentionNet
Gli autori propongono SemGeo-AttentionNet, un'architettura a doppio stream progettata per formalizzare esplicitamente la dicotomia bottom-up/top-down attraverso una fusione cross-modale asimmetrica.

1. Prior Semantici tramite Distillazione di Diffusione:

   • Per iniettare la consapevolezza semantica senza dati 3D etichettati, il metodo sfrutta modelli di diffusione text-to-image pre-addestrati (Stable Diffusion) e vision transformer (DINOv2).
   • Il mesh in input viene renderizzato da 100 viewpoint. Per ogni vista, mappe condizionate dalla geometria (profondità e normali di superficie) guidano un processo di inpainting di diffusione condizionale.
   • Le attivazioni del decoder U-Net intermedio vengono aggregate dal 75% finale dei passi di denoising per catturare dettagli semantici fini. Queste vengono fuse con le feature di DINOv2 per creare descrittori per-pixel a 2048 dimensioni.
   • Un operatore di unproiezione mappa queste feature 2D nuovamente sui vertici del mesh 3D utilizzando l'aggregazione ball-query, creando descrittori semantici per-vertice ($S$). Questa pipeline viene eseguita offline, trattando la diffusione come un prior percettivo congelato.

2. Codifica Geometrica:

   • Il mesh viene campionato uniformemente (2.048 punti) per estrarre descrittori geometrici (posizione e normali).
   • Questi sono elaborati da Point Transformer V3, che cattura la struttura spaziale multi-scala attraverso voxelizzazione e curve di riempimento dello spazio, producendo feature geometriche a 32 dimensioni ($H_{geo}$).

3. Fusione Asimmetrica Geometria-Semantica:

   • L'innovazione principale è un meccanismo di cross-attention asimmetrica in cui le feature geometriche agiscono come query e le feature semantiche agiscono come key e value.
   • Questo formalizza il principio cognitivo per cui la distintività geometrica bottom-up guida il recupero della conoscenza semantica top-down.
   • Una connessione residua assicura che le feature geometriche non vengano mai scartate, evitando che il modello collassi in un puro riconoscimento semantico. Un head MLP finale predice i punteggi di salienza per-vertice.

4. Generazione di Scanpath Temporali tramite Reinforcement Learning:

   • Il framework è esteso per generare scanpath temporali (sequenze di fissazioni) utilizzando un Processo Decisionale di Markov Parzialmente Osservabile (POMDP).
   • Stato: Vertice corrente e un vettore di conteggio delle visite.
   • Azione: Movimento verso uno dei $K=6$ vicini più prossimi sulla superficie del mesh, rispettando la topologia 3D anziché le griglie euclidee.
   • Ricompensa: Una funzione composita che bilancia l'exploitation della salienza, l'inibizione del ritorno (penalizzando le rivisite), bonus di esplorazione per nuove regioni e diversità.
   • Addestramento: La policy è ottimizzata utilizzando l'Ottimizzazione della Politica Prossimale (PPO).

Contributi Chiave

• Prior Semantici Distillati dalla Diffusione: La prima applicazione di feature di diffusione condizionate dalla geometria per abilitare il grounding semantico zero-shot nella modellazione dell'attenzione 3D.
• Architettura di Fusione Asimmetrica: Un meccanione innovativo in cui la geometria interroga la semantica, modellando esplicitamente la dicotomia cognitiva bottom-up/top-down.
• RL per Scanpath Topology-Aware: Un framework di reinforcement learning per la generazione di scanpath 3D che rispetta la connettività del mesh e incorpora le dinamiche di inibizione del ritorno, colmando una lacuna nei modelli esistenti limitati al 2D.

Risultati Sperimentali
Il metodo è stato valutato su tre dataset: SAL3D, NUS3D e 3DVA.

• SAL3D: Il modello ha raggiunto un Coefficiente di Correlazione (CC) di 0.8492, un miglioramento del 28% rispetto al precedente migliore (0.6616). La divergenza KL è diminuita significativamente a 0.1638.
• NUS3D: Ha ottenuto un LCC di 0.609 e un AUC-Judd di 0.935, superando MIMO-GAN del 129% in LCC.
• 3DVA: Ha ottenuto un LCC medio di 0.762 con bassa varianza (0.093), superando MIMO-GAN-CRF del 49%.
• Generazione di Scanpath: L'agente RL ha ottenuto un NSS di 2.05 e un punteggio MultiMatch di 0.51, indicando che le sequenze temporali generate corrispondono strettamente al comportamento di visione umano.
• Analisi Qualitativa: Le visualizzazioni confermano che il modello identifica correttamente le regioni semanticamente salienti (ad es. volti di gargoyle, tentacoli di polpo) che i metodi puramente geometrici perdono, pur prestando attenzione alle caratteristiche geometricamente distinte.

Significatività e Rivendicazioni
Il documento sostiene di aver stabilito un nuovo paradigma per la modellazione dell'attenzione visiva umana sulle superfici 3D, unificando l'elaborazione geometrica e semantica all'interno di un'architettura motivata cognitivamente. Gli autori affermano che il loro approccio riesce efficacementamente a colmare il divario tra la distintività geometrica di basso livello e il riconoscimento semantico di alto livello, validando il fatto che tali architetture possono spiegare i pattern di fissazione umana sugli oggetti 3D in modo più accurato rispetto ai precedenti metodi basati solo sulla geometria o sul 2D. Il lavoro pionieristicamente formula la generazione di scanpath direttamente sulle topologie di mesh 3D.