Int3DNet: Scene-Motion Cross Attention Network for 3D Intention Prediction in Mixed Reality

1. Il Problema

Nella Realtà Mista (MR), la capacità di un sistema di anticipare le intenzioni dell'utente è fondamentale per garantire un'interazione fluida, proattiva e a bassa latenza. Tuttavia, l'attuale ricerca sull'interpretazione delle intenzioni in MR presenta diverse limitazioni:

• Dipendenza da dati completi: Molti approcci esistenti richiedono il tracciamento del corpo intero o dati di movimento ricchi, difficili da ottenere in modo affidabile con i visori MR attuali (HMD), che offrono solitamente solo dati sparsi (testa e mani).
• Percezione basata sugli oggetti: I metodi precedenti spesso tentano di segmentare e tracciare oggetti specifici nella scena prima di prevedere l'intenzione. Questo introduce overhead computazionale e latenza, critici nei dispositivi MR con risorse limitate.
• Mancanza di contesto spaziale: Molti approcci si basano esclusivamente sul movimento o sull'attenzione visiva (gaze), ignorando la geometria complessa dell'ambiente fisico, il che porta a errori in scenari con ostacoli o oggetti parzialmente occlusi.

L'obiettivo è sviluppare un sistema in grado di prevedere l'area di interazione futura (intention area) direttamente dalla geometria della scena e dai dati di movimento sparsi, senza bisogno di una percezione esplicita a livello di oggetto.

2. Metodologia: Int3DNet

Gli autori propongono Int3DNet, una rete neurale che fonde le cue di movimento sparse con la rappresentazione geometrica della scena tramite un meccanismo di Cross-Attention.

Input del Sistema

Il modello riceve tre tipi di dati:

1. Geometria della scena: Una nuvola di punti (point cloud) $S$ ottenuta tramite sensori di profondità dell'HMD.
2. Traiettorie di movimento: Le posizioni 3D e le velocità lineari della testa e di entrambe le mani ($j_t, v_t$) per una finestra temporale passata.
3. Orientamento della testa: Il vettore di orientamento della testa ($h_t$), utilizzato come proxy per l'attenzione visiva (gaze), dato che il tracciamento oculare non è sempre disponibile o affidabile sugli HMD.

Architettura della Rete

L'architettura (illustrata nella Fig. 2 del paper) è composta da tre moduli principali:

1. Codifica della Scena: La nuvola di punti viene elaborata da un encoder PointNet++ per estrarre caratteristiche spaziali multiscala, risultando in una matrice di caratteristiche della scena $F_{scene}$.
2. Codifica del Movimento:
   • Le traiettorie di testa e mani vengono trasformate tramite Trasformata Discreta del Coseno (DCT) per ridurre la ridondanza temporale ed evidenziare le frequenze dominanti.
   • Le sequenze trasformate vengono codificate da un Spatio-Temporal Graph Convolutional Network (ST-GCN).
   • L'orientamento della testa viene codificato tramite un MLP.
   • Le caratteristiche di movimento e orientamento vengono fuse in un'unica rappresentazione $F_{pose}$.
3. Fusione Cross-Attention:
   • Viene applicato un meccanismo di Cross-Attention lineare. Le caratteristiche della scena ($F_{scene}$) fungono da Query, mentre le caratteristiche di movimento codificate ($F_{pose}$) fungono da Key e Value.
   • Questo meccanismo permette alla rete di "prestare attenzione" alle parti della scena rilevanti in base al movimento dell'utente, producendo una mappa di calore 3D ($i \in \mathbb{R}^N$) che indica la probabilità di interazione futura per ogni punto della scena.

Funzione di Perdita (Loss Function)

Per gestire lo sbilanciamento estremo tra punti di interesse (rari) e sfondo, il modello è addestrato con una funzione di perdita composita:

• Binary Cross-Entropy (BCE) pesata: Per gestire lo sbilanciamento delle classi.
• Focal Loss: Per concentrare l'addestramento sugli esempi difficili.
• Dice Loss: Per migliorare la coerenza spaziale e l'overlap tra la previsione e il ground truth.

3. Contributi Chiave

1. Nuova Architettura per MR: Int3DNet è il primo approccio che integra direttamente la geometria della scena grezza con cue di movimento sparse (testa/mani) per la previsione 3D delle intenzioni, ottimizzato per i vincoli pratici degli HMD.
2. Robustezza in Ambienti Complessi: A differenza dei lavori precedenti limitati a scene semplici (es. tavoli), il metodo è stato validato su scenari complessi e disordinati, dimostrando capacità di generalizzazione su ambienti non visti durante l'addestramento.
3. Applicazione Pratica (VQA): Dimostrazione di un pipeline di Visual Question Answering (VQA) basato sulle intenzioni. L'area di intenzione prevista viene proiettata su un'immagine 2D e utilizzata per "cortare" (crop) l'immagine prima di inviarla a un Large Vision-Language Model (VLM), riducendo drasticamente il rumore e i token visivi necessari.

4. Risultati Sperimentali

Il metodo è stato valutato su due dataset pubblici: MoGaze (scene semplici) e CIRCLE (scene complesse e disordinate).

• Metriche: Sono state utilizzate Similarità (SIM), AUC, mIoU e Dice Score.
• Confronto con Baseline: Int3DNet ha superato costantemente i modelli baseline, tra cui:
  • Head Orientation Model: Basato solo sul raggio di proiezione della testa.
  • Motion Forecast Model: Basato sulla previsione futura della traiettoria della mano.
  • Only Scene Model: Basato solo sulla geometria statica.
• Performance Temporali: Il modello mantiene prestazioni superiori fino a 1500 ms prima dell'interazione nel dataset CIRCLE. Nel dataset MoGaze, le prestazioni sono superiori fino a 1200 ms; oltre tale soglia, la natura ambigua delle sequenze di movimento continue nel dataset riduce il vantaggio, ma il modello rimane competitivo.
• Ablation Study:
  • La rimozione del meccanismo di Cross-Attention (sostituito da un semplice MLP) ha causato un calo significativo delle prestazioni, confermando l'importanza della fusione contestuale.
  • L'uso della direzione dell'attenzione corretta (Scene come Query, Motion come Key/Value) è risultato cruciale; invertire i ruoli ha peggiorato le prestazioni in ambienti disordinati.
  • La combinazione di tutte e tre le loss (BCE, Focal, Dice) ha fornito il miglior compromesso tra accuratezza di rilevamento e sovrapposizione spaziale.

5. Significato e Implicazioni

• Efficienza Computazionale: Evitando la segmentazione esplicita degli oggetti e lavorando direttamente sulla nuvola di punti, Int3DNet riduce la latenza e il carico computazionale, rendendolo adatto per l'esecuzione su dispositivi MR.
• Proattività: La capacità di prevedere l'intenzione con un anticipo di 0.5-1.5 secondi permette ai sistemi MR di preparare risposte o caricare risorse prima che l'utente completi l'azione, migliorando l'immersione.
• Generalizzazione: Il metodo dimostra di funzionare bene anche su dati non visti (unseen scenes), un requisito fondamentale per il deployment nel mondo reale.
• Integrazione con AI Generativa: La dimostrazione VQA mostra come la previsione delle intenzioni possa ottimizzare l'uso di modelli fondazione (Foundation Models), riducendo il numero di candidati irrilevanti e i costi di calcolo (riduzione del 93.6% dei token visivi).

In conclusione, Int3DNet rappresenta un passo avanti significativo verso sistemi MR proattivi e intelligenti, capaci di comprendere l'intenzione umana attraverso la fusione diretta di movimento e contesto spaziale, superando i limiti degli approcci basati su oggetti o su dati di movimento completi.