Offline Dynamic AOI Generation and Runtime Gaze Mapping for 360° Video in Virtual Reality: A Systems and Feasibility Study
Questo articolo presenta e valida una pipeline dall'offline al runtime per l'eye-tracking in VR a 360° che utilizza rilevatori open-vocabulary per generare aree di interesse dinamiche ed esegue una mappatura dello sguardo sincronizzata con i fotogrammi, confrontando modelli come Grounding DINO e YOLO-World per bilanciare la copertura del rilevamento con l'efficienza di elaborazione, identificando al contempo le principali sfide tecniche per futuri perfezionamenti.
Articolo originale sotto licenza CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
Immagina di cercare di capire cosa stia guardando una persona mentre indossa un visore che le mostra un mondo a 360 gradi. In un film piatto, puoi facilmente disegnare un rettangolo attorno a una persona o a un'auto e dire: "Sta guardando questo". Ma in un video sferico, il mondo avvolge lo spettatore. Gli oggetti possono allungarsi, rimpicciolirsi o dividersi a metà mentre si muovono attraverso i bordi dell'immagine. Per studiare come le persone prestano attenzione in questi ambienti immersivi, i ricercatori hanno bisogno di un modo per identificare automaticamente questi bersagli in movimento e tracciare gli occhi dello spettatore mentre li seguono. Questa è la sfida centrale dell'eye-tracking nella realtà virtuale: creare una mappa affidabile di ciò che è importante in una scena che cambia costantemente e che avvolge l'utente.
Un team di ricercatori dell'Università di Cadice, in Spagna, ha costruito un nuovo sistema per risolvere questo problema. Hanno creato un processo in due parti che separa il lavoro pesante dell'identificazione degli oggetti dal momento effettivo in cui la persona indossa il visore. Per prima cosa, prendono un video a 360 gradi e usano potenti programmi informatici per scansionarlo, cercando cose specifiche come persone, animali o oggetti basandosi su semplici descrizioni testuali. Questi programmi disegnano scatole invisibili attorno agli elementi che trovano. Il team trasforma poi queste scatole in una speciale mappa digitale che il visore può leggere. Successivamente, quando un partecipante indossa il visolo per guardare il video, il sistema usa questa mappa per sapere istantaneamente quale oggetto la persona sta guardando, fotogramma per fotogramma, senza dover eseguire il pesante lavoro computazionale mentre il video è in riproduzione.
Per testare se questo sistema funziona, i ricercatori lo hanno provato con tre diversi tipi di video: una stanza con persone e laptop, una scena in una foresta e un filmato naturalistico con leoni e gazzelle. Hanno anche testato tre diversi programmi informatici per vedere quale fosse il migliore nel trovare gli oggetti. Un programma, chiamato Groundó DINO, è stato il più accurato, trovando il maggior numero di oggetti anche in scene difficili, ma ha impiegato molto tempo per elaborare il video. Un altro programma, YOLO-World, è stato incredibilmente veloce — circa nove volte più veloce del primo — ma ha mancato molti oggetti, specialmente i piccoli animali nel filmato naturalistico. Una terza opzione, OWLv2, si è collocata in una posizione intermedia. I ricercatori hanno scoperto che nessun programma era perfetto per ogni situazione; la scelta migliore dipendeva interamente da ciò che era contenuto nel video.
Quando hanno testato il sistema completo con otto volontari, la tecnologia ha funzionato senza intoppi. Il visore ha tracciato con successo dove i partecipanti stavano guardando e ha abbinato quegli sguardi agli oggetti che il computer aveva identificato. Il sistema ha registrato ogni volta che una persona si concentrava su qualcosa, creando un registro dettagliato della sua attenzione. Tuttavia, lo studio ha anche rivelato dove il sistema incontra difficoltà. Nel video naturalistico, il sistema spesso non riusciva a notare gli animali. Ciò accadeva perché gli animali erano piccoli, si muovevano velocemente e apparivano talvolta in parti del video dove l'immagine è naturalmente distorta. I programmi informatici facevano fatica a trovare questi bersagli minuscoli e mutevoli, il che significa che il sistema ha perso molte delle occasioni in cui i partecipanti stavano effettivamente guardando gli animali.
I ricercatori hanno concluso che il loro metodo è una solida base per studi futuri. Dimostra che è possibile creare automaticamente queste mappe di attenzione e utilizzarle in esperimenti di realtà virtuale in tempo reale. La separazione tra la preparazione offline e l'esperimento dal vivo rende il processo affidabile e ripetibile. Tuttavia, hanno anche chiarito che la tecnologia non è ancora pronta per ogni tipo di video. Sebbene funzioni bene per scene chiare e strutturate come una stanza con persone, deve ancora migliorare per gestire oggetti piccoli e veloci in ambienti naturali complessi. Lo studio non sostiene di aver risolto completamente il problema dell'eye-tracking nel video a 360 gradi, ma ha fornito un modello funzionante e un elenco chiaro degli ostacoli specifici che devono ancora essere superati.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.