Enriching physical-virtual interaction in AR gaming by tracking identical objects via an egocentric partial observation frame

Sintesi Tecnica: Arricchire l'interazione fisico-virtuale nel gaming in AR tramite il tracciamento di oggetti identici attraverso un frame di osservazione parziale egocentrica

Definizione del Problema
I giochi in Realtà Aumentata (AR), in particolare quelli che utilizzano visori per la testa (HMD), spesso faticano a mantenere interazioni coerenti con gli oggetti fisici quando l'ambiente è dinamico. I sistemi esistenti si affidano tipicamente a ambienti statici pre-scansionati, al tracciamento continuo o a soluzioni basate su marker. Questi approcci presentano limitazioni significative nei contesti AR indossabili:

1. Adattabilità Dinamica: I layout del mondo reale sono frequentemente manipolati dagli utenti, eppure i sistemi standard non possono adattarsi senza una nuova scansione.
2. Vincoli Egocentrici: I visori AR si muovono con l'utente, impedendo i punti di vista fissi e stazionari richiesti dagli algoritmi tradizionali di Tracciamento Multiplo di Oggetti (MOT).
3. Oggetti Identici: Distinguere tra oggetti visivamente identici (ad esempio, più sedie o polatoi) è difficile per il tracciamento basato su feature, che spesso fallisce in assenza di un'osservazione ininterrotta o di sensori esterni.
4. Efficienza delle Risorse: L'osservazione continua della scena è computazionalmente costosa e inefficiente dal punto di vista energetico per i dispositivi indossabili limitati dalla batteria.

Metodologia
Gli autori propongono un framework leggero, basato sull'ottimizzazione, che re-identifica oggetti visivamente identici utilizzando un singolo frame di osservazione parziale egocentrica catturato da un visore AR. Il sistema opera sotto l'assunto che, nei contesti di gioco AR, gli oggetti mantengano relazioni spaziali relativamente stabili (posizioni e orientamenti relativi) nel tempo.

La pipeline tecnica consiste nei seguenti componenti:

1. Stima della Posa 6DOF: Il sistema stima innanzitutto le pose a 6 Gradi di Libertà (6DOF) degli oggetti nel sistema di coordinate della telecamera. Ciò può utilizzare soluzioni standard (ad esempio, Objectron) o una pipeline di computer vision personalizzata che coinvolge segmentazione (SAM), rappresentazione vettoriale densa (CLIP) e rendering differenziabile.
2. Trasformazione delle Coordinate: Le pose degli oggetti rilevati vengono trasformate dal sistema di coordinate della telecamera al sistema di coordinate del mondo, utilizzando la posa nota del visore AR.
3. Partizionamento e Pruning tramite Diagramma di Voronoi: Per gestire la complessità computazionale in scene ampie, l'ambiente viene partizionato in siti di Voronoi basati su cluster semantici. Una strategia di pruning filtra lo spazio di ricerca per i potenziali etichette degli oggetti. Il sistema calcola la probabilità che un sito sia rilevante in base alla distanza della telecamera dal centro del sito, filtrando i siti distanti che hanno meno probabilità di fornire rilevamenti accurati.
4. Formulazione di Programmazione Intera: Il nucleo del metodo formula l'assegnazione dell'etichetta dell'oggetto come un compito di programmazione intera. L'obiettivo è minimizzare una funzione di costo che allinei gli oggetti rilevati nel layout modificato con gli oggetti possibili nel layout iniziale. La funzione di costo comprende tre termini:
   • Costo di Traslazione ($C_t$): Misura lo spostamento orizzontale ($x, z$) tra gli oggetti possibili e quelli rilevati, normalizzato rispetto alla lunghezza della diagonale della scena.
   • Costo di Rotazione ($C_r$): Misura la differenza angolare attorno all'asse y, normalizzata utilizzando una funzione seno per gestire la simmetria e il vincolo di rotazione massima di 180°.
   • Costo di Dimensione ($C_d$): Confronta le dimensioni del bounding box (larghezza, altezza, profondità) degli oggetti possibili e di quelli rilevati per gestire potenziali discrepanze di categoria.
     L'obiettivo è minimizzare il costo totale pesato ($C_{i \to j}$) soggetto a vincoli che garantiscano che ogni oggetto rilevato sia assegnato esattamente a un'etichetta e che ogni etichetta sia utilizzata al massimo una volta.

Contributi Chiave

1. Framework Innovativo: Un approccio leggero, basato sull'ottimizzazione, per la re-identificazione di oggetti visivamente identici in scene AR utilizzando un singolo frame di osservazione parziale egocentrica, eliminando la necessità di tracciamento continuo o dispositivi esterni.
2. Formulazione Algoritmica: Il problema è formulato come un compito di programmazione intera basato sulla coerenza spaziale, aumentato da una strategia di pruning basata sul diagramma di Voronoi per migliorare l'efficienza computazionale.
3. Validazione: L'approccio è validato attraverso esperimenti sintetici quantitativi (con livelli variabili di complessità e rumore) ed esperimenti nel mondo reale su Microsoft HoloLens 2. Inoltre, tre dimostrazioni qualitative nel mondo reale (un gioco AR "Farm-to-Table", uno scenario di storytelling AR e una simulazione di consegna robotica) illustrano la generalizzabilità del metodo.

Risultati

• Esperimenti Sintetici: In ambienti simulati con diversi livelli di rumore (traslazione e rotazione), il metodo ha raggiunto un'accuratezza del 91% riducendo il tempo di calcolo del 50% rispetto agli approcci senza pruning. Gli studi di ablazione hanno confermato che il costo di traslazione ha l'impatto più significativo sull'accuratezza, seguito dai costi di rotazione e dimensione.
• Esperimenti nel Mondo Reale: Su HoloLens 2, il sistema ha raggiunto accuratezze medie dell'80,82% (Dispensa), 88,51% (Mensa) e 80,10% (Aula). Il costo temporale per risolvere le ID tramite programmazione intera sul dispositivo è stato compreso tra 2,82 ms e 5,66 ms.
• Dimostrazioni Qualitative: Il sistema ha mantenamente con successo la logica di gioco in un gioco Farm-to-Table nonostante i riarrangiamenti fisici di polatoi e recinti identici. Ha inoltre permesso a personaggi virtuali di rimanere seduti su sedie reali dopo che le sedie erano state spostate e ha facilitato un robot di consegna nell'identificare una specifica sedia bersaglio tra opzioni identiche.

Significato e Rivendicazioni
Il documento sostiene che questo approccio affronta una lacuna critica nel gaming AR: la capacità di supportare ambienti fisici dinamici e interazioni fisico-virtuali fluide senza l'overhead di nuove scansioni, l'osservazione continua o sistemi ingombranti basati su marker. Sfruttando la coerenza spaziale e la programmazione intera, il metodo consente un'interazione fluida in scenari che coinvolgono oggetti identici, che sono onnipresenti sia nel mondo fisico che in quello virtuale. Gli autori sottolineano che, sebbene il metodo dipenda da assunti specifici (ad esempio, oggetti che si muovono principalmente su un piano 2D e ruotano solo attorno all'asse y), offre una soluzione pratica e senza marker per migliorare l'immersione nelle applicazioni AR in cui è richiesta la persistenza dell'identità dell'oggetto. Il lavoro suggerisce che tali capacità sono essenziali per le esperienze AR di prossima generazione, inclusi lo storytelling e la robotica, dove i mondi fisico e virtuale devono rimanere sincronizzati.