Automated Testing of Prevalent 3D User Interactions in Virtual Reality Applications

Sintesi Tecnica: Test Automatizzati di Prevalenti Interazioni Utente 3D in Applicazioni di Realtà Virtuale

Definizione del Problema
Le applicazioni di Realtà Virtuale (VR) presentano sfide di testing uniche rispetto al software 2D tradizionale, principalmente a causa della complessità della validazione delle interazioni spaziali 3D. Sebbene gli strumenti di testing VR esistenti (ad esempio, VRTest, VRGuide) possano navigare nelle scene e attivare eventi UI di base, essi non riescono a sintetizzare automaticamente input utente 3D realistici, come afferrare e manipolare oggetti tramite controller manuali. Inoltre, le metriche attuali spesso non riescono a catturare in modo robusto una copertura delle interazioni diversificata, e gli approoli di testing automatizzato esistenti mancano della capacità di generare ed eseguire sistematicamente sequenze di interazione complesse e multi-step. Questa lacuna lascia parti critiche della funzionalità non testate, incluse sottili difetti di configurazione che non innescano eccezioni a runtime ma compromettono l'esperienza dell'utente.

Metodologia
Gli autori propongono un approccio di model-based testing centrato sull'Interaction Flow Graph (IFG) e sullo strumento XRintTest.

1. Analisi Empirica e Categorizzazione: Gli autori hanno condotto uno studio empirico sistematico su nove progetti VR open-source costruiti con l'Unity XR Interaction Toolkit (XRI). Hanno identificato 456 interazioni 3D distinte e le hanno categorizzate in quattro tipi prevalenti:

   • Manipulate (Manipolazione): Afferrare e muovere direttamente l'oggetto.
   • Fire (Fuoco/Attivazione): Azioni composte che richiedono una presa persistente seguita dalla pressione di un grilletto (ad esempio, sparare con una pistola).
   • Socket (Incastro): Interazioni che coinvolgono un target specifico (socket), come una chiave in una serratura, che spesso richiedono un posizionamento preciso e una presa continua.
   • Custom (Personalizzata): Interazioni specifiche per lo scenario con vincoli unici.

2. Interaction Flow Graph (IFG): Per modellare queste interazioni, gli autori hanno introdotto l'IFG, un grafo aciclico diretto che astrae le interazioni utente 3D.

   • I Nodi rappresentano gli interattori (ad esempio, l'utente/controller) e gli interattibili (oggetti target).
   • Gli Archi rappresentano flussi di interazione validi, annotati con Etichette (Labels) che definiscono la sequenza di azioni (ad esempio, presa continua, pressione del grilletto) e Condizioni (interazioni prerequisito che devono persistere).
   • A differenza dei modelli precedenti (ad esempio, XUI Graph) che trattano le interazioni come azioni atomiche, l'IFG cattura comportamenti multi-step e interdipendenti e "brokeraggi di interazione" (dove un oggetto media l'interazione con un altro, come una chiave che apre una porta).

3. Strumento XRintTest: Questo strumento di testing automatizzato utilizza l'IFG per guidare il processo di testing:

   • Scene Parser: Analizza staticamente la definizione della scena Unity per costruire l'IFG, risolvendo le ambiguità nei nomi degli oggetti.
   • Dynamic Explorer: Utilizza l'IFG per guidare un utente simulato attraverso la scena. Impiega un algoritmo di navigazione greedy per posizionare il controller vicino agli interattibili ed esegue specifiche sequenze di azioni (istantanee o continue) per attivare le interazioni.
   • Test Result Checker: Verifica il successo monitorando i sistemi di eventi XRI e le eccezioni a runtime. Fondamentalmente, include un nuovo oracolo basato sulla collisione che rileva "interazioni non rispondenti". Questo oracolo controlla se il collider del controller interseca il collider del target; se si verifica un'intersezione ma il comportamento previsto non viene attivato, segnala un difetto di configurazione (ad esempio, un collider mancante o configurato erroneamente).

4. Benchmark (XRBench3D): Gli autori hanno costruito un dataset di benchmark composto da dieci scene VR dai progetti analizzati, comprendente 456 interazioni distinte, per facilitare una valutazione standardizzata.

Contributi Chiave

• Categorizzazione delle Interazioni VR: La prima categorizzazione empirica delle interazioni 3D in progetti VR open-source, identificando pattern di tipo fire, manipulate, socket e custom.
• Interaction Flow Graph (IFG): Un nuovo modello statico che rappresenta formalmente interazioni 3D complesse e multi-step e le loro dipendenze, fungendo da fondamento per la generazione dei test.
• XRintTest: Una tecnica di testing automatizzato che sfrutta l'IFG per l'esplorazione dinamica della scena ed l'esecuzione delle interazioni, capace di rilevare sia eccezioni a runtime che difetti di configurazione che non generano eccezioni.
• XRBench3D: Un nuovo dataset di benchmark di dieci scene VR con 456 interazioni per valutare gli approcci di testing delle interazioni VR.

Risultati
La valutazione sul benchmark XRBench3D ha prodotto i seguenti risultati:

• Efficacia: XRintTest ha raggiunto il 93% di copertura delle interazioni prevalenti (fire, manipulate e socket) in tutte le scene. Al contrario, un baseline di esplorazione casuale ha ottenuto solo l'8% di copertura. XRintTest è stato circa 12 volte più efficace del baseline casuale.
• Efficienza: XRintTest ha raggiunto una copertura quasi completa nella maggior parte delle scene entro i primi due minuti di testing, mentre il baseline casuale ha faticato a superare il 40% di copertura anche dopo l'intero budget temporale. XRintTest è stato 6 volte più efficiente del baseline casuale.
• Rilevamento Bug: XRintTest ha rilevato con successo eccezioni a runtime e, cosa più significativa, ha identificato problemi di interazione non rispondente causati da proprietà di oggetti configurate erroneamente (ad esempio, impostazioni del collider errate). In un caso, lo strumento ha rilevato un bug che l'esplorazione manuale umana aveva mancato.
• Design Smells: L'analisi dell'IFG ha rivelato potenziali "smell" di design delle interazioni, come il layer mask predefinito "Everything" sugli interattori socket, che può portare a interazioni incrociate indesiderate e grafi di interazione eccessivamente densi.

Significatività e Rivendicazioni
Il documento afferma che XRintTest colma una lacuna critica nel testing del software VR consentendo la generazione ed esecuzione automatizzata di input utente 3D realistici, andando oltre il semplice trigger di eventi UI. Gli autori asseriscono che il loro approccio fornisce una base sistematica e informativa per strategie di testing automatizzato in grado di gestire la complessità spaziale e interattiva dei moderni ambienti VR. Introducendo l'IFG e l'oracolo basato sulla collisione, il lavoro dimostra la capacità di rilevare sottili difetti di configurazione che i metodi di testing tradizionali spesso trascurano. Gli autori pongono questo lavoro come un passo verso un testing più robusto per gli ambienti immersivi, notando che, sebbene l'attuale focus sia sulla VR basata su Unity, i principi concettuali sono applicabili a più ampi ecosistemi XR (AR/MR) e altri motori come Unreal. Riconoscono i limiti riguardanti gli oggetti generati a runtime e i pattern di interazione custom, suggerendo lavori futuri che coinvolgano l'apprendimento per rinforzo (reinforcement learning) per affrontare tali complessità.