Automated Testing of Prevalent 3D User Interactions in Virtual Reality Applications

Technische Zusammenfassung: Automatisierte Testung prävalenter 3D-Benutzerinteraktionen in Virtual-Reality-Anwendungen

Problemstellung
Virtual-Reality-Anwendungen (VR) stellen im Vergleich zu traditioneller 2D-Software einzigartige Herausforderungen für das Testen dar, primär aufgrund der Komplexität der Validierung räumlicher 3D-Interaktionen. Während bestehende VR-Testing-Tools (z. B. VRTest, VRGuide) Szenen navigieren und grundlegende UI-Ereignisse auslösen können, scheitern sie an der automatisierten Synthese realistischer 3D-Benutzereingaben, wie etwa dem Greifen und Manipulieren von Objekten mittels Hand-Controllern. Darüber hinaus erfassen aktuelle Metriken oft nicht robust die vielfältige Interaktionsabdeckung, und bestehende automatisierte Testansätze mangelt es an der Fähigkeit, systematisch komplexe, mehrstufige Interaktionssequenzen zu generieren und auszuführen. Diese Lücke lässt kritische Funktionalitäten ungetestet, einschließlich subtiler Konfigurationsfehler, die keine Laufzeitausnahmen auslösen, aber die Benutzererfahrung beeinträchtigen.

Methodik
Die Autoren schlagen einen modellbasierten Testansatz vor, der auf dem Interaction Flow Graph (IFG) und dem Tool XRintTest basiert.

1. Empirische Analyse und Kategorisierung: Die Autoren führten eine systematische empirische Studie von neun Open-Source-VR-Projekten durch, die mit dem Unity XR Interaction Toolkit (XRI) erstellt wurden. Sie identifizierten 456 distinkte 3D-Interaktionen und kategorisierten diese in vier prävalente Typen:

   • Manipulate (Manipulieren): Direktes Greifen und Bewegen von Objekten.
   • Fire (Feuern): Zusammengesetzte Aktionen, die ein anhaltendes Greifen gefolgt von einem Trigger-Druck erfordern (z. B. das Abfeuern einer Waffe).
   • Socket (Steckplatz): Interaktionen, die einen spezifischen Ziel-Socket involvieren (z. B. ein Schlüssel in einem Schloss), welche oft eine präzise Positionierung und kontinuierliches Greifen erfordern.
   • Custom (Benutzerdefiniert): Szenospezifische Interaktionen mit einzigartigen Einschränkungen.

2. Interaction Flow Graph (IFG): Um diese Interaktionen zu modellieren, führten die Autoren den IFG ein, einen gerichteten azyklischen Graphen, der 3D-Benutzerinteraktionen abstrahiert.

   • Knoten (Nodes) repräsentieren Interaktoren (z. B. den Benutzer/Controller) und Interactables (Zielobjekte).
   • Kanten (Edges) repräsentieren gültige Interaktionsflüsse, die mit Labels annotiert sind, welche die Sequenz der Aktionen definieren (z. B. kontinuierliches Greifen, Trigger-Druck), sowie mit Bedingungen (Conditions), die vorausgesetzte Interaktionen beschreiben, welche fortbestehen müssen.
   • Im Gegensatz zu früheren Modellen (z. B. XUI Graph), die Interaktionen als atomare Aktionen behandeln, erfasst der IFG mehrstufige, voneinander abhängige Verhaltensweisen und „Interaktions-Brokeragen“ (bei denen ein Objekt die Interaktion mit einem anderen vermittelt, wie etwa ein Schlüssel, der eine Tür öffnet).

3. XRintTest Tool: Dieses automatisierte Testing-Tool nutzt den IFG, um den Testprozess zu steuern:

   • Scene Parser: Analysiert statisch die Unity-Szenendefinition, um den IFG zu konstruieren und Mehrdeutigkeiten in Objektnamen aufzulösen.
   • Dynamic Explorer: Nutzt den IFG, um einen simulierten Benutzer durch die Szene zu führen. Er verwendet einen gierigen (greedy) Navigationsalgorithmus, um den Controller in die Nähe von Interactables zu positionieren und spezifische Aktionssequenzen (instantan oder kontinuierlich) auszuführen, um Interaktionen zu aktivieren.
   • Test Result Checker: Verifiziert den Erfolg durch die Überwachung von XRI-Event-Systemen und Laufzeitausnahmen. Entscheidend ist, dass er eine neuartige kollisionsbasierte Oracle (collision-based oracle) enthält, die „nicht-reaktive Interaktionen“ erkennt. Diese Oracle prüft, ob der Collider des Controllers mit dem Collider des Targets kollidiert; tritt eine solche Überschneidung auf, aber das erwartete Verhalten wird nicht ausgelöst, markiert das Tool dies als Konfigurationsfehler (z. B. einen fehlenden oder falsch konfigurierten Collider).

4. Benchmark (XRBench3D): Die Autoren konstruierten einen Benchmark-Datensatz bestehend aus zehn VR-Szenen aus den analysierten Projekten, die 456 distinkte Interaktionen umfassen, um eine standardisierte Evaluierung zu ermöglichen.

Wesentliche Beiträge

• VR-Interaktionskategorisierung: Die erste empirische Kategorisierung von 3D-Interaktionen in Open-Source-VR-Projekten, die Fire-, Manipulate-, Socket- und Custom-Muster identifiziert.
• Interaction Flow Graph (IFG): Ein neuartiges statisches Modell, das komplexe, mehrstufige 3D-Interaktionen und deren Abhängigkeiten formal darstellt und als Grundlage für die Testgenerierung dient.
• XRintTest: Eine automatisierte Testing-Technik, die den IFG für die dynamische Szenenexploration und die Ausführung von Interaktionen nutzt und in der Lage ist, sowohl Laufzeitausnahmen als auch Nicht-Exception-Konfigurationsfehler zu detektieren.
• XRBench3D: Ein neuer Benchmark-Datensatz von zehn VR-Szenen mit 456 Interaktionen zur Evaluierung von VR-Interaktions-Testing-Ansätzen.

Ergebnisse
Die Evaluierung auf dem XRBench3D-Benchmark lieferte die folgenden Ergebnisse:

• Effektivität: XRintTest erreichte eine Abdeckung von 93 % der prävalenten Interaktionen (fire, manipulate und socket) über alle Szenen hinweg. Im Gegensatz dazu erreichte eine Random-Exploration-Baseline lediglich 8 % Abdeckung. XRintTest war etwa 12 Mal effektiver als die Random-Baseline.
• Effizienz: XRintTest erreichte in den meisten Szenen innerhalb der ersten zwei Minuten eine nahezu vollständige Abdeckung, während die Random-Baseline selbst nach dem vollen Zeitbudget kaum über 40 % Abdeckung hinauskam. XRintTest war 6 Mal effizienter als die Random-Baseline.
• Fehlererkennung: XRintTest detektierte erfolgreich Laufzeitausnahmen und identifizierte – noch bedeutender – nicht-reaktive Interaktionsprobleme, die durch falsch konfigurierte Objekteigenschaften (z. B. fehlerhafte Collider-Einstellungen) verursacht wurden. In einem Fall entdeckte das Tool einen Bug, den die menschliche manuelle Exploration übersehen hatte.
• Design Smells: Die IFG-Analyse offenbarte potenzielle Interaktions-Design-Smells, wie etwa die Standard-"Everything"-Layer-Maske bei Socket-Interaktoren, was zu unbeabsichtigten Cross-Interaktionen und übermäßig dichten Interaktionsgraphen führen kann.

Signifikanz und Ansprüche
Das Paper behauptet, dass XRintTest eine kritische Lücke im VR-Softwaretesting schließt, indem es die automatisierte Generierung und Ausführung realistischer 3D-Benutzereingaben ermöglicht und somit über das bloße Auslösen von UI-Events hinausgeht. Die Autoren behaupten, dass ihr Ansatz eine systematische, informative Grundlage für automatisierte Teststrategien bietet, die der räumlichen und interaktiven Komplexität moderner VR-Umgebungen gerecht werden können. Durch die Einführung des IFG und der kollisionsbasierten Oracle demonstriert die Arbeit die Fähigkeit, subtile Konfigurationsfehler zu erkennen, die traditionelle Testmethoden oft übersehen. Die Autoren positionieren diese Arbeit als einen Schritt hin zu robusterem Testing für immersive Umgebungen und merken an, dass sich ihr aktueller Fokus zwar auf Unity-basierte VR konzentriert, die konzeptionellen Prinzipien jedoch auf breitere XR-Ökosysteme (AR/MR) und andere Engines wie Unreal anwendbar sind. Sie räumen Einschränkungen hinsichtlich zur Laufzeit generierter Objekte und benutzerdefinierter Interaktionsmuster ein und schlagen als zukünftige Arbeit den Einsatz von Reinforcement Learning vor, um diese Komplexitäten zu adressieren.