Automated Testing of Prevalent 3D User Interactions in Virtual Reality Applications

기술 요약: VR 애플리케이션 내 주요 3D 사용자 상호작용의 자동화 테스트

문제 정의
가상 현실(VR) 애플리케이션은 공간적인 3D 상호작용을 검증해야 하는 복잡성으로 인해 전통적인 2D 소프트웨어와 비교하여 독특한 테스트 과제를 제시한다. 기존의 VR 테스트 도구(예: VRTest, VRGuide)는 장면을 탐색하고 기본적인 UI 이벤트를 트리거할 수는 있지만, 손에 든 컨트롤러를 통해 물체를 잡거나 조작하는 것과 같은 현실적인 3D 사용자 입력을 자동으로 합성하는 데는 실패한다. 또한, 현재의 메트릭은 다양한 상호작용 커버리지를 견고하게 포착하지 못하며, 기존의 자동화된 테스트 접근 방식은 복잡한 다단계 상호작용 시퀀스를 체계적으로 생성하고 실행하는 능력이 부족하다. 이러한 격차로 인해 런타임 예외를 발생시키지는 않지만 사용자 경험을 저해하는 미묘한 설정 결함(configuration defects)을 포함한 핵심 기능들이 테스트되지 않은 채 남게 된다.

방법론
저자들은 **상호작용 흐름 그래프(Interaction Flow Graph, IFG)**와 XRintTest 도구를 중심으로 한 모델 기반 테스트 접근 방식을 제안한다.

1. 경험적 분석 및 분류: 저자들은 Unity의 XR Interaction Toolkit(XRI)으로 구축된 9개의 오픈 소스 VR 프로젝트에 대해 체계적인 경험적 연구를 수행했다. 이들은 456개의 구별되는 3D 상호작용을 식별하고 이를 네 가지 주요 유형으로 분류했다:

   • 조작(Manipulate): 직접적인 물체 잡기 및 이동.
   • 발사(Fire): 지속적인 잡기 동작 이후 트리거 누르기가 필요한 복합 동작 (예: 총 쏘기).
   • 소켓(Socket): 특정 타겟 소켓을 포함하는 상호작용 (예: 자물쇠에 열쇠 넣기), 종종 정밀한 위치 선정과 지속적인 잡기를 요구함.
   • 커스텀(Custom): 고유한 제약 조건을 가진 시나리오별 상호작용.

2. 상호작용 흐름 그래프 (IFG): 이러한 상호작용을 모델링하기 위해 저자들은 3D 사용자 상호작용을 추상화하는 유향 비순환 그래프인 IFG를 도입했다.

   • **노드(Nodes)**는 상호작용자(예: 사용자/컨트롤러)와 상호작용 대상(대상 물체)을 나타낸다.
   • **엣지(Edges)**는 유효한 상호작용 흐름을 나타내며, 동작의 순서(예: 지속적인 잡기, 트리거 누르기)를 정의하는 **레이블(Labels)**과 반드시 지속되어야 하는 전제 조건인 **조건(Conditions)**이 주석으로 달린다.
   • 상호작용을 원자적 동작으로 취급하는 이전 모델(예: XUI Graph)과 달리, IFG는 다단계의 상호 의존적 동작과 "상호작용 중개(interaction brokerages)"(예: 열쇠가 문을 여는 것처럼 한 물체가 다른 물체와의 상호작용을 매개하는 경우)를 포착한다.

3. XRintTest 도구: 이 자동화된 테스트 도구는 IFG를 활용하여 테스트 프로세스를 구동한다:

   • 장면 파서(Scene Parser): Unity 장면 정의를 정적으로 분석하여 IFG를 구축하고, 객체 이름의 모호성을 해결한다.
   • 동적 탐색기(Dynamic Explorer): IFG를 사용하여 시뮬레이션된 사용자가 장면을 탐색하도록 유도한다. 이는 그리디(greedy) 탐색 알고리즘을 사용하여 컨트롤러를 상호작용 대상 근처에 배치하고, 특정 동작 시퀀스(즉시 또는 지속적)를 실행하여 상호작용을 활성화한다.
   • 테스트 결과 확인기(Test Result Checker): XRI 이벤트 시스템과 런타임 예외를 모니터링하여 성공 여부를 검증한다. 결정적으로, 이 도구는 "무응답 상호작용(unresponsive interactions)"을 감지하는 새로운 **충돌 기반 오라클(collision-based oracle)**을 포함한다. 이 오라클은 컨트롤러의 콜라이더가 대상의 콜라이더와 교차하는지 확인하며, 교차가 발생했음에도 예상된 동작이 트리거되지 않으면 설정 결함(예: 콜라이더 설정 누락 또는 잘못된 설정)을 플래그로 표시한다.

4. 벤치마크 (XRBench3D): 저자들은 표준화된 평가를 용이하게 하기 위해 분석된 프로젝트의 10개 VR 장면을 포함하며 456개의 고유한 상호작용을 담은 벤치마크 데이터셋을 구축했다.

주요 기여

• VR 상호작용 분류: 오픈 소스 VR 프로젝트의 3D 상호작용을 최초로 경험적으로 분류하여 발사, 조작, 소켓, 커스텀 패턴을 식별했다.
• 상호작용 흐름 그래프 (IFG): 복잡한 다단계 3D 상호작용과 그 의존성을 공식적으로 표현하며 테스트 생성을 위한 토대 역할을 하는 새로운 정적 모델이다.
• XRintTest: 동적 장면 탐색 및 상호작용 실행을 위해 IFG를 활용하는 자동화된 테스트 기법으로, 런타임 예외와 비-예외 설정 결함을 모두 감지할 수 있다.
• XRBench3D: VR 상호작용 테스트 접근 방식을 평가하기 위한 456개의 상호작용을 포함한 10개의 VR 장면 벤치마크 데이터셋이다.

결과
XRBench3D 벤치마크를 통한 평가 결과는 다음과 같다:

• 효과성(Effectiveness): XRintTest는 모든 장면에 걸쳐 주요 상호작용(발사, 조작, 소켓)의 93% 커버리지를 달성했다. 반면, 무작위 탐색 베이스라인은 8% 커버리지에 그쳤다. XRintTest는 무작위 베이스라인보다 약 12배 더 효과적이었다.
• 효율성(Efficiency): XRintTest는 대부분의 장면에서 테스트 시작 후 2분 이내에 완전한 커버리지에 도달한 반면, 무작위 베이스라인은 전체 시간 할당량을 다 쓴 후에도 40% 커버리지를 넘기지 못했다. XRintTest는 무작위 베이스라인보다 6배 더 효율적이었다.
• 버그 탐지(Bug Detection): XRintTest는 런타임 예외를 성공적으로 감지했을 뿐만 아니라, 더 중요하게는 잘못된 객체 속성(예: 잘못된 콜라이더 설정)으로 인한 무응답 상호작용 문제를 식별했다. 한 사례에서는 인간의 수동 탐색이 놓친 버그를 이 도구가 감지하기도 했다.
• 디자인 스멜(Design Smells): IFG 분석은 소켓 상호작용 대상의 기본 "Everything" 레이어 마스크와 같이, 의도치 않은 교차 상호작용과 지나치게 밀집된 상호작용 그래프를 초래할 수 있는 잠재적인 상호작용 디자인 스멜을 드러냈다.

의의 및 주장
본 논문은 XRintTest가 단순한 UI 이벤트 트리거를 넘어 현실적인 3D 사용자 입력을 자동 생성하고 실행할 수 있게 함으로써 VR 소프트웨어 테스트의 중요한 격차를 해소한다고 주장한다. 저자들은 자신들의 접근 방식이 현대 VR 환경의 공간적 및 상호작용적 복잡성을 처리할 수 있는 자동화된 테스트 전략을 위한 체계적이고 정보가 풍부한 토대를 제공한다고 단언한다. IFG와 충돌 기반 오라클을 도입함으로써, 이 연구는 전통적인 테스트 방법이 흔히 간과하는 미묘한 설정 결함을 감지할 수 있음을 입증한다. 저자들은 이 작업이 몰입형 환경을 위한 더욱 견고한 테스트를 향한 단계라고 보고 있으며, 현재의 초점이 Unity 기반 VR에 맞춰져 있으나 개념적 원리는 더 넓은 XR 생태계(AR/MR) 및 Unreal과 같은 다른 엔진에도 적용 가능하다고 언급했다. 또한 런타임 생성 객체 및 커스텀 상호작용 패턴에 관한 한계를 인정하며, 이러한 복잡성을 해결하기 위해 강화 학습을 활용하는 향후 연구 방향을 제시했다.