TARIPlay: A Test Framework for AR Applications based on Interactive Area Tracking in Playback Videos

기술 요약: TARIPlay

문제 제기
증강 현실 (AR) 애플리케이션이 일상생활에 필수적인 요소로 자리 잡으면서, 그 품질, 안전성 및 신뢰성을 보장하는 것이 중요해졌습니다. 그러나 AR 애플리케이션의 자동화된 테스트는 기존 모바일 앱과 비교해 고유한 난관에 직면해 있습니다. 정적인 GUI 와 달리 AR 인터페이스는 변동성이 크고 비결정적인 실제 환경에서 파생됩니다. ARCore Playback 및 ARKit Replay 와 같은 최근의 발전으로 개발자들이 테스트를 위해 풍부한 실제 시나리오를 기록하고 재생할 수 있게 되었지만, 이 접근 방식은 자동화를 위해 두 가지 구체적인 장애물을 도입합니다:

1. 시간적 제약: 테스트 입력은 정밀하게 타이밍이 맞춰져야 합니다. 상호작용 요소 (예: 감지된 평면) 는 특정 시간에 나타나고 사라집니다. 이 시간 창 밖으로 전송된 입력은 의도된 동작을 트리거하지 못합니다.
2. 동적 상호작용 영역: 사전 정의된 UI 버튼과 달리 AR "추적 가능 객체 (trackables)"(평면, 얼굴) 는 동적으로 감지되며, 모양이 불규칙하고 위치와 크기가 빠르게 변합니다. 감지된 많은 영역은 사용자가 상호작용하기에 적합하지 않을 정도로 너무 작거나 불안정하며, 순간적입니다.

Monkey(무작위 이벤트 생성) 와 같은 기존 도구는 이러한 맥락에 적합하지 않아, 종종 특정 AR 요소와 상호작용하지 못하거나 중요한 상호작용 시간 창을 완전히 놓치는 경우가 많습니다.

방법론: TARIPlay 프레임워크
저자들은 재생 비디오 내 상호작용 영역 추적을 기반으로 한 AR 애플리케이션 테스트 프레임워크인 TARIPlay를 제안합니다. 이 시스템은 ARCore 재생 비디오를 분석하여 자동화된 테스트를 위한 실행 가능한 "테스트 기회"(안정적인 상호작용 영역) 를 식별, 추적 및 필터링하도록 설계되었습니다. 프레임워크는 네 가지 주요 단계를 통해 작동합니다:

1. 비디오 로드 및 프레임 샘플링:
   TARIPlay 는 ARCore 재생 비디오를 세션에 로드하고, 프레임을 표준 종횡비 (1920×1080) 로 정규화합니다. 계산 효율성과 인간의 시각적 인식 한계 (약 100ms) 를 균형 있게 맞추기 위해 시스템은 초당 10 프레임 (fps) 으로 프레임을 샘플링하고 단일 프레임 노이즈를 무시합니다.

2. 추적 가능 객체 추출:
   ARCore API 를 사용하여 프레임워크는 각 샘플링된 프레임에서 모든 추적 가능 객체 (현재 평면에 집중) 를 추출합니다. 가려짐이나 실패로 인해 추적되지 않거나 카메라에서 멀어지는 추적 가능 객체는 필터링됩니다. 시스템은 추적 가능 객체 ID, 기하학적 범위 및 꼭짓점 좌표를 수집합니다.

3. 가시성 분석:
   이 단계는 3D 추적 가능 객체 데이터를 2D 화면 좌표로 변환하여 사용자가 실제로 무엇을 볼 수 있는지 결정합니다.

   • 투영: 꼭짓점은 모델 - 뷰 - 투영 (Model-View-Projection) 행렬을 사용하여 휴대폰 화면 평면에 투영됩니다.
   • 클리핑: Sutherland-Hodgman 알고리즘은 이러한 투영을 화면 경계 및 다른 겹치는 객체에 대해 클리핑하여 가시 다각형을 식별합니다.
   • 정규화: 교차 계산의 단순화를 위해 가시 다각형은 내접 직사각형 ("가시 상자") 으로 근사화됩니다.
   • 필터링: 가시 비율 (화면 크기에 대한 면적) 이 10% 미만인 상자는 신뢰할 수 있는 다중 손가락 상호작용에 너무 작으므로 폐기됩니다.

4. 수명 분석:
   프레임워크는 연속된 프레임에 걸쳐 "가시 상자"를 추적하여 그 안정성과 지속 시간을 결정합니다.

   • 시간에 따른 가시 상자의 교집합을 계산하여 "안정적인 가시 영역"을 찾습니다.
   • 수명 임계값 (기본값: 2 초) 을 적용합니다. 이 지속 시간은 자연스러운 연속 UI 이벤트를 허용하기 위해 인간의 반응 시간 (약 0.6 초) 을 기반으로 선택되었습니다.
   • 요구되는 지속 시간 동안 유지되는 영역만 테스트 기회로 출력됩니다.

자동화된 테스트 통합
TARIPlay 는 식별된 테스트 기회 (좌표 및 시간 창) 를 자동화된 테스트 엔진에 공급합니다. 표준 무작위 테스트와 달리 이 엔진은 UI 이벤트 (탭, 스와이프, 핀치) 를 특정 수명 동안 유효한 가시 상자 내의 좌표로 제한합니다. 프레임워크는 또한 테스트 기회를 시각화하는 간트 차트를 생성하여 자동 실행 및 수동 테스트 스크립트 개발을 지원합니다.

주요 기여

• 문제 분석: 가상 장면 테스트 및 전통적인 GUI 테스트와 구별되는 재생 비디오 기반 AR 테스트에 특화된 난관의 형식화.
• 새로운 탐지 기술: 실행 불가능한 테스트 대상을 필터링하기 위해 상호작용 영역의 크기, 위치 안정성 및 수명을 추적하는 알고리즘.
• 프레임워크 구현: 원시 ARCore 재생 데이터와 실행 가능한 테스트 입력 사이의 간극을 연결하는 TARIPlay 시스템.
• 품질 지표 제안: 추출된 테스트 기회의 수와 품질이 재생 비디오의 테스트 적합성을 평가하는 지표로 사용될 수 있음을 입증.

평가 및 결과
저자들은 ARTBank 벤치마크의 네 가지 오픈 소스 AR 앱과 아홉 개의 재생 비디오를 사용하여 TARIPlay 를 평가했으며, 표준 Monkey 도구 및 "향상된 Monkey"(현실적인 제스처로 제한됨) 와 비교했습니다.

• 코드 커버리지: TARIPlay 는 기존 도구보다 크게 우위를 보였습니다. 평균적으로 Monkey 의 41.98% 에 비해 55.80% 의 분기 커버리지를 달성했습니다. 개선은 다양한 제스처 요구 사항을 가진 복잡한 애플리케이션에서 가장 두드러졌습니다 (예: AR Simulator 는 분기 커버리지에서 58.2% 의 상대적 개선을 보임).
• 제스처 성공률 (GSR): TARIPlay 는 복잡한 상호작용의 신뢰성을 획기적으로 향상시켰습니다. Monkey 가 드래그 제스처에서 약 39.7%, 확대/축소에서 약 28.9% 의 성공률을 보인 반면, TARIPlay 는 각각 **92.4%**와 **89.3%**를 달성했습니다. 전체 GSR 은 Monkey 의 67% 에서 TARIPlay 의 96% 로 증가했습니다.
• 비디오 품질 상관관계: 연구는 비디오 내 안정적 가시 영역의 평균 지속 시간과 결과적인 코드 커버리지 사이에 양의 상관관계가 있음을 발견했으며, 이는 TARIPlay 가 저품질 테스트 비디오를 필터링하는 데 도움이 될 수 있음을 시사합니다.
• 효율성: TARIPlay 는 더 높은 커버리지를 달성하면서도 Monkey(평균 18,171 회) 보다 훨씬 적은 UI 이벤트 (평균 198 회) 를 트리거하여 TARIPlay 의 상호작용이 더 의미 있고 중복이 적음을 나타냈습니다.

의의 및 주장
이 논문은 TARIPlay 가 재생 기반 시나리오에 대한 실현 가능한 자동화된 테스트를 가능하게 함으로써 AR 소프트웨어 공학의 근본적인 간극을 해소한다고 주장합니다. 저자들은 그들의 접근 방식이 다음과 같다고 주장합니다:

1. 테스트 효과성 향상: AR 의 공간적 및 시간적 제약을 존중함으로써, TARIPlay 는 무작위 테스트가 놓치는 코드 경로를 체계적으로 탐색합니다.
2. 신뢰성 향상: AR 에 필수적이지만 무작위 테스트 도구가 올바르게 실행하기 어려운 복잡한 다중 손가락 제스처의 성공률을 크게 높입니다.
3. 품질 지표 제공: 이 프레임워크는 상호작용 영역의 안정성과 가용성을 기반으로 재생 비디오의 "테스트 가능성"을 평가하는 방법을 제공합니다.

저자들은 일반화 가능성에 대해 겸손하게, 현재 평가가 Android ARCore 프레임워크와 특정 대상 앱으로 제한되어 있음을 지적합니다. 그들은 TARIPlay 가 커버리지를 향상시키지만, 더 높은 커버리지가 자동으로 결함 감지를 보장하는 것은 아니라고 인정하면서도, 커버리지와 제스처 성공률의 조합은 테스트 효과성에 대한 강력한 평가를 제공한다고 덧붙입니다. 향후 작업은 ARKit 지원 확장, 가려짐 처리 조사, 그리고 AR 의 고유한 시간 제약 특성에 맞춰 GUI 테스트 전략을 더 적응시키는 것을 제안합니다.