TARIPlay: A Test Framework for AR Applications based on Interactive Area Tracking in Playback Videos

技術概要：TARIPlay

問題定義
拡張現実（AR）アプリケーションが日常生活に不可欠なものとなるにつれ、その品質、安全性、信頼性を確保することが極めて重要となっています。しかし、AR アプリケーションの自動テストは、従来のモバイルアプリと比較して独自の課題に直面しています。静的な GUI とは異なり、AR インターフェースは変動性が高く、非確定的な現実世界の環境から導き出されます。ARCore Playback や ARKit Replay のような最近の進歩により、開発者はテストのために enriched な現実世界のシナリオを記録・再生できるようになりましたが、このアプローチは自動化に対して 2 つの具体的な障壁をもたらします。

1. 時間的制約: テスト入力は正確にタイミングを合わせる必要があります。インタラクティブな要素（検出された平面など）は特定の時間に出現し、消滅します。このウィンドウ外から送信された入力は、意図した動作をトリガーできません。
2. 動的インタラクティブ領域: 事前に定義された UI ボタンとは異なり、AR の「トラッカブル」（平面、顔など）は動的に検出され、形状が不規則で、位置とサイズが急速に変化します。検出された領域の多くは、ユーザー操作の viable なターゲットとなるには小さすぎ、不安定すぎ、あるいは一過性すぎます。

Monkey（ランダムイベント生成）のような既存のツールはこの文脈には不適切であり、特定の AR 要素と相互作用できなかったり、重要な相互作用ウィンドウを完全に見逃したりすることがよくあります。

手法：TARIPlay フレームワーク
著者は、AR アプリケーションのテストフレームワークである「TARIPlay（Playback 動画におけるインタラクティブ領域の追跡に基づく AR アプリケーション用テストフレームワーク）」を提案します。これは、ARCore 再生動画を分析して、自動化されたテストのための viable な「テスト機会（安定したインタラクティブ領域）」を特定・追跡・フィルタリングするように設計されたシステムです。このフレームワークは、主に 4 つの段階で動作します。

1. 動画の読み込みとフレームサンプリング:
   TARIPlay は、ARCore 再生動画をセッションに読み込み、フレームを標準のアスペクト比（1920×1080）に正規化します。計算効率と人間の視覚認識の限界（約 100ms）のバランスを取るため、システムは 1 秒間あたり 10 フレーム（fps）でフレームをサンプリングし、単一フレームのノイズを無視します。

2. トラッカブルの抽出:
   ARCore API を使用して、フレームワークは各サンプリングされたフレームからすべてのトラッカブル（現在は平面に焦点を当てている）を抽出します。追跡されていないトラッカブル（遮蔽または失敗によるもの）やカメラから背を向けているトラッカブルをフィルタリングします。システムは、トラッカブル ID、幾何学的範囲、および頂点座標を収集します。

3. 可視性分析:
   この段階では、3D トラッカブルデータを 2D スクリーン座標に変換し、ユーザーに実際に何が見えているかを判断します。

• 投影: 頂点をモデル - ビュー - 投影行列を使用して、電話のスクリーン平面に投影します。
• クリッピング: Sutherland-Hodgman アルゴリズムを使用して、これらの投影をスクリーン境界や他の重なり合うオブジェクトに対してクリップし、可視ポリゴンを特定します。
• 正規化: 交差計算を簡素化するため、可視ポリゴンをその内接矩形（「可視ボックス」）で近似します。
• フィルタリング: 可視率（画面サイズに対する面積）が 10% 未満のボックスは、マルチフィンガー操作の信頼性のあるターゲットとして小さすぎるため破棄されます。

4. 寿命分析:
   フレームワークは、連続するフレーム間で「可視ボックス」を追跡し、その安定性と持続時間を決定します。

• 時間経過に伴う可視ボックスの交差を計算して、「安定した可視領域」を特定します。
• 寿命のしきい値（デフォルト：2 秒）を適用します。この持続時間は、自然な連続 UI イベントを可能にするために、人間の反応時間（約 0.6 秒）に基づいて選択されています。
• 必要な期間持続する領域のみがテスト機会として出力されます。

自動化テストへの統合
TARIPlay は、特定されたテスト機会（座標と時間ウィンドウ）を自動化テストエンジンに供給します。標準的なランダムテストとは異なり、このエンジンは UI イベント（タップ、スワイプ、ピンチ）を、特定の寿命期間中の有効な可視ボックス内の座標に制限します。フレームワークはまた、テスト機会を視覚化するためのガントチャートを生成し、自動実行と手動テストスクリプトの作成の両方を支援します。

主な貢献

• 問題分析: 仮想シーンテストや従来の GUI テストとは区別される、再生動画ベースの AR テストに固有の課題の形式化。
• 新規検出技術: 非 viable なテストターゲットをフィルタリングするための、インタラクティブ領域のサイズ、位置の安定性、および寿命を追跡するアルゴリズム。
• フレームワーク実装: 生々しい ARCore 再生データと実行可能なテスト入力との間のギャップを埋める TARIPlay システム。
• 品質指標の提案: 抽出されたテスト機会の数と品質が、テスト用再生動画の適合性を評価するための指標となり得ることを示す実証。

評価と結果
著者は、4 つのオープンソース AR アプリと ARTBank ベンチマークからの 9 つの再生動画を使用して TARIPlay を評価し、標準的な Monkey ツールおよび「強化版 Monkey（現実的なジェスチャーに制約されたもの）」と比較しました。

• コードカバレッジ: TARIPlay は既存のツールを大幅に上回りました。平均して、Monkey が 41.98% だったのに対し、TARIPlay は55.80% の分岐カバレッジを達成しました。この改善は、多様なジェスチャー要件を持つ複雑なアプリケーションで最も顕著でした（例：AR Simulator では分岐カバレッジで 58.2% の相対的改善）。
• ジェスチャー成功率（GSR）: TARIPlay は、複雑な相互作用の信頼性を劇的に向上させました。Monkey がドラッグジェスチャーで約 39.7%、スケーリングで約 28.9% の成功率しか達成できなかったのに対し、TARIPlay はそれぞれ**92.4%および89.3%**を達成しました。全体の GSR は、Monkey の 67% から TARIPlay の 96% に増加しました。
• 動画品質との相関: 研究では、動画内の安定した可視領域の平均持続時間と、結果として得られるコードカバレッジとの間に正の相関が見つかりました。これは、TARIPlay が低品質なテスト動画をフィルタリングするのに役立つ可能性を示唆しています。
• 効率性: TARIPlay は、Monkey（平均 18,171 回）に比べてはるかに少ない UI イベント（実行あたり平均 198 回）をトリガーしながら、より高いカバレッジを達成しました。これは、TARIPlay の相互作用がより意味があり、冗長性が少ないことを示しています。

意義と主張
この論文は、TARIPlay が再生ベースのシナリオに対する実現可能な自動化テストを可能にすることで、AR ソフトウェア工学における根本的なギャップを埋めていると主張しています。著者は、彼らのアプローチが以下の点で優れていると述べています。

1. テスト効果の向上: AR の空間的および時間的制約を尊重することで、ランダムテストが見逃すコードパスを体系的に探索します。
2. 信頼性の向上: AR にとって重要でありながら、ランダムテスターが正しく実行するのが難しい複雑なマルチフィンガージェスチャーの成功率を大幅に向上させます。
3. 品質指標の提供: インタラクティブ領域の安定性と可用性に基づいて、再生動画の「テスト可能性」を評価する方法を提供します。

著者は一般化可能性については慎重であり、評価が現在 Android ARCore フレームワークと特定の対象アプリに限定されていることを指摘しています。TARIPlay はカバレッジを向上させますが、高いカバレッジが自動的に欠陥検出を保証するわけではないことを認めつつも、カバレッジとジェスチャー成功率の組み合わせはテスト効果の堅牢な評価を提供すると述べています。今後の課題として、ARKit へのサポート拡張、遮蔽処理の調査、および AR の時間制約の性質に合わせた GUI テスト戦略のさらなる適応が提案されています。