技術概要：GazePrior

問題定義

アイトラッキング（ET）は、焦点領域レンダリングや視線に基づくインタラクションなどの機能を可能にする、高度な拡張現実（AR）および仮想現実（VR）アプリケーションの基盤技術です。しかし、新しいデバイス世代ごとに高品質なグランドトゥルースを備えた実世界データを収集するにはコストと時間がかかりすぎるため、ET 用の深層学習モデルのトレーニングは妨げられています。ハードウェア構成（カメラの配置、解像度）が進化するにつれ、数百万フレームからなる新しいトレーニングセットが必要となります。既存の合成データ生成手法は多くの場合リアリズムに欠け、クラウドソーシングされた実データは精度が不足しています。さらに、眼球画像を合成しようとする現在の半合成アプローチは、明示的な眼球マスクと剛体回転に依存することが多く、眼球、まぶた、周囲の顔の特徴間の複雑な結合関係を無視しており、物理的な妥当性と精度を低下させています。

手法

著者は、既存デバイスからのスパースな入力データのみを使用して、新しい ET デバイス用の高忠実度トレーニングデータを合成するゼロショットアプローチであるGazePriorを提案します。この手法は、主に 2 つの段階で構成されます。

1. 分離された 3D 視線事前知識の学習（事前トレーニング）

3D アバター手法に触発され、著者は多様な個人、視線方向、照明条件にわたる人間の目の分布をモデル化する条件付きニューラル放射場（NeRF）をトレーニングします。

• 条件付き放射場: ネットワーク $\Psi$ は、3 次元点 $x$、視線方向 $v$、および被写体の個人（$\hat{s}$）、視線方向（$\hat{g}$）、照明（$\hat{l}$）の潜在埋め込みを入力として受け取ります。これは密度 $\sigma$ と色 $c$ を出力します。
• 分離: 構造はこれらの因子を明示的に分離します。密度ネットワークは個人と視線に依存しますが照明（$\hat{l}$）には依存せず、色ネットワークはこれら 3 つすべてに依存します。これにより、幾何学的整合性が照明変化によって混乱されないことが保証されます。
• 潜在表現:
  • 被写体（$\hat{s}$）: 各個人のための学習可能なコードブックベクトルであり、アーティファクト（フローター）に対する正則化として機能する、共有された低周波表現を促します。
  • 視線（$\hat{g}$）: 剛体眼球回転モデルとは異なり、視線は真の視線ベクトルの正弦波エンコーディングによって符号化されます。これにより、ネットワークは視線変化に伴うまぶたや眉毛の非剛体運動を学習できます。
  • 照明（$\hat{l}$）: 色の出力のみに影響を与える学習可能なコードブックベクトルであり、再構成された幾何学形状が照明に対して不変であることを保証します。
• トレーニング: モデルは、400 人以上の被写体を含み、マルチビュー画像、変化する視線、照明を備えた大規模データセット（Lin ら [11]）で事前トレーニングされます。損失関数は RGB 再構成、知覚損失、および KL 発散を組み合わせて、潜在空間を正則化します。

2. スパース入力リターゲティング（微調整）

事前知識を新しいターゲットデバイス（例えば、異なるカメラ構成を持つヘッドセット）に適応させるため、この手法は既存のヘッドセットからのスパースなソース画像（例えば 4 視点）に対して 2 段階の最適化を実行します。

1. 潜在最適化: 事前トレーニングされたネットワーク重みを固定したまま、新しい被写体と照明の特定の潜在コード（$\hat{s}_I, \hat{l}_I$）を最適化して、スパースなソースビューに適合させます。真の視線埋め込み $\hat{g}_I$ は既知のアノテーションから計算され、固定されたままにされます。
2. 微調整: ネットワーク重みの固定を解除し、潜在コードと共同で最適化して、個人固有の詳細を捉え、再構成を精緻化します。
3. 合成: 得られた高忠実度の放射場を、ターゲットデバイスのカメラの視点からレンダリングします。これにより、元の真の視線アノテーションを維持しつつ、新しいデバイスの光学特性に一致する合成トレーニング画像が生成されます。

主な貢献

• 最初の学習済み視線事前知識: 本論文は、明示的な眼球マスクや剛体回転に依存することなく生物学的に正確なまぶたの動きを特徴とする、被写体、視線、照明を分離した最初の 3D 視線事前知識を導入します。
• スパースビュー 3D 再構成: この手法は、極めてスパースな入力（2〜4 視点程度）からの高品質な新規ビュー合成を可能にし、高密度なマルチビューキャプチャを必要とした従来の手法よりも大幅に改善されています。
• ゼロショットデータ合成: 既存の AR/VR デバイスからの注釈付きデータセットを活用し、学習済み 3D 事前知識を介してリターゲティングすることで、新しい AR/VR デバイスのトレーニングデータを収集することなく生成するパイプラインを提供します。これにより、レガシーハードウェアと新しいハードウェア間のドメインギャップを効果的に埋めます。
• 優れた性能: 合成されたデータを使用することで、競合する合成ベースラインでトレーニングされたモデルと比較して、ET モデルはより高い精度と頑健性を達成できます。

実験結果

著者は、Aria ヘッドセットをターゲットデバイスとして GazePrior を評価し、最先端のベースライン（ControllableGaze [10]、Lin ら [11]）と比較しました。

• 新規ビュー合成（NVS）: 定量的評価（PSNR、SSIM、MSE）において、入力ビュー数が減少するにつれて GazePrior はベースラインを大幅に上回りました。入力ビューが 2 の場合、GazePrior は最良のベースラインに対して約 10 dB の性能差を達成しました。定性的結果では、GazePrior は実世界の Aria キャプチャと比較して最小限のドメインギャップで高忠実度な詳細（まつげ、まぶた）を生成しましたが、ベースラインはフローターやアーティファクトを示しました。
• アイトラッキング性能: GazePrior で合成されたデータでトレーニングされた ET モデルは、実世界の Aria テストデータ上で平均視線角度誤差**5.85°**を達成しました。これはベースライン（12.53°および 12.69°）に対する大幅な改善であり、実世界かつデバイス固有のデータでトレーニングされたモデル（4.35°）の性能に近づいています。
• アブレーション研究: この研究は、分離された潜在空間と照明と密度の分離が重要であることを確認しました。単一の潜在ベクトルを使用する場合、または密度を照明依存にすると、性能が大幅に低下しました。視線の正弦波エンコーディングは、視線のための学習済みコードブックよりも効果的であることが証明されました。

意義と主張

本論文は、GazePrior がゼロショットアプローチを可能にすることで、新しい AR/VR デバイス向けのデータ収集の禁止的なコストに対処すると主張しています。古いヘッドセットからの既存の注釈付きデータセットを活用し、学習済み 3D 事前知識を介してリターゲティングすることで、この手法は開発者に以下を可能にします。

1. 物理的に構築される前に、新しいデバイス向けの堅牢なアイトラッカーをトレーニングする。
2. 物理的なプロトタイピングなしに、カメラ配置が性能に与える影響を評価する。
3. 高価で大規模なデータ収集キャンペーンを行うことなく、高い精度を達成する。

著者は、この研究を XR における焦点領域レンダリングや視線ピンチインタラクションなどの高度な機能の扉を開くための基礎的なステップとして位置づけ、現在この分野の迅速な反復を妨げているデータ収集のボトルネックを除去すると述べています。放射場を用いた高周波の角膜グリンットのシミュレーションの難しさなどの限界を認めつつも、既存の合成手法を上回る多様で現実的なトレーニングデータを生成する手法の成功を強調しています。