GazeMoE: Perception of Gaze Target with Mixture-of-Experts

本論文は、冻结されたビジョン基盤モデルから視線目標に関連する手がかりを混合エキスパート（MoE）モジュールを通じて選択的に活用し、クラス不均衡を克服しながらロボットが人間の注目を理解するための最先端性能を達成するエンドツーエンドのフレームワーク「GazeMoE」を提案するものです。

要約

🧐 問題：AI は「視線」の読み取りが苦手？

まず、背景から説明します。
ロボットが人間と仲良くするためには、「今、この人は何に興味を持っているのか（どこを見ているのか）」を知る必要があります。でも、従来の AI は以下のような問題を抱えていました。

• 状況によって失敗する： 顔が隠れていたり、逆光だったり、子供が不規則に動くような場面だと、AI は「あ、目が隠れてるからわからない！」とパニックになります。
• 視野の外もわからない： 「画面の枠の外にあるものを見ている」というケース（例えば、カメラの後ろにいる人を見ているなど）を、AI は「枠内にある何かを見ている」と勘違いしやすいのです。
• データが偏っている： 多くの AI は、綺麗なスタジオで撮影されたデータでしか勉強していないため、実際の複雑な世界では通用しません。

💡 解決策：「専門家チーム」の登場（GazeMoE）

そこで登場するのが、この論文の提案する**「GazeMoE」です。
これは、「Mixture-of-Experts（モエ）」**という仕組みを使っています。

🎭 例え話：レストランの「オーダー取り」

想像してください。ある高級レストランに、「GazeMoE」という天才シェフがいます。でも、彼一人がすべての料理を作るのは大変です。

そこで、彼は**「専門家チーム（エキスパート）」**を雇いました。

• A さん： 目の形に詳しい専門家
• B さん： 頭の向きに詳しい専門家
• C さん： 手のジェスチャーに詳しい専門家
• D さん： 周囲の状況（背景）に詳しい専門家

GazeMoE のすごいところは、このチームの使い方にあります。

1. 状況に合わせて使い分ける：

   • もし「目が隠れている」状況なら、A さん（目）には頼まず、B さん（頭の向き）や C さん（ジェスチャー）に「お任せ！」と指示を出します。
   • もし「背景が複雑」なら、D さん（状況）に集中させます。
   • これを**「動的にスイッチする」**といいます。

2. 「共通の知識」も持たせる：

   • どの状況でも役立つ「基本的な料理の知識（共通の専門家）」もチームにいます。これにより、どんな客（どんな画像）が来ても、最低限の対応ができます。

このように、**「今、一番必要な専門家だけを選んで働かせる」**仕組みがあるおかげで、AI はどんな状況（目が隠れていても、子供が動いていても）でも、冷静に「あ、この人はあっちを見てるな！」と推測できるようになりました。

🛠️ 技術的な工夫（3 つの魔法）

このシステムをさらに強くするために、3 つの工夫がなされています。

1. 「バランスの取れた勉強法」：

   • 従来のデータは「枠内にあるもの」ばかりで、「枠外にあるもの」のデータが少なかったため、AI は枠外を見抜けませんでした。
   • GazeMoE は、**「少ない方のデータ（枠外）を特別に重視して勉強する」**というルール（フォカルロスという損失関数）を取り入れました。これにより、バランスが整い、どんなケースでも強くなります。

2. 「過酷なトレーニング」：

   • 実際の世界は、色が歪んだり、暗かったり、ピントがぼやけたりします。
   • GazeMoE は、あえて**「色を反転させたり、切り取ったり、ボカしたり」した画像で大量に練習させました。まるで、「雨の日、雪の日、泥まみれの状態で走る練習」**をさせているようなものです。その結果、本番（実際の現場）でもびくともしない強さになりました。

3. 「冻结した頭脳」：

   • 基礎となる「視覚の知識（DINOv2 という巨大な AI）」は、最初から完成されたもの（凍結された状態）を使います。これにより、新しい知識を効率的に学べるようにしています。

🏆 結果：どれくらいすごいのか？

この「GazeMoE」は、世界中のさまざまなテスト（大人、子供、魚眼レンズ、360 度カメラなど）で、これまでのどの方法よりも高い精度を達成しました。

• 子供が遊ぶ様子でも、魚眼レンズで歪んだ映像でも、枠外の物体でも、人間に匹敵するレベルで見抜けます。
• しかも、処理速度は非常に速く、1 秒間に約 13 枚の画像を処理できます。これは、ロボットがリアルタイムで人間の視線を追いかけるのに十分な速さです。

🚀 まとめ

GazeMoEは、**「状況に合わせて、必要な専門家だけを呼び出して協力させる」**というアイデアで、人間の視線読み取りの難問を解決しました。

これにより、ロボットはもっと自然に人間とコミュニケーションを取り、**「あ、この人は疲れてるな」「あの子はあのおもちゃに興味があるな」と理解できるようになります。まるで、「状況に合わせた最高のチームワーク」**で、人間の心の窓（視線）を覗き見ているようなものです。

この技術は、すでに公開されており、今後のロボット開発や医療、教育など、さまざまな分野で活躍が期待されています。

技術概要

GazeMoE: 混合専門家（Mixture-of-Experts）を用いた視線ターゲット知覚の技術的サマリー

本論文は、ロボットや自律システムが人間の注意を理解するために不可欠な「人間の視線ターゲット（何を見ているか）の推定」タスクにおいて、新しいエンドツーエンドフレームワーク**「GazeMoE」**を提案した研究です。既存の手法の限界を克服し、多様なシナリオや歪んだ画像においても高い汎用性と精度を実現しています。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細にまとめます。

---

1. 問題定義と背景

人間の視線は、意図、関心、認知状態を示す重要な指標ですが、可視画像からの視線ターゲット推定には以下の課題がありました。

• 汎化の難しさ: 既存のモデルは特定の環境（映画や教育現場など）に特化しており、現実世界の多様なシナリオ（屋外、子供、障害者など）やカメラの視野外（Out-of-Frame）のターゲットへの対応が不十分でした。
• マルチモーダル情報の統合: 視線推定には、目、頭部姿勢、ジェスチャー、文脈的な注目度など複数の視覚的手がかりが必要です。しかし、これらの手がかりはシーンによって欠落したり（例えば、目が隠れている）、歪んだりすることがあり、固定的なアーキテクチャでは適応が困難でした。
• クラス不均衡: データセットにおいて「フレーム内（In-frame）」と「フレーム外（Out-of-frame）」のサンプル数が偏っており、従来の損失関数では少数クラスの学習が不十分でした。
• 既存手法の限界: 大規模な事前学習済みビジョンモデル（DINOv2 など）の活用は進んでいますが、シーン固有の手がかりを効率的に選択・統合するための最適化されたデコーダ構造や、最適なデータ拡張・学習戦略は未解明でした。

2. 提案手法：GazeMoE

GazeMoE は、冻结（Frozen）された大規模ビジョンモデル（DINOv2 ViT-L）をエンコーダとして利用し、その特徴を**混合専門家（Mixture-of-Experts: MoE）**モジュールを介して適応的にデコードするアーキテクチャです。

主要な構成要素

1. エンコーダ（DINOv2）:

   • 事前学習済みの DINOv2（ViT-Large）を凍結して使用し、目の特徴、頭部姿勢、ジェスチャー、文脈的な注目度など、視線に関連する高品質な空間表現を抽出します。
   • 追加の学習可能なエンコーダパスを不要とし、計算コストを削減します。

2. MoE デコーダ（混合専門家モジュール）:

   • 共有専門家（Shared Experts）: 全シーンに共通する特徴を学習する 1 つの共有专家。
   • ルーティング専門家（Routed Experts）: 4 つの専門家を配置し、入力画像に基づいてゲート機構（Gating Network）が上位 2 つ（Top-K, K=2）を選択的に活性化します。これにより、利用可能な視覚的手がかり（目、頭部、ジェスチャー、文脈）に応じて、最適な専門家が動的に選択されます。
   • この構造により、特定の情報が欠落している場合でも（例：目が隠れている）、他の手がかりに依存して推定を維持するロバスト性が向上します。

3. 損失関数と学習戦略:

   • ヒートマップ損失: ピクセル単位のバイナリ交差エントロピー（BCE）損失を使用。MSE 損失に比べ、確率分布のピークや谷の誤差に対して敏感すぎず、ノイズに強いとされています。
   • 補助的焦点損失（Focal Loss）: フレーム内/外分類におけるクラス不均衡（Out-of-frame サンプルが少ないなど）を解決するため、分類しにくい少数サンプルに重点を置いた焦点損失を導入しました。
   • データ拡張: 従来のランダム切り抜きや反転に加え、色ジャッター、ランダムグレースケール、コントラスト調整、シャープネス調整などのフォトメトリック変換を適用し、モデルの汎化性能を最大化しました。

4. 出力:

   • 視線ターゲットの位置を確率ヒートマップとして出力。
   • ターゲットがフレーム内か外かを分類する確率を出力。

3. 主要な貢献

1. GazeMoE の提案: 視線ターゲット推定タスクにおいて、共有専門家とルーティング専門家を組み合わせた MoE デコーダを初めて導入し、多様なベンチマークで最先端（SOTA）の結果を達成しました。
2. 最適化された学習戦略: クラス不均衡を解決するためのカスタム焦点損失の導入と、モデルの頑健性を高める包括的なデータ拡張スイートの確立。
3. 広範な評価と一般化: 標準的なレンズ画像だけでなく、魚眼レンズ（GazeFollow360）や子供・自閉症児の視線（ChildPlay）など、分布外（Out-of-Distribution）のデータに対しても優れた性能を示し、既存手法を凌駕しました。

4. 実験結果

複数のベンチマークデータセット（GazeFollow, VideoAttentionTarget, ChildPlay, GazeFollow360, EYEDIAP）での評価結果は以下の通りです。

• GazeFollow & VideoAttentionTarget: AUC（曲線下面積）で 0.959（GazeFollow）、0.939（VAT）を記録し、既存の最良モデル（Gaze-LLE など）を上回る性能を達成しました。
• ChildPlay（子供向け）: 子供の視線推定において、AUC 0.945 を達成し、既存手法を凌駕しました。
• GazeFollow360（360 度画像）: 魚眼レンズによる強い歪みに対しても、AUC 0.9232 を記録し、人間の専門家レベル（0.935）に迫る性能を示しました。これは、視線とターゲットの直線関係（Line-of-sight）に依存しないモデルの適応力を証明しています。
• EYEDIAP（ゼロショット推定）: 学習データに含まれない実験室環境でのゼロショット推定においても、SOTA 性能を維持しました。
• 推論速度: 1 枚あたりの遅延は約 74.2ms（約 13 FPS）で、リアルタイム処理（人間 - ロボットインタラクション等）に十分な速度です。

5. 意義と将来展望

• 技術的意義: 大規模事前学習モデルと MoE アーキテクチャを組み合わせることで、視覚的手がかりの欠落や歪みに強靭な視線推定システムを実現しました。これは、単なる精度向上だけでなく、実世界の複雑な環境における「適応性」の重要なステップです。
• 応用可能性: 人間 - ロボットインタラクション（HRI）、運転疲労検知、消費者行動分析、自閉症の支援など、多岐にわたる分野での実用化が期待されます。特に、魚眼カメラや子供など、従来のモデルが苦手とする領域での性能は画期的です。
• 今後の課題: 時間的情報（動画の連続性）や、極端な頭部姿勢・部分的にしか見えない顔への対応をさらに強化する研究が今後の課題として挙げられています。

本論文は、視線推定技術の新たな基準（ベンチマーク）を確立し、ロボットが人間の意図をより深く理解するための基盤技術を提供した点で極めて重要です。コードと事前学習済みモデルは公開されています。