💻 computer science

TextGaze: Prompting Gaze Target Estimation with Textual Scene Cues

本論文は、大規模な視覚言語モデルを活用してスケーラブルなテキストシーンの手がかりを提供し、多様なデータセットにわたって視覚的なサリエンシーと真の注視意図のバランスを取りながら、堅牢かつアノテーション効率の高い注視対象推定を可能にする統一的なクロスモーダル・アーキテクチャであるTextGazeを提案する。

原著者： Junhui She, Fei Wang, Kun Li, Yiqi Nie, Yuxin Liu, Zhangling Duan, Xun Yang

公開日 2026-07-14

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Junhui She, Fei Wang, Kun Li, Yiqi Nie, Yuxin Liu, Zhangling Duan, Xun Yang

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

混雑した写真の中で、人がどこを見ているのかを推測することを想像してみてください。それは、グループ自撮りの中で、どの友人が隠されたクッキーをじっと見つめているのかを見つけ出そうとするようなものです。長い間、コンピュータ科学者たちは「マルチブランチ（多分岐）」型のマシンを構築することで、この問題を解決しようとしてきました。これらは、それぞれが特定の役割を持つ探偵チームのようなものです。ある者は人の頭部をチェックし、別の者は部屋の奥行きを測定し、三番目の者はポーズを分析し、四番目の者は目を見ます。これは徹底しているように聞こえますが、論文によれば、失くした鍵を見つけるためだけに警察部隊全体を雇うようなものだと述べています。これには、すべての探偵に対して膨大な量の追加のトレーニングデータ（アノテーション）が必要となり、システムは学習に時間がかかり、新しい場所への移行も困難になります。

一方で、よりシンプルで新しい手法の中には、「一人芝居」を目指すものもあります。それらは、画像を見て、何かが光っていたり面白そうだったりすることに基づいて推測します。しかし、論文はここにある重大な欠陥を指摘しています。これらのシンプルな手法は、しばしば「視覚的なノイズ」に気を取られてしまうのです。人は実際には退屈なグレーの壁を見ているのに、最も色彩豊かなものだからという理由で、明るい赤色の帽子を見ていると判断してしまうかもしれません。論文ではこれを「セマンティック・デフォーカス（意味論的な焦点ぼけ）」と呼んでいます。コンピュータは物体は見えていても、その「意図」を見逃しているのです。

ここで、この物語の新しいヒーローである「TextGaze」が登場します。著者たちは、巨大な探偵チームを必要とせず、かつ簡単に注意を逸らされることもない、賢明な中間策を提案しています。彼らは「大規模視覚言語モデル（LVLM）」を使用しています。これは、写真を見てそれを言葉で説明できる、非常に賢く博識な司書のようなものです。

TextGazeの仕組みは以下の通りです：

司書による記述： 単にピクセルを凝視するのではなく、システムはLVLMに対して、そのシーンについての短い物語を書くよう求めます。例えば、「黄色いジャージを着た男性は、右側を見下ろしています」といった具合です。
融合（フュージョン）： システムはこれらの言葉を取り込み、視覚的な画像と混ぜ合わせます。これは、コンピュータが地形を探索している間に、地図（テキスト）を与えているようなものです。これにより、コンピュータは単に「どこに光る物体があるか」ではなく、「なぜ誰かがそこを見ているのか」という理由を理解できるようになります。
セーフティネット： コンピュータが計算を行っている間に物語を忘れてしまわないように、著者たちは特別な「監督（スーパービジョン）」ステップを追加しました。これは、生徒が授業の各ステップでノートの内容を忘れていないか確認する教師のようなものです。

論文では、このアイデアを4つの異なるデータセット（AIの脳を訓練するために使用される、写真や動画の巨大なコレクション）でテストしました。結果は非常に有望でした。GazeFollowデータセットにおいて、新しい手法は、より大きな「ViT-L」バックボーンを使用した際に、AUC 0.956（高いほど良く、1.0が完璧となるスコア）および平均誤差距離（Avg L2）わずか0.099ピクセルを達成しました。これは、既存の最高水準の手法に非常に近い数値ですが、他のトップモデルが必要とする「奥行き」や「ポーズ」の追加データを必要としませんでした。

さらに素晴らしいのは、未知の状況に対する適応力の高さです。チームが、日常的なシナ场景でのショッピングを描いたGOO-Realデータセットで、追加のトレーニングなしでTextGazeをテストした際、それでもなおチャートのトップクラスに位置し、AUC 0.918、L2誤差 0.159を記録しました。このことは、「司書」のアプローチが、単に視覚的なパターンを暗記するよりも、コンピュータの汎化性能を高めるのに役立つことを示唆しています。

著者たちは、彼らの手法が効率的で効果的ではあるものの、すべてを即座に解決する魔法の杖ではないことにも注意深く言及しています。彼らは、優れた結果を得るために複雑なマルチブランチ・システムや追加のセンサーが必要であるという考えを明確に否定しています。また、低レベルの視覚的なトリックだけに頼ることにも反対しています。代わりに、彼らは「テキストによる理解」の層を加えることこそが、画像を見ることと人間の意図を理解することの間の溝を埋める鍵であると主張しています。

要約すると、TextGazeは、コンピュータに少しの「物語を紡ぐ能力」を与えることが、ただ写真を凝視するよりも、人がどこを見ているのかを理解する上でるはるかに役立つことを示しています。それは、機械に「空気を読む」ことを教えるための、遊び心があり、効率的で、驚くほど正確な方法なのです。

技術要約: TextGaze

問題提起

視線ターゲット推定は、シーン内における人の視線の位置を推論するか、あるいは視線のターゲットが画像フレーム内に存在するかどうかを判定することを目的としている。本論文では、既存の手法における2つの主要な限界を特定している：

マルチブランチ手法: これらのアーキテクチャは、補助的な手がかり（深度、ポーズ、頭部の特徴など）を個別のブランチを介して組み込んでいる。これらは視覚的表現を豊かにする一方で、大幅なアノテーションの負担、構造的な複雑さによる収束の遅延、およびドメイン転移の阻害をもたらす。さらに、これらはしばしば幾何学的なフィルタとして機能するため、有効な視線ターゲットについて推論することができず、「意味的な未特定性（semantic under-specification）」を引き起こす。
簡素化・プロンプトチューニング手法: 近年のアプローチは、基盤モデルを用いた位置プロンプトを使用してアーキテクチャを簡素化しようと試みている。しかし、これらの手法は「意味的なデフォーカス（semantic defocus）」に陥ることが多い。つまり、モデルが真の視線の意図ではなく、低レベルの視覚的サリエンス（空間的な近接性や視覚的顕著性）に依存してしまい、予測されたアテンションと実際の視線ターゲットとの間に乖離が生じる。

核心となる課題は、複雑なマルチブランチ構造を再導入することなく、幾何学的な回帰を超えて意図レベルの推論へと移行しつつ、意味的なガイダンスの必要性とアーキテクチャの簡潔性のバランスを取ることである。

手法: TextGaze

著者らは、スケーラブルな意味的ガイダンスとして大規模視覚言語モデル（LVLM）を活用する、統一されたクロスモーダル・アーキテクチャであるTextGazeを提案する。このフレームワークは、視線推定を直接的な幾何学的回帰から、意味レイヤーを介した意図認識プロセスへと転換させる。

1. アーキテクチャの概要

モデルは以下の3つのコアコンポーネントで構成される：

LVLMベースのテキスト・シーン・キュー・モジュール: 固定されたLVLM（実験では具体的にQwen2.5-VL-7B-Instructを使用）に対し、対象者の外見、行動、および粗い視線の方向に関する構造化されたテキスト記述を生成するようにプロンプトを与える。これらの自然言語出力は、固定されたBERTテキストエンコーダによって高密度な埋め込み（ $S_t$ ）へとエンコードされる。このモジュールは、LVLMによる明示的な視線ターゲットのローカライゼーション（フレーム外のターゲットに対しては信頼性が低くなる可能性がある）を必要とせずに、高レベルの意味的プライア（物体、動作）を提供する。
特徴トークン・シーケンス処理モジュール:
- 視覚ストリーム: 固定されたDINOv2エンコーダが微細なシーン特徴（ $F_v$ ）を抽出する。ターゲットへの感度を高めるため、頭部のバウンディングボックスに基づいたマスク・モジュレーションを介して、学習可能なヘッド・トークン埋め込みが追加される。
- 融合: テキストと視覚の特徴シーケンスが結合される。フレーム内／フレーム外の分類タスクのために、学習可能なトークン（ $z_{in/out}$ ）が先頭に付加される。
クロスモーダル融合および予測モジュール:
- 融合トランスフォーマー: 3層のスタックされたトランスフォーマーが、テキストと視覚のトークンを統合する。これは、モダリティ間の制約のない相互作用を可能にするために、マルチヘッド自己注意（MHSA）を採用している。
- 階層的テキスト監督: 深い融合の過程でタスクに関連するテキストの意味が劣化するのを防ぐため、著者らは階層的なテキスト一貫性監督メカニズムを導入している。これは、中間テキストトークンを元のテキストエンコーダの特徴へと投影し、平均二乗誤差（MSE）を最小化することで、すべてのトランスフォーマー層における意味的な整合性を強制する。
- 予測ヘッド: 軽量なデコーダが、ガウス分布ターゲットによるピクセル単位のBCE損失によって教師あり学習される視線ヒートマップと、フレーム内／フレーム外の状態を示すスカラー確率を生成する。

2. 学習目的

全体の損失関数は、ヒートマップ損失（ $L_{heat}$ ）、イン／アウト分類損失（ $L_{in/out}$ ）、および階層的テキスト監督損失（ $L_{text}$ ）を組み合わせたものである：
$L_{all} = L_{heat} + \lambda_1 L_{in/out} + \lambda_2 L_{text}$

主な貢献

テキストによるシーン・キュー: 本論文は、意味的なデフォーカスを軽減するために、視線ターゲット推定へのテキストによるシーン・キューの統合を導入している。LVLMを用いて補助的な意味情報（外見、動作、意図）を生成することで、モデルは複雑なマルチブランチ設計を必要とせずに、高レベルのプライアを獲得できる。
強化されたベンチマーク: 著者らは、シーン・ターゲット・人物のアテンション・フィールドをLVLM指向のプロンプトと統合することで、GazeFollowおよびVideoAttentionTargetベンチマークを強化し、テキスト支援による視線推定の精度を向上させる堅牢なコンテキスト・キューを生成した。
統一されたデュアルストリーム・フレームワーク: テキスト埋め込みと微細な視覚表現を組み合わせる、新しいクロスモーダル融合フレームワークを設計した。このアプローチは人間のトップダウン・アテンションを模倣しており、簡素化されたパイプラインを維持しながら、空間的推論とシーン適応性を向上させている。

実験結果

本手法は、4つの主要なデータセット（GazeFollow、VideoAttentionTarget、ChildPlay、GOO-Real）で評価された。

最先端の性能: GazeFollowにおいて、TextGaze（DINOv2 ViT-Lを使用）は競争力のある結果を達成し、最小L2誤差（0.043）に匹敵する最低平均L2誤差（0.099）を取得すると同時に、高いAUC（0.956）を維持した。VideoAttentionTargetにおいては、イン／アウト・オブ・フレーム予測に関するAUC、L2誤差、およびAPメトリクスのすべてにおいて既存の手法を上回った。
クロスデータセット汎化性能: ファインチューニングやプロンプトの変更なしでも、TextGazeは堅牢な汎化性能を示した：
- GOO-Real（現実世界のショッピングシナリオ）において、AUCとL2メトリクスの両方で最先端の性能を達成した。
- ChildPlay（子供の視線）において、イン／アウト・オブ・フレーム分類のAPメトリクスですべてのベースラインを上回り、存在検出に対するLVLM由来のキューの有効性を強調した。
アブレーション研究: 実験により、トランスフォーマーベースの融合戦略が、加算型およびクロスアテンション融合よりも優れていることが確認された。さらに、階層的テキスト監督、視覚残差接続、および特定の位置エンコーディングを同時に活性化することで最適な性能が得られ、これらのコンポーネントの相補的な性質が検証された。

重要性と主張

本論文は、TextGazeが従来のマルチブランチ設計に対する簡素化された代替案を提供すると主張している。LVLMをアクセス可能な補助的ガイダンスとして活用することで、本手法は、マルチブランチ・システムの高いアノテーションコストと、簡素化された視覚のみのモデルの意味的な限界との間のトレードオフを成功裏に解決している。

著者らは、視線追従は本質的に、純粋な幾何学的回帰タスクではなく、意図レベルの推論問題であることを強調している。TextGazeは、「ピクセルから座標へ」というパラダイムから「ピクセルから意味的意図を経て視線ターゲットへ」というパラダイムへと移行することで、これに対処している。実験結果は、LVLMが視覚と高レベルの意図を効果的に結びつけることができることを実証しており、冗長なブランチや広範なドメイン固有のアノテーションを必要とせずに、複雑なシーンにおける視線推定のためのスケーラブルなソリューションを提供している。