💻 computer science

Leveraging Gaze and Set-of-Mark in VLLMs for Human-Object Interaction Anticipation from Egocentric Videos

この論文は、Set-of-Mark プロンプティング、ユーザーの視線軌跡、および新規の逆指数サンプリング戦略を視覚大言語モデルに統合することで、HD-EPIC データセットにおいて最先端の性能を達成する、一人称視点動画からの人間 - 物体相互作用の予測手法を提案しています。

原著者： Daniele Materia, Francesco Ragusa, Giovanni Maria Farinella

公開日 2026-04-07

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Daniele Materia, Francesco Ragusa, Giovanni Maria Farinella

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

この論文は、**「自分が何をするつもりか、AI に先読みさせる」**という面白い研究について書かれています。

具体的には、料理をしている人などの「一人称視点（自分がカメラを持っているような視点）」の動画を見て、AI が**「次にこの人は何と触ろうとしているのか？」**を予測する技術です。

これをわかりやすく、日常の例え話を使って解説しましょう。

🎬 物語：料理中の「未来予知」ロボット

想像してください。あなたがキッチンで料理をしています。
その時、あなたの頭の上に**「未来予知ができるロボット」**がいます。

今の状況： あなたは包丁で野菜を切っています。
ロボットの役割： 「あ、この人は今、包丁を置いたら、次に**『卵』を割ろうとしているな！」と、あなたが実際に卵に触れる0.3 秒前**に教えてくれます。

この「0.3 秒前の予知」ができれば、もしあなたが熱い鍋を触ろうとしている時に、ロボットが「危ない！鍋つかみを使いなさい！」と警告すれば、火傷を防げます。これがこの研究のゴールです。

🧩 既存の AI の弱点と、この研究の「3 つの魔法」

これまでの AI は、動画を見て「次に何をするか」を予測しようとしましたが、少し不器用でした。
「動画全体をダラダラ見て、最後に『あ、卵かな？』と推測する」ような感じでした。

そこで、この論文の著者たちは、最新の「巨大な AI（VLLM）」に3 つの魔法を掛け合わせて、天才的な予知能力を持たせました。

1. 🔍 「目印シール」を貼る魔法（Set-of-Mark）

何をしている？
動画の最後のフレーム（一番重要な瞬間）に、料理台にある「鍋」「卵」「包丁」などの物体に、**目印シール（枠やマーク）**を自動で貼ります。
どんな効果？
AI は「あ、このシールが貼られているのは『卵』だ」と瞬時に理解できるようになります。
- 例え： 暗闇で料理台を探すのではなく、**「必要な道具に蛍光ペンで丸をつけておいてもらう」**ようなものです。AI は「何を見ればいいか」が一目でわかります。

2. 👁️「視線の軌跡」をたどる魔法（Gaze Trajectory）

何をしている？
人間の「目がどこを見たか」の履歴を、動画に赤い線と点で描き足します。「赤い点」が最新の視線で、「青い点」が少し前の視線です。
どんな効果？
人間は「触ろうとするもの」を見る前に、まず**「目で見ている」**ものです。この視線の流れ（軌跡）を AI に見せることで、「あ、視線が『卵』に向かっているから、次は卵を触るに違いない！」と推測できます。
- 例え： 誰かが「何かを取ろうとしている」時、その人の**「視線の動き」**を追えば、その人が何に興味を持っているかがバレバレになります。これを AI に教えるのです。

3. ⏱️「重要な瞬間だけ」を切り取る魔法（Sampling Strategy）

何をしている？
10 秒の動画全体を全部見せるのではなく、**「 interaction（相互作用）が起きる直前」**の瞬間に集中してフレームを切り取ります。
どんな効果？
動画の前半（お茶を淹れる準備など）は関係ない情報です。AI は「直前の 10 秒間」ではなく、**「最後の数秒間」**に最も重要な情報が詰まっていることに気づき、そこにリソースを集中させます。
- 例え： 長い映画を全部見るのではなく、**「クライマックスの直前」**だけを見せれば、次に何が起きるかが一番わかりやすい、という理屈です。

🏆 結果：どれくらい凄いの？

この 3 つの魔法を全部組み合わせた AI は、**「HD-EPIC」**という有名な料理動画のテストで、これまでの最高記録を大きく更新しました。

これまでの AI： 正解率が約 21%
この研究の AI： 正解率が約 27.5%

一見 6% しか上がっていないように見えますが、AI の世界ではこれは**「劇的な進化」**です。
さらに、この方法は特定の AI 機種に依存せず、どんな最新の巨大 AI にも適用できる「万能なテクニック」であることも証明されました。

💡 まとめ

この論文は、**「AI に『目印（Set-of-Mark）』と『視線（Gaze）』、そして『タイミング（Sampling）』の 3 つを教えることで、人間の次の行動を驚くほど正確に予測できる」**ことを示しました。

将来的には、この技術が実用化されれば：

料理中に「危ない！」と教えてくれるスマートキッチン
工場で作業している人の「転倒」や「事故」を事前に防ぐ安全システム
高齢者の日常生活をサポートする介護ロボット

など、私たちの生活をより安全で快適にする「賢いパートナー」として活躍することが期待されています。

論文要約：視線と Set-of-Mark を活用した VLLM による主観視点動画からの人間 - 物体相互作用の予測

1. 問題定義

本論文は、主観視点（Egocentric）動画における人間 - 物体相互作用（Human-Object Interaction, HOI）の予測（Anticipation）という課題に取り組みます。

背景: 厨房、産業現場、スポーツなど、日常生活や業務を支援するインテリジェントシステムにおいて、ユーザーが次にどの物体と相互作用するかを事前に予測することは極めて重要です（例：熱い鍋に触れようとしているユーザーへの警告、危険な作業の未然防止）。
課題: 既存の手法は、視覚情報のみや単純な時系列分析に依存しており、ユーザーの意図（どこを見ているか）や空間的な文脈（物体の位置関係）を十分に活用できていないため、精度に限界がありました。
目的: 視覚大規模言語モデル（VLLM: Vision Large Language Models）の能力を最大限に引き出し、ユーザーの視線（Gaze）と空間的マーカー（Set-of-Mark）を統合することで、HOI 予測の精度を飛躍的に向上させることです。

2. 提案手法

提案手法は、VLLM をベースとしたパイプラインであり、以下の 4 つの主要モジュールで構成されています（図 2 参照）。

2.1 Set-of-Mark (SoM) モジュール

目的: 視覚的グラウンディング（どの物体がどこにあるかの特定）能力の強化。
手法: 入力動画の最終フレームに対して、Semantic-SAMを用いてセマンティックな領域分割マスクを生成します。
特徴: 従来の Set-of-Mark 手法ではアルファベットや数字のタグを付与していましたが、本手法では候補リストから正解を選ぶタスクであるため、アルファベットタグを省略し、マスクのみを重ねることで、モデルが物体の形状と位置を直感的に理解できるようにしています。

2.2 Gaze モジュール

目的: ユーザーの意図を推測するための視覚的キューの提供。
手法: 過去 15 フレーム（ $W=15$ ）のグランドトゥルース（正解）の視線固定点（gaze fixations）をスライディングウィンドウで取得し、連結された円として描画します。
視覚化: 最も最近の視線を赤、古い視線を青へグラデーションさせ、ユーザーの注視の経路（トラジェクトリ）を可視化します。これにより、VLLM が「ユーザーが次に何を見ているか」に基づいて意図を推論することを支援します。

2.3 サンプリングモジュール（逆指数サンプリング）

目的: 計算コストの削減と、相互作用直前の重要な時間的ダイナミクスの抽出。
課題: VLLM は長いシーケンスを処理する際に計算コストが $O(N^2)$ になるため、すべてのフレームを入力することは非現実的です。
手法: 相互作用の直前（動画の末尾）に焦点を当てるため、**逆指数分布（Inverse Exponential Sampling）**を採用します。
- 最終フレームは必ず含みます。
- 残りの $n-1$ フレームは、パラメータ $\lambda$ を用いて確率的に選択します。 $\lambda$ が大きいほど、末尾のフレーム（相互作用に近い瞬間）が選択される確率が高まります。
- これにより、冗長な情報を排除しつつ、最も重要な時間的コンテキストを保持します。

2.4 VLLM モジュール

役割: 上記で処理された画像（SoM と Gaze が重畳された最終フレーム＋サンプリングされた過去のフレーム）とテキストプロンプト（質問、候補、指示）を入力として受け取り、次の相互作用対象となる物体を予測します。
汎用性: このアプローチはモデル非依存（Model-agnostic）であり、任意の SOTA VLLM に適用可能です。

3. 主要な貢献

新規アプローチの提案: 空間的文脈（SoM）とユーザーの意図（視線トラジェクトリ）を統合し、VLLM の HOI 予測能力を強化する新しい手法を提案しました。
SOTA 性能の達成: HD-EPIC データセットの「Gaze Interaction Anticipation」ベンチマークにおいて、既存の最先端手法（K-Net, T-CoT, Qwen2.5VL-Ricoh など）を大幅に上回る精度を達成しました。
モデル非依存性の実証: LLaVA-OneVision と Gemini 2.0 Flash の 2 種類の異なる VLLM において同様の性能向上が確認され、提案手法が特定のモデルに依存しない汎用的な有効性を有することを示しました。
オープンソース化: 研究の再現性と将来の研究促進のため、コードを GitHub で公開しています。

4. 実験結果

データセット: HD-EPIC データセットの Gaze Interaction Anticipation サブセット（1,000 問、10 秒クリップ）。
評価指標: 正解率（Accuracy）。
主要結果:
- LLaVA-OneVision 7Bを使用した場合、提案手法は 27.2% の正解率を達成し、ベースライン（20.4%）および SOTA（22.0%）をそれぞれ +6.8%、+5.2% 上回りました。
- Gemini 2.0 Flashを使用した場合、27.5% の正解率を記録し、HD-EPIC ベンチマークの新しい SOTA となりました。
アブレーション研究:
- SoM と Gaze の相乗効果: どちらか一方のみを使用するよりも、両方を組み合わせた場合に最も高い精度が得られました（SoM 単独：25.8%、Gaze 単独：25.6%、両方：27.2%）。
- サンプリング戦略: 逆指数サンプリング（ $\lambda = 1/10$ ）が最も効果的であり、交互作用直前のフレームを重視することが精度向上に寄与しました。
- サンプルサイズ: 15 フレーム（ $n=15$ ）が最適であり、それ以上増やすと精度が低下しました（過剰サンプリングの弊害）。

5. 意義と将来展望

意義: 本論文は、VLLM における「視覚的グラウンディング」と「ユーザー意図のモデル化」を効果的に組み合わせることで、主観視点動画の理解が飛躍的に向上することを実証しました。特に、視線情報と空間マーカーを視覚入力として直接統合するアプローチは、従来のテキストベースの指示や複雑な後処理に依存しない、効率的かつ強力な解決策です。
将来展望:
- リアルタイム適用への展開。
- 長期的な行動予測（Long-term action anticipation）への拡張。
- 産業現場や医療支援など、具体的な実社会への応用。

総じて、本論文は VLLM を活用した主観視点動画理解において、視線と空間的マーカーを統合する新たなパラダイムを確立し、人間 - 物体相互作用予測の精度を大幅に引き上げた画期的な研究と言えます。