Evaluating Visual Prompts with Eye-Tracking Data for MLLM-Based Human Activity Recognition

この論文「Evaluating Visual Prompts with Eye-Tracking Data for MLLM-Based Human Activity Recognition（MLLM による人間活動認識のためのアイトラッキングデータを用いた視覚的プロンプトの評価）」の技術的な要約を以下に記します。

1. 背景と課題 (Problem)

近年、IoT アプリケーション（特に人間活動認識：HAR）において、大規模言語モデル（LLM）やマルチモーダル大規模言語モデル（MLLM）を基盤モデルとして活用する研究が進んでいます。しかし、アイトラッキングデータのような高頻度・多次元の時系列センサーデータを LLM に直接入力することには、以下の重大な課題が存在します。

• トークンコストと計算負荷: 高頻度の生データ（例：1000Hz）をそのままテキスト化すると、トークン数が膨大になり、推論コストが現実的ではなくなります。
• 情報の欠損: 連続する数値列を LLM のトークナイザーが処理すると、時間的な相関関係が失われる傾向があります。
• 「Lost in the Middle」問題: 入力長が長すぎると、モデルがデータの中間部分にある重要な時間的パターンを見逃す現象が発生します。
• 従来の解決策の限界: 時系列データを専門のトークナイザーで処理したり、時系列データで再学習させたりする方法はありますが、汎用性やトレーニングコストの面で課題が残ります。

2. 提案手法と研究方法 (Methodology)

本研究では、センサーデータを可視化画像（Visual Prompts）に変換し、MLLM の入力として利用する「視覚的プロンプト」戦略を提案・検証しました。具体的には、以下の要素を体系的に評価しました。

• 可視化手法の比較: 3 種類の主要なアイトラッキング可視化手法を比較しました。
  1. Timeline（タイムライン）: 時間軸に沿った視線の座標や特徴量のプロット。
  2. Heatmap（ヒートマップ）: 視線の空間分布を示す重ね合わせ図。
  3. Scanpath（スキャンパス）: 注視点と視線移動（サッケード）の経路を示す図。
  • これらを「生データ（Raw）」と「特徴量ベース（Feature-based：注視・サッケード抽出後）」の 2 種類で比較しました。
• データセット: 3 つの公開アイトラッキングデータセット（GazeBase, SedentaryActivity, DesktopActivity）を使用。これらは異なるサンプリングレート（30Hz〜1000Hz）、デバイス（画面ベース/ウェアラブル）、活動クラス（6〜8 クラス）を持っています。
• 実験設定:
  • ゼロショット（Zero-shot）とワンショット（One-shot）: 少量の例示を含めた推論を評価。
  • 時間ウィンドウサイズ: 10 秒から 100 秒まで 10 秒刻みで変化させ、活動パターン捕捉への影響を調査。
  • ベースライン: 生テキスト（座標列）や構造化テキスト（特徴量記述）との比較。
• モデル: OpenAI API を通じた GPT-5.1（gpt-5.1-2025-11-13）を使用。

3. 主要な結果 (Key Results)

A. 精度とパフォーマンス

• 視覚的プロンプトの優位性: 多くの場合、視覚的プロンプトはテキストベースのプロンプトよりも高い精度を達成しました。特に、生データを用いたヒートマップが、ワンショット設定において GazeBase データセットで最高精度（0.811）を記録しました。
• 特徴量テキストとの比較: 生テキストよりは優れていましたが、抽出された特徴量を記号化した「特徴量テキスト（Feature Text）」と視覚的プロンプトの性能は dataset によって拮抗しました。これは、MLLM が画像から直接特徴を抽出できる場合、明示的な特徴抽出が不要な場合があることを示唆しています。
• 可視化手法の依存性: 最適な可視化手法は活動の種類に依存します。
  • Play（遊び）: 視線の空間的分布が重要であるため、ヒートマップが優位でした。
  • Read（読書）: 視線の時間的順序が重要であるため、スキャンパスが優位でした。
• ウィンドウサイズの影響:
  • SedentaryActivity: ウィンドウサイズが大きくなる（最大 100 秒）につれて精度が向上し、ヒートマップで 0.529 の精度に達しました。
  • DesktopActivity: ウィンドウサイズやプロンプト手法による明確な精度向上は見られませんでした（ウェアラブルセンサーの特性や活動の複雑さが要因と考えられます）。

B. トークン効率とスケーラビリティ

• 圧倒的なトークン削減: 視覚的プロンプトは、テキストベースのプロンプトに比べて桁違いに少ないトークン数で同等以上の情報を伝達できました。
  • 例：10 秒間のデータにおいて、生テキストは視覚プロンプトの2.3 倍〜21.8 倍のトークンを消費しました。
  • 例：100 秒間のデータ（SedentaryActivity）では、テキストプロンプトは 83,901 トークンが必要でしたが、視覚プロンプトは固定の 4,061 トークンで済みました（約 20 倍の効率化）。
• ウィンドウサイズに対する安定性: テキストプロンプトはウィンドウサイズに比例してトークン数が増加しますが、視覚的プロンプトは画像サイズが固定されているため、ウィンドウサイズに関わらずトークンコストが一定に保たれます。

4. 貢献と意義 (Contributions & Significance)

1. 高頻度センサーデータのための効率的なインターフェース:
   本研究は、アイトラッキングのような高頻度データを MLLM に効率的に渡すための「視覚的プロンプト」の有効性を実証しました。これにより、トレーニング不要（Training-free）で、かつ計算コストを抑えた IoT 応用が可能になります。

2. タスク固有の可視化選択の重要性:
   「万能な可視化手法は存在しない」ことを示しました。活動の種類（空間的集中 vs 時間的順序）に応じて、最適な可視化手法（ヒートマップ、スキャンパス等）を選択する必要があることを明らかにし、自律エージェントによる動的な可視化選択の設計指針を提供しました。

3. 「Lost in the Middle」問題の回避:
   長い時系列データを画像として圧縮することで、モデルが重要な時間的パターンを見逃すリスクを低減し、長期間のセンサーデータ解析を可能にしました。

4. IoT 基盤モデルへの応用可能性:
   人間活動認識（HAR）を超え、ユーザーの注意状態やタスクへの関与度などの高次推論にも応用可能なフレームワークを提示しました。これは、ウェアラブルデバイスやスマート環境における文脈認識システムの開発に寄与します。

5. 結論

本論文は、MLLM を用いた人間活動認識において、センサーデータを画像化して入力する「視覚的プロンプト」が、テキスト入力に比べてトークン効率が高く、スケーラブルで、かつ実用的な精度を達成できることを示しました。特に、長時間のデータ解析においてその優位性が顕著であり、IoT 分野における基盤モデルの活用を大きく前進させる可能性を秘めています。