テクニカルサマリー：視覚言語モデルを用いた一人称視点からの歩行者横断意図の解読

問題定義

本研究は、一人称視点（エゴセントリック・ビジョン）を用いて、歩行者の横断意図（具体的には、歩行者が「渡る」か「待機する」か）を予測するという課題に取り組んでいる。車両搭載カメラや監視カメラに依存する従来の外部視点（エキセントリック）のアプローチとは異なり、本研究では歩行者の視点から捉えられた短時間（2秒間）の単眼ビデオクリップから意図を解読することに焦点を当てている。目標は、1秒先の未来における歩行者の行動を予測することである。

著者らは、この予測タスクを、閉じた形式の視覚的質問応答（VQA）問題として再定式化している。モデルは、エゴセントリックなビデオクリップ（$V$）、オプションのコンテキスト情報（$C$）、および特定のクエリ（$Q$）を受け取り、定義された集合 $\{cross, yield\}$ から正しい意図を選択しなければならない。

手法

1. モデルの選択とベースライン

本研究では、以下の2つの視覚言語モデル（VLM）ファミリーを評価している。

• マルチモーダル大規模言語モデル (MLLM): 具体的には、広範な世界知識と一般的な推論能力を備えた Qwen3-VL ファミリー（2B および 8B バリアント）および Qwen2.5-VL-7B、ならびに InternVL3 モデル。
• ビデオ・言語事前学習 (VLP) モデル: 具体的には、エゴセントリックなビデオ・テキストデータで事前学習されているが、多くの場合、屋内活動に支配されている GroundVQA。
• ベースライン: 特化した CLIP+Transformer ベースライン（ビデオ専用のディープラーニング）が、主要な性能ベンチマークとして、またランダム推測および多数派クラス予測とともに用いられている。

2. プロンプティング戦略（ゼロショット評価）

ファインチューニングを行う前に、著者らはモデル固有の推論能力を評価するために、3つのプロンプティング戦略をベンチマークしている。

• 標準的なプロンプティング (Standard Prompting): 最も可能性の高い行動を求める直接的なクエリ。
• テキストによる思考の連鎖 (Text Chain-of-Thought, CoT): 回答する前に、中間的な推論ステップ（例：視覚的要素、リスク、論理の分析）を生成することをモデルに促す。
• 視覚的プロンプティング (Visual Prompting): 関連するオブジェクト（車両や横断目標など）を強調するために、デテクター（GroundingDINO）によって生成された「セット・オブ・マークス（set-of-marks）」オーバーレイ（バウンディングボックスとID）を用いてビデオ入力を拡張する。

3. コンテキスト情報の統合

ビデオに加え、推論を向上させるために追加のモダリティを組み込んでいる。

• エゴモーション (Ego Motion): 歩行者の位置と速度。
• 車両の動き (Vehicle Motion): 自動運転車両の位置と速度。
• 視線 (Eye Gaze): テキストによる記述（角度での方向）または視覚的オーバーレイ（注視点上の赤い点）として表現。
• 個人的属性 (Personal Attributes): プロンプトに含まれる人口統計学的データ（年齢、性別、利き手など）。

著者らは、時変コンテキストを統合するための2つの戦略を調査している：Preface（コンテキストをプロンプトの先頭に付加する）および Interleaved（特定のビデオフレームの横にコンテキストを挿入する）。

4. ファインチューニング戦略

事前学習済みモデルを交通ドメインに適応させるため、著者らは 低ランク適応 (LoRA) を用いた 教師ありファインチューニング (SFT) を採用している。このアプローチでは、元のモデルのパラメータを凍結し、選択されたレイヤー内の低ランク更新のみを学習させる。彼らは以下のチューニングを実験している：

• 言語エンコーダーのみ。
• クロスモーダル融合モジュールのみ。
• 言語とクロスモーダル成分の両方。
  ビジョンエンコーダーは、特徴抽出器としての役割を維持するために凍結される。

主な結果

ゼロショット性能

• 限定的な推論能力: ゼロショット設定における最先端のVLMは、ランダム推測に対して中程度の利得（例：Qwen2.5-VL-7B は約63%の精度）を示すが、特化した CLIP+Transformer ベースライン（72.7% の精度）を超えることはできない。
• プロンプティングの限界: テキスト CoT プロンプティングは性能を向上させず、推論レイテンシを大幅に増大させた。場合によっては、モデルが「yield（待機）」にデフォルトしてしまう原因となり、性能を低下させた。視覚的プロンプティング（セット・オブ・マークス）も、検出の不一致やVR環境の特殊な性質により、測定可能な改善をもたらさなかった。
• 入力への感度: より大きなモデル（例：Qwen3-VL-8B）は、フレームサンプリングが増える（4から32フレームへ）と性能が悪化しており、冗長な入力に対する感度を示唆している。一方で、より小さなモデル（Qwen3-VL-2B）は、より多くのフレームから恩恵を受けている。

ファインチューニング後の性能

• 大幅な向上: パラメータ効率的なファインチューニングは、性能を大幅に向上させた。ファインチューニングされた Qwen3-VL-2B は 77.7% の精度を達成し、ファインチューニングされた VLP (GroundVQA) は 78.9% の精度を達成した。
• 最先端 (SOTA): これらの結果は、特化した CLIP+Transformer ベースラインに対して 9% の精度向上 を示している。
• アーキテクチャの適応: Qwen モデルについては、クロスモーダルモジュールのみのチューニングで十分であった。VLP モデルについては、言語とクロスモーダル両方のコンポーネントをチューニングすることで最良の結果が得られた。

コンテキスト・キューの影響

• ゼロショット: コンテキスト（エゴモーション、視線など）を追加することは、一般にゼロショット性能を向上させたが、エゴモーション が最も情報量の多い単一のキューであった。しかし、ファインチューニングなしでキューを組み合わせると、ハルシネーション（幻覚）が発生したり、性能が低下したりすることがあった。
• ファインチューニング後: ファインチューニングを行うと、モデルはコンテキストを効果的に活用することを学習した。エゴモーションと視線（特に画面上の視線）の組み合わせは、最高の汎化性能を示し、Transformer ベースラインに対して 14.5% の精度向上 を達成した。
• コンテキストのフォーマット: Preface 戦略（コンテキストを先頭に付加する）は、Interleaved 戦略を一貫して上回った。これは、このタスクにおいてはフレームごとのインターリーブよりも、コンテキストによるグローバルな条件付けの方が効果的であることを示唆している。

重要性と主張

本論文は、エゴセントリックな歩行者意図解読における**新たな最先端（SOTA）**を確立したと主張している。主な貢献は以下の通りである：

1. VLMの実現可能性: オフザシェルフのVLMは、交通に関する推論において非自明なゼロショット能力を備えているものの、専門的なディープラーニングのベースラインに匹敵または凌駕するためには、ドメイン適応（ファインチューニング）が必要であることを示した。
2. ファインチューニングの有効性: パラメータ効率的なファインチューニング（LoRA）が、汎用VLMを安全性が重要な交通タスクに適応させるための非常に効果的な戦略であり、ビデオデータのみから学習されたモデルを上回ることを示した。
3. マルチモーダル・コンテキストの価値: 視線とエゴモーションを組み込むことが、特にモデルがこれらの信号を解釈するように訓練されている場合、予測精度と汎化性能を大幅に高めることを立証した。
4. 方法論的洞察: テキストベースの CoT プロンプティングや視覚的オーバーレイはこの特定のタスクには有益ではない可能性がある一方で、構造化されたコンテキスト統合（Preface経由）とファインチューニングが極めて重要であるという証拠を提供した。

著者らは、VRベースのデータセットを使用しているため現実世界の複雑さをすべて捉えきれていない可能性があることや、一様にサンプリングされたフレームに依存していることなどの限界についても言及している。今後の研究として、交通特化型の事前学習、適応的な時間的サンプリング、および現実世界のデータにおける稀なイベントの評価に焦点を当てるべきであると示唆している。