IntentVLM: Open-Vocabulary Intention Recognition through Forward-Inverse Modeling with Video-Language Models

以下は、論文「IntentVLM: Forward–Inverse Modeling with Video-Language Models によるオープンボキャブラリー意図認識」の詳細な技術的サマリーです。

1. 問題定義

本論文は、ヒト - ロボット相互作用（HRI）におけるオープンボキャブラリーなヒトの意図認識という課題に取り組んでいます。

• 核心的な課題: 物理的な動作とは異なり、意図は観測不可能な潜在的な心的状態です。既存の手法は多くの場合、クローズドボキャブラリー（事前に定義されたラベル集合）アプローチに依存しており、制約のない環境における人間の目標のニュアンス、多様性、および複合的な動機を捉えることができません。
• 既存アプローチの限界:
  • クローズドセット分類: モデルを固定されたラベル空間に制限し、表現力を低下させています。
  • 直接生成: 大規模言語モデル（LLM）やビジョン - ランゲージモデル（VLM）による単一パス生成は、制約なしに動画から意図を推論するよう求められた場合、ハルシネーション（幻覚）や一貫性のない予測につながることが多いです。
  • 静的知覚: 多くの先行研究は静止画像に依存しており、意図の理解に不可欠な時間的ダイナミクスや文脈的進化を捉えきれていません。
• 目標: 事前に定義された動作語彙に依存することなく、動画ストリームから人間の意図の自由形式の自然言語記述を推論し、かつ頑健性を維持してハルシネーションを削減するシステムの開発です。

2. 手法：IntentVLM

著者らは、認知科学におけるフォワード・インバースモデリングに着想を得た、新しい 2 段階の動画 - 言語フレームワークIntentVLMを提案します。核心的な仮説は、脳が意図を推論（インバース）する前に、まず妥当な未来の状態をシミュレート（フォワード）するというものです。

アーキテクチャ概要

本フレームワークは、パラメータ効率的な微調整のために**LoRA（Low-Rank Adaptation）**アダプターを備えた 2 つの凍結された動画 - 言語モデル（VLM）を利用します。プロセスは 2 つの連続した段階に分割されます。

段階 1: 目標候補生成（「フォワード」ステップ）

• 入力: 観測された動画シーケンス（$V_O$）とテキストクエリ（$Q_O$）。
• 機能: 生成モジュールが、観測された行動を説明する多様な $K$ 個の妥当な目標候補（$G_t = \{G_1, ..., G_K\}$）を生成します。
• メカニズム: これは「提案」ステップとして機能し、視覚的コンテキストに基づいて潜在的な結果や目標をシミュレートします。固定リストに制限するのではなく、オープンボキャブラリーの可能性を含む探索空間を拡張します。
• 実装: これらの候補を生成するために、Qwen3-VL モデル（8B パラメータ）が微調整されます。

段階 2: 構造化選択（「インバース」ステップ）

• 入力: 元の動画、クエリ、および段階 1 で生成された候補目標のセット。
• 機能: 推論モジュールが候補を評価し、最も妥当な単一の意図を選択します。
• メカニズム: これは「専門家」として機能し、候補に対して推論を行い、視覚的証拠および文脈情報との整合性に基づいてランク付けします。
• 実装: 選択を実行するために、別の Qwen3-VL インスタンス（2B または 4B パラメータ）が微調整されます。最終出力は、推論された意図として扱われる、事後確率が最も高い目標です。

トレーニング戦略:

• パラメータ効率的微調整（PEFT）: ベース VLM の重みを凍結したまま LoRA アダプターのみをトレーニングし、一般的な世界知識を保持し、破滅的忘却を防ぎます。
• 損失関数: 生成されたトークンとグランドトゥルースラベル（段階 1 の候補、段階 2 の真の意図）の間でクロスエントロピー損失を計算します。

3. 主要な貢献

1. オープンボキャブラリーフレームワーク: クローズドセット分類を超え、生成 - 選択パラダイムへと移行することで、モデルが事前に定義されたトレーニング語彙に含まれていない意図を認識できるようにします。
2. 認知科学に着想を得た 2 段階設計: 意図認識を明示的に提案（仮説の生成）と選択（仮説の検証）に分解します。この構造は人間の認知プロセス（フォワード・インバースモデリング）を模倣し、直接生成と比較してハルシネーションを大幅に削減します。
3. 最先端のパフォーマンス: 意図認識ベンチマークにおいて人間レベルのパフォーマンスを達成し、既存のベースラインを大幅に上回ります。
4. 頑健性と効率性: モジュール設計が破滅的忘却（一般的なシーン理解の保持）を防ぎ、より大きなベースラインと比較してより小さなモデルサイズ（4B）で高いパフォーマンスを達成することを示しています。

4. 実験結果

モデルは 2 つのベンチマーク、IntentQA（意図認識）およびInst-IT Bench（インスタンスレベル推論）で評価されました。

• IntentQA パフォーマンス:
  • 精度: IntentVLM はテストセットで約 80% の精度を達成しました。
  • 比較: これは既存のベースライン（HME、HQGA、VGT など）に対して約 30% の改善を表し、人間のパフォーマンス（78.49%）と一致します。
  • アブレーション: 4B パラメータモデルは 2B バージョンを上回りました。微調整はゼロショット設定に対してパフォーマンスを大幅に向上させました。
• オープンボキャブラリー能力:
  • 自由形式生成設定（候補オプションなし）において、標準的な VLM による直接生成は性能が低く（ROUGE スコア <20）、
  • IntentVLM の 2 段階アプローチは、候補選択メカニズムを通じて生成空間を制約することで、オープンボキャブラリー設定でのパフォーマンスを平均約 5 ポイント向上させました。
• 一般化（破滅的忘却）:
  • IntentQA でのトレーニングは、Inst-IT Benchにおけるインスタンスレベル推論のモデルの能力を低下させませんでした。微調整されたモデルは、ゼロショットの対応モデルと競争力のあるままでした。
  • 効率性: 4B パラメータの IntentVLM は、7B を超えるパラメータを持つモデルと同等のパフォーマンスを達成し、優れたサイズとパフォーマンスのトレードオフを浮き彫りにしました。

5. 意義と影響

• ヒト - ロボット相互作用の進展: 事前にプログラムされたスクリプトなしに、ロボットが微妙でオープンエンドな人間の目標（例：「コーヒーを作る」対「お茶のお湯を沸かす」）を理解できるようにすることで、IntentVLM はより能動的で社会的に意識されたロボットアシスタントへの道を開きます。
• 認知科学と AI の架け橋: この研究は、フォワード・インバースモデリングという理論的概念を、実用的でスケーラブルな深層学習アーキテクチャへと成功裏に転換しました。
• 推論の信頼性: 構造化された推論アプローチ（生成 - 後選択）は、生成 AI に共通する「ハルシネーション」問題への解決策を提供し、介護や支援ロボットなどの安全クリティカルなアプリケーションへの適合性を高めます。
• スケーラビリティ: LoRA アダプターの使用により、フル微調整の計算コストなしに、大規模基盤モデルを特定の認知タスクに効率的に適応させることを可能にします。

結論として、IntentVLM は、意図認識を構造化された 2 段階の認知プロセスに分解することが、動画 - 言語モデルに複雑でオープンボキャブラリーな人間の目標に対する人間レベルの理解を達成させ、次世代の知能ロボットシステムのための堅牢な基盤を提供することを示しています。