技術要約: VKnowU

問題提起

マルチモーダル大規模言語モデル（MLLM）は、物体の認識や属性の識別において高い能力を示しているが、世界を支配する基礎的な物理的・社会的原理に対する直感的かつ人間のような理解が欠如していることが多い。このギャップは、「視覚的知識（visual knowledge）」、すなわち知覚と推論を橋渡しする、視覚に根ざした高レベルな意味論的レイヤーの不足を表している。現在のモデルは、マルチスケール特徴量や高解像度入力を通じて微細な知覚には優れているが、物理的な軌道の予測や主観的な意図の推論といった、より深い推論に必要な埋め込まれた直感的知識には苦慮している。その結果、MLLMは脆弱な言語的事前知識に依存しやすく、これが幻覚（ハルシネーション）や、真の世界理解を必要とするタスクにおける性能低下を招いている。

手法

1. VKnowU: 包括的なベンチマーク

著者らは、知覚の正確性と認知推論の間のギャップを定量化するために、1,249本の動画と1,680問の多肢選択式問題で構成されるビデオベンチマークであるVKnowUを導入した。このベンチマークは、以下の2つのドメインに分類される8つの核心的な視覚的知識の次元に基づいて構成されている：

• 世界中心（物理的）:
  • 直感的物理学 (Intuitive Physics): 物理的な妥当性（例：重力、物体の恒常性）の判断。
  • 物体のアフォーダンス (Object Affordance): 構造的特性に基づく機能的な用途の決定。
  • 物体の材質 (Object Material): 内在的または行動的な手がかりによる素材組成の特定。
  • 空間把握 (Spatial Awareness): 相対的な位置関係やナビゲーションの推論。
• 人間中心（心理的・社会的）:
  • イベントの予測 (Event Anticipation): 社会的規範に基づく、おそらく起こる次のイベントの推論。
  • 精神状態 (Mental State): 内面的な心理状態や情緒的な雰囲気の推論。
  • 社会的関係 (Social Relation): 対人関係や役割の推論。
  • 主観的な意図 (Subjective Intention): 観察された行動の背後にある潜在的な目標の再構築。

データセット構築:
視覚的知識ではなく、言語的事前知識や音声の手がかりによって評価されないよう、著者らは厳格なQA再構成パイプラインを採用した：

1. 音声への依存を最小化: 音声トランスクリプトによって解決可能な質問（類似度 > 0.3）は破棄した。
2. 言語バイアスの低減: テキストのみのLLMで解決可能な質問（Pass@10 ≥ 0.5）は除外した。
3. 誤答候補の強化: 選択肢による消去法を防ぐため、誤答となる選択肢を意味的に妥当だが不適切なものへと再構成した。
4. 人間による検証: 最終的な手動レビューにより、明快さと特定の視覚的知識コンピテンシーへの適合性を確保した。

2. VideoKnow+: 視覚的知識のためのベースラインモデル

特定された欠陥に対処するため、著者らは視覚的知識を明示的に統合するように設計されたベースラインモデルである**VideoKnow+**を提案している。このアプローチは、**See–Think–Answer（見る・考える・答える）**パラダイムに従う：

• 構造化された出力: モデルは、推論（Think）および回答（Answer）を行う前に、自己完結的な視覚的記述（See）を生成するように制約される。これにより、モデルは知覚された視覚的証拠に自身の推論を固定することを強制される。
• 強化学習 (RL): モデルは、特化した視覚的知識報酬 ($r_v$) を用いたGRPO（Group Relative Policy Optimization）を用いて訓練される。外部の凍結されたMLLMが検証器として機能し、生成された視覚的記述が、さらなる推論なしに回答を導き出すのに十分であるかどうかを判定する。
• VKnowQA: VideoKnow+の訓練をサポートするために、大規模な学習コーパス（VKnowQA-30KおよびVKnowQA-CS-12K）が構築された。これにより、評価ベンチマークとのデータ漏洩を防いでいる。

主な結果

VKnowUにおけるSOTA MLLMの評価

著者らは、28の最先端のMLLM（GPT-4o、Gemini-3.0、InternVL3.5などのオープンソースおよびプロプライエタリなモデルを含む）を評価した。

• 全体的なギャップ: 最も優れた性能を示したモデル（Gemini-3.0-Pro）であっても**76.3%に留まり、人間のパフォーマンス（93.0%）に対して16.7%**の遅れがあった。
• 世界中心の欠損: 物理的タスクにおいてギャップが最も顕著であった。モデルは、直感的物理学において人間より37.0%、空間把握において**32.7%**劣っており、一部のモデルはこれらのカテゴリにおいてランダムな推測を辛うじて上回る程度であった。
• 人間中心のパフォーマンス: モデルは人間中心のタスクでは比較的良好な成績（最高81.9%）を示したが、これは指示チューニングデータにおける社会的ナラティブの普及によるものと考えられる。
• スケーリング分析: LLMのバックボーンサイズを大きくすること（例：4Bから8Bへ）は、一般的なベンチマークと比較してVKnowUではわずかな向上（+1.3%）しか得られなかった。これは、性能が言語モデリング能力ではなく、視覚的グラウンディングによって制限されていることを示唆している。

VideoKnow+の性能

See–Think–Answer構造と視覚的知識報酬を用いてVKnowQAで訓練されたVideoKnow+は、大幅な改善を示した：

• VKnowU: ベースライン（Qwen2.5-VL-7B）に対して**+3.7%**の向上を達成した。
• 汎用性: 他のビデオベンチマークにおいても一貫した向上を示した：
  • MVBench: +5.4%
  • Video-MME: +7.0%
  • MMVU: +5.7%
• アブレーション: 構造化されたフォーマットのための教師あり微調整（SFT）と、視覚的知識報酬（$r_v$）を用いたGRPOの組み合わせが、最も効果的な戦略であることが判明した。

意義と主張

本論文は、視覚的知識が汎用的なMLLMを開発するための欠落した礎石であると主張している。著者らは以下の通り述べている：

1. 現在の限界: 標準的な次トークン予測目的関数は、テキストに整合した監督のみから、暗黙的な物理的ダイナミクスや社会的ニュアンスを捉えることは困難である。
2. 架け橋: 視覚的知識は、言語的事前知識への過度な依存を減らし、幻覚を軽減するための重要な中間レイヤーとして機能する。
3. 学習可能性: 結果は、視覚的知識が学習可能であることを示している。推論プロセス（See–Think–Answer）を明示的に構造化し、視覚的証拠に回答を接地させるようモデルに報酬を与えることで、MLLMはより堅牢で人間のような理解を達成できる。
4. 診断ツール: VKnowUは、物理的グラウンディングと社会的推論を分離して診断できる精密なツールを提供しており、これらが現在のモデルにおいて、ほぼ独立した認知サブシステムであることを明らかにしている。

本研究は、視覚的知識の明示的な統合が、MLLMを単に「見ている」状態から、物理的世界および社会的環境を真に「理解している」状態へと進化させるために必要なステップであることを位置づけている。