技術要約: TRAPSBench: ビジョン・ランゲージ・モデルは認識しているが、認識的抑制を表現することに失敗する

問題提起

ビジョン・ランゲージ・モデル（VLM）は、ビデオ理解や物理的推論において著しい進歩を遂げてきた。しかし、高リスクな領域への展開においては、感覚情報が決定的な予測を行うには不十分であることを認識する能力は、正解を導き出す能力と同じくらい重要である。現在のベンチマークは物理的推論を評価しているが、証拠が不十分な条件下での**選択的棄権（selective abstention）**をテストできていない。既存の指標は、無差別な棄権を報酬として与えてしまったり、認識的（epistemic）な側面を完全に無視したりすることが多く、「自分が知らないということを知っているモデル」と「単に推測しているだけのモデル」を区別できていない。

本論文は、モデルの内部知識と、その不確実性の外部的な表現との間のギャップに対処する。具体的には、VLMが「回答可能」なシナリオと「回答不可能」な物理的シナリオを内部的に区別できるかどうか、そしてもしできるのであれば、なぜそれらの区別を自己回帰的な出力として表現できないのかを調査する。

手法

1. TRAPSBench ベンチマーク

著者らは、プロシージャルに生成されたビデオベンチマークである TRAPSBench（Testing Restraint in Ambiguous Physical Scenarios）を導入する。これは、1,404組の対応する物理ペアで構成されている。

• 生成: MuJoCoを使用し、結果が決定論的な「コントロール（control）」ビデオと、特定の標的化された修正によって結果が計算不能になった「ボイド（void）」ビデオを作成する。
• 不確実性の分類:
  • 遮蔽（Occlusion）: 重要な視覚データが不透明な遮蔽物によってブロックされている（$N=202$）。
  • カオス的感受性（Chaotic Sensitivity）: 初期条件に対して極端に敏感な決定論的システムであり、解決前に打ち切られている（$N=500$）。
  • 問いの不適切さ（Ill-Posed Questions）: コントロールビデオを再利用しているが、質問に誤った前提が含まれているか、観測不可能な詳細を求めている（$N=702$: 遮蔽による不適切さ202 + カオスによる不適切さ500）。
• 評価: テキストのみの判定パネル（3つのモデル）が応答をスコア化する。コントロールビデオについては、MuJoCoのグラウンドトゥルース（正解）に対して正解率を測定する。ボイドビデオについては、判定器がモデルが棄権したかどうかを検出する。

2. 罰則付き認識的較正スコア（PECS）

性能を評価するために、著者らは以下の結合指標である PECS を提案する。
$$\text{PECS} = \text{Acc} \times \max(0, \text{AbsRec} - \text{FalseAbs})$$
ここで：

• Acc: 回答可能な（コントロール）ビデオに対する正確度（Accuracy）。
• AbsRec: 棄権再現率（Abstention Recall：ボイドビデオに対して正しく棄権すること）。
• FalseAbs: 誤棄却（False Abstention：コントロールビデオに対して誤って棄権すること）。
• 意義: 指標はYouden's J統計量（$\text{AbsRec} - \text{FalseAbs}$）を用いて、無差別な戦略に罰則を与える。常に棄権する、あるいは決して棄権しないモデルはPECSが0となる。高いスコアを得るには、回答可能なタスクにおける高い正確度と、回答不可能なタスクにおける選択的な棄権の両方が必要である。

3. メカニスティック分析

論文では、内部表現を調査するために2つの手法を用いている。

• 線形プロービング（Linear Probing）: 固定されたVLMの隠れ状態に対してロジスティック回帰プローブを学習させ、「ボイド」対「コントロール」のラベルを予測させる。これにより、モデルがその区別を*エンコード（符号化）*しているかをテストする。
• 活性化ステアリング（Activation Steering）: 生成中に「ボイド方向」のベクトル（$v_\ell$）を加えることで、隠れ状態を因果的に操作し、その表現が棄権行動を因果的に制御しているかをテストする。

主な貢献

1. TRAPSBench と PECS: ビデオ理解における認識的較正を評価するために特別に設計された大規模ベンチマークと、常に棄権する、あるいは決して棄引しないといった退化した戦略をゼロにする堅牢な指標。
2. 表現と出力のギャップ: 本論文は、VLMが認識的な不確実性を内部的にエンコードしているが、それを表現することに失敗していることを確立する。これは以下を通じて示される：
   • 誘導プロンプティング（Guided Prompting）: 「わからない（I don't know）」と明示的に指示することで、潜在的な能力が解放され、正確度を損なうことなく棄権再現率が大幅に向上する。
   • 線形プロービング: プローブは、物理ドメイン全体で高いAUROC（最大0.91）で回答可能性の信号をデコードする。これは、モデルが自信を持って幻覚（ハルシネーション）を生じさせているサンプルにおいても同様である。
   • 活性化ステアリング: 「ボイド方向」の信号を注入することで、コントロールサンプルにおいて棄権を因果的に誘発し、ボイドサンプルにおいてそれを抑制する。
3. 失敗モードの非対称性:
   • 視覚 vs テキスト: モデルは、テキストによる不適切さ（問いの不適切さ）を、視覚的な情報の欠落よりも約4倍速く検出する。
     理性的推論（Chain-of-thought: CoT）は、較正を一様に改善するわけではない。一部のモデル（例：Qwen3-VL Think）では、推論プロセスが疑念を表明しているにもかかわらず、最終的な出力がそれを覆してしまい、思考型ではないバリアントと比較して、かえって空想（confabulation）を増加させる。
4. 因果的メカニスティック分析: 「ボイド」信号の幾何学的構造はドメインごとに異なる。遮蔽ファミリーの方向は、モダリティやドメインを横断して転移するドメイン汎用的な「証拠が欠落している」信号をエンコードしている。一方、カオスファミリーの方向はドメイン固有であり、互いに直交に近い。これは、認識的な透明性が転移性を支配していることを示唆している。

結果

• 自発的な抑制は乏しい: 5つのファミリー（Gemini, Qwen, GPT-5, Gemma, LLaVA）にわたる16のVLMにおいて、自発的なPECSは低い。最良の自発的PECSは0.292（Gemini 2.5 Flash）である。ほとんどのモデルは、証拠の質に関わらず回答しようとする強いバイアスを持っている。
• 誘導プロンプティングが潜在能力を解放する: 棄権するようにという明示的な指示を与えると、ビデオネイティブモデル全体で棄権再現率の中央値が1.9倍増加し、PECSも大幅に改善する（例：Gemini 3.1 Pro R-Lowは0.568に達する）。しかし、誘導があっても飽和には至らず、持続的なボトルネックが存在することを示している。
• 内部エンコーディング vs 出力の抑制:
  • 線形プローブは、クロスデータセット転移において最大0.91のAUROCを達成し、モデルが結果を知り得ないことを「知っている」ことを証明した。
  • 決定的なことに、この信号は、標準的なプロンプト下でモデルが空想（失敗して棄権できなかったサンプル）を行った場合でも維持される。
  • 活性化ステアリングは、この信号が因果的であることを確認した。すなわち、隠れ状態にボイド方向を加えると、棄権が強制される。
• プロンプト・ゲーティング: Qwen3-VL-8Bにおいて、標準的なプロンプトは棄権に対する一方向の制約を課している。ステアリングによって標準プロンプト下での空想を強制（棄権を抑制）することはできるが、「誘導された」プロンプトを使用しない限り、棄権を誘発することはできない。これは、ボトルネックが出力段階のゲートであり、内部表現の欠如ではないことを示唆している。
• 推論と空想: 空想モードの分析によれば、失敗の87〜99%は前提の捏造（視覚的観察の捏造）を含んでいる。Qwen3-VL Thinkでは、推論のトレースがしばしば疑念を表明するが、最終的な出力がそれを上書きし、自信に満ちた捏造された回答を提供する。

意義と主張

本論文は、物理的推論における信頼できるVLM展開の主要なボトルネックは、知覚ではなく**表現（expressive）**にあると主張している。

• 表現と出力のギャップ: VLMは、回答可能か回答不可能かを区別するために必要な内部的な認識的信号を保持している。失敗は、自己回帰的な生成プロセスにあり、流暢で断定的な回答を優先してこれらの信号を抑制してしまう。
• モダリティの特異性: このギャップは、テキストによる不確実性よりも視覚的な不確実性において顕著である。モデルは、意味的な不可能性（テキスト）を検出することには非常に長けているが、物理的な情報の欠落（ビデオ）の検出には苦戦する。
• 介入の必要性: このギャソッドを埋めるには、単にモデルサイズを拡大したり視覚的知覚を向上させたりするのではなく、出力段階の介入（デコーディングの制約、ステアリング、または特殊な学習目的関数など）が必要である。
• 汎用性: 共通の学習パイプラインを持たない3つのオープンウェイト・ファミリー（Qwen, Gemma, LLaVA）間で結果が再現されており、これは特定のモデルのアーティファクトではなく、現在のVLMアーキテクチャの根本的な特性であることを示唆している。

著者らは、TRIPSBenchが、AIシステムの認識的較正を評価・改善するための不可欠なツールを提供し、「いつ答えないべきかを知ること」が、自律型エージェントにとって依然として未解決かつ重要な課題であることを強調して締めくくっている。