技術要約：マルチモーダル言語モデルにおける決定状態のプロービング

問題提起

マルチモーダル言語モデル（MLLM）は、主に、正しい画像とテキストの照合を選択したり、視覚的なクエリに正確に答えたりといった、外部から観察可能な振る舞いを通じて評価されている。MMBenchやMM-Vetのようなベンチマークは、これらの出力を効果的に測定しているが、本論文は**「正しい外部的振る舞いは、内部の安定性を保証するものではない」**と主張している。モデルは、一貫して正しいキャプションを選択する（厳格な正解行動）一方で、構造化された意味論的な摂動にさらされた際に、その内部の決定状態が著しい不安定性や「ストレス感受性」を示す可能性がある。これは、行動のみに基づく指標が成功を報告している一方で、隠れた内部決定状態のストレス感受性シグナルを覆い隠してしまうという、評価上の盲点を生み出している。

メソドロジー：S3Eフレームワーク

著者らは、外部的な振る舞いと内部の決定状態の間のデカップリング（分離）を分析するために設計されたフレームワークである**S3E（Structured Semantic Stress Evaluation：構造化意味論的ストレス評価）**を導入している。

1. 評価プロトコル

• ポジティブ・アンカー型 A/B 強制選択： 評価では、画像、および画像に支持されるポジティブなキャプション（$c^+$）、そして候補となるキャプション（$c$）を提示する。モデルは、どちらのキャプションがより画像に適合するかを選択しなければならない。
• 順序のバランシング： 位置バイアスを排除するため、試行は元の順序（$[c^+, c]$）と入れ替えた順序（$[c, c^+]$）の両方で評価される。
• 厳格な正解フィルタリング： 分析は「厳格な正解（strict-correct）」試行、すなわち、両方の選択肢の順序に対してポジティブなキャプション $c^+$ を選択した試行に限定して行われる。これにより、内部分析が、外部的な振る舞いが安定しており、かつ正しいケースに焦点を絞ることができるようになる。

2. 候補条件

フレームワークは、公開ベンチマーク（Winoground, SugarCrepe, ARO）から派生した「ベース–保持–ストレス」基質を利用している：

• ポジティブ ($c^+$)： 画像によって支持されるゴールドスタンダードのキャプション。
• 保持 ($c_{pres}$)： $c^+$ の意味を保持した書き換え（正しい再定式化に対する内部の安定性をテストする）。
• 語彙的 ($c_{lex}$)： 意味を保持した異なる表面的な制御（通常の単語レベルの変動をテストする）。
• ストレス ($c_{stress}$)： 意味の変化を導入する候補であり、オブジェクト、属性、関係、または構成要素の変化による意味的な衝突を引き起こす。
• ランダム ($c_{rand}$)： 別のソースアイテムから取得された、一般的な不一致キャプション。

3. 決定状態のプロービング

• 抽出ポイント： 強制選択トークンが出力される直前の、回答前決定状態における隠れ状態を抽出する。
• 指標： 著者らはポジティブ・アンカー型コサイン距離を使用する。候補条件 $k$ に対するスコア $S^{(m,\ell)}_{i,o,k}$ は、$1 - \cos(h^{(m,\ell)}_{i,o,k}, h^{(m,\ell)}_{i,o,+})$ と定義される。ここで $h^{(m,\ell)}_{i,o,+}$ はポジティブなキャプションの隠れ状態である。
• 制御正規化コントラスト： 主要な指標は、コントロールに対するストレス条件の**過剰変位（excess displacement）**である：
  • $\Delta_{lex} = S_{stress} - S_{lex}$ （意味論的ストレス vs 語彙的変動）
  • $\Delta_{pres} = S_{stress} - S_{pres}$ （意味論的ストレス vs 意味保持の再定式化）
  • $\Delta_{rand} = S_{stress} - S_{rand}$ （意味論的ストレス vs ランダムな不一致）

4. 診断プロファイル

結果は、以下の4つの次元（CA, SO, SI, BE）にわたって報告される：

• CA (圧縮–異方性)： 有効ランクと分散の集中度。
• SO (構造的組織化)： レイヤーごとのドリフトとピークレイヤーの局在化。
• SI (選択性–識別性)： コントロールに対するストレスシグナルの特異性。
• BE (行動的露出)： 正解率および厳格な正解率。

主な結果

研究は、5つのオープンソースモデル（Qwen3VL 2B, 4B, 8B、Gemma3-4B、InternVL3-2B）に対して実施された。

1. 隠れたストレス感受性の存在： テストされたすべてのモデルにおいて、意味論的なストレスは、モデルが正しい強制選択決定を下している場合であっても、語彙的コントロールに対して一貫して正の選択レイヤー過剰変位（$\Delta_{lex}$）を生じさせた。

   • Qwen3VL-8Bの場合、ペア化された標準化効果量（$d_p$）は2.85であり、$\Delta_{lex}$ は0.1293であった。
   • Gemma3-4Bの場合、$\Delta_{lex}$ は0.0093であり、$d_p$ は5.45であった。
   • すべての高サポート実行において、$\Delta_{lex}$ の信頼区間はゼロを含まなかった。

2. スケールはギャップを解消しない： モデルのスケールを大きくしても（Qwen3VL 2B $\to$ 8B）、挙動と内部のデカップリングは解消されなかった。実際、意味論的な特異なコントラストはスケールとともに増大しており（0.0190 $\to$ 0.1293）、これは、より大きなモデルが、外部的に正解している場合でも、より強力または識別可能なストレス特異的な決定状態構造を示す可能性があることを示唆している。

3. シグナルの特異性：

   • この効果は意味論的に特異である：$\Delta_{lex}$ は一貫して正であり、この変位が単なる語彙的または表面的な形式の変動によるものではないことを示している。
   • この効果は汎用的な不一致ではない：$\Delta_{rand}$（ストレス vs ランダムなネガティブ）はモデルに依存しており、多くの場合負またはゼロに近く、ランダムなネガティブが主要な意味論的ベースラインではなく、むしろ強力な生の不一致リファレンスであることを裏付けている。

4. レイヤーの局在化： ストレス応答は特定の「ピーク」レイヤー（E3ストレス特異性プロファイルによって特定）に局在していたが、あらかじめ指定されたトップハーフのレイヤーチェックでも確認された。これは、応答が単一の孤立したレイヤーに限定されているわけではないことを示唆している。

意義と主張

本論文は、その知見に関して控えめで限定的な主張を行っている：

• 診断的レンズであり、失敗の証明書ではない： 著者らは、S3Eは限定的な診断対象であり、ダウンストリームの失敗、ハルシネーション、または安全性の証明書ではないことを明示している。厳格な正解行動下での過剰変位の存在は、「決定状態のストレス感受性」を示すものであり、必ずしもモデルが自由形式の生成やダウンストリームタスクで失敗することを意味するものではない。
• 強制選択の正解性は不十分である： 主要な結論は、強制選択の正解性だけでは、不変な内部決定幾何学の十分な証明にはならないということである。モデルは、振る舞いとしては堅牢であっても、内部的には意味論的ストレスに対して敏感である可能性がある。
• シグナルの解釈： 観察された変位は、候補が意味的な衝突を導入したときに、モデルの回答前決定幾何学がどのように変化するかを示すシグナルとして解釈される。このシグナルは、語彙的変動、回答マージン、および表面的なオーバーラップに対するコントロールを生き残る。
• 限界： 著者らは、基質が英語中心であり、公開ベンチマークから派生しているため、汎用性が制限される可能性があることを認めている。また、分析は隠れ状態へのホワイトボックス・アクセスに依存しており、クローズドソースのモデルへの適用可能性を制限している。メトリックとしての $\Delta_{lex}$ は回答前状態における幾何学的応答であり、さらなる証拠なしに較正（キャリブレーション）や将来的な振る舞いの失敗と混同されるべきではない。

要約すると、S3EはMLLMにおける「隠れたストレス」を検出する手法を提供し、外部の出力が正しく見える場合でも、内部の決定状態が不安定になり得ることを明らかにしている。これにより、レイヤー中立的な推定や堅牢性テストに関する今後の研究を動機付けている。