技術要約：エンコードされているがルーティングされていない

問題提起

マルチモーダル大規模言語モデル（VLM）は、研究論文内のエビデンスによって主張が支持されるか反論されるかを判定する、科学的クレーム検証というタスクへの導入が進んでいる。先行研究では、基礎となるデータが同一であっても、エビデンスが**表（テーブル）として提示された場合とチャート（グラフ）**として提示された場合とでは、モデルの性能に大きな差が生じるという顕著な性能ギャップが確立されている。

本論文が取り組む中心的な問いは、この「表とチャートのギャップ」が、知覚の失敗（モデルがチャートから視覚情報を抽出またはエンコードできていない）によるものか、それとも利用の失敗（モデルは情報をエンコードしているが、予測段階への効果的なルーティングに失敗している）によるものか、という点である。これらを区別することは極めて重要である。なぜなら、これらは根本的に異なる介入（例：より優れたビジョンエンコーダ vs. 情報ルーティングに関するアーキテクチャの変更）を必要とするからである。

手法

著者らは、2つの異なるモデルファミリーに属する3つのオープンウェイトVLM（Qwen2.5-VL-7B、Qwen2.5-VL-32B、および InternVL3-8B）を用い、層ごとの線形プロービング（layer-wise linear probing）とアテンション分析を用いた診断的アプローチを採用している。

1. データセット: 本研究では、162個のユニークな科学的クレームと、それと意味的に等価なエビデンスを2つの形式（構造化されたJSONテーブルと、基本棒グラフ、シンボル棒グラフ、折れ線グラフ、および入れ替えられたチャートの4種類のチャートバリアント）でペアリングした、コンテンツ制御型のベンチマークである**SciTabAlign+**を使用している。
2. 線形プロービング:
   • 目的: タスクに関連する信号（支持/反論）が中間隠れ状態からデコード可能かどうかを判断する。
   • 設定: すべての層 $l$ において、2つの集計戦略を用いてプローブを訓練する：
     • ラストトークン（Last-token）: 最終入力トークン（予測位置）の隠れ状態を使用する。
     • 平均プーリング（Mean-pool）: 分散した情報を捉えるために、すべての入力トークンの隠れ状態を平均化する。
   • コントロール: テキストのリーク（漏洩）を排除するため、クレームのテキストのみに対してもプローブを訓練する。
   • 指標: 方向補正済み受信者動作特性曲線下面積（AUROC）。
3. アテンション分析:
   • 最後のトークンが画像トークンに向けるアテンションの割合を、プロポーショナルなベースライン（全トークンに対する画像トークンの比率）で正規化して算出する。
   • これにより、モデルが入力における存在比に応じてチャートのエビデンスに注意を払っているかを測定する。
4. 思考の連鎖（CoT）のアブレーション:
   • 予測を行う前に、チャートの内容を言葉で説明するようにモデルに促し、明示的な言語化がギャップを埋めることができるかどうかをテストする。

主要な結果

1. チャートの情報はエンコードされているが、ルーティングされていない

主要な発見は、チャートに関連する信号は中間表現からは回収可能であるが、予測位置には到達していないということである。

• 平均プーリング vs. ラストトークン: 平均プーリングを用いたプローブは、すべてのモデルにおいてチャートのバリアントに対して高いAUROC（84–89%）を達成したが、これはラストトークンを用いたプローブ（64–73%）を大幅に上回っている。対照的に、テーブルのエビデンスでは逆の傾向が見られ、ラストトークンを用いたプローブの方が高い性能を示した。
• 解離: 平均プーリングされた表現で訓練された線形分類器は、モデル自身の推論精度（チャートのバリアントに対して）を上回ることが多い（例：InternVL3-8Bでは、プローブ精度79.0%に対し、モデルの精度は56.2%）。これは、情報がモデルの内部状態には存在するものの、最終的な決定のために効果的に利用されていないことを裏付けている。

2. モデルファミリー間で異なる失敗モード

アテンション分析により、「ルーティングの失敗」はモデルのアーキテクチャに応じて異なる形で現れることが明らかになった。

• Qwenファミリー（ルーティングの失敗）: これらのモデルは深刻なアテンション・ルーティングの失敗を示す。最終層において、彼らはプロポーショナルなベースラインのわずか4–11%のアテンションしか画像トークンに向けていない。予測を形成する際、チャートのエビデンスはほとんどバイパスされている。
• InternVL3-8B（統合の失敗）: このモデルは、ほとんどの層を通じて、画像トークンに対してプロポーショナルに近いアテンション（ベースラインの93%）を維持している。しかし、それでもなお、自身の平均プーリング・プローブを上回ることはできない。これは、ポストアテンション統合の失敗を示唆している。つまり、モデルはチャートに注意を払ってはいるが、その注意された情報を最終的な予測ロジックに統合できていないのである。

3. 思考の連鎖（CoT）の影響

CoTのアブレーションは、これらの失敗モードをさらに明確に区別している。

• Qwenモデル: CoTプロンプティングは性能を低下させる（マクロF1値が3.3–13.5%減少）。これらのモデルはチャートに注意を向けていないため、内容を言語化させようとすると、ハルシネーション（幻覚）や信頼性の低い記述を招くことになる。
• InternVL3-8B: CoTプロンプティングは性能を向上させる（マクロF1値が4.6増加）。これは、このモデルはチャートの内容にアクセスし記述することができるが、明示的な指示なしには、予測のためにそれを自発的に使用しないことを示している。

意義と貢献

本論文は、表とチャートのギャップを、エンコーディング（知覚）の失敗ではなく、ルーティング（利用）の失敗として再定義している。

• 診断的洞察: 本研究は、出力の評価だけではフォーマットへの感受性を診断するには不十分であることを示している。モデルがチャートを「見ていない」のか、あるいは「見ているが無視している」のかを区別するには、内部分析（プロービングとアテンション）が必要である。
• アーキテクチャの特異性: 調査結果は、異なるモデルファミリーがそれぞれ異なる内部的な失敗メカニズムに苦しんでいることを強調している。単一の介入（例：より優れたビジョンエンコーダ）では、すべてのモデルの問題を解決することは困難であり、代わりに、特定のルーティングまたは統合のボトルネックに対処する必要がある。
• 検証への影響: 高度な科学的ワークフローにおいて、情報のエンコードが存在することは、それが最終決定に使用されることを保証するものではない。研究者は、VLMをチャートベースの検証に展開する際、モデルが内部的に必要な情報を保持していても、それを出力に反映させない可能性があるため、注意を払う必要がある。

著者らは、このギャップは「エンコードされた視覚情報が予測時にどのようにルーティングされるかという失敗」であると結論付けており、この知見は、タスクのパフォーマンス指標のみに頼るのではなく、内部計算を検討する必要性を提起している。