論文要約：視覚的ドキュメント理解における内部表現と応答のギャップ

1. 背景と問題提起

視覚的ドキュメント理解（Visual Document Understanding: VDU）は、大規模視覚言語モデル（LVLMs）にとって重要なタスクですが、構造化されたレイアウト、テキスト認識、視覚的知覚の統合を必要とするため困難です。
現在の VDU における LVLM の評価は、主に生成された応答の正解率に基づいて行われています。しかし、モデルが質問を解くために必要な情報を内部的に正確に捉えているかどうかは、生成されたテキストだけでは判断できません。
近年の研究では、言語モデルの隠れ層（内部表現）には生成応答に現れていない豊富な情報がエンコードされている可能性が示唆されています。VDU において、「内部表現（モデルが実際に知っていること）」と「生成応答（モデルが出力すること）」の間にどのようなギャップが存在するか、そしてその情報がモデルのどの層にどのように表現されているかを解明することは、モデルの信頼性や解釈性を高める上で重要です。

2. 手法と実験設計

本研究では、LVLM 内の LLM（大規模言語モデル）の各層における内部表現を分析するために、**線形プロービング（Linear Probing）**手法を採用しました。

2.1. 線形プロービングの実装

• 対象モデル: Qwen2.5-VL 32B, Gemma3 27B, LLaVA-NeXT 13B など複数の LVLM を使用。
• プロービングタスク: 4 つの二値分類タスクを設計し、各層の表現から正解を予測できるかを評価しました。
  1. 視覚的属性認識: 色や形状などの属性（例：背景は黒か？）。
  2. 単語認識: 画像内のテキストのスペル判定（例：テキストは「Spencerlan」か？）。
  3. 構造理解: ドキュメントの構成要素の特定（例：赤枠はタイトルか？）。
  4. 図表理解: グラフ内の要素間の関係性推論（例：薄緑色が最小値か？）。
• 入力トークンの種類: 各層において、以下の 4 種類のトークン入力に対して分類器を構築しました。
  • Image-token（視覚エンコーダ出力に対応）
  • Text-token（質問テキストに対応）
  • All-token（シーケンス全体の平均プーリング）
  • Last-token（シーケンスの最後のトークン）
• 評価指標:
  • 線形プロービング精度 ($A_{LP}$): 各層の表現から正解を分類器が予測できる精度。
  • 応答精度 ($A_{resp}$): モデルが生成したテキストの正解率。
  • ギャップ (Gap): 全層における最大線形プロービング精度と応答精度の差 ($Gap = \max_l A_{LP}(l) - A_{resp}$)。

2.2. 微調整（Fine-tuning）戦略の検証

分析結果に基づき、このギャップを埋めるために中間層をターゲットとした微調整が有効かどうかを検証しました。

• 層の分割: 線形プロービング精度が急激に上昇する層の境界に基づき、LLM 層を「Lower（下層）」「Middle（中層）」「Upper（上層）」に分割。
• 微調整設定:
  • 全層微調整（All-layer）
  • 単一グループ微調整（Lower, Middle, Upper）
  • 隣接グループの組み合わせ微調整（L-M, M-U など）
  • 2 ステップ微調整（例：まず Lower を微調整し、次に Middle を微調整）

3. 主要な発見と結果

3.1. 内部表現と応答の明確なギャップ

• 発見: 全てのモデルとタスクにおいて、内部表現から線形に抽出可能な情報（線形プロービング精度）は、生成応答の精度よりも常に高いことが確認されました。
• 意味: モデルは質問を解くための情報を内部に保持しているにもかかわらず、それを応答として正しく出力できていない（「知っているのに言えない」状態）ことが示されました。
• 全層微調整の限界: 全層を微調整しても、このギャップは完全に解消されませんでした。

3.2. 情報が最も強く表現されるのは「中間層」

• 発見: 質問を解くために必要な情報が、最終層（Last layer）ではなく、中間層（Intermediate layers）で最も線形にエンコードされている傾向が強く見られました。
• 層ごとの傾向:
  • Last-token: 生成に直接関与するため、後方の層で精度が上昇しますが、ピークは最終層ではなく中間層にあることが多い。
  • タスクによる差異: 物体レベルの認識（視覚的属性、単語認識）では中間層での精度上昇が顕著ですが、関係性推論（構造理解、図表理解）ではその上昇が緩やかでした。これは、推論タスクの情報が線形に分離しやすい形で表現されにくいことを示唆しています。
  • トークン種類: 画像トークンは情報が希薄で、テキストトークンや最後のトークンの方が情報量が多い傾向がありました。

3.3. 中間層ターゲット微調整の有効性

• 結果: 全層微調整よりも、適切な中間層（特に Middle 層）をターゲットとした微調整の方が、応答精度と線形プロービング精度の両方を向上させ、ギャップをより効果的に縮小しました。
• 効率性: 中間層のみを微調整することで、学習パラメータ数と時間を大幅に削減しつつ（例：DocVQA でパラメータ 20% 削減、時間 35% 削減）、全層微調整以上の性能向上やギャップ縮小を実現しました。
• 戦略の最適化:
  • 物体認識タスクでは、まず視覚的特徴を抽出する能力を強化する（M→L などの順序）ことが有効。
  • 関係性推論タスクでは、まず文脈理解を強化し、その後情報抽出を洗練させる（L→M）ことが有効。
  • 文書 VQA（オープンエンド生成）では、中間層に加えて上層（言語推論層）を含めることが重要でした。

4. 貢献と意義

1. 層別分析の初実施: LVLM における VDU タスクの内部表現を、線形プロービングを用いて層別に詳細に分析し、応答とのギャップを定量的に示した。
2. ギャップの存在と限界の解明: 応答精度が低くても内部に情報が存在する「ギャップ」が普遍的存在であり、単なる全層微調整では解決しないことを示した。
3. 中間層の重要性の発見: VDU タスクの解決に必要な情報は最終層ではなく中間層に最も明確にエンコードされていることを発見した。
4. 効率的な改善手法の提案: 中間層をターゲットとした微調整戦略が、性能向上とギャップ縮小の両面で有効であり、かつ計算コスト効率が高いことを実証した。

5. 結論

本研究は、LVLM が VDU タスクにおいて内部表現を十分に応答に反映できていないという課題を明らかにし、その原因が最終層の表現だけでなく、中間層における情報のエンコードと生成プロセスのダイナミクスにある可能性を示唆しました。
**「中間層をターゲットとした微調整」**は、モデルの推論能力と出力の整合性を高めるための効果的な手段であり、今後の LVLM の信頼性向上や解釈性向上に向けた重要な指針となります。

限界事項:
本研究では線形プロービングを使用しているため、複雑な自由形式の推論や非線形な構造を持つ情報の分析には限界があります。今後は、より複雑な情報を評価できる非線形プロービング手法などの開発が期待されます。