Reading, Not Thinking: Understanding and Bridging the Modality Gap When Text Becomes Pixels in Multimodal LLMs

本論文は、マルチモーダル大規模言語モデルにおけるテキスト画像入力時の性能低下（モダリティギャップ）を体系的に分析し、その原因が計算やフォーマットなどの「読解エラー」の増幅にあることを明らかにするとともに、モデル自身のテキスト推論履歴を用いた自己蒸留法によって画像入力時の精度を劇的に向上させる手法を提案するものです。

要約

この論文は、**「マルチモーダル大規模言語モデル（MLLM）」**という、画像も文章も理解できる最新の AI について書かれたものです。

タイトルにある「Reading, Not Thinking（読むことであって、考えることではない）」というフレーズが、この研究の核心を突いています。

以下に、専門用語を排し、身近な例え話を使ってこの研究の内容を解説します。

---

📖 結論：AI は「文字」を「絵」として見ると、読み間違えるだけだ

1. 問題：AI の「目」と「脳」のズレ

私たちが文字を読むとき、脳は「文字の形」を見て意味を理解します。しかし、最新の AI は、文字を「テキストデータ（0 と 1 の羅列）」として受け取るのが得意ですが、同じ内容を「画像（ピクセルの集まり）」として見せると、急にバカになってしまいます。

• テキスト入力： 「2 + 2 は？」と聞くと、正解の「4」を答えます。
• 画像入力： 同じ「2 + 2 = ?」という文字を画像として見せると、AI は「5」や「3」と間違った答えを言ったり、計算ができなくなったりします。

これを**「モダリティギャップ（入力形式による格差）」**と呼びます。なぜこうなるのか？これがこの論文のテーマです。

2. 原因の解明：「読み間違い」が原因で、「思考力」は健在

研究者たちは、7 つの AI モデルと 7 つのテストを使って、このズレの原因を徹底的に調べました。その結果、驚くべき事実がわかりました。

• AI の「脳（論理思考）」は壊れていない：
  画像で見せても、AI の知識や論理的な推理能力はテキストの時とほとんど変わりません。
• AI の「目（文字の読み取り）」が壊れている：
  問題は、画像から**「文字を正確に読み取れないこと」**にあります。
  • 数字の「1」と「7」を見間違える。
  • 計算式の中の記号を見逃す。
  • 文字の配置やフォント（書体）が少し変わっただけで、パニックになる。

【例え話】
AI は、「天才的な数学者だが、視力が極端に悪い人」のようなものです。
黒板に書かれた文字を「テキストデータ」として直接脳に送れば、完璧に計算できます。しかし、黒板を「写真」で撮って見せると、文字がボヤけて見えてしまい、数字を読み間違えて計算ミスをしてしまいます。
つまり、「考える力」ではなく「読む力」に問題があるのです。

3. 意外な発見：「人工的な画像」が悪い

さらに面白い発見がありました。

• 人工的に作られた画像（白地に黒字の単純な画像）： AI は非常に苦手です。
• 現実のドキュメント画像（PDF やウィキペディアのスクリーンショット）： AI は驚くほど得意です。

【例え話】
AI は、**「教科書の練習問題（人工的な画像）」が苦手で、「実際の新聞や雑誌（現実の画像）」は得意です。
なぜなら、AI はトレーニング中に「実際の雑誌や PDF」を大量に読んで学習しているからです。人工的に作られた「完璧すぎる白黒の文字」は、AI が普段見ている「現実の風景」とは違うため、逆に混乱してしまうのです。
また、「フォント（書体）」**一つで、正解率が 47% も変動することがわかりました。手書き風のフォントだと AI は大パニックになりますが、普段見慣れたフォントなら大丈夫です。

4. 解決策：「自分自身」に教える（自己蒸留）

では、どうすればこの問題を直せるのでしょうか？
研究者たちは、**「AI に、自分がテキストで考えた『思考の過程』を、画像を見ながら再現させる」**という方法を見つけました。

• 方法：
  1. まず、AI にテキストで問題を解かせて、「正解までの思考プロセス（コト）」を記録します。
  2. 次に、同じ問題を画像で見せながら、「さっきテキストで考えたのと同じ思考プロセスを、画像を見ながら再現して」と教えます。
  3. これを繰り返すことで、AI は「画像を見ても、テキストと同じように論理的に考えられる」ようになります。

【結果】
この方法で、数学の問題（GSM8K）の正解率は、30% 台から 92% 台へと劇的に向上しました。しかも、他の分野の知識は忘れることなく（忘失なく）、この能力を維持できました。

---

🌟 まとめ：何がわかったのか？

1. AI は「読む」のが苦手なだけで、「考える」のは得意。
   画像で見せるとバカになるのは、計算ミスや論理の欠如ではなく、単に「文字の読み間違い」が原因でした。
2. テストの作り方が重要。
   人工的に作られた「きれいな文字の画像」でテストすると、AI の本当の能力を過小評価してしまいます。現実のドキュメント画像でテストする必要があります。
3. 解決策はシンプル。
   AI に「画像を見ながら、テキストで考えた時のように丁寧に思考する癖」を身につけさせれば、問題は解決します。

この研究は、AI が画像から文字を読み取る技術が、実は「読み間違い」のせいで限界に達していることを示し、**「読み方を直すだけで、AI はもっと賢く見える」**という希望を与えています。

技術概要

以下は、提示された論文「Reading, Not Thinking: Understanding and Bridging the Modality Gap When Text Becomes Pixels in Multimodal LLMs」の技術的な要約です。

論文要約：マルチモーダル LLM における「テキストからピクセルへ」のモダリティギャップの解明と解消

1. 問題定義 (Problem)

マルチモーダル大規模言語モデル（MLLM）は、テキストを画像として提示された場合、同じ内容をテキストトークンとして直接入力された場合に比べて、性能が著しく低下する傾向があります。これを**「モダリティギャップ」**と呼びます。
既存の研究はこのギャップを報告したり、回避するための新しいアーキテクチャを構築したりしてきましたが、以下の点において限界がありました。

• 原因の解明不足: なぜ現在の MLLM でこのギャップが生じるのか、体系的に説明されていない。
• 評価データの偏り: 既存の評価の多くが「合成されたテキスト画像（人工的にレンダリングされたもの）」に依存しており、レンダリングのアーティファクト（フォントや解像度の問題）と、モデルの真の知覚欠陥を混同している可能性がある。
• 自然な文書への対応: 実際のドキュメント（PDF や Web ページ）の画像ではモデルが良好に動作するケースがあるにもかかわらず、その理由が不明確だった。

2. 研究方法 (Methodology)

著者らは、7 つの MLLM（Qwen2.5-VL, InternVL3, Pixtral, GPT-5.2 など）を、5 つの入力モードと 7 つのベンチマークで評価し、ギャップの要因を診断しました。

2.1 評価設定

• 入力モード:
  1. Pure Text: 純粋なテキスト入力（基準）。
  2. Pure Image: テキストを画像としてレンダリングした入力。
  3. Instr.+Image: 画像とテキスト指示の組み合わせ。
  4. OCR-1P (One Pass): 画像からテキスト抽出とタスク解決を 1 回の推論で行う。
  5. OCR-2P (Two Pass): 画像からテキストを抽出し、その抽出テキストを再度モデルに入力してタスクを解決する（読解と推論を分離）。
• データセット:
  • 合成画像: MMLU, ARC, GPQA, GSM8K, HumanEval（人工的にレンダリングされたテキスト）。
  • 自然画像: QASPER (arXiv PDF), SQuAD (Wikipedia スクリーンショット)。

2.2 誤り分析 (Error Analysis)

4,000 件以上の誤り例を対象に、グラウンデッド・セオリー（帰納的アプローチ）を用いた詳細な誤り分類を行いました。

• 手法: GPT-5.2 を用いたオープンコーディングと、人間の注釈者による最終的な軸コーディング（Axial Coding）を組み合わせ、誤りのカテゴリを構築しました。

2.3 提案手法：自己蒸留 (Self-Distillation)

分析結果に基づき、モデルの「テキストモードでの推論能力」を「画像入力経路」に転移させる自己蒸留手法を提案しました。

• 戦略: モデル自身がテキスト入力時に生成した CoT（Chain-of-Thought）推論トレースを教師信号とし、画像入力に対して同じ推論プロセスを生成させるように微調整（LoRA）を行います。
• 目的: 画像入力時の「読解エラー」と「推論の崩壊（CoT の放棄）」の両方を解消する。

3. 主要な発見と結果 (Key Findings & Results)

3.1 モダリティギャップの特性

• タスク・データ依存性: ギャップは普遍的ではありません。合成画像（特に数学タスク）では 60 ポイント以上性能が低下しましたが、自然なドキュメント画像（arXiv, Wikipedia）では、テキスト入力と同等かそれ以上の性能を示すモデルが多く存在しました。
• レンダリングの影響: フォントや解像度などのレンダリング選択が大きな交絡因子となります。フォントの違いだけで精度が最大 47 ポイント変動しました。

3.2 誤り分析の結論：「読む」ことの障害

誤り分類の結果、画像モードは**「推論（Thinking）」ではなく「読解（Reading）」を阻害している**ことが明らかになりました。

• 読解エラーの増大: 計算ミスやフォーマットエラーが画像モードで 1.5 倍に増加しました（数字や演算子の読み間違いなど）。
• 推論能力の維持: 知識の欠如や論理的推論の誤りは、テキスト入力と画像入力の間でほぼ変化しませんでした。
• CoT の崩壊: 画像入力時、モデルはステップバイステップの推論（CoT）を放棄し、短縮された出力で直接答えを導こうとする傾向（Reasoning Collapse）が見られました。

3.3 自己蒸留の効果

提案した自己蒸留手法により、画像モードの性能が劇的に向上しました。

• GSM8K での成果: テキスト入力時の 93.56% に比べ、画像入力では 30.71% だったものが、自己蒸留後には**92.72%**まで回復しました（ギャップを 1.37 ポイントに縮小）。
• 転移学習: 特定のベンチマーク（GSM8K）で学習したモデルは、他の未見のベンチマーク（ARC, MMLU, HumanEval）でも性能を維持・向上させ、カタストロフィック・フォージング（既存知識の忘却）は発生しませんでした。
• コンポーネントの寄与: 言語モデル（LM）部分の適応が最も重要であり、ビジョンエンコーダの適応も寄与しましたが、LM の適応がギャップ解消の鍵となりました。

4. 貢献と意義 (Contributions & Significance)

1. 体系的な診断: 「テキスト vs 画像」の性能差が、単なるモデルの能力不足ではなく、**「レンダリングの分布不一致」と「画像入力時の推論プロセスの抑制」**に起因することを初めて体系的に実証しました。
2. 評価基準の再考: 合成レンダリング画像（特に手書きフォントや低解像度など）がモデル評価を歪めている可能性を示唆し、ベンチマークにおけるレンダリング仕様の報告の重要性を強調しました。
3. 実用的な解決策: 大規模なアーキテクチャ変更やゼロからモデルを学習させることなく、自己蒸留という軽量な手法で、既存の MLLM の視覚テキスト理解能力を大幅に向上させることを示しました。
4. 将来展望: 画像入力によるテキスト理解は、適切なトレーニングとレンダリング条件の制御により、テキスト入力と同等のレベルに到達可能であるという楽観的な見解を提供しました。

結論

この研究は、MLLM が画像として提示されたテキストを「読む」際に生じるギャップの正体が、視覚的な文字認識の失敗と、それに伴う推論プロセスの放棄にあることを明らかにしました。そして、モデル自身のテキスト推論能力を画像入力経路に蒸留することで、このギャップを効果的に埋めることができることを実証しました。これは、マルチモーダルモデルの視覚テキスト理解を改善するための実用的かつ重要な道筋を示すものです。