CodePercept: Code-Grounded Visual STEM Perception for MLLMs

この論文は、STEM 分野の視覚推論における MLLM の限界が推論能力ではなく知覚能力にあることを発見し、実行可能なコードを知覚の媒体として活用する「CodePercept」を提案し、100 万組の画像・説明文・コードのデータセットと、画像復元コード生成による厳密な評価ベンチマークを導入することでこの課題を解決しようとするものです。

要約

1. 問題：AI はなぜ「理科」が苦手なのか？

皆さんは、AI が数学や物理の問題を解くとき、なぜ間違えることがあるのか考えたことはありますか？
これまでの研究では、「AI の『頭』（論理的思考力）が足りないから」と考えられてきました。

しかし、この論文の著者たちは、**「いや、実は『目』（視覚的な認識力）が不十分なのでは？」**と疑問を持ちました。

🕵️‍♂️ 実験：「目」と「頭」を別々に大きくしてみる

彼らは、AI の「目（画像を見る力）」と「頭（考える力）」を別々に強化する実験を行いました。

• 頭だけ強くしても、成績はあまり上がりません。
• 目だけを強くすると、成績が劇的に向上しました。

結論： 現在の AI が理科の問題で失敗する最大の原因は、「頭」ではなく**「目（視覚認識）の弱さ」**だったのです。

---

2. 従来の方法の限界：「言葉」だけでは不十分

では、どうやって「目」を鍛えるか？
これまで、AI に「この画像は〇〇です」という**説明文（キャプション）**を大量に教えて訓練していました。
しかし、これには 2 つの大きな問題がありました。

1. 嘘をつく（ハルシネーション）： AI が「ここには赤い丸が 3 つある」と言っても、実際は 4 つだったり、位置がズレていたりすることがよくあります。
2. 言葉の限界： 複雑な立体図形や、正確な数値、厳密な位置関係は、日本語や英語などの「自然言語」では正確に表現しきれません。「ちょっと左寄りに」と言っても、AI は「どれくらい左？」と迷ってしまいます。

---

3. 解決策：「コード」を新しい「目」にする

ここで、この論文が提案する画期的なアイデアが登場します。

「画像を説明する代わりに、その画像を描く『プログラムコード（Python）』を書かせよう！」

🎨 アナロジー：料理のレシピ

• 従来の方法（言葉）： 「美味しいカレーを作ってください。具材はたくさん入っていて、少し辛いです。」
  • → 料理人（AI）は「たくさん」や「少し」の基準がわからず、失敗します。
• 新しい方法（コード）： 「玉ねぎ 200g、肉 150g、水 500ml、30 分煮る。」という**正確なレシピ（コード）**を書きます。
  • → 料理人（AI）は、このレシピ通りに作れば、必ず同じ味（同じ画像）が再現できます。

この論文では、**「実行可能なコード」**こそが、AI にとって最も正確で曖昧さのない「視覚の基準（Ground Truth）」だと考えました。

---

4. 具体的な取り組み：2 つのステップ

このアイデアを実現するために、研究者たちは 2 つの大きなことをしました。

① 100 万組の「画像・説明文・コード」データを作る（ICC-1M）

AI に教えるための巨大な教材を作りました。

• 画像： 理科の問題図など。
• コード： その画像を正確に描くための Python プログラム。
• 説明文： コードを元に、AI が「嘘をつかないように」正確に文章化した説明。

これにより、AI は「画像を見て、コードを書く」「コードを見て、正確な説明をする」という練習を繰り返すことができます。

② 新基準「STEM2Code-Eval」の作成

「AI が問題を解けるか」ではなく、**「AI が画像をコードで正確に再現できるか」**をテストする新しい試験を作りました。

• 画像を見て、「この図を描くためのコードを書いて」と言います。
• そのコードを実行して、元の画像と一模一样（いっしょ）に描けたかどうかで評価します。
• コードは実行すれば結果がわかるので、評価が非常に公平で確実です。

---

5. 結果：劇的な改善

この方法で AI を訓練したところ、驚くべき結果が出ました。

• 小さな AI でも強くなった： 巨大な AI 並みの性能を、比較的小さなモデルでも発揮できるようになりました。
• 他の AI を凌駕： 既存の最先端 AI よりも、画像の認識力や理科の問題解決能力が向上しました。
• 嘘が減った： コードという「厳密な基準」を挟むことで、AI の幻覚（嘘）が大幅に減りました。

---

まとめ：なぜこれが重要なのか？

この論文は、**「AI に『言葉』で教えるのではなく、『設計図（コード）』で教える」**という新しい道を開きました。

• これまでの常識： 「AI は頭（論理）が足りないから、もっと勉強させよう」
• この論文の発見： 「いや、実は『目』がぼやけているから、**『設計図（コード）』**を使って、正確に『見る』練習をさせよう」

これは、AI が将来、より複雑な科学技術や医療の分野で活躍するための、非常に重要な一歩となるでしょう。AI が「見る」力をコードという「確実な言語」で鍛えることで、真の知能が花開くかもしれません。

技術概要

CodePercept: MLLM 向けコード・グラウンディングによる STEM 視覚知覚の技術的サマリー

本論文「CodePercept: Code-Grounded Visual STEM Perception for MLLMs」は、マルチモーダル大規模言語モデル（MLLM）が科学・技術・工学・数学（STEM）分野の視覚推論において直面する根本的な課題を特定し、実行可能なコードを「知覚の媒体」として活用する新たなパラダイムを提案する研究です。

以下に、問題定義、手法、主要な貢献、実験結果、および意義について詳細にまとめます。

1. 問題定義：STEM 視覚推論におけるボトルネック

近年、強化学習を用いた MLLM の推論能力向上が注目されていますが、STEM 分野の視覚問題（図形、グラフ、数式を含む画像など）においてモデルが失敗する際、その原因が「推論能力の不足」にあるのか、「視覚知覚（Perception）の欠如」にあるのかは不明確でした。

著者らは、この疑問に答えるため、スケール分析を行いました。視覚推論タスクを「画像から説明文の生成（知覚）」と「説明文からの解答生成（推論）」の 2 段階に分解し、それぞれを独立してモデルサイズをスケーリングして評価しました。

• 発見: 推論能力を強化するよりも、知覚能力を強化する方が性能向上に寄与することが一貫して示されました。
• 結論: 現在の STEM 視覚推論における真のボトルネックは「推論」ではなく**「視覚知覚」**である。

さらに、既存の知覚強化手法（知識蒸留によるキャプション生成など）には以下の限界があることが指摘されました。

1. ハルシネーション: 教師モデルが空間配置や数値関係において事実と異なる記述を行う。
2. 記述的無言症（Descriptive Aphasia）: 複雑な空間関係や精密な数値を自然言語だけで正確に記述することは本質的に困難であり、曖昧さが残る。

2. 提案手法：CodePercept

本論文は、「実行可能なコード（Python/Matplotlib）」を視覚知覚の基盤（Ground Truth）として用いるというパラダイムシフトを提案します。コードは自然言語の曖昧さを排除し、構造化された意味と厳密な数値・空間情報を提供します。

2.1. 大規模データセット ICC-1M の構築

コード・グラウンディングされた学習を行うため、100 万組以上の「画像 - キャプション - コード」トリプレットからなるデータセット ICC-1M を構築しました。データ生成は以下の 3 つのパイプラインで行われます。

1. 画像再現（Image Reproduction）: 既存の STEM 画像から MLLM にコードを生成させ、描画して検証する。
2. 画像多様性（Image Diversity）: 種子画像から科学原理を抽出し、その原理に基づいて多様な文脈（形状、配置など）でコードを生成・再インスタンス化する。
3. 立体幾何合成（Solid Geometry Synthesis）: 現在の MLLM が苦手とする立体幾何図形に対し、パラメータ化されたコードテンプレートを用いて厳密に生成する。

これらにより生成された画像とコードのペアに対し、厳格な品質管理（画像品質、コード品質、画像 - コードの一貫性）を適用しています。

2.2. 2 つのコード・グラウンディングタスク

ICC-1M を活用し、以下の 2 つのタスクを通じてモデルの知覚能力を強化します。

1. コード・グラウンディング・キャプション生成 (Code-Grounded Caption Generation):
   • 画像から直接キャプションを生成するのではなく、まず「実行可能なコード」を生成し、そのコードの実行ログや構造を解析して「事実ベースのキャプション」を生成します。
   • これにより、数値や空間関係におけるハルシネーションを排除し、正確な自然言語記述を得ます。
2. STEM 画像からコードへの翻訳 (STEM Image-to-Code Translation):
   • 画像から直接、解説付きの実行可能コードを生成するタスクです。
   • 自然言語の曖昧さを排除し、視覚要素を構造化されたプログラミング構文として表現することを学習させます。

2.3. 学習戦略

• 段階 1: 教師あり微調整 (SFT): 画像、キャプション、コードの 3 モダリティを同時に学習させ、視覚理解と言語・コード生成の統合を図ります。
• 段階 2: 強化学習 (RL): GRPO (Group Relative Policy Optimization) を用いて、コード生成タスクを最適化します。報酬関数には「フォーマット正しさ」「実行成功」「コードのセマンティック等価性」「画像の視覚的類似性」を組み込み、実行可能で高精度なコード生成を促します。

3. 評価ベンチマーク：STEM2Code-Eval

既存のベンチマークは「問題解決の正解率」を指標としており、知覚と推論が混在しています。これを解決するため、STEM2Code-Eval という新規ベンチマークを提案しました。

• タスク: 与えられた STEM 画像を、実行可能な Python コードで忠実に再現（再構築）させる。
• 評価指標:
  1. Image Score: 生成画像と元画像の視覚的類似度（Gemini 2.5-Pro による評価）。
  2. Code Score: 生成されたコードの品質と正しさ（GPT-4o による評価）。
  3. Exec Rate: コードがエラーなく実行される割合。
• 特徴: 問題解決の正解率ではなく、「完全な視覚理解」に基づく「コード生成」を直接評価するため、知覚能力の測定として決定論的かつ検証可能です。

4. 実験結果

Qwen3-VL シリーズをベースモデルとして、提案手法（CodePercept）を適用した結果、以下の成果が得られました。

• STEM 推論ベンチマークでの向上:
  • 6 つの主要な STEM 推論ベンチマーク（MathVision, MathVista など）において、CodePercept モデルはベースラインの MLLM を大幅に上回る性能を示しました。
  • 特に、4B パラメータの CodePercept モデルは、72B パラメータの既存モデル（Qwen2.5-VL-72B）を凌駕する結果を記録しました。これは、コード・グラウンディングによる知覚強化が、単なるモデルサイズの増大よりも効果的であることを示唆しています。
• STEM2Code-Eval での評価:
  • 画像再現タスクにおいて、CodePercept モデルは既存の SOTA モデル（Gemini 2.5-Pro, GPT-5-Thinking など）と比較して、特に 8B や 32B サイズで高いスコアを達成しました。
  • 強化学習（R1 ステージ）を経ることで、コードの実行成功率と画像の忠実度がさらに向上しました。
• アブレーション研究:
  • 3 つのデータ生成パイプライン（再現、多様性、立体幾何）のすべてが有効であることを確認。
  • コードを基盤としたキャプション生成（CodeCap）は、直接生成（NativeCap）よりもハルシネーションを減らし、性能を向上させることが示されました。

5. 意義と結論

本論文の主な貢献と意義は以下の通りです。

1. ボトルネックの特定: 厳密なスケール分析を通じて、STEM 視覚推論の主要な制約要因が「推論」ではなく「視覚知覚」であることを実証しました。
2. 新しい評価基準の確立: 問題解決の正解率に依存せず、実行可能なコード生成を通じて視覚知覚を直接評価する「STEM2Code-Eval」ベンチマークを提案しました。
3. コード・グラウンディング・パラダイム: 自然言語の曖昧さを克服し、構造化された厳密な視覚理解を実現する「コード」を、学習データ（ICC-1M）および評価基準の中心に据える手法を確立しました。

結論として、実行可能なコードは、STEM 画像の知覚を強化するための強力な媒体であり、中間的な教師信号（キャプション合成の基盤）としても、直接的な理解目標（構造化された表現）としても機能します。このアプローチは、MLLM の STEM 分野における視覚理解能力を飛躍的に向上させる可能性を示しています。