💬 NLP

GeoMathCode: Understanding Interleaved Math-Code Reasoning for Geometry Problem Solving

本論文は、中間的な視覚的出力としてプログラムコードを用いて幾何学問題解決を強化するフレームワーク「GeoMathCode」を紹介し、教師あり微調整が推論とコード生成を分離し、階層的構文構造が視覚的表現よりも豊かな数学的情報を捉えることを明らかにする。

原著者： Yingji Zhang, Yong Dai, André Freitas

公開日 2026-05-26

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Yingji Zhang, Yong Dai, André Freitas

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたがグラフ上で2つの曲線がどのように相互作用するかを突き止めるような、厄介な幾何学の謎を解こうとしていると想像してください。通常、コンピュータがこの問題を解こうとするとき、言葉で「考える」か、ピクセルごとに絵を描こうとするかもしれません。しかし、この論文は、コンピュータが考える新しい方法を導入します：GeoMathCodeです。

以下は、研究者たちが行ったことを簡単なアナロジーを用いて解説したものです。

1. 問題：ピクセルで描くこと対指示を書くこと

完璧な円を描くことをロボットに教えたいと想像してください。

古い方法（ピクセルベース）： ロボットに「この特定の点を赤く塗り、次にこの点を、次にこの点を…」と指示します。これは、1秒ごとにどの筆致をするかを正確に指示して巨匠の絵を描かせようとするようなものです。それは散漫で、ミスのチェックが難しく、ロボットがほんの小さな間違いを犯せば、絵全体が間違ったものになってしまいます。
新しい方法（GeoMathCode）： 点を塗る代わりに、ロボットに指示（コード）のセットを与えます。「半径5の円を描け」と言うのです。ロボットはそれを実行する短いプログラムを書きます。これは絵を描く代わりにレシピを与えるようなものです。これは正確で、チェックしやすく（コードが実行されたか？）、もし間違いがあれば、レシピのどこが間違っていたかを正確に把握できます。

研究者たちは、その「解答」が単なる最終的な答えではなく、論理を説明する言葉と、形を描くための指示（コード）の組み合わせである、膨大な数学問題のライブラリを構築しました。

2. 大きな発見：2つの異なる「脳の部屋」

この論文で最も興味深いのは、コンピュータがこれらの問題を解いている間に、その「脳」（内部メモリ空間）の中で何が見つかったかという点です。

彼らは、コンピュータが考えるために**2つの独立した「部屋」**を持っていることを発見しました。

部屋A（論理の部屋）： ここでは、コンピュータが数学の規則を導き出します（例：「曲線が下に開いているので、左に移動するにつれて値は上昇する」など）。
部屋B（描画の部屋）： ここでは、コンピュータが実際に線を描くためのコードを書きます。

アナロジー： 複雑な料理を作るシェフを想像してください。

部屋Aでは、シェフは「まず玉ねぎを炒めて、次にスパイスを加える必要がある」と考えています（推論）。
部屋Bでは、シェフは実際に野菜を刻み、コンロの火をつけています（コード）。

この論文は、これら2つの活動がコンピュータの脳の全く異なる部分で起こっていることを発見しました。それらは混ざり合いません。コンピュータは「描画」の部分を使って数学について「考える」のではなく、「考える」部分を使って何を描くかを決め、その後、計画を実行するために「描画」の部分に切り替えます。

3. 「トレーニング」の効果：散らかりを整える

研究者たちはまた、新しい問題ライブラリを用いてコンピュータを「トレーニング」する（教師あり微調整、SFTと呼ばれるプロセス）と何が起こるかをテストしました。

トレーニング前： コンピュータの「思考」は少し混沌としていました。本が床に山積みになっているような図書館のようでした。多くの情報を持っていましたが、散らかっており、ナビゲートするのが難しかったです。
トレーニング後： コンピュータの「思考」は整然と整理された図書館のようになりました。本（アイデア）はそのまま残っていましたが、今では整然と並べられていました。コンピュータは単に本を追加することで「賢く」なったのではなく、すでに持っていた本を整理することで賢くなりました。これにより、その推論経路はより明確で構造化されたものになりました。

4. コードは「数学記号」に対して絵よりも優れている

最後に、彼らはコンピュータがコードを使用した場合と、絵を使用した場合の、数学記号（平方根の $\sqrt{}$ や円周率の $\pi$ など）の理解度を比較しました。

発見： コンピュータは、単に絵を見たり生成したりするよりも、コードを書いているときに数学記号の意味をはるかに良く理解していました。
アナロジー： これは、楽譜（コード）を読むことと、録音（絵）を聴くことの違いのようです。楽譜は、音符が何であり、それらが互いにどのように関連しているかを正確に伝えます。録音は単に心地よい響きです。コンピュータは、数学の論理の秘密を、楽譜（コード）の方が録音（視覚画像）よりもはるかに良く保持していることを発見しました。

まとめ

要約すると、この論文は次のことを述べています。

コンピュータにピクセルごとに絵を描かせて数学を解かせるのをやめさせ、代わりにコードを書かせましょう。 それはよりクリーンで、チェックが容易です。
コンピュータは「思考」と「描画」を分離しています。 論理とコード生成には、異なる精神的空間を使用します。
トレーニングは脳を整理します。 この方法でコンピュータを教育することは、単に事実を追加するのではなく、その思考プロセスを整然とした効率的な構造に配置します。
コードは優れた翻訳者です。 複雑な数学記号を理解する際、画像を見ることよりもコードを書くことの方が、コンピュータにとってより強力なツールです。

技術的サマリー：GeoMathCode

問題提起

マルチモーダル大規模言語モデル（MLLM）における数学的推論は、幾何学問題に対する多段階の解を生成することに依存することが多い。MathCanvas などの最近のアプローチは、補助的な視覚的構築（線や点の描画など）を取り入れることで人間の推論を模倣しようとするが、それらは通常ピクセルベースの画像生成に依存している。著者らは、このパラダイムに 2 つの主要な限界を特定している：

アライメントと検証： 微細なクロスモーダル生成（テキストからピクセルベースの画像へ）は本質的にアライメントと検証が困難であり、誤りの伝播の可能性を増大させる。
システムの複雑性： ピクセルベースのアプローチは、しばしば追加のビジョン固有のジェネレーターを必要とし、システムアーキテクチャを複雑にする。

本論文は、プログラム的な表現（コード）は正確で検証可能である一方で、交差する数学・コード推論がマルチモーダル推論の潜在幾何構造を根本的に再編成するのか、それとも単なる補助的出力に過ぎないのかは依然として不明であると仮説を立てている。具体的には、著者らは推論軌跡が層間でどのように進化するか、そして記号的コード表現が視覚的な表現とは異なって幾何学的概念を捉えるかどうかを理解することを目的としている。

手法

1. データセット構築：GeoMathCode

著者らは、交差する数学・コード推論向けに設計された公開マルチモーダルデータセット GeoMathCode を紹介する。構築パイプラインは以下の通りである：

ソース： MathCanvas を主要リソースとして利用し、8 つの数学分野（代数学、解析幾何学、微積分学など）を網羅する。
生成： Gemini 3-Flash を用いて、テキストによる推論、実行可能な Python コード、および対応する可視化を含む交差した解を生成する。
検証： 多段階の自動検証パイプラインが品質を確保する：
- ルールベースエンジン（GPT-5.1）： 主要な推論ステップ（「ポイント選択」）と数学的ルールを抽出する。
- チェッカー（Gemini 3-Pro）： 最終回答の正しさ、テキスト推論の論理、およびコードの実行を検証する。
- サンドボックス： 誤ったコード実行を持つサンプルをフィルタリングし、反復的な再生成をトリガーする。
規模： 最終データセットは、図あり・図なしの質問を 1:1 の比率でバランスさせた 10,000 件のトレーニングサンプルと 1,000 件のテストサンプルで構成される。

2. 経験的分析フレームワーク

本研究は、フルパラメータの教師あり微調整（SFT）と LoRA の両方を用いて、代表的な MLLM（Qwen3/3.5、LLaVA-Next、InternVL3.5）を評価する。分析は 2 つの視点に焦点を当てる：

トレーニング後パフォーマンス： 回答精度（Ans Acc）、テキスト推論の正しさ、コード精度、コードの数学的正しさ、テキスト・コードの一貫性を含む指標を評価する。
潜在幾何分析： モデルの内部表現空間を以下の手法で調査する：
- 軌跡分析： トランスフォーマー層全体にわたる推論ステップとコードステップ間のユークリッド距離を測定する。
- 多様体正則化： 有効ランク（ERank） と 内在次元（ID） を用いて、情報容量と幾何学的複雑性を定量化する。
- コード空間構造： KNN と線形 SVM を用いてコード構文（制御フロー、関数呼び出し、データフロー）の潜在表現を分析し、局所的クラスタリングと大域的線形分離性を評価する。
- 記号プロービング： 微細な数学的記号（例： $\sqrt{}$ 、 $\triangle$ 、 $\angle$ ）を捉える能力について、コード埋め込みと視覚的埋め込みを比較する。

主要な結果

1. パフォーマンスと分離

SFT によるパフォーマンス向上： 教師あり微調整（SFT）は、すべてのモデルにおいてパフォーマンスを大幅に向上させる。Qwen3.5-9B-SFT は平均スコア 0.73 で最良の総合結果を達成し、ベースラインおよび LoRA 変種を上回った。
推論・コードの分離： PCA 可視化と軌跡分析により、推論ステップとコード生成ステップが分離された潜在部分空間を形成することが明らかになった。
- モデルは最終回答の予測において主にテキスト推論軌跡に依存する。
- 中間的なコード生成は、最終回答を直接導く能動的な推論モダリティというよりも、実行可能な補助的表現として機能する。
- これは、潜在空間における数学的推論とプログラム的実行の間の機能的な分離を示唆している。

2. SFT による多様体正則化

構造化された推論： SFT は、推論表現の**有効ランク（ERank）を増加させ（より豊かな情報多様性を示す）、同時に内在次元（ID）**を減少させる（より低い局所的幾何学的複雑性を示す）。
解釈： これは、SFT が単に表現を圧縮するのではなく、推論軌跡をより構造化され、標準的かつ再利用可能な計算経路に再編成し、情報多様性と幾何学的規則性のバランスを取っていることを示唆している。

3. 階層的コード空間

構文部分空間： 階層的構文構造（例：制御フロー、関数呼び出し）は、構造化された潜在部分空間として現れる。
抽象化のダイナミクス： 高レベルのセマンティックカテゴリは保持される一方で、微細な語彙的クラスタリングは深い層で混在するようになる。モデルは、機能的役割に基づいて API を共有された実行セマンティック多様体に再編成する。
視覚表現に対するコードの優位性： 潜在コード表現は、プロービングタスクにおける高い分類精度によって示されるように、視覚的表現よりも微細な数学的記号的概念（例：特定の演算子や幾何学的形状）をより効果的に捉える。

意義と主張

本論文は、交差する数学・コード推論の基盤となる潜在幾何構造に関する新しいデータセットと体系的な分析を提供すると主張している。主な貢献点は以下の通りである：

データセット： 幾何学問題解決におけるプログラム的中間出力の研究を促進する GeoMathCode の導入。
潜在幾何への洞察： 推論ステップとコードステップが潜在空間で分離されていることを実証し、コード生成が視覚的モダリティと同様に能動的な推論モダリティであるという概念に挑戦する。
SFT の効果： SFT が複雑性を単に増加させるのではなく、推論多様体をより情報豊富かつ幾何学的に規則正しく正則化することを発見した。
コード対視覚： 記号的コード表現が微細な数学的概念を捉える上で視覚的表現に優れているという証拠。

著者らは、これらの発見が、特にコード実行に関する LLM における機械的解釈可能性の研究、および推論の信頼性を向上させるためのポイント選択ベースの強化学習の可能性を促すものであると結論づけている。また、LLM ベースの評価者への依存と、比較的低い最終回答精度に関する限界を認め、今後の研究は自動記号的評価と強化学習アプローチ（例：GRPO、DAPO）に焦点を当てるべきであると示唆している。