💬 NLP

Teaching Language Models to Think in Code

本論文は、言語モデルの推論を自然言語とコードの交互使用から、コード自体を主要な推論主体とするコード中心のパラダイムへ転換するフレームワーク「ThinC」を提案し、コード軌跡の蒸留と教師あり微調整に引き続く強化学習を採用することで、競技レベルの数学ベンチマークにおいて最先端の性能を達成する。

原著者： Hyeon Hwang, Jiwoo Lee, Jaewoo Kang

公開日 2026-05-11

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Hyeon Hwang, Jiwoo Lee, Jaewoo Kang

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

非常に厄介な数学パズルを解こうとしていると想像してください。それを解くには、2 つの方法があります。

従来の方法（インタリーブ推論）: 英語で自分自身に語りかけ、手順を考えます。「さて、まず 500 に 0.12 を掛ける必要がある…」それから少し不安になり、自分の作業を確認するために電卓（コードツール）に頼みます。しかし、ここには落とし穴があります。もし英語での思考にミスがあった場合（例えば、500 に 0.12 を掛けた結果を 60 ではなく 50 と言うなど）、その間違った数字をうっかり電卓に入力してしまう可能性があります。電卓は指示された通りに実行するだけで、あなたがミスをしたことは知りません。間違った数字に基づいて計算を行うため、間違った答えが得られてしまいます。
新しい方法（THINC）: 戦略を英語で計画する（「この図形の面積を求める必要がある」）というごく短い瞬間を設けた後、即座にその作業全体をロボットプログラマーに引き渡します。ロボットはコードを書き、実行し、結果を確認し、その結果に基づいてさらにコードを書き、答えが導き出されるまでこれを続けます。あなたは頭の中で、あるいは英語の文章で計算を行いません。すべての重労働をロボットが行います。

この論文は、AI モデルに数学の問題を解かせるための新しい方法としてTHINC（Thinking in Code：コードで思考）を紹介しています。これは、AI が単に自分の作業を確認するために使うツールとしてコードを利用するのではなく、コード自体を思考させるというアプローチです。

従来の方法の問題点

著者らは、英語での思考とコードを組み合わせる現在の AI モデル（ツール統合推論と呼ばれる）には、彼らが「構造的な限界」と呼ぶ 3 つの主要な欠陥があると述べています。

事後検証者（Post-Hoc Verifier）: AI はまず英語で解決策全体を書き出し、その後、コードを実行して「はい、合っています」と確認するだけのことが多いです。コードは実際に思考を行っているのではなく、最終的な承認のスタンプに過ぎません。
沈黙する誤り（Silent Error）: AI が英語での思考の中で数学的なミス（例えば、500 の 12% を 60 ではなく 50 と計算するなど）を犯した場合、その間違った数字をコードにコピーしてしまう可能性があります。コードは間違った数字で計算を行い、AI はそれに気づきません。コードは指示に従うだけなので、この誤りは「沈黙」したままです。
二重作業（Double Work）: AI はよく、問題を解く「方法」についての長い英語の説明を書き、その後、全く同じことを行うコードを書きます。料理のレシピを英語で書き、同じレシピをフランス語で書き直すことで、自分が料理のやり方を知っていることを証明するようなものです。これは冗長で混乱を招きます。

THINC の解決策

THINC はゲームのルールを変えます。AI が数学について語るのではなく、（コードを通じて）数学の中で語るのです。

計画: AI は戦略を設定するための短い英語の一文から始めます（例：「答えを見つけるために数字をループさせる」）。
作業: その 1 文の後、すべてがコードブロック内で実行されます。AI はコードの一部を書き、実行し、出力を確認し、その出力に基づいて次のコードの一部を書きます。
結果: 最終的な答えは、AI が英語で推測するのではなく、コンピュータの電卓（インタプリタ）から直接得られます。

AI をどう教えたか

研究者たちは AI にこれをさせるよう指示しただけではなく、3 段階のプロセスを通じて教えました。

蒸留（教師）: 非常に賢く大規模な AI モデルに、この新しい「コードファースト」スタイルで数学の問題を解くよう求めました。これにより、12,200 件の完璧な「コードファースト」解決策のサンプルを収集しました。
教師あり微調整（生徒）: 17 億の「脳細胞」と 40 億の「脳細胞」を持つ 2 つの小さな AI モデルに、これらのサンプルを模倣させるよう教えました。これにより、モデルはコードで思考する「習慣」を身につけました。
強化学習（コーチ）: モデルに数千の数学の問題で練習させました。モデルが正解すると「報酬」が与えられ、失敗すると異なるコード戦略を試すよう学習しました。これにより、モデルはより賢く、信頼性のあるものになりました。

結果：小さなモデル、大きな勝利

この論文は、これらの新しいモデルを非常に難易度の高い、コンペティションレベルの数学コンテスト（AIME や HMMT など）でテストしました。

巨人を打ち負かす: 40 億パラメータの小さな THINC モデルは、平均して**78.1%**のスコアを記録しました。これは 17 億パラメータのモデルよりも優れており、他の「ツール統合」モデルよりも優れており、英語だけで思考する巨大な 2350 億パラメータのモデルさえも上回っています。
信頼性: 99.2% のケースで、最終的な答えはコンピュータのコード出力から直接引き出されました。AI は推測したのではなく、計算しました。
回復力: コードにミスがありクラッシュした場合（エラー）、THINC モデルは驚くほど、次のコードブロックで「話す」ことなくそれを修正することができました。英語とコードを混ぜる他のモデルは、コードエラーに遭遇すると崩れ落ちる傾向があります。

結論

この論文は、AI に数学について「語る」のをやめ、コードの中で数学を「行う」ように強制することで、モデルはより正確になり、愚かな算数のミスを減らし、難しい問題をより効率的に解くようになると主張しています。これは、頭の中で筆算をしようとする人間から、電卓をプログラミングして一歩一歩、精神的な計算ミスを一切犯さずにそれを代行させることのできる人間へと切り替えるようなものです。

技術的概要：言語モデルにコードで思考させること（THINC）

問題定義

ツール統合推論（TIR）は大規模言語モデル（LLM）における数学的問題解決の支配的なパラダイムとなっているが、自然言語（NL）推論とコード実行が交互に行われる従来の「インターリーブ型」設定には、以下の 3 つの構造的限界が存在する：

事後検証：モデルはしばしば NL で導出を完了し、コードを単に答えを確認するために使用する。これにより、インタプリタは能動的な推論者ではなく、受動的な検証者として機能することになる。
信頼性の低い NL 計算：NL で行われる中間の算術または代数ステップは誤りやすい。これらの誤った値がハードコードされた定数として後続のコードブロックにコピーされると、インタプリタは誤りを検出できず、静かな誤りの伝播を引き起こす。
役割の誤配分：NL とコードはしばしば重複するタスクを実行する。NL はコードが後に再実装するアルゴリズムをステップバイステップで記述することが多く、各モダリティの固有の強み（高レベルの計画には NL、正確な実行にはコード）を活用できていない。

手法

著者らは、主要な推論負担を自然言語からコード実行へ移行させるためのトレーニングフレームワークである**THINC（Thinking in Code）**を提案する。

1. THINC 軌跡フォーマット

標準的な TIR 軌跡（ $q, t_1, c_1, o_1, t_2, c_2, o_2, \dots$ ）とは異なり、THINC 軌跡（ $q, t_1, c_1, o_1, c_2, o_2, \dots$ ）は厳格な構造的分離を強制する：

単一の計画ステップ（ $t_1$ ）：モデルは冒頭で 1 つの短い NL ブロックを生成し、問題の高レベル戦略または代数的再構成を定義する。重要なのは、このブロックにはステップバイステップの導出や数値計算が含まれていないことである。
コード中心の推論：その後のすべての推論は、実行出力（ $o_i$ ）のみによって接続されたコードブロック（ $c_i$ ）を通じて展開される。コード実行の間には、中間の NL 思考ブロックは存在しない。
推論者としてのインタプリタ：コードブロックは導出、自己修正、検証を実行する。最終的な答えはインタプリタの出力から直接導き出される。

2. トレーニングパイプライン

このフレームワークは 3 つの段階を通じて実現される：

軌跡蒸留：教師モデル（Qwen3.5-27B）に数ショット例をプロンプトし、12,200 のコード中心軌跡を生成させる。これらは、正しさと成功した実行、3 つ以上のコードブロックの最小数、および計画思考がトークン総数の 50% 未満であること、を確保するためにフィルタリングされる。
教師あり微調整（SFT）：学生モデル（Qwen3-1.7B および Qwen3-4B-Thinking-2507）を蒸留された THINC-SFT データセットで微調整する。これにより「コード中心の行動事前分布」が確立され、モデルに特定の軌跡フォーマットへの準拠が教えられる。
強化学習（RL）：検証可能な報酬（グラウンドトゥルースとの完全一致）を用いたグループ相対方策最適化（GRPO）により、モデルを DAPO-Math-17k データセット上でさらに洗練させる。RL プロセスは、より難しい問題に対処するために、コンテキスト長（16K から 32K）とツール呼び出し制限を増加させる 3 段階のカリキュラムを採用する。

主な貢献

THINC フレームワーク：コードを NL によって呼び出されるツールではなく、主要な推論者として扱う新しいトレーニングパラダイム。設計によってインターリーブ型 TIR の構造的限界を解決する。
THINC-SFT データセット：望ましい推論フォーマットを示す 12.2k のコード中心軌跡からなるキュレーションされたデータセット。
THINC モデル：この特定のパラダイムでトレーニングされた 2 つのトレーニング済みモデル、THINC-1.7BおよびTHINC-4B。これらは、小規模モデルがこのパラダイムでトレーニングされることで高レベルの推論能力を達成し得ることを実証する。

実験結果

モデルは、AIME 2024–2026、HMMT 2025、BeyondAIME の 5 つのコンペティションレベルの数学ベンチマークで評価された。

性能：
- THINC-4Bは平均精度78.1%を達成し、ASTER-4B、ReTool-32B、rStar2-Agent-14B を含むすべての TIR ベースラインを上回り、5 つのベンチマークのうち 4 つで、はるかに大規模なQwen3-235B-A22B-Thinking（75.2%）をも凌駕した。
- THINC-1.7Bは平均精度**42.8%**に達し、ベースモデル（Qwen3-1.7B）より 10.6 ポイント改善され、他の小規模 TIR ベースラインを大幅に上回った。
効率性：THINC-4B は軌跡あたりのツール呼び出し回数が少なかった（ASTER-4B の 11.1 回に対し 6.1 回）ほか、より短い応答を生成し、高い効率性を示した。
堅牢性：初期のコード実行失敗からの回復を測定する実験（Recovery@k）において、THINC-4B は 3 回連続したコード失敗の後でも**64–69%**の回復率を維持した。これに対し、インターリーブ型 TIR ベースラインは急激に劣化し、一部は回復率がほぼ 0% まで低下した。
コードグラウンディング：分析により、THINC-4B の最終回答の**99.2%**がインタプリタ出力に基づいていることが明らかになった。これはベースライン（ReTool の 88.4%、rStar2 の 74.3% など）よりも著しく高い率である。

意義

本論文は、THINC が数学的問題解決において、インターリーブ型 TIR よりもコード中心の推論が優位なパラダイムであることを実証すると主張する。自然言語を高レベルの計画に制限し、すべての導出を実行可能なコードに強制することで、このフレームワークは算術誤りの伝播を排除し、最終回答がインタプリタによって検証されることを保証する。結果は、この構造的変化により、小規模モデル（4B パラメータ）が、はるかに大規模な自然言語のみの推論者（235B パラメータ）や確立されたツール統合エージェントを上回ることを可能にし、「コードで思考する」ことの有効性を「コードを使って思考する」ことに対して浮き彫りにしていることを示唆している。