💬 NLP

AdaMame: A Training Recipe for Adaptive Multilingual Reasoning

本論文は、大規模推論モデルが精度やトークン効率を損なうことなく、言語崩壊現象を克服してクエリの言語で推論することを可能にするために、教師あり微調整と新しい適応型GRPOアルゴリズム（AdaMame-GRPO）を組み合わせた2段階の学習レシピであるAdaMameを導入するものである。

原著者： Dayeon Ki, Kevin Duh, Marine Carpuat

公開日 2026-06-16

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Dayeon Ki, Kevin Duh, Marine Carpuat

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、非常に優秀で多言語を操る学生、Ada（エイダ）を想像してみてください。Adaは数学の問題を解くのが信じられないほど得意なのですが、ある悪い癖があります。それは、フランス語、テルグ語、タイ語など、どのような言語で質問されても、どうしても英語で考え、英語で答えようとしてしまうことです。

これは**「言語崩壊（language collapse）」**と呼ばれる問題です。たとえ「1ダースには卵が何個ありますか？」とフランス語で聞かれても、Adaは「よし、英語で計算しよう……12個だ」と頭の中で考え、その答えをただ翻訳して出力してしまうのです。彼女は、質問された言語そのもので思考しているわけではありません。

既存の解決策は、まるで厳しい教師が「フランス語で話さないなら、点数はゼロだ！」と言うようなものです。これはAdaにフランス語を強制しますが、彼女を不安にさせてしまいます。その結果、彼女は言葉に詰まったり（フランス語と英語を混ぜて話したり）、言語のルールに集中しすぎてしまい、間違った答えを出したり、あるいは、ちゃんとやっていることを証明しようとして、必要以上に長く話し続けたりすることがあります。

AdaMameは、Adaを不安にさせたり、動作を遅くしたりすることなく、この悪い癖を直すために設計された、よりスマートなトレーニング・レシピです。その仕組みを、以下のステップに分けて分かりやすく説明します。

2段階のトレーニング・レシピ

著者らは、オリンピック選手を準備するコーチのように、2つのステップでAdaを訓練しました。

ステージ1：「没入キャンプ」（SFT）
まず、5つの異なる言語（フランス語、ポルトガル語、日本語、韓国語、タイ語）のネイティブスピーカーとだけ交流するキャンプにAdaを入れました。

行ったこと： 数千もの数学の問題において、その思考プロセス（「思考」の部分）がすでに現地の言語で完璧に書き出されているデータを見せました。
結果： Adaは、これらの言語で数学の問題を解くことが可能であることを学びました。これにより、彼女はすぐに英語へとデフォルト設定を戻してしまう癖を克服しました。しかし、練習していない言語（スワヒリ語やベンガル語など）に直面すると、まだ少し不安定でした。

ステージ2：「スマートなコーチ」（AdaMame-GRPO）
ここが魔法の部分です。第2ステージでは、AdaMame-GRPOと呼ばれる特別な訓練手法を用いました。

旧来のコーチの問題点： 以前の手法では、答えが正解であり、かつ正しい言語で話している場合にのみ、Adaに報酬を与えていました。これは「全か無か」のスイッチのようなものでした。もし彼女が正解を出しても英語で話していたら、報酬はゼロでした。これでは、彼女は実験的な試みをすることを恐れてしまいます。
AdaMameの解決策： 新しいコーチは**「段階的な成長戦略」**を採用しています。
- 訓練の初期段階： コーチは寛大です。「おい、まずは問題を解いてごらん！今は英語で考えてもフランス語で考えても構わない。とにかく数学を正しく解くことが大事なんだ」と伝えます。これにより、Adaは自由に探索し、問題を解くための最善の方法を見つけ出すことができます。
- 訓練の進行に伴って： 訓練が進むにつれ、コーチは徐々に言語ルールのボリュームを上げていきます。「よし、数学は上手くなってきたね。次は、ユーザーが求めた言語で考えなければならないよ」と指示します。
- 比喩： 子供に自転車の乗り方を教える場面を想像してください。最初は、よろめいたり転んだりしても（探索）、そのままにしておきます。動きが安定してきたら、優しく誘導して自転車のレーン内に留まるように導きます（クエリ言語への適合）。最初の一秒目から「レーンからはみ出すな！」と叫べば、子供はクラッシュしてしまうでしょう。

なぜこれが重要なのか

論文では、この新しい手法を従来の手法と比較検証し、3つの大きな勝利があったとしています。

「コードスイッチング」の解消： Adaは、文章の途中で言語を切り替える（例：フランス語で思考を始めて英語で終わる）という厄け者としての習慣を止めました。彼女は一貫性を保てるようになりました。
「過剰な思考」の解消： 旧来の手法では、Adaは一生懸命やっていることを証明するために、長い時間をかけて話してしまうことがありました。AdaMameは彼女を効率的にしました。同じ結果を得るために、より少ない言葉（トークン）を使用するようになりました。
「アンダードッグ（弱者）効果」： 最大の改善が見られたのは、低リソース言語（テルグ語やスワヒリ語のように、データが少ない言語）においてでした。他の手法が苦戦する中で、AdaMameはAdaを驚くほど高いレベルまで引き上げ、主要な言語だけでなく、すべての人にとってテクノロジーをより公平なものにしました。

結論

論文は、AdaMameが以下の特性を持つモデルを作り出すと主張しています。

正確（Accurate）： 数学を正しく解く。
忠実（Faithful）： ユーザーが求めた言語で考える。
効率的（Efficient）： 時間や言葉を無駄にしない。

これは、著者らが**「パレート最適（Pareto-optimal）なパフォーマンス」**と呼ぶ状態、つまり「何かを犠牲にすることなく、これら3つの目標の最高のバランスを実現した」状態です。これは、高速だが安全ではない車や、安全だが遅い車ではなく、「速くて、安全で、かつ燃費も良い」車を手に入れたようなものです。

著者らは、他の人々がこの「トレーニング・レシピ」を使用して、英語をデフォルトの思考言語とする必要なく、より優れた多言語AI（特に数学的推論のためのAI）を構築できるように、データとコードを公開しています。

技術要約：AdaMame – 適応型マルチリンガル推論のためのトレーニングレシピ

問題提起

大規模推論モデル（LRM）は、英語では強力な性能を示す一方で、ユーザーのクエリ言語で推論を行う際に失敗することが頻繁にあります。これは「言語崩壊（language collapse）」と呼ばれる現象です。モデルは、クエリ言語での推論プロセス（思考の連鎖：Chain-of-Thought）を生成する代わりに、英語へとデフォルトに戻ったり、推論の途中でコードスイッチング（言語の切り替え）を行ったりします。

これを是正するための既存の試みは、強化学習（RL）において、精度目標に対して手動で調整された重み付け比率を用いてバイナリの言語忠実度報酬を付加するものですが、本論文ではこれらのアプローチにおける3つの持続的な限界を指摘しています。

精度のトレードオフ： 言語の忠実度を向上させると、多くの場合、推論の精度が低下する。
コードスイッチング： モデルが単一の推論プロセス内で頻繁に言語を交互に切り替える。
オーバーシンキング（過剰思考）： 正答率に比例した利得を得ることなく、過剰にトークンを消費する。
さらに、多くの従来手法は、監督のために英語の参照推論プロセスを必要とし、固定された重み付けレジームに依存しているため、スケーラビリティと堅牢性に欠けています。

手法：AdaMame

著者らは、推論言語をクエリ言語に適応させつつ、精度とトークン効率を共同で最適化するように設計された、2段階のトレーニングレシピであるAdaMameを提案しています。

ステージ1：教師あり微調整（SFT）

目的： 基盤となるマルチリンガル推論能力と、言語固有のパターンに対する感度を確立すること。
データ： 5つの言語（フランス語、ポルトガル語、日本語、韓国語、タイ語）にわたる3万件の自然発生的な推論プロセスのデータセット。決定的なのは、これらが英語から機械翻訳されたものではなく、対象言語において流暢であることが生成および検証されている点です。
技術： 破滅的忘却を防ぎ、効率を向上させるために、Low-Rank Adaptation（LoRA）を用いてモデルを微調整します。プロンプトは、クエリ言語での推論を明示的に促します。

ステージ2：強化学習（AdaMame-GRPO）

目的： ドメイン外の言語への推論能力を汎化させ、精度を犠牲にすることなく言語の整合性を強制すること。
核心的な革新： Group Relative Policy Optimization (GRPO) を適応させた AdaMame-GRPO。
メカニズム： 固定された報酬重みの代わりに、トレーニング中に漸進的に成長するクエリ条件付き整合係数 ( $\alpha_i(t)$ $α_{i} (t)$ ) を導入します。
- 探索フェーズ： トレーニングの初期段階では、整合係数は弱く、モデルが精度を最大化するために多様な推論言語を探索できるようにします。
- 活用フェーズ： トレーニングが進むにつれて、係数が増加し、推論言語がクエリ言語と一致するロールアウト（出力）に対して報酬を増幅させます。
- 数学的定式化： 報酬は $r'(q, o_i, g) = \alpha_i(t) \cdot r(q, o_i, g)$ としてスケールされます。ここで $\alpha_i(t)$ は、0.1から1.0へのコサイン成長スケジュールに従います。
利点： このアプローチは英語の参照プロセスを必要とせず、報酬重みの手動調整を回避し、代わりにカリキュラムベースの「探索してから活用する（explore-then-exploit）」戦略を使用します。

主な貢献

AdaMame レシピ： 推論言語をクエリに適応させ、精度と言語忠実度の間のトレードオフを解決する、2段階（SFT + RL）のポストトレーニング・フレームワーク。
データセットの公開： 機械翻訳された英語データに依存することなく、マルチリンガル推論研究をサポートする、5つの言語にわたる3万件の自然発生的で高品質な推論プロセスを含む新しいデータセット。
AdaMame-GRPO アルゴリズム： 推論精度、言語忠実度、およびトークン効率のパレート最適性能を実現する、新しいRLのバリアント。

実験結果

この手法は、2つのバックボーンモデル（DISTILL-QWEN 1.5B および QWEN3 4B）を用い、2つのベンチマーク（MGSM-Rev2 および MSVAMP）を使用して、12の言語（5つのインドメイン言語、7つのアウトオブドメイン言語）で評価されました。

パレート最適性： AdaMame-GRPOは、Vanilla、Prompt、SFT、標準的なGRPO、およびM-Thinkerを含むすべてのベースラインと比較して、精度、言語忠実度（Language Confusion Pass Rate [LCPR] で測定）、およびトークン効率（Test-Time Compute [TTC]）の最高のバランスを達成しました。
ドメイン外への汎化： SFTはインドメインの性能を向上させましたが、アウトオブドメインの言語への汎化は不十分でした。RLステージは、特にAdaMame-GRPOがベースラインに対して最大の改善を示した低リソース言語（例：ベンガル語、スワヒリ語、テルグ語）において、汎化性能を大幅に向上させました。
トークン効率： 「オーバーシンキング」を誘発する手法とは異なり、AdaMам-GRPOはテストされたすべてのバリアントの中で最も低いトークン消費量となりました。
カリキュラム効果： 分析により、「探索してから活用する」ダイナミクスが確認されました。モデルは、整合係数が成長するにつれて、多様な言語を生成した後、徐々にクエリ言語へと収束していきました。

意義と主張

本論文は、英語の参照プロセスや固定された報酬重みの必要性を排除することで、AdaMameが現在のマルチリンガル推論のアプローチにおける核心的な限界に対処していると主張しています。適応型のカリキュラムを実装することにより、この手法は、推論精度を維持または向上させながら、言語崩壊とコードスイッチングを効果的に軽減することに成功しました。

著者らは、本研究をより公平なマルチリンガル推論への一歩として位置づけており、高リソース言語だけでなく、低リソースおよびアウトオブドメインの設定においても高い性能が達成可能であることを示しています。彼らは、英語中心の報酬設計を超えていくことが、ユーザーの言語の多様性全体にサービスを提供するモデルを訓練するために不可欠であると論じています。

認められた限界事項：

実験は計算予算の制約を受けており、特定のモデルサイズおよび数学的推論タスクへの適用範囲に限定されています。
本手法は LINGUA 言語検出器に依存しており、激しいコードスイッチングを伴うトレースや非常に低リソースな言語において、信頼性の問題が生じる可能性があります。
トレーニングコーパスは GPT-5 NANO によって生成されたトレースに依存しており、その特定の言語バイアスを継承している可能性があります。