💬 NLP

Cross-lingual Self-Consistency for Multilingual Reasoning with Language Models

本論文は、正解やパラレルデータ（対訳データ）を必要とせずに、言語横断的な自己整合性を強制することによって大規模言語モデルにおける多言語推論を強化する、教師なし強化学習アプローチを提案しており、複数の言語および未知のシナリオにおいて大幅な性能向上を実現している。

原著者： Ahmed Elhady, Eneko Agirre, Mikel Artetxe

公開日 2026-06-02

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Ahmed Elhady, Eneko Agirre, Mikel Artetxe

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、英語で数学の問題を解くときは天才的なのに、同じ問題がスペイン語、日本語、あるいはスワヒリ語で書かれていると混乱してミスをしてしまう、ある優秀な学生を想像してみてください。これは、今日の多くの高度なAIモデルが直面している状況そのものです。彼らはいくつかの「高リソース言語（英語など）」では優れた推論能力を発揮しますが、他の言語で思考することを求められると苦戦します。

この論文は、この問題を解決するために、「Cross-lingual Self-Consistency（言語横断的自己整合性）」と呼ばれる、巧妙な教師なし学習手法を紹介しています。以下に、その仕組みを簡単な比喩を用いて説明します。

問題点：「混乱した翻訳者」

現在、もしAIにスワヒリ語で数学の質問をすると、AIは頭の中でその質問を英語に翻訳し、解き、答えを再び翻訳しようとします。しかし、このプロセスは非常に煩雑です。時として翻訳は不完全であり、AIはその途中で迷子になってしまいます。その結果、AIは数学自体は理解していても、スワヒリ語では間違った答えを出してしまうのです。

解決策：「グループ学習」の比喩

著者らは、正解（ゴールドラベル）を持つ教師や、完璧な翻訳辞書を必要としない、新しいAIの訓練方法を提案しています。これは「Self-Consistency（自己整合性）」という概念に基づいています。

AIをテストを受けている学生だと考えてください。

従来の方法（単一言語）： 学生は英語でテストを受けます。もし3回連続で同じ答えが出れば、その学生は自信を持っています。もし異なる答えが出れば、混乱していることを自覚します。
新しい方法（言語横断的）： 学生は、同じ数学の問題を、10種類の異なる言語（英語、スペイン語、フランス語など）で与えられます。
- AIは英語で問題を解きます。
- AIはスペイン語で問題を解きます。
- AIはフランス語で問題を解きます。
- ……といった具合です。

黄金律： この論文は、もし数学の内容が同じであれば、解くために使用される言語に関わらず、最終的な答えは必ず同じでなければならないと主張しています。もし問題が「2 + 2」であれば、どの言語においても答えは「4」でなければなりません。

訓練の仕組み（「スコアカード」）

研究者たちは、強化学習（AIが良い行動に対して報酬を得ることで学習する手法）を用いて、AIのためのゲームを設定しました。

セットアップ： AIには英語の数学の問題が与えられます。次に、AIは自身の内部知識を用いて、この問題を他の言語（スペイン語や日本語など）へと「自己翻訳」します。
挑戦： AIは、元の英語での問題解決と、自身で作成したすべての新しい言語での問題解決の両方を行わなければなりません。
報酬： AIが「高スコア（報酬）」を得られるのは、これらすべての異なる言語における最終的な答えが一致した場合のみです。
- もし英語の答えが「4」で、スペイン語の答えも「4」であれば、AIは報酬を得ます。
- もし英語の答えが「4」なのに、スペイン語の答えが「5」であれば、AIはペナルティを受けます。

これを何度も繰り返すことで、AIは思考を一致させる方法を学びます。「英語で正しい答えが出せるなら、スペイン語でも同じ正しい答えを出さなければならない」ということを理解するのです。これにより、AIは弱い言語における推論能力を、自身の強みである英語に合わせるように改善していきます。

結果：公平な舞台

研究者たちは、さまざまな規模のAIモデルを用いて、10の言語による数学問題でこの手法をテストしました。

大きな進歩： この手法により、主要なテスト（MGSM）において、AIの正確性は平均で**21.7%**向上しました。
教師を必要としない： 極めて重要な点として、これは人間が提供した正解や、事前に翻訳されたデータなしで機能しました。AIは、自身の答えが言語間で一貫しているかどうかを確認することで、自習したのです。
汎用性： AIが一度も見たことがない言語で訓練された場合でも、それらの新しい言語で問題を解く能力が向上しました。また、この手法は数学だけでなく、異なるタイプの論理パズルにもうまく機能しました。

まとめ

この論文は、AIに多言語での推論を教えるために、膨大な量の完璧に翻訳された教科書ライブラリを用意する必要はないということを示しています。ただ一つのシンプルなルールを教えるだけでよいのです。「真実は、どのような言語で話されていても変わらない」。AIに言語間の整合性を強制することで、AIは自然とあらゆる言語において、より賢く、より信頼できるものへと進化するのです。

技術要約：多言語推論における大規模言語モデルのためのクロスリンガル自己一貫性（Cross-lingual Self-Consistency）

問題提起

大規模言語モデル（LLM）の多言語対応範囲は拡大しているものの、その高度な推論能力は、英語や中国語などの高リソース言語に大きく偏っています。モデルは多くの言語で基本的なタスクを実行できますが、複雑な推論タスク（例：数学的な文章題）においては、クエリの母国語で実行した場合に失敗することがよくあります。

既存の解決策は、以下の方法によってこのギャップを埋めようとしています：

英語での推論： ソースとなるクエリを英語に翻訳し、英語で推論を行い、回答を元の言語に翻訳して戻す。
教師あり微調整（SFT）： 並列データ（翻訳された質問と推論の痕跡）を用いて学習を行う。
ロジット操作： モデルの出力分布を、英語の推論パターンに模倣するように強制する。

これらのアプローチには重大な限界があります。これらは、希少で高品質な並列推論データに依存しており、機械翻訳の質（ノイズの導入）に依存し、未知の言語やドメインへの汎化に失敗することがよくあります。さらに、英語での推論を強制する戦略は、必ずしもソース言語におけるモデル固有の推論能力を向上させるものではありません。

手法

著者らは、クロスリンガル自己一貫性を強制することによって多言語推論を強化する、**教師なし強化学習（RL）**フレームワークを提案しています。核心となる原理は、異なる言語で提示された同等の問題に対して、モデルが同じ最終回答を生成すべきであるという点です。これには、正解ラベルへのアクセスは不要です。

主要構成要素：

教師なしシグナル： この手法は、学習のために単一言語の質問（実験では英語）のみを必要とします。正解（ゴールド・アンサー）や既存の並列推論の痕跡は必要ありません。
自己翻訳（Self-Translation）： 並列入力を生成するために、モデル自身が英語の学習用質問をターゲット言語へと翻訳します。これはノイズを含みますが、スケーラブルであり、第三者の翻訳エンジンからの外部知識の注入を回避できます。
報酬関数（RL）：
- 本フレームワークは、単一言語の自己一貫性（回答分布のエントロピーを最小化するもの）を多言語設定へと拡張したものです。
- 単一言語内でのエントロピーを最小化する代わりに、特定の言語の回答分布（ $\hat{p}_\pi$ ）と、他の言語から導出されたターゲット分布（ $\hat{q}_\pi$ ）との間のクロスエントロピーを最小化します。
- ターゲット分布戦略： 著者らは、 $\hat{q}_\pi$ $\overset{q}{^}_{π}$ を定義するための3つの方法を検討しています：
  - ソース言語： 標準的な単一言語の自己一貫性と等価。
  - リファレンス言語（英語）： すべての言語を英語の分布に合わせる（クロスリンガル蒸留として機能）。
  - 結合（Combined）：* すべての言語における回答分布を平均化する。このバリアントが主要な手法として使用され、全言語セット全体での一貫性を直接最適化します。
学習アルゴリズム： 著者らは、VeRLバックエンドを用いた GRPO（Group Relative Policy Optimization）を利用しています。報酬は、異なる言語におけるサンプリングされた軌跡間での最終回答の一貫性に基づいて計算されます。

主な貢献

斬新なフレームワーク： 並列データや正解ラベルを必要とせず、クロスリンガル自己一貫性を明示的に強制することで多言語推論を改善する、初の教師なしRLアプローチ。
スケーラビリティ： 多言語推論データが利用できないシナリオにおいても実用的であり、モデル自身の翻訳能力を活用して学習シグナルを作成します。
汎化性能： 本手法は、未知の言語や分布外（OOD）ドメインに対する強力な汎化性能を示しており、高品質な多言語推論データセットの不足という課題に対処しています。

実験結果

本手法は、Qwen2.5モデル（1.5B, 7B, 14B）およびLlama3（8B）を用い、MGSMベンチマーク（10言語）および3つのOODベンチマーク（mGPQA, MMATH, PolyMath）で評価されました。

性能向上：
- MGSMにおいて、本手法は元のモデルに対し、平均精度で 7.8% (1.5B)、15.1% (7B)、21.7% (14B) の向上を達成しました。
- ほぼすべての言語で向上が見られ、一部の低リソース言語（ロシア語、テルグ語など）では、相対的な改善率が100%を超えるものもありました。
- 本手法は、テスト時スケーリング（S1）やDPOベースの手法（LIDR）を含む従来のベースラインを、特にトークン効率の面で上回りました。S1は競争力のある結果を出しましたが、より長い推論の痕跡に対して約3倍のトークンを必要としました。
汎化性能：
- 未知の言語： 一部の言語で学習を行った際、MGSM内の未知の言語に対して平均 18.2% の向上を示しました。
- OODベンチマーク： 本手法は mGPQA で平均 4.7%、MMATH で 6.2% の利得をもたらし、OODタスクで性能低下を引き起こしたLIDRを上回りました。
一貫性： 分析により、本手法が単一言語およびクロスリンガルの自己一貫性の両方を大幅に改善したことが確認されました。本手法で学習されたモデルは、ベースラインと比較して、より少ないサンプル数（Maj@8）でピーク性能に近いレベルに達しており、推論計算の効率的な最適化を示しています。
リソース階層： 本手法は、高リソースおよび中リソースの階層において、英語とその他の言語の間の性能差を大幅に縮小させましたが、低リソース言語については、基礎となるモデルの習熟度の限界により、依然として遅れが見られました。

意義と主張

本論文は、一貫性に基づく手法が、教師ありデータの注釈という膨大なコストをかけることなく、LLMの多言語能力を向上させるための実行可能な道筋を提供すると主張しています。

公平性と堅牢性： 高リソース言語と低リソース言語の性能差を縮めることで、本手法は異なる言語的コンテキストにおけるLLMの公平性と堅牢性を前進させます。
本質的な改善： 英語をプロキシ（代理）として利用する「英語への翻訳」戦略とは異なり、本手法はソース言語におけるモデルの本質的な推論能力を向上させます。
実用性： 自己翻訳と単一言語データへの依存により、本アプローチは非常にスケーラブルであり、多言語推論データが存在しないドメインにも適用可能です。

著者らは、本手法が現行のモデルスケール（20B未満）に依存しており、低リソースベンチマークの可用性に関する課題はあるものの、追加のデータ注釈なしに多言語推論性能を大規模に強化する道を開くものであると結論付けています。今後の課題として、検証不可能なタスクや、より大規模なモデルアーキテクチャの探索が示唆されています。