💬 NLP

Cross-Lingual Exploration for Parametric Knowledge

本論文は、17の多様な言語における大規模言語モデルのパラメトリック知識の検索、事実的回想、および言語間一貫性を大幅に向上させる効率的な推論時戦略として、クロスリンガル探索を提案するものであり、これはネイティブ言語のスケーリングを凌駕するものである。

原著者： Elisha Diskind, Itamar Trainin, Uri Shaham, Leshem Choshen, Idan Szpektor, Omri Abend

公開日 2026-06-24

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Elisha Diskind, Itamar Trainin, Uri Shaham, Leshem Choshen, Idan Szpektor, Omri Abend

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

コアとなる問題：知識の「閉じ込められた部屋」

大規模言語モデル（LLM）を、巨大で多言語対応の図書館だと想像してみてください。この図書館の中には、世界のあらゆる事実が「棚」（モデルの「パラメータ」）に保管されています。しかし、そこには一つ落とし穴があります。一部の事実は、特定の言語による特定の棚にしか書かれていないのです。

もし、司書（AI）に対して、日本のローカルなラジオ番組について英語で質問したとします。司書は「英語」のセクションを探しに行き、何も見つからなければ、間違った答えを推測するか、「わかりません」と答えてしまうかもしれません。彼らは「閉じ込められた部屋」に囚われているのです。なぜなら、正しい情報は実は「日本語」とラベル付けされた棚に置いてあるのに、司書はそこまで歩いていくことを思いつかなかったからです。

この論文では、この問題を**パラメトリック知識のアクセシビリティ（Parametric Knowledge Inaccessibility）**と呼んでいます。知識はモデルの中に存在していますが、標準的な手法では、一つの言語に留まってしまうためにその知識に到達できないのです。

解決策：クロスリンガル探索（言語横断的探索）

著者たちは、**クロスリンガル探索（Cross-Lingual Exploration）**と呼ばれる戦略を提案しています。単に最初に使った言語で質問するのではなく、AIに対してこう指示します。「ねえ、もしかしたら答えは英語にはないかもしれない。この事実が最も存在していそうな言語を見つけ出し、そこで思考し、その答えを持ってきて。」

これは、事件を解決する探偵に例えることができます：

標準的な方法： 探偵は英語しか話せません。彼は英語を話す目撃者に尋ねますが、目撃者は答えを知りません。これで事件終了（誤った結論）。
クロスリンガル探索： 探偵は、手がかりが外国にあることに気づきます。彼は通訳を雇い、その国へ行き、現地の言葉で現地の目撃者に尋ね、正しい答えを得て、それを翻訳して持ち帰ります。

戦略の4つの次元

論文では、この「探偵の仕事」を、テストされた4つのツール（次元）に分解しています。

1. 言語選択（適切な探偵を選ぶ）：

比喩： 探偵を一般的な拠点（英語のような「ピボット」となる言語）に送るのか、それとも手がかりが属する特定の国を特定させるのか？
発見： すべてを英語経由に強制するよりも、AIに自律的に最適な言語を選択させる（例：アルゼンチンの弁護士に関する事実はスペイン語で見つけるのがベストだと判断させる）方が効果的でした。

2. ルーティング（辿る経路）：

比喩： 探偵は一つの直接的なルートを通るのか、それとも13人の探偵チームを13の異なる国へ同時に送り出すのか？
発見： **マルチパス・チーム（並行探索）**を送り出すことが最も効果的でした。これは網を広く投げるようなものです。たとえ12人の探偵が間違ったとしても、正しい国へ行った一人が救世主となります。

3. 集約（勝者を決める）：

比喩： チームが13個の異なる答えを持って戻ってきたとき、どれが真実かをどうやって判断するか？単に最も多い答えを選ぶのか（多数決）、それとも少数意見であっても「専門家」の答えを探すのか？
発見： 非常に具体的でローカルな事実については、「マイノリティ・アウェア（少数派を意識した）」戦略（たとえ唯一の意見であっても、ユニークで正しい答えを探す手法）が驚くほど効果的でした。

4. バジェット（コスト）：

比喩： あなたはどれくらいの予算（計算能力）を投じる用意がありますか？
発見： AIに複数の言語で考えさせることは、より多くの「トークン（コスト）」を消費しますが、実は同じ質問を英語で13回繰り返すよりも効率的です。支払ったコストに対して、より良い結果が得られます。

主要な結果：彼らが発見したこと

隠れた事実の解禁： 言語を切り替えることで、AIは以前は発見不可能だった事実を抽出できるようになりました。ケースによっては、特定のローカルな知識において、精度が最大**44%**向上しました。
一貫性の向上： 同じ質問を異なる言語（例：「DJは誰？」を英語、日本語、韓国語で）で尋ねると、AIは通常、異なる矛盾した答えを出してしまいます。クロスリンガル探索によって、AIは使用する言語に関わらず、同じ正しい答えを出せるようになりました。これにより、AIはより信頼性が高く、混乱しにくくなります。
単なる「深く考える」のではない： 著者たちは、この改善が単にAIが「長く考えている（推論している）」からではないことを証明しました。改善は、具体的に言語を切り替えたことによってもたらされました。異なる言語で翻訳し、推論するという行為が、記憶のロックを解除したのです。

結論

この論文は、大規模言語モデルには多くの知識がその「パラメータ」の中に隠されているものの、その知識を見つけるための「正しい言語」を探すことを忘れてしまう場合が多いことを示しています。言語を単なる会話の手段としてではなく、モデルの記憶の異なる部分を解錠するための鍵として扱うことで、AIをより賢く、正確に、そして世界中で一貫性のあるものにすることができます。

これは、AIに新しい事実を教えることではありません。AIに、自分がすでに知っている事実を**「どのように探すべきか」**を教えることなのです。

技術要約：パラメトリック知識のためのクロスリンガル探索

問題提起

大規模言語モデル（LLM）は、そのパラメータ内に膨大な現実世界の多言語知識をエンコードしている。しかし、このパラメトリック知識は、すべての言語において一様にアクセス可能であるわけではない。標準的な推論手法では、特定の言語でクエリが投げられた際に局所的な事実を想起できないことがあり、たとえモデル内にその知識が存在していたとしても、ハルシネーション（幻覚）や誤答を引き起こす原因となる。この現象は、クロスリンガルな知識転移と一貫性の間にギャップを生じさせる。つまり、ある事実（例：日本語）では容易にアクセスできる一方で、別の言語（例：英語）では潜在的であったりアクセス不能であったりするという事態である。著者らは、この知識の格納とアクセスのメカニズムはパラメトリックな重ね合わせ（superposition）の中に複雑にエンコードされており、標準的な単一言語の推論パスでは、これらすべての潜在的な事実を解き放つには不十分であると断定している。

手法

本論文では、モデルの内部的なクロスリンガル能力を活用して隠れた事実的知識を表面化させる推論時の戦略として、「クロスリンガル探索（Cross-Lingual Exploration）」を提案する。言語選択を固定されたタスク固有のプロンプトとして扱うのではなく、著者らはクロスリンガル探索を、以下の4つの固有の次元によって定義される構造化された探索プロセスとしてフレームワーク化している。

言語選択（Language Selection）: どの言語的コンテキスト（ $L_e$ ）を調査するかを決定する。戦略は、固定されたピボット（例：すべてを英語に翻訳する）から、モデルによる自律的な選択（モデルが事実の文化的起源について推論し、最も適切な推論言語を選択する）まで多岐にわたる。
ルーティング（Routing）: 探索の軌跡を定義する。これには、**シングルパス（Single-path）**戦略（一つの言語に固執するか、あるいは逐次的に言語を切り替える）と、**マルチパス（Multi-path）**戦略（複数の言語で独立した推論軌跡を同時に生成する）が含まれる。
集約（Aggregation）: 複数の候補となる軌跡から最終的な回答を抽出するメカニズム。著者らは、多数決（Majority Vote）（最も頻度の高い回答を選択する）と、**マイノリティ意識型（Minority-Aware）**の選択（局所的な事実については、他のパスからのハルシネーションされた回答の中で正解が少数派になる可能性があるという推論に基づく）を評価している。
推論予算（Inference Budget）: 探索戦略とネイティブ言語のスケーリングとの公平な比較を行うために、計算コスト（トークン数およびモデル呼び出し回数）を追跡する。

著者らは、これらの次元に基づいた一連の戦略をインスタンス化し（論文の表1に要約）、2つのベンチマークを用いて評価を行った。

ECLeKTic: 情報がソース言語には存在するが、ターゲットのクエリ言語には対応する表現が存在しない「言語固有」の事実に焦点を当てている。
CLIKE: 全体的な事実の想起率とクロスリンガルな一貫性を測定するために、類型論的に多様な13の言語にわたる一般的なWikidataの事実を評価している。

実験は、17のユニークな言語をカバーする7つの最先端モデル（Gemini 2.5 Flash、GPT-4o、Qwen 3、Grok 4.1を含む）に対して実施された。

主な結果

研究の結果、クロスリンガル探索は評価されたすべてのモデルおよび言語において性能を大幅に向上させることが示された。

知識転移: クロスリンガル探索は、事実が異なるソース言語に局在している場合、ターゲット言語でのクエリに回答する能力を一貫して向上させる。ネイティブな単一言語のベースラインと比較して、探索戦略はECLeKTicデータセットにおいて最大**21%**の知識転移ゲインを達成した。
事実の想起: この恩恵は局所的な事実にとどまらない。探索はCLIKEベンチマークにおける一般的な事実の想起もブーストする。これは、代替的な言語パスを辿ることが、クエリ言語には名目上存在するものの、標準的な単一言語の推論ではアクセスできないパラメトリック知識へのアクセスを助けることを示している。
ゲインのメカニズム: 著者らは、クロスリンガル探索を単一言語の推論（同じ言語内での中間的な「思考」ステップを用いるもの）と比較することで、これらのゲインの源泉を特定した。その結果、**言語のシフト（language shift）**自体が、推論プロセスそのものよりも、アクセス不能な知識を解き放つ主要な要因であることが判明した。自律的な選択戦略（モデルが事実の起源について推論するもの）は、固定された英語ピボットやオラクルベースのソース言語ルーティングをも上回る結果となった。
効率性（パレート・フロンティア）: 精度とトークンコストをプロットすると、クロスリンガル探索はネイティブ言語のスケーリングよりも効率的な計算パレート・フロンティアを確立する。これは、単にネイティブ言語での推論パスの数を増やすよりも、同じ計算予算でより高い精度を達成できることを意味する。
クロスリンガル一貫性: 本論文は、内在的な一貫性を測定するための仮説検証フレームワークを導入している。結果は、クロスリンガル探索が、精度向上のみでは説明できないほど、言語間の一貫性を大幅に向上させることを示しており、ダウンストリームのアプリケーションに対してより堅牢で予測可能な挙動を提供する。

意義と主張

著者らは、自らの研究が、潜在的なパラメトリック知識を解き放つための非常に効果的な推論時戦略として、マルチリンガル・プロンプト探索を確立したと主張している。本研究の意義は以下の点にある：

「英語ピボット」の仮定への挑戦: 結果は、すべてのクエリを英語にルーティングすることが最適ではないことを示唆している。事実の文化的文脈に基づいて推論言語を自律的に選択する方が優れた結果をもたらす。
推論時スケーリングの再定義: 本論文は、LLMの性能向上は計算量スケーリング（単一言語におけるトークン数の増加）の観点だけでなく、探索効率（多様な言語パスの探索）の観点からも捉えられるべきであると論じている。クロスリンガル探索は、隠れた知識にアクセスするためのより効率的な経路を提供する。
内在的一貫性: 本研究は、一貫性が精度とは独立した要件であることを示している。クロスリンガル探索は、モデルをより正確にするだけでなく、言語間での一貫性も高める。これは、信頼性の高いマルチリンガル・システムにとって極めて重要な特性である。

著者らは、回答の集約が依然としてボトルネックである（知識の想起の潜在的な上限は、実現されたゲインよりも高いことが多い）としつつも、モデルが戦略的にクロスリンガル探索を行うよう明示的に訓練することは、より堅牢で事実的にアクセスしやすいマルチリンガルLLMを構築するための有望な方向性であると結論付けている。本論文は、特定のアーキテクチャ変更を提案するものではなく、むしろ推論時戦略のための構造化されたデザインスペースを提示するものである。