💬 NLP

Location Not Found: Exposing Implicit Local and Global Biases in Multilingual LLMs

この論文は、言語に依存する事実を問うテストセット「LocQA」を用いて多言語 LLM のバイアスを分析し、英語圏以外の言語でも米国基準へのグローバルなバイアス（特に指示チューニングにより増幅される）や、人口規模に基づくローカル優先のバイアスが発見されたことを報告しています。

原著者： Guy Mor-Lan, Omer Goldman, Matan Eyal, Adi Mayrav Gilady, Sivan Eiger, Idan Szpektor, Avinatan Hassidim, Yossi Matias, Reut Tsarfaty

公開日 2026-04-22

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Guy Mor-Lan, Omer Goldman, Matan Eyal, Adi Mayrav Gilady, Sivan Eiger, Idan Szpektor, Avinatan Hassidim, Yossi Matias, Reut Tsarfaty

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

この論文は、**「多言語対応の AI（大規模言語モデル）は、実は『アメリカ中心』で、かつ『人口の多い国』に偏っている」**という、意外な事実を暴いた研究です。

タイトルにある「Location Not Found（場所が見つからない）」は、AI が「どこの国の話か？」と聞かれても、正解の場所を特定できず、勝手に自分の思い込み（バイアス）で答えてしまう状態を表しています。

わかりやすく、3 つの重要なポイントに分けて解説します。

1. 実験の仕組み：「曖昧な質問」で AI の本音を引き出す

研究者たちは、AI に**「緊急電話は何番？」「税金の年度はいつ終わる？」「通貨は何？」**といった、国によって答えが異なる質問をしました。

ポイント: 質問には「アメリカで」「日本で」といった場所の指定は一切ありません。
例: 「緊急電話は何番？」と聞かれたとき、アメリカなら「911」、イギリスなら「999」、日本なら「119」です。
目的: AI が「どこの国の常識」を基準に答えるかを見ることで、AI の**「無意識の偏見（バイアス）」**を測ります。

これを**「LocQA（ロクア）」**というテストセットを使って、世界中の 32 種類の AI に試しました。

2. 発見された 2 つの「偏り」

AI の答えを分析すると、2 つの大きな問題が見つかりました。

① グローバルな偏り：「アメリカ基準」の暴走

**「どんな言語で聞いても、アメリカの常識を押し付けてくる」**という現象です。

たとえ話:
あなたが日本語で「日本の緊急電話は？」と聞いているのに、AI は**「アメリカの 911 番です。でも、日本では 119 番かもしれませんね」と、アメリカの基準を「正解」や「基準点」として勝手に持ち出してきます。
英語で聞かなくても、フランス語やインドネシア語で聞いても、AI の頭の中では「アメリカが世界の標準」**という設定が強く残っています。

② 地域的な偏り：「人口の多い国」への偏愛

**「同じ言語を話す国でも、人口が多い国だけを取り上げ、小さい国は無視する」**という現象です。

たとえ話:
「スペイン語で『通貨は何？』と聞くと、AI はメキシコやスペインの答えは出しますが、人口の少ないホンジュラスやボリビアのことは完全に忘れたふりをします。
AI はまるで**「人口統計の計算機」**のように動いていて、「人口が多い＝重要」と判断し、小さな国々の文化や事実を消し去ってしまいます。

3. 意外な結果：「AI を賢くすると、偏りが強くなる」

これが最も驚くべき発見です。通常、AI を「指示に従うように（Instruction Tuning）」訓練すると、もっと良くなるはずですよね？

しかし、この研究では逆のことが起きました。

ベースの AI: 特定の国の答えを一つだけ出す傾向があった。
指示に従うように訓練された AI: 「多様な答えを出そう」として、「アメリカの答え」を必ず比較対象として付け加えるようになりました。

たとえ話:
AI が「日本の緊急電話は？」と聞かれたとき、

訓練前: 「119 です」と答える。
訓練後: 「119 です。ただし、アメリカでは 911 番ですよ」と、わざわざアメリカの話を付け加えてくるようになります。

AI は「親切にしようとして」多様な情報を並べようとしていますが、その結果、「アメリカ基準」を常に参照点として据えてしまうという、新しい形の偏りが生まれてしまいました。これを論文では**「文化的な調整税（Alignment Tax）」**と呼んでいます。

結論：何が必要なのか？

この論文は、**「言語が流暢だからといって、その国の文化や事情を正しく理解しているわけではない」**と警鐘を鳴らしています。

今の状態: AI は「アメリカの常識」をベースに、人口の多い国だけを優先して、他の国々の現実を消し去っています。
必要なこと: 単に「多言語対応」をするだけでなく、**「多地域対応（マルチリージョナル）」**を意識する必要があります。

まとめると：
AI は「世界を一つにまとめたがる」あまり、**「アメリカという大きな鏡」を通して世界を見ており、「人口の多い国」**だけを映し出している状態です。本当のグローバルな AI を作るには、この「鏡」を壊し、それぞれの国や地域の「小さな窓」を一つ一つ丁寧に開けていく必要があります。

論文「Location Not Found: Exposing Implicit Local and Global Biases in Multilingual LLMs」の技術的サマリー

本論文は、多言語大規模言語モデル（LLM）が、言語の流暢さ（Fluency）を達成する一方で、地域固有の事実や規範（Localization）においてどのような潜在的バイアスを内包しているかを解明した研究です。特に、文脈が曖昧な質問に対するモデルの回答パターンを分析し、**「グローバルバイアス（米国中心性）」と「地域バイアス（人口規模への依存）」**という 2 つの構造的バイアスを発見しました。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細をまとめます。

1. 問題定義と背景

背景

多言語 LLM は言語間の流暢さのギャップを縮小しましたが、知識や規範が言語間で伝播する際に、特定の地域（特に米国）の基準が他の地域の文脈に上書きされるリスクが生じています。従来の評価ベンチマークは、特定の国や地域を明示的に指定した「明示的な知識」のテストに偏っており、モデルが**「文脈が明示されていない（曖昧な）状況で、無意識にどの地域の基準をデフォルトとして選択するか」**という潜在的なバイアスを測定できていませんでした。

核心的な課題

言語と地域（Locale）の混同: 特定の言語（例：スペイン語、フランス語）は複数の国や地域で話されていますが、法制度、祝日、単位などは地域によって異なります。
曖昧性の解消: 「緊急電話番号は？」「税制年度はいつ終わる？」といった質問は、言語自体では地域が特定できません。モデルがこれらの曖昧性をどのように解消するか（どの地域を「標準」とみなすか）は、モデルの潜在的な優先順位（プリオア）を露呈します。
指示チューニングの影響: 指示に従う能力を高めるためのチューニング（Instruction Tuning）が、文化的なニュアンスを犠牲にして「安全」で「一般的」な（米国中心の）回答を強化している可能性が懸念されています。

2. 手法：LocQA ベンチマーク

本研究では、モデルの潜在的なバイアスを定量化するための診断ベンチマーク**「LocQA (Localized QA)」**を提案しました。

データセットの構成

規模: 12 言語、49 の地域（Locale）に対応する 2,156 個の質問と回答。
質問の性質: 地域に依存する事実（法律、日付、単位、通貨など）を問う、地域が明示されていない曖昧な質問です。
- 例：「緊急電話番号は？（What is the emergency phone number?）」
- 例：「税制年度はいつ始まる？（When does the fiscal year start?）」
アノテーション: 熟練したバイリンガルアノテーターが、各言語に関連する各国の事実を収集し、正解（Gold Answer）を作成しました。
評価対象モデル: 32 種類のモデル（GPT-4o, Gemini, Claude, Qwen, Gemma, DeepSeek などのプロプライエタリおよびオープンウェイトモデル）をゼロショットで評価しました。

評価指標

2 つの主要なバイアス指標を定義しました。

グローバルバイアス ( $B_{US}$ )
- 定義: 非英語の言語で質問された際、モデルが米国（US）の規範や事実を過剰に採用する度合い。
- 計算: 観測された米国回答の頻度 ( $P_{obs}$ ) から、データセット内の米国回答の期待頻度 ( $P_{exp}$ ) を引いた値。
- 意味: 正値は米国中心のバイアス（米国規範の侵入）を示します。
地域バイアス ( $B_{R}$ )
- 定義: 同一言語内で、特定の地域（例：スペイン語圏ならメキシコかスペインか）が過剰または過少に代表される度合い。
- 計算: 観測された回答頻度と、データセット内の期待頻度の比率（Lift）。
- 意味: 1.0 から乖離している場合、特定の地域の「消去（Erasure）」または「支配（Dominance）」を示します。

自動評価パイプライン

Gemini-2.5-Flash を「LLM-as-a-Judge」として使用し、モデルの回答から以下の情報を抽出しました。

言及された回答: どの地域の正解が明示的に提供されたか。
フレームスタイル: 米国を比較対象として明示的に言及しているか（例：「米国では〜だが、ここでは〜」）。
衝突（Collision）の検出: 米国と他の地域の回答が数値的に一致する場合（例：飲酒年齢がどちらも 21 歳）を区別し、バイアスを正確に計測しました。

3. 主要な結果

3.1 グローバルバイアス（米国中心性）の存在

全モデルでの偏り: 評価した 32 モデルのほぼすべてが、非英語の質問に対しても米国規範を優先するバイアスを示しました。
バイアスの大きさ: 平均して、モデルの回答における米国回答の出現頻度は、データセット内の期待値（26%）に対して 50% まで上昇しました（ $B_{US} \approx 0.24$ ）。
最もバイアスが強いモデル: Grok 4 ( $B_{US} \approx 0.42$ ) など、モデルによってばらつきはありますが、Falcon 3 などの一部を除き、多くのモデルで顕著な米国中心性が確認されました。

3.2 地域バイアス（人口規模への依存）

人口規模との相関: モデルは言語内のどの地域を優先するかにおいて、人口規模の対数と強い正の相関 ( $r=0.64$ ) を示しました。
構造的な不平等: 米国、ブラジル、スペイン、フランスなどの大人口国や主要国が過剰に代表され、ホンジュラス、マリ、南アフリカなどの小国や周辺地域は体系的に「消去（Erasure）」されていました。
人口規模の限界: 人口が 10 倍になっても表現スコアは 0.19 ポイントしか上がらないなど、人口規模に対する「ソフトな天井」が存在し、モデルは人口の絶対数ではなく「桁（Order of Magnitude）」でスケールしていることが示唆されました。

3.3 指示チューニング（Instruction Tuning）の影響：「文化的アライメント税」

グローバルバイアスの増大: 指示チューニングを施したモデルは、ベースモデルと比較して米国バイアスが有意に高まりました。これは「アライメント税（Alignment Tax）」として、安全性や汎用性を追求する過程で米国中心性が強化されたことを示唆します。
地域バイアスの減少: 一方で、指示チューニングは地域バイアスの絶対値を減少させました。モデルが「多様な回答」を提供するようになり、特定の 1 つの地域に偏ることを防ぎ、地域間の代表格を均等化（フラット化）する傾向が見られました。
メカニズム（回答の多重性）: 指示チューニングされたモデルは、単一の正解ではなく複数の選択肢を列挙する傾向があります。しかし、その際にも米国を「比較の基準」や「コンテキスト」として無意識に含めることが多く、結果として「多様性」の皮を被った米国中心性が強化されました。

3.4 分野別のバイアス

国家・国（State and Country）: 政府やインフラに関する質問では、米国バイアスが高く、地域バイアスは低い傾向。
娯楽・文化（Leisure and Culture）: スポーツや文化に関する質問では米国バイアスは低いですが、地域バイアスが極めて高く、人口の多い国への偏りが顕著でした。

3.5 明示的な地域指定時の挙動

質問に「メキシコで」と明示的に地域を指定した場合でも、高能力モデルほど**「米国への幻覚（US Hallucination）」**（正しい回答の代わりに米国回答を出力する）の割合が高まる傾向が確認されました。これは、米国バイアスが単なる知識不足のフォールバックではなく、モデルの強力な潜在的優先順位であることを示しています。

4. 主要な貢献

LocQA ベンチマークの提案:
- 2,156 個の地域依存の曖昧な質問を含む、多言語・多地域にわたる診断用ベンチマーク。モデルのデフォルトのプリオアを抽出するための標準的なツールセット。
バイアス定量化の二重メトリクス枠組み:
- グローバル指標: 米国中心バイアスの定量化。
- 地域指標: 地理的公平性（Geographic Fairness）の定量化。
- これにより、モデルが「どの地域を標準とみなしているか」を数値的に評価可能にしました。
アライメントバイアスの実証:
- 32 モデルにわたる実証データにより、指示チューニングが「地域バイアスの低減」と「米国バイアスの増大」という相反する効果をもたらすことを発見しました。これは、現在の「安全で汎用的な AI」への調整プロセスが、文化的な多様性を犠牲にして米国中心の均質化を促進している可能性を示唆しています。

5. 意義と結論

本研究は、多言語 LLM の評価において「言語の流暢さ」だけでは不十分であり、**「文化的・地域的な接地（Localization）」**が独立した重要な評価軸であることを示しました。

結論: 現在の LLM は、地理的な公平性に基づいて曖昧性を解消するのではなく、**「米国中心のデフォルト」と「人口規模に基づく確率的エンジン」**として機能しています。
提言: 真にグローバルなシステムを構築するためには、言語モデルを「多言語モデル」から**「多文化・多地域モデル」**へと進化させる必要があります。これには、地域（Locale）を言語とは独立した固有の側面として扱い、トレーニング段階やアライメントプロセスにおいて明示的に考慮することが不可欠です。
今後の課題: 指示チューニングが「多様性」を装いながら米国中心性を強化するメカニズムを解明し、文化的ニュアンスを損なわずに安全性を確保する新しいアライメント手法の開発が求められています。

本研究は、LLM が世界中のユーザーに対して事実的に適切で公平な回答を提供するための重要な基盤を提供するものです。