Which English Do LLMs Prefer? Triangulating Structural Bias Towards American English in Foundation Models

この論文「Which English Do LLMs Prefer?（LLM はどの英語を好むのか？）」は、大規模言語モデル（LLM）の開発パイプライン全体にわたる構造的バイアス、特にアメリカ英語（AmE）に対する体系的な偏りを調査・実証した研究です。著者らは、ポストコロニアルな視点から、データ収集、デジタル支配、言語標準化の歴史的背景を踏まえ、LLM がなぜ AmE をデフォルトとして優先し、イギリス英語（BrE）を相対的に軽視しているのかを、事前学習コーパス、トークナイザー、生成出力の 3 つの段階で三角測量（トライアングレーション）によって分析しました。

以下に、技術的な詳細を含めた要約を記述します。

1. 問題設定と背景

• 背景: LLM は教育、法、行政など高リスク分野で広く利用されていますが、多くのプラットフォーム（ChatGPT や Claude など）は「英語（米国）」のみを選択可能にしており、世界の多様な英語変種（特に BrE）を無視しています。
• 核心的な問題: LLM のトレーニングデータ、トークナイザー設計、生成挙動において、AmE と BrE の間に構造的な非対称性（バイアス）が存在するかどうか、またそれがどのようにして増幅されているかを解明すること。
• 研究の意義: これまでの研究は非標準的な英語（AAE など）やタスク性能の偏りに焦点を当てることが多かったが、標準的な英語変種間のバイアス（AmE vs BrE）を LLM の全開発段階で体系的に調査した初の研究である。

2. 手法とリソース

研究は、以下の 2 つの主要なリソースと手法に基づいています。

A. 手動キュレーションされた対照コーパス

• AmE と BrE の1,813 組の並列語彙変種を構築しました。
• 正書法（綴り：color/colour）、語彙（elevator/lift）、文法・用法（on the weekend/at the weekend）など、厳密な 1 対 1 の対応を持つ語句のみを抽出し、ノイズを排除して分析の精度を高めています。

B. DIALIGN（Dialectal Alignment Score）

• 目的: テキストが AmE か BrE のどちらに近いかを推定する、トレーニング不要の動的スコアリング手法。
• 仕組み:
  1. n-gram 抽出: 入力テキストから 2 語〜5 語の連続 n-gram を抽出。
  2. 頻度照合: Google Books Ngram コーパス（AmE と BrE の別）を用い、各 n-gram の歴史的出現頻度 $f_{AmE}$ と $f_{BrE}$ を取得。
  3. 符号付き発散計算: $\log_2(f_{AmE}/f_{BrE})$ を計算し、正の値は AmE 寄り、負の値は BrE 寄りと判定。
  4. 重み付けと集約: 語彙変種コーパス（DIALIGN 辞書）に含まれる語句にはブースティング係数を適用し、全体として AmE と BrE のアライメント確率（$P_{AmE}, P_{BrE}$）を算出します。
• 精度: 検証実験（BBC ニュース vs HuffPost ニュース）において、93.2% の精度を達成しました。

3. 主要な分析と結果

研究は、LLM 開発パイプラインの 3 つの段階でバイアスを検証しました。

RQ1: 事前学習コーパスの偏り（Auditing Pretraining Corpora）

• 対象: Book Corpus, Wikipedia, Common Crawl (C4), Falcon RefinedWeb, RedPajama, Dolma の 6 つの主要コーパス。
• 結果: 全てのコーパスでAmE への統計的に有意な偏りが確認されました。
  • 正書法変種: AmE の綴り（color など）が BrE（colour など）に対して 70% 以上を占めるケースが多く、偏りが顕著。
  • 語彙変種: 語彙の違い（vacation vs holiday）でも AmE が優勢だが、正書法ほど極端ではない。
  • DIALIGN による評価: 構造的・文法的な広範な変種を含めても、AmE への強い偏りが確認されました。

RQ2: トークナイザーの表現（Quantifying Representation in Regional Tokenizers）

• 対象: GPT-4, Llama-3, Gemma, DeepSeek, Mistral, StableLM など、米国、欧州、中国、中東など多様な地域で開発されたトークナイザー。
• 指標: Fertility（肥沃度）。単語あたりのサブワードトークン数の平均。値が低いほど効率的。
• 結果:
  • 全てのモデルで、**BrE 形式の方が AmE 形式よりもトークン数が増える（Fertility が高い）**傾向が見られました。
  • 語彙変種における差は最大で 18.72%（BrE の方がトークン化が非効率）に達しました。
  • 例：BrE の「traveller」は AmE の「traveler」よりも多くのトークンに分割されやすい。
  • 意味: BrE ユーザーは、同じ意味のテキストでもより多くのトークン（コスト）を消費し、コンテキストウィンドウの効率性が低下する構造的な不利益を被っています。

RQ3: LLM の生成における偏り（Evaluating Dialectal Preferences）

• 実験: Natural Questions（フォーマル）と ELI5（インフォーマル）の QA タスクにおいて、デフォルトの「English」と明示的な「British English (en-GB)」という 2 つのプロンプト条件でモデルを生成させました。
• 結果:
  • AmE の支配的デフォルト: デフォルト設定でも、モデルの生成物の 65〜80% が AmE として分類されました。
  • プロンプトの限界: 明示的に「British English」と指示しても、AmE への偏りは完全には解消されず、多くのモデルで 40% 以上が AmE として分類されました。
  • 地域差: 米国発のモデル（GPT-4o, Claude など）は AmE 偏りが最も強く、非米国モデル（Mistral, DeepSeek など）は若干 BrE 寄りですが、依然として AmE 優位です。
  • ドメイン差: インフォーマルな会話（ELI5）では BrE の採用率がやや上がりますが、フォーマルな分野（NQ）では AmE の標準化がより強く維持されています。

4. 主要な貢献

1. 初の体系的な調査: 事前学習データ、トークナイザー、生成出力という LLM の全ライフサイクルにわたって、標準英語変種間の構造的バイアスを初めて三角測量しました。
2. DIALIGN の提案: トレーニング不要で、分布証拠に基づいてテキストの方言アライメントを高精度に推定する新しいメトリクスを開発しました。
3. 構造的バイアスの実証:
   • データの偏りがトークナイザーの非効率性（BrE の高コスト化）を生み、それが最終的な生成出力の AmE 偏りへと連鎖していることを示しました。
   • 「トークナイザーの再使用」が地域適応を欠き、バイアスを固定化している要因の一つであることを指摘しました。

5. 結論と意義

• ポストコロニアルな視点: このバイアスは単なる言語学的な好みではなく、英国の植民地支配と米国の文化的・経済的ヘゲモニーという歴史的・地政学的な文脈に根ざした構造的な問題です。
• エピステミック・ジャスティス（認識的正義）: LLM が AmE を「デファクト・スタンダード」として扱うことは、BrE を使用する地域（旧英連邦諸国など）の知識体系や表現を軽視し、言語の均質化と認識的不正義を助長するリスクがあります。
• 提言:
  • データ: ドメイン固有のメタデータ（.uk ドメインなど）を活用し、BrE 系の変種を意図的に増やす。
  • トークナイザー: BrE 特有の語彙や綴りを考慮した語彙拡張（Vocabulary Expansion）を行い、トークン化の非効率性を解消する。
  • 評価: 方言に敏感な評価指標とアライメント戦略の導入。

この論文は、LLM の公平性と包括性を高めるためには、単なる「多言語対応」だけでなく、同一言語内の「方言・変種」に対する構造的な偏りにも目を向け、技術的・社会的な対策が必要であることを強く訴えています。