Multilingual Language Models Encode Script Over Linguistic Structure

論文タイトル

Multilingual Language Models Encode Script Over Linguistic Structure
（多言語言語モデルは言語構造よりも文字体系を符号化する）

1. 研究の背景と課題

多言語大規模言語モデル（LLM）は、異なる言語タイプや文字体系を持つ言語を共有のパラメータ空間にマッピングしますが、その内部表現がどのように組織化されているかは不明瞭でした。
従来の仮説では、モデルが「抽象的な言語アイデンティティ（interlingua）」を学習し、言語に依存しない共通の表現空間を持つと考えられていました。しかし、本研究は以下の核心的な問いを投げかけます。

• 多言語モデル内の「言語関連ユニット（特定の言語に強く反応するニューロンや特徴量）」は、抽象的な言語構造（文法、語彙、系統分類）を符号化しているのか？
• それとも、表面的な形態（文字体系、トークン分布）に強く依存しているのか？

特に、容量が限られたコンパクトな蒸留モデル（Llama-3.2-1B, Gemma-2-2B）において、表面処理と言語抽象化の間のトレードオフが明確に現れるため、これを分析の場として選びました。

2. 手法と分析フレームワーク

本研究では、モデル内部の「言語関連ユニット」を特定し、その性質を多角的に検証しました。

• 対象モデル: Llama-3.2-1B および Gemma-2-2B（コンパクトな多言語モデル）。
• ユニットの特定:
  • LAPE (Language Activation Probability Entropy): 特定の言語に対して選択的に活性化するニューロンを特定するための指標。
  • SAE-LAPE (Sparse Autoencoder LAPE): 密な活性化をスパースな潜在特徴量に分解し、言語関連の特徴量を特定する手法。
• 主要な実験デザイン:
  1. 文字体系の操作（ローマ字化）: 非ラテン文字（ヒンディー語、中国語など）をラテン文字（ローマ字）に変換し、同じ内容でも文字体系が異なる場合のユニットの反応を比較。
  2. 構造的撹乱（語順シャッフル）: 文の語順をランダムにシャッフルし、文法構造を崩した状態でユニットの安定性を評価。
  3. 類型論的プロービング: lang2vec を用いて、系統分類、音韻、構文などの言語類型的特徴がモデルのどの層・どのユニットで線形的に復元可能かを調査。
  4. 因果的介入（Causal Intervention）: 特定の特徴量（不変なユニット vs 表面に敏感なユニット）をアブレーション（無効化）または置換し、生成タスクへの因果的影響を測定。

3. 主要な発見と結果

(1) 文字体系（Orthography）が表現の主要な決定要因である

• ローマ字化による断片化: 非ラテン文字をローマ字に変換すると、ネイティブ文字入力とローマ字入力で活性化される「言語関連ユニット」はほぼ重なりません（Jaccard 類似度が極めて低い）。
• 英語への収束なし: ローマ字化された入力も、ネイティブ文字入力とも、英語の表現とも一致せず、独自の「スクリプト条件付き潜在部分空間」を形成します。
• 結論: モデルは抽象的な言語アイデンティティではなく、文字体系そのものに基づいて表現を組織化しています。

(2) 語順への頑健性とスパース特徴の不安定性

• 語順をシャッフルしても、多くの言語関連ユニット（特に生ニューロン）は安定しており、言語の同一性は維持されます。
• ただし、スパース特徴（SAE 特徴量）の一部は、語順の乱れによって分布統計が変化し、不安定になることが示されました。これは、モデルが文法構造よりもトークンレベルの統計的パターンや文字体系のキューに依存していることを示唆します。

(3) 深層における類型論的構造の出現

• 層ごとの変化: 浅い層では文字体系の影響が支配的ですが、深い層に行くほど、系統分類や音韻などの類型論的特徴が線形的に復元可能になります。
• 不変性の重要性: 文字体系の変化に対して「不変（invariant）」なユニット（ネイティブとローマ字の両方で活性化するもの）ほど、強い類型論的シグナルを符号化していることが判明しました。

(4) 生成における機能的必要性と因果的役割

• 表面不変なユニットが重要: 生成タスクにおいて、最も重要な役割を果たすのは「文字体系や語順の変化に対して不変なユニット」です。これらをアブレーションすると、モデルの性能が著しく低下します。
• 類型論的整合性の限界: 類型論的特徴を符号化するユニットを操作しても、生成への直接的な因果的影響は限定的でした。
• 結論: モデルの「機能的必要性（生成を支える）」は、抽象的な言語構造の整合性よりも、表面の摂動に対する不変性と強く関連しています。

4. 論文の貢献と意義

1. 「言語抽象化」の再定義:
   多言語モデルが完全に言語に依存しない「インターリンガ（共通言語）」を形成しているという仮説を否定しました。代わりに、モデルは表面形式（特に文字体系）を中心に表現を組織化し、その上に漸進的に言語的抽象性が構築されていることを示しました。

2. 表現のアクセス可能性と機能的必要性の分離:

   • 表現のアクセス可能性: 深い層では類型論的情報が読み取れる（プロービング可能）。
   • 機能的必要性: しかし、実際の生成制御には、表面摂動に強い（不変な）ユニットが不可欠である。
     この二つの概念が一致しないことを実証し、モデルの解釈可能性における重要な洞察を提供しました。

3. クロスリンガル転移の限界の解明:
   ローマ字化や文字体系の正規化だけでは、ネイティブ文字の表現能力を回復できず、モデルは異なる潜在空間を維持することを示しました。これは、低資源言語や転写されたテキストに対するモデルの性能向上が、単なる文字変換では困難であることを示唆しています。

4. 安全性と制御への示唆:
   プロンプトの言語や文字体系を変えるだけでモデルの挙動（安全性を含む）が変化する現象は、意味的な違いではなく、内部の異なるスクリプト条件付きサブスペースへのルーティングによるものである可能性を示しました。

5. 結論

本研究は、多言語 LLM において「言語関連ユニット」が主に表面形式（特に文字体系）を符号化しており、抽象的な言語構造は深層で漸進的に現れるものの、生成の根幹を支えるのは「表面摂動に対する不変性」であることを実証しました。これは、多言語モデルの内部構造が、単一の統一された抽象空間ではなく、スクリプトに依存した並列的な部分空間として組織化されていることを示しています。