論文「A Universal Vibe? Finding and Controlling Language-Agnostic Informal Register with SAEs」の技術的サマリー

この論文は、多言語大規模言語モデル（LLM）が、特定の言語に依存した表面的なパターンとして「口語・俗語（Informal Register）」を処理しているのか、それとも言語に依存しない抽象的な概念として内部表現しているのかを検証した研究です。Sparse Autoencoders（SAE）を用いたメカニズム解釈性のアプローチにより、モデルが言語を超えた「口語レジスター」の共通表現を学習していることを実証しました。

以下に、問題設定、手法、主要な貢献、結果、および意義について詳細をまとめます。

---

1. 問題設定 (Problem)

近年の多言語 LLM は、事実知識や構文の転移において高い性能を示していますが、社会的文脈や文化的背景に依存する「語用論的レジスター（特に俗語やカジュアルな表現）」の処理については、その内部メカニズムが不明瞭です。

• レジスター・ギャップ: 現在のモデルは、標準的で編集されたテキストで訓練・調整されているため、人間が日常的に使用する動的で文脈依存の口語表現を適切に処理・生成できず、不適切な回答や安全性上の脆弱性を引き起こす可能性があります。
• 核心的な問い: モデルは異なる文化圏での口語表現を、それぞれ独立した言語固有の記憶（表面的なヒューリスティック）として扱っているのか、それとも「カジュアルな人間関係の構築」という言語に依存しない統一された抽象概念として内部表現しているのか？

2. 手法 (Methodology)

本研究では、Gemma-2-9B-IT モデルの内部表現を解析するために、Sparse Autoencoders (SAE) を活用しました。

データセットの構築

• 多言語・多様性: 英語、ヘブライ語、ロシア語の 3 つの言語（タイプ的に異なる言語）を対象としました。
• 語彙バイアスの排除: 従来の研究では「特定の単語（スラング語）の出現」が口語の指標となり得るため、これを排除するため、多義語（Polysemous terms） を使用した独自のデータセットを構築しました。
  • 例：「fire」は「火事（直義）」と「すごい（俗語）」の両方の意味を持ちます。
  • 同じトークンが文脈によって直義的か口語的かを区別させることで、モデルが単語そのものではなく文脈的な語用論的レジスターのみを学習していることを保証しました。

特徴抽出と分析

1. SAE による特徴抽出: モデルの残差ストリーム（特に Layer 9 と Layer 20）の活性化を SAE で符号化し、スパースな特徴ベクトルを取得。
2. 差分活性化の計算: 各特徴 $i$ について、$\Delta_i = P(f_i > 0 | \text{slang}) - P(f_i > 0 | \text{literal})$ を計算し、スラング文脈で強く活性化し、直義文脈では活性化しない特徴を特定。
3. 言語間共通コアの特定: 3 言語すべてでトップ 100 の特徴リストに共通して現れる特徴（Cross-linguistic Core）を抽出。
4. 幾何学的整合性の検証: 共通特徴のデコーダベクトル間のコサイン類似度を計算し、それらがランダムな特徴とは異なり、潜空間内で「島（Island）」を形成して凝集しているかを確認。

因果的介入（アクティベーション・ステアリング）

• 特定の特徴セット（共通コア）のデコーダベクトルを平均化してステアリングベクトルを作成。
• 生成時にこのベクトルを注入（$\alpha$ コエフィシエントで制御）し、出力のフォーマル度を操作する実験を行いました。
• ゼロショット転移: 特徴抽出に使わなかった 6 つの言語（ドイツ語、日本語、ヒンディー語、タイ語、グルジア語、アムハラ語）に対しても、同じステアリングベクトルを適用し、汎化性を検証しました。

3. 主要な貢献 (Key Contributions)

1. 方法論的貢献: 語彙バイアスを排除し、語用論的レジスターのみを抽出するために設計された、多義語を用いた多言語データセットを初めて提案。
2. 観測的発見: 3 言語にまたがる「口語レジスター部分空間（Informal Register Subspace）」が存在し、モデルの深い層（Layer 20）に行くほど、その幾何学的な整合性（凝集度）が高まることを発見。
3. 因果的実証: 抽出された共有特徴を用いたアクティベーション・ステアリングが、出力のフォーマル度を因果的に制御できることを実証。さらに、この制御が 6 つの未学習言語へゼロショットで転移することを示し、LLM が口語レジスターを「表面的なヒューリスティック」ではなく「抽象的な語用論的概念」として内部化しているという初のメカニズム的証拠を提供しました。

4. 結果 (Results)

• 特徴の分布: 口語の信号は多くの言語固有の特徴に分散していますが、3 言語すべてに共通する9 つの特徴（共通コア） が統計的に有意に存在しました（ランダムな重なりよりもはるかに多い）。
• 幾何学的構造: 共通特徴のデコーダベクトルは、ランダムな特徴に比べて群内でのコサイン類似度が有意に高く、特に深い層（Layer 20）で「幾何学的に整合した島」を形成していました（Island Score: Layer 9 で 4.4 倍、Layer 20 で 6.0 倍）。
• ステアリング実験:
  • ソース言語: 英語、ヘブライ語、ロシア語において、ステアリング係数 $\alpha$ と出力のフォーマル度（GPT-4o-mini による評価）の間に強い負の相関（$r \approx -0.7$）が確認されました。
  • ゼロショット転移: 特徴抽出に使っていない 6 言語（日本語、タイ語、グルジア語など）においても、$\alpha$ を増加させる（口語方向へステアリングする）と、フォーマル度が低下する明確な傾向が観察されました。
  • 品質: ステアリング後の出力は、文脈に即したその言語固有のスラングを生成し、単に英語のスラングを翻訳しているわけではありませんでした。また、言語の混在（Code-switching）は 8% 未満に抑えられ、生成の整合性は保たれていました。

5. 意義と結論 (Significance & Conclusion)

本研究は、多言語 LLM が単なる言語ごとのパターンマッチングを超えて、「カジュアルな人間関係の構築」という普遍的な語用論的抽象概念を内部に学習していることを初めてメカニズムレベルで証明しました。

• 理論的意義: 多言語表現学習において、事実や構文だけでなく、社会的・文化的な文脈（レジスター）さえも、言語に依存しない共通の潜在空間にマッピングされている可能性を示唆しました。
• 応用可能性:
  • 計算社会言語学: 異なる言語間でのレジスターシフトを LLM の潜在空間で定量的にマッピングする新たなツールを提供。
  • モデル制御: 特定の言語に依存せず、モデル全体のトーンやフォーマル度を制御するメカニズム的アプローチの確立。
  • 安全性: カジュアルな表現に隠された有害な意図を検知・制御するための基盤技術としての可能性。

将来的には、この「普遍的なレジスター部分空間」が、コードスイッチングやタブー表現、方言変異など、より広範な言語的・社会的現象の制御にも応用できる可能性があります。