Indic-TunedLens：インド言語における多言語モデルの解釈可能性に関する技術的サマリー

本論文は、インドの多言語環境において展開される大規模言語モデル（LLM）の内部表現を解釈するための新たなフレームワーク**「Indic-TunedLens」**を提案した研究です。既存の解釈手法が英語中心のモデルに最適化されており、インドの言語（形態論的に豊かで低リソースな言語）に対しては機能しないという課題に対し、言語固有のアフィン変換を学習することで、中間層の隠れ状態を正確に解読可能にするアプローチを提示しています。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細にまとめます。

1. 背景と問題定義

• 英語中心のバイアス: 既存の多言語 LLM は、入力や出力が非英語であっても、内部の潜在空間（latent space）では英語中心に動作する傾向があります。Schut et al. (2025) の研究では、モデルがまず英語の単語表現を活性化し、その後ターゲット言語へ翻訳するプロセスをとることが示されています。
• 既存手法の限界: 標準的な「Logit Lens」や「Tuned Lens」は、英語で訓練されたモデルの中間活性化を直接デコードするために設計されています。しかし、インドの言語（ヒンディー語、ベンガル語、タミル語など）は、英語とは異なり、形態論的に豊か（rich morphology）で、語順が柔軟であり、トークン化スキームも独特です。
• 課題: 英語中心の解釈ツールをインド言語に適用すると、中間表現と最終出力分布の間の「投影の不一致（projection mismatch）」が発生し、層ごとの意味形成を正しく追跡できず、予測の信頼性（エントロピー）が不安定になります。

2. 提案手法：Indic-TunedLens

Indic-TunedLens は、Tuned Lens の概念をインド言語向けに拡張し、言語固有の表現特性を捉えるために設計されています。

• アフィン変換の学習:
  • 各層 $n$ の隠れ状態 $h_n$ を、最終的な語彙分布に整合させるために、学習済みのアフィン変換（行列 $M_n$ とバイアスベクトル $b_n$）を適用します。
  • 変換された表現 $\tilde{h}_n = M_n h_n + b_n$ をモデルの最終層ヘッダ（Logit Head）に通し、トークンの対数尤度（logits）を生成します。
• 学習目的:
  • 基底モデル（Base Model）の最終層が出力する次トークンの確率分布 $p_{final}(x)$ を教師信号（ラベル）として使用します。
  • 各中間層 $n$ において、Indic-TunedLens が生成する分布と最終層の分布との間のKL 発散（Kullback-Leibler divergence）を最小化するように、$M_n$ と $b_n$ を学習します。
• 特徴:
  • 単一のフレームワーク内で、10 種類のインド言語（ベンガル語、ヒンディー語、タミル語など）に共通する表現を学習しつつ、各言語の中間状態をターゲット出力分布に整合させます。

3. 実験設定

• ベースモデル: Sarvam-1（10 億パラメータの多言語モデル）。
• データセット:
  • 学習: Sangraha データセット（ベンガル語、英語、グジャラート語、ヒンディー語、カンナダ語、マラヤーラム語、マラーティー語、パンジャーブ語、ネパール語、タミル語、テルグ語の 11 言語）。
  • 評価: 多言語 MMLU ベンチマーク（上記 10 言語 + 英語）。パンジャーブ語は学習専用とし、未見言語への転移能力を評価しました。
• 評価指標:
  • エントロピー分析: 各層での予測の確信度と不確実性を測定。
  • 層ごとの一致率（Agreement Score）: 中間層の予測と最終層の正解との一致度を測定。
  • 正解トークンのランク: 正解トークンが予測リストの上位に位置するかを評価。

4. 主要な結果

• エントロピーの改善:
  • 標準的な Tuned Lens は、インド言語において層全体で高いエントロピー（不確実性）とばらつきを示し、中間表現が不安定であることを示しました。
  • 一方、Indic-TunedLens は層が進むにつれてエントロピーが滑らかに減少し、意味の統合が順調に行われていることを示しました。特にヒンディー語などにおいて、中間層で意味のあるトークンが生成されるようになります。
• 層ごとの精度向上:
  • 標準的な Logit Lens は、多くのインド言語において 20 層目以降まで精度が 0.02 未満と極めて低く、意味の解釈が不可能でした。
  • Indic-TunedLens は1 層目から即座に解釈可能となり、初期層（1-8 層）で顕著な精度向上（0.04-0.06 の精度上昇）が見られました。これは、形態論的解析が初期層で行われていることを示唆しています。
• 言語固有の処理ダイナミクス:
  • 言語によって改善パターンが異なり、形態論的に複雑な言語（ベンガル語、ネパール語、ヒンディー語）は初期層で大きな改善を示しました。一方、分析語的な英語は 1 層目に集中した改善を示しました。
  • これにより、異なる言語構造（形態論的複雑さなど）に応じて、モデルが情報を処理する層の位置が異なることが明らかになりました。
• トークン位置ごとの精度:
  • 質問文から回答選択肢に至るまでのトークン位置において、Indic-TunedLens はモデルの推論経路を正確に捉え、回答トークン位置で高い精度を示しました。

5. 主要な貢献

1. 解釈の失敗は「投影問題」であることの証明: インド言語における解釈性の欠如は、モデル内部の表現そのものの欠陥ではなく、英語中心のツールによる投影の不一致によるものであることを示し、それを解決する Indic-TunedLens を提案しました。
2. 包括的な評価の実施: Sarvam-1 モデルを用い、10 種類のインド言語で多言語 MMLU ベンチマークによる包括的な評価を行いました。
3. 層別・トークン位置別の推論ダイナミクスの解明: 言語固有の処理メカニズム（特に初期層での形態論的解析と、後続層での意味的統合）を明らかにし、多言語 LLM の内部動作に関する新たな知見を提供しました。

6. 意義と結論

• 言語非依存アプローチの限界の克服: 多言語 LLM の解釈には、言語の構造的・形態論的差異を尊重した「言語ファミリーに意識的なレンズ」が必要であることを実証しました。
• 公平で責任ある AI 開発: 英語中心のバイアスを排除し、インドのような多言語地域における AI の透明性と信頼性を高めるための重要なツールを提供します。
• 将来展望: 本研究は、低リソースかつ形態論的に豊かな言語に対する層別解釈可能性の第一歩であり、将来的にはより大規模なモデルや多様なタスクへの拡張、さらには解釈性を介した下流タスク性能の向上が期待されます。

本論文は、インド言語における LLM の解釈可能性研究において先駆的な役割を果たし、多言語モデルの内部メカニズム理解に重要な貢献を果たしています。