Indic-TunedLens：印度语言多语言模型的可解释性框架技术总结

1. 研究背景与问题定义 (Problem)

随着多语言大语言模型（LLM）在像印度这样语言多样化的地区日益普及，现有的可解释性工具（Interpretability Tools）主要仍针对英语设计，存在显著局限性。

• 英语中心主义偏差：现有研究表明，即使模型被提示生成非英语内容，其内部潜在空间（Latent Space）往往仍以英语为中心。Schut 等人（2025）发现，LLM 倾向于先激活英语词表示，再将其翻译为目标语言，导致关键语义推理存在英语偏见。
• 印度语言的独特性挑战：印度语言具有丰富的形态变化（Morphologically Rich）、灵活的语序以及独特的脚本（如天城文、古木基文等）。这些语言的分词方案（Tokenization）和子词分布与英语截然不同。
• 现有方法的失效：标准的 Logit Lens 或 Tuned Lens 方法直接解码中间激活状态，但在应用于印度语言时表现不佳。由于投影不匹配（Projection Mismatch），这些方法无法将中间隐藏状态与目标语言的输出分布对齐，导致中间层的预测不可信、熵值高且不稳定，无法揭示模型如何处理这些复杂的语言结构。

核心问题：如何在形态丰富、低资源的印度语言中，实现对多语言 Transformer 模型中间层语义编码的忠实解码和可解释性分析？

2. 方法论 (Methodology)

为了解决上述问题，作者提出了 Indic-TunedLens，这是一个专为印度语言设计的可解释性框架。

2.1 核心机制：仿射变换学习 (Affine Transformations)

与标准的 Logit Lens 直接利用预训练的去嵌入矩阵（Unembedding Matrix）不同，Indic-TunedLens 为每个目标语言学习特定的仿射变换（Affine Transformation）。

• 数学形式：对于第 $n$ 层的隐藏状态 $h_n$，Indic-TunedLens 通过一个学习到的翻译器（Translator）将其映射到词汇分布：
  $$\tilde{h}_n = M_n h_n + b_n$$
  其中 $M_n \in \mathbb{R}^{d \times d}$ 是变换矩阵，$b_n \in \mathbb{R}^d$ 是偏置向量。
• 输出：变换后的表示 $\tilde{h}_n$ 被送入模型最终的输出头（Logit Head）以生成 Token 的 Logits。

2.2 训练目标 (Learning Objective)

模型的目标是使中间层的预测分布尽可能接近基座模型（Base Model）最终层的预测分布。

• 监督信号：基座模型在输入 $x$ 上的最终层输出分布 $p_{final}(x)$ 被视为“标签”。
• 优化函数：最小化中间层预测分布与最终层分布之间的 Kullback-Leibler (KL) 散度：
  $$\min_{M_n, b_n} \mathbb{E}_{h_n} [ D_{KL} ( p_{final}(x) \parallel \text{Indic-TunedLens}_n(h_n) ) ]$$
  这意味着模型学习如何调整中间隐藏状态，使其在早期就能“预测”出最终的正确答案分布。

2.3 实验设置

• 基座模型：Sarvam-1（10 亿参数）。
• 数据集：
  • 训练：Sangraha 数据集（涵盖孟加拉语、英语、古吉拉特语、印地语、卡纳达语、马拉雅拉姆语、马拉地语、旁遮普语、尼泊尔语、泰米尔语、泰卢固语）。
  • 评估：多语言 MMLU 基准测试（涵盖上述 10 种语言，旁遮普语仅用于训练以测试跨语言迁移能力）。
• 评估指标：
  • 熵分析 (Entropy Analysis)：衡量预测的不确定性。
  • 层间一致性 (Layer-wise Agreement)：中间层预测与最终层预测的 Top-1 一致性。
  • 正确 Token 排名 (Ranking)：正确 Token 在预测列表中的平均排名。

3. 关键贡献 (Key Contributions)

1. 提出投影问题视角：首次指出印度语言的可解释性失败本质上是一个投影问题（Projection Problem），即英语中心的投影机制无法适配印度语言的表示空间。Indic-TunedLens 通过针对特定语言学习仿射变换解决了这一问题。
2. 首个针对印度语言的层间可解释性工作：这是首个将层间可解释性（Layer-wise Interpretability）应用于多语言 LLM 以支持印度语言的研究。
3. 揭示语言特定的推理动态：通过实验揭示了不同印度语言在 Transformer 层中语义编码和形态分析的特定位置，证明了可解释性方法不能是“语言无关”的。

4. 实验结果 (Results)

在 Sarvam-1 模型及 10 种印度语言上的评估表明，Indic-TunedLens 显著优于现有的 SOTA 可解释性方法（如标准 Logit Lens）：

• 熵值降低与稳定性：
  • 标准 Tuned Lens 在印度语言上表现出高且不规则的熵值，表明中间表示不稳定且偏向英语 Token。
  • Indic-TunedLens 显示出熵值随层数平滑下降，表明信息整合良好，中间预测能生成有意义的印度语言 Token。
• 层间准确率提升：
  • 早期层表现：标准方法在前 20 层准确率极低（<0.02），直到第 27 层才达到峰值。相比之下，Indic-TunedLens 从第 1 层即可提供有意义的解释（英语 0.13，泰卢固语 0.11，古吉拉特语 0.10）。
  • 形态复杂性影响：在形态丰富的语言（如孟加拉语、印地语、尼泊尔语）中，前 1-4 层的准确率提升最为显著（0.04-0.06），对应形态分析阶段。
• Token 排名优化：
  • Indic-TunedLens 将正确 Token 的排名提前。例如，马拉雅拉姆语在中间层的平均排名从 Logit Lens 的 4.5-5.8 提升至 4.2-4.8。
  • 这表明学习到的仿射变换能更早地将中间表示与最终词汇分布对齐，特别是在需要整合多个语言特征的形态丰富语言中。
• 位置特异性分析：
  • 准确率在不同 Token 位置呈现语言特定的峰值，对应于多选题的答案位置。这证明了框架能忠实捕捉模型在问答任务中的推理轨迹。

5. 意义与影响 (Significance)

• 理论突破：证明了多语言模型的可解释性高度依赖于语言结构。英语中心的方法无法捕捉印度语言中早期发生的形态分析和语义组合过程。Indic-TunedLens 揭示了计算瓶颈在于投影机制而非内部处理过程。
• 方法论模板：为其他形态丰富的语言家族（如闪含语系、汉藏语系等）的可解释性研究提供了方法论模板。
• 实际应用价值：
  • 使研究人员能够分析模型在特定语言上的内部工作机制，识别语言特定的计算区域。
  • 有助于开发更公平、可控和可靠的多语言 AI 系统，特别是在像印度这样语言极度多样化的地区。
  • 为理解多语言 LLM 如何处理低资源语言提供了关键洞察，填补了该领域的重要空白。

总结：Indic-TunedLens 通过引入针对特定语言学习的仿射变换，成功解决了多语言模型在印度语言上的可解释性难题，实现了从模型第一层开始的忠实语义解码，为构建更透明、更包容的 AI 系统奠定了坚实基础。