How Far Can a Single Vector Carry a Language? Mechanistic Limits of Inference-Time Steering for Low-Resource Devanagari Languages

基于提供的研究论文，以下是关于论文《单向量能承载语言多远？低资源提格里纳维（Devanagari）语系语言推理的机制极限》的技术性总结。

问题陈述

大型多语言解码器语言模型（LLMs）通常会发布受支持语言的封闭列表，这些列表通常包括印地语（Hindi）等高资源语言，但却排除了与其密切相关的低资源“姐妹”语言，如迈蒂利语（Maithili）、尼泊尔语（Nepali）和博杰普尔语（Bhojpuri）。尽管这些语言共享提格里纳维字母表和大量的子词标记（subword tokens），但它们并未被正式支持。

作者提出了一个机制性的问题：仅利用模型现有的印地语表示所衍生的单一推理时方向，能在多大程度上将模型引导向一种未被声明的姐妹语言？这项研究是在没有微调、新训练数据或权重更新的情况下进行的。其目标是确定语言身份在这些模型中是否是一种可操纵的控制方向，并绘制出这种转向（steering）的几何与因果极限。

研究方法

本研究采用了**表示转向（representation steering）**技术，即在正向传播过程中向残差流（residual stream）中添加一个固定向量。

1. 模型： 实验使用了两种架构截然不同的 80 亿参数解码器：Llama-3.1-8B-Instruct（以英语为中心进行训练）和 Aya-23-8B（旨在实现多语言化）。两者均声称印地语是其唯一的印度-雅利安语种。
2. 数据： 创建了一个包含 250 个段落的平行语料库，涵盖印地语、迈蒂利语、尼泊尔语、博杰普尔语和英语。这些段落被用于构建“记忆库”以存储隐藏状态。
3. 转向向量构建：
   • 对于每种语言 $L$ 和每一层 $\ell$，作者通过对语料库中的非填充（non-padding）残差流状态进行均值池化，计算出质心 $\mu_{L, \ell}$。
   • 转向向量定义为源语言（印地语）与目标语言（如尼泊尔语）质心之间的差异：$v_\ell = \mu_{\text{Hindi}, \ell} - \mu_{\text{Target}, \ell}$。
   • 在推理过程中，处理一个印地语提示词，并在特定层 $\ell$，修改残差流：$h_\ell \leftarrow h_\ell + \alpha v_\ell$，其中 $\alpha < 0$ 用于将表示推向目标语言。
4. 评估：
   • 人工评估： 由三个不同模型家族（Gemini, GPT）组成的 LLM 评判小组，根据语言遵循度（目标语言的使用情况）和流畅度在 1–5 分制上进行评分。
   • 自动指标： 使用无参考指标，包括 LaBSE（语义保持）、IndicBERT 伪困惑度（流畅度底线）、代码混合指数（CMI）和重复率。
   • 对照组： 研究包含了匹配量级的随机方向控制、多层复合转向以及少样本上下文学习（ICL）基准，以区分转向极限与模型能力。

关键发现与结果

1. 语言表示的“沙漏型”几何结构
两个模型在各层均表现出共同的“沙漏”几何结构：

• 表层： 语言在早期层是截然不同的。
• 中间层： 表示合并为一个共享的、语言中性的核心（低轮廓得分/silhouette scores）。
• 输出层： 语言在靠近输出层时重新分离。
• 可解码性 vs. 显著性： 线性探测证实，语言身份在每一层都是线性可解码的（准确率约为 99.5%），即使在合并的中间层也是如此。然而，几何分离度（显著性）在中间层较低，仅在表层和输出层较高。

2. 单向转向的极限

• 有效频带： 转向仅在早期到中间层级（例如 Llama 中的第 8–20 层）有效。一旦语言在输出层附近重新分离，转向便失效，尽管这些层在几何上是截然不同的。
• 遵循度与流畅度的权衡： 转向成功地将生成转向了目标语言身份，但导致了流畅度的崩溃。
  • Llama-Nepali： 在第 20 层达到 4.03/5 的峰值遵循度，但流畅度降至 1.68。
  • 退化现象： 高遵循度与严重的重复和代码切换相关联。没有任何配置能同时实现高遵循度（>3）和高流畅度（>3）。
  • 结论： 转向诱发了表层语言身份，但无法产生流畅、可用的文本。

3. 转向是因果探针，而非能力极限

• 少样本基准： 当提供少样本示例（印地语提示 $\to$ 目标语言响应）时，模型能够生成流畅的迈蒂利语、尼泊尔语和博杰普尔语文本，且具有较高的流畅度得分（3.4–3.6）。
• 启示： 转向无法产生流畅文本，这反映的是单一线性方向方法的局限性，而非模型能力的缺失。模型具备这种能力；只是转向向量无法流畅地访问它。

4. 源语言的接近程度至关重要

• 印地语 vs. 英语： 尽管英语在预训练中占据主导地位，但使用印地语作为转向源的表现显著优于英语。
  • Llama-Nepali： 使用印地语源实现了 4.03 的遵循度；使用英语源仅实现了 1.14。
  • 机制： 印地语质心在几何上比英语质心更接近这些姐妹语言。转向的成功取决于语言接近度，而非资源水平。

5. 可分性预测可转向性

• 可转向性由线性可分性（质心之间的距离相对于语言内方差的关系）决定，而非单纯的原始接近度。
• 反直觉结果： 博杰普尔语在几何上最接近印地语（余弦相似度最高），但却是最难转向的。而尼泊尔语由于更具可分性，因此是最易转向的。

意义与主张

该论文声称提供了一个关于多语言模型中语言身份如何以及在多大程度上可操纵的机制性解释。其主要贡献包括：

1. 解构可解码性与可转向性： 研究表明，仅仅因为语言身份在特定层是可解码的（通过探测器），并不意味着该层是一个可用的因果控制方向。事实上，在几何分离度最低的“合并”中间层，转向效果反而最高。
2. 因果探针 vs. 部署方案： 作者将转向定位为一种因果探针，用于映射语言表示的内部几何结构，而非将其作为提取低资源语言的实用方法（少样本提示优于转向）。
3. “表层身份”极限： 研究确立了一个单一的质心差向量可以强制模型输出目标语言的标记，但无法维持流畅文本所需的句法和语义连贯性。
4. 跨架构一致性： 这种“沙漏”几何结构以及可解码性与可转向性之间的特定解构在两种不同的模型架构（Llama 和 Aya）中均有观察到，这表明它们是当前基于解码器的多语言模型的基本属性。

作者得出结论：虽然单向量可以将语言携带至“身份”的表层，但它无法将其携带至“流畅”的深度；此外，这种转向的有效性严格受限于语言的线性可分性以及源锚点（source anchor）的语言接近度。