💬 NLP

Cross-Lingual Activation Steering for Multilingual Language Models

该论文提出了跨语言激活引导（Cross-Lingual Activation Steering, CLAS），这是一种无需训练的推理时干预方法，通过选择性地调节神经元激活，在不改变模型权重的情况下显著提升非主导语言的多语言性能，并揭示了此类增益源于功能分歧而非严格对齐。

原作者： Rhitabrat Pokharel, Ameeta Agrawal, Tanay Nagar

发布于 2026-01-26

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Rhitabrat Pokharel, Ameeta Agrawal, Tanay Nagar

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，一个多语言大语言模型（LLM）就像一支庞大且超智能的管弦乐队。这支乐队在演奏英语（“主导”语言）方面极其出色，因为那是他们练习最多的语言。然而，当被要求演奏一场使用较少见语言（如乌尔都语或斯瓦希里语）的交响乐时，音乐往往听起来走调、模糊或不完整。

论文指出，这并不是因为乐队缺乏才华，而是因为乐手们在纠结于应该使用哪些“乐器”（神经元）。有些乐器旨在为每种语言演奏相同的旋律（共享神经元），而有些则专门针对某一种特定语言（语言特定神经元）。目前，这支乐队过度依赖共享乐器，而忽视了那些专门的乐器，导致每种语言都带有一种通用的、“带有英语色彩”的声音。

以下是该论文提出的解决方案——CLAS（跨语言激活转向控制）的简单拆解，以及他们的发现：

问题所在：“一刀切”的陷阱

把模型的脑部想象成一个装满灯光开关的房间。

共享神经元： 这些是为所有语言打开灯光的开关。
语言特定神经元： 这些是仅为一种特定语言打开灯光的开关。

研究发现，当模型尝试说非英语时，它会过度用力地拨动“共享”开关，而让“语言特定”开关变得太暗。结果？模型试图强迫这种新语言听起来像英语，这破坏了其细微差别和准确性。

解决方案：CLAS（“音量旋钮”小技巧）

研究人员提出了一种称为**跨语言激活转向控制（CLAS）*的方法。这不应被视为重建管弦乐队或聘请新乐手（这需要昂贵的重新训练），而应被视为一名声控工程师在表演期间*介入，去调节音量旋钮。

识别乐手： 工程师首先通过聆听乐队演奏不同语言的平行歌曲，来确定哪些开关是“共享”的，哪些是“语言特定”的。
微调： 当模型尝试说非英语时，CLAS 会温柔地：
- 稍微调高“共享”神经元的音量（以保持核心含义清晰）。
- 调低那些淹没了特定语言特征的“共享”神经元的音量。
- 调高“语言特定”神经元的音量，以便它们能被真正听到。
融合： 至关重要的是，他们并不替换模型的原始想法。他们只是将这种“经过调整”的信号与原始信号进行混合。这就像是在已经煮好的汤里加一撮盐，而不是把汤扔掉重新开始。

他们的发现（令人惊讶的转折）

研究人员原以为，为了让非英语语言表现得更好，他们需要让模型处理这些语言时的内部“想法”看起来更像英语。

他们错了。

“分歧”的发现： 当非英语语言被允许从英语“锚点”中偏离出来时，模型的表现反而更好。
类比： 想象一群朋友试图说不同的方言。如果他们都试图完全模仿“领导者”（英语），听起来就会很机械。但如果他们被允许以自己独特、鲜明的特质说话（功能性分歧），他们的沟通会更加有效。
结果： 通过让非英语语言做自己（而不是强迫它们模仿英语），模型在理解和生成这些语言方面的能力得到了提升。

结果

更高的分数： 在涉及阅读理解和逻辑谜题的测试中，模型在许多非英语语言（如乌尔都语、中文和印地语）中的得分显著提高，且无需修改一行代码或进行重新训练。
对英语无害： “英语”的表现保持完全不变。声控工程师并没有搞砸主演，他只是修好了伴唱歌手。
并非对所有人完美： 它并不对每种语言都同样有效。对于某些语言，这是一个巨大的胜利；对于另一些语言，它甚至让表现略微下降。这表明每种语言都需要略微不同的“音量旋钮”设置。

核心结论

这篇论文表明，我们并不总是需要构建更大、更昂贵的 AI 模型来解决语言问题。有时，我们只需要一位聪明的“声控工程师”，在 AI 说话的那一刻调整其内部的音量旋钮。通过让语言保持独特性，而不是强迫它们与英语完美对齐，我们可以释放模型在多种语言中流利表达的隐藏潜力。

技术摘要：针对多语言语言模型的跨语言激活转向（CLAS）

问题陈述

大型语言模型（LLMs）在主导语言（高资源语言）与非主导语言（低资源语言）之间表现出显著的性能差异。这种差距主要归因于预训练语料库向主导语言的倾斜，导致共享神经元与语言特定神经元的分布不均衡。虽然扩展训练数据或对模型进行微调是常见的解决方案，但由于数据稀缺，这些方法往往成本过高或难以实现。现有的神经元级干预研究结果褒贬不一，其中一些方法试图用统计常数覆盖激活值，这实际上抹除了依赖于输入的信号。

方法论：跨语言激活转向 (CLAS)

作者提出了跨语言激活转向（Cross-Lingual Activation Steering, CLAS），这是一种无需训练、在推理阶段进行的干预方法，旨在重新平衡共享表示与语言特定表示，且无需修改模型权重。CLAS 通过三个主要阶段运行：

并行输入构建： 该方法利用对齐的多语言输入（跨语言的平行句子）来分析神经元行为。这些输入仅用于测量激活值，并不用于更新模型。
神经元分类与桥接层选择：
- 神经元在数据集层面被分为四类（使用来自 XQuAD 的 100 个平行样本）：死掉的（dead）、语言特定的（language-specific）、部分共享的（partial-shared）以及全共享的（all-shared）。不同于以往在实例层面进行分类的方法，该方法基于聚合统计数据为神经元分配稳定的类别。
- 分析表明，部分共享神经元在特定的“桥接层”（例如 LLaMA 中的第 24–29 层，Qwen 中的第 24–25 层）中最为普遍。这些层被选作干预对象，因为它们在共享结构与语言特定处理之间取得了平衡，避免了高度专业化的最终层。
激活转向机制：
- 对于非锚点语言，CLAS 对所选桥接层中中间 MLP 激活值 ( $h$ ) 进行确定性修改。
- 部分共享调整： 增强编码跨语言结构的神经元： $h_1 = h \odot (1 + \beta M_{shared})$ 。
- 语言特定调整： 抑制过度专业化于单一语言的神经元： $h_2 = h_1 \odot (1 - \gamma M_{spec})$ 。
- 混合： 将修改后的激活值与原始信号进行混合： $h_{final} = (1 - \alpha)h + \alpha h_2$ 。
- 锚点语言（通常为英语）保持不变，以作为稳定的参考点。参数 $\beta$ 、 $\gamma$ 和 $\alpha$ 通过网格搜索进行调优。

核心贡献

CLAS 框架： 引入了一种无需训练的机制，通过在推理时选择性地调节神经元激活，以增强跨语言迁移能力。
功能分歧见解： 发现有效的跨语言迁移是由**功能分歧（functional divergence）**而非与锚点语言的严格几何对齐驱动的。性能提升与表示空间中语言簇分离度的增加相关。
实证验证： 证明了 CLAS 在多种任务（分类和生成）及模型（LLaMA 3.1 8B 和 Qwen 2.5 7B）上的有效性，在提升性能的同时保持了锚点语言的稳定性。

结果

作者在 XNLI（自然语言推理）和 XQuAD（问答）基准测试上评估了 CLAS。

分类 (XNLI)： CLAS 使 LLaMA 的平均准确率提升了 +1.93%，Qwen 提升了 +0.45%（相对于基座模型）。这些增益具有统计学显著性（分别为 $p < 0.05$ 和 $p < 0.001$ ）。在 LLaMA 模型中，乌尔都语（+7.00）、中文（+5.89）和印地语（+5.80）等语言观察到了显著提升。
生成 (XQuAD)： CLAS 将平均 Token 级 F1 分数分别提升了 +0.94 (LLaMA) 和 +1.10 (Qwen)。然而，由于生成任务中存在较高的方差，这些增益在统计上并不显著。结果显示出高度的可变性，某些语言经历了大幅提升（如 Qwen 中的俄语 +8.94），而另一些则出现了退步（如 Qwen 中的印地语 -5.28）。
表示分析：
- 对齐： 与直觉中模型应更接近英语的观点相反，CLAS 通常降低了与英语锚点的余弦相似度。
- 簇分离： t-SNE 可视化表明，CLAS 通过驱动功能分歧来重塑表示。那些从模糊、重叠区域移动到清晰簇中的语言，其性能提升最为显著。
- 转向方向： 最优转向方向 ( $\alpha$ ) 因任务和模型而异；某些设置受益于强化共享表示（正 $\alpha$ ），而其他设置则需要放大语言特定信号（负 $\alpha$ ）。

意义与主张

本文声称，有针对性的激活转向可以在无需额外数据或参数更新的情况下，释放现有模型潜在的多语言能力。其核心意义在于发现，功能分歧而非与主导语言的严格对齐，才是提高非主导语言性能的关键。

作者强调，其方法与以往的神经元干预（如 Mondal 等人，2025）不同，因为它保留了模型实际激活值的比例性，而不是将其覆盖为静态常数。这使得模型能够在重新平衡共享特征与语言特定特征贡献的同时，保留其依赖于输入的结构。

该研究得出结论，尽管 CLAS 提供了一种极具前景且轻量级的微调替代方案，但其有效性具有任务依赖性且在不同语言间并不统一，这凸显了进行细致、任务感知型干预策略的必要性。