💬 NLP

Sparse Subnetwork Enhancement for Underrepresented Languages in Large Language Models

本文提出了一种具有成本效益的框架，通过利用语言激活概率熵（LAPE）识别并微调稀疏的语言特定子网络，从而增强大语言模型中代表性不足的语言，在实现卓越性能的同时仅需极少的参数更新，并保持通用能力且防止灾难性遗忘。

原作者： Daniil Gurgurov, Tanja Baeumel, Josef van Genabith, Simon Ostermann

发布于 2026-02-05

📖 1 分钟阅读☕ 轻松阅读

原作者： Daniil Gurgurov, Tanja Baeumel, Josef van Genabith, Simon Ostermann

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是使用简单语言和日常类比对该论文进行的解释。

核心问题：“一刀切”的模型

想象一个巨大且极其聪明的图书馆（大语言模型），它几乎读过了世界上所有的书。因为它读过数百万本各种语言的书籍，所以它能流利地使用英语、西班牙语和中文。然而，如果你问它关于马耳他语或威尔士语这类稀有语言的问题，它就会表现得磕磕绊绊。这就像一位了解世界历史的图书管理员，却从未踏足过某个特定的偏远小村庄。

通常情况下，为了解决这个问题，你必须雇佣一位新的图书管理员，并从零开始针对那个特定村庄的历史对其进行重新训练。这既昂贵又耗时，而且往往会导致这位图书管理员忘记关于世界其他地方所知道的一切。这被称为“灾难性遗忘”。

解决方案：“专业化工具”方法

本文作者提出了一种更聪明的方法。他们没有试图重新训练整个图书管理员，而是问道：“这个模型的哪些特定脑细胞（神经元）负责处理这种特定的语言？”

他们发现，在这些巨大的 AI 模型内部，不同的语言实际上使用不同的“工具”或“子网络”。这就像一把瑞士军刀：

一片刀刃用于切割。
一个螺丝刀用于螺丝。
一个开瓶器用于葡萄酒。

如果你想更好地打开葡萄酒，你不需要磨尖整把刀，你只需要调整那个开瓶器即可。

他们是如何做到的：“语言检测器”

研究人员开发了一种特殊的测试方法，称为 LAPE（语言激活概率熵）。你可以把它想象成一个金属探测器，能够扫描 AI 的大脑，寻找在模型阅读特定语言时会“亮起”的特定神经元。

扫描： 他们让模型处理了 12 种不同的代表性不足的语言（如马耳他语、威尔士语和格鲁吉亚语）的文本。
识别： LAPE 测试发现，只有极少数特定的神经元（不到总脑容量的 1%）在为每种特定语言提供核心支撑。
微调： 他们只提取了这些特定的神经元，并针对目标语言对它们进行了额外的训练。模型的其余部分（另外 99% 以上的部分）保持冻结且未受触动。

结果：新语言表现更好，旧语言保持不变

结果令人惊喜，且效率极高：

卓越的表现： 这种“调整开瓶器”的方法比重新训练整个模型效果更好，比仅重新训练主要的“思考”部分效果更好，也比目前 AI 领域常用的其他捷径方法更有效。
无记忆损失： 因为他们只触动了大脑中极小的特定部分，模型并没有忘记如何说英语或解决数学问题。它保留了原有的通用智能。
廉价且快速： 他们只需更新模型总参数中约 0.2% 到 1% 的设置。这就像是在体育场里更换一个灯泡，而不是重新布线整个建筑。

一个秘密发现：大脑如何重构

研究人员还观察了模型是如何学习的。他们发现，当模型学习一种新语言时，变化主要发生在思考过程的最后阶段（具体来说是“下投影”权重）。

类比： 想象一条工厂流水线。

流水线的早期部分（“门控”和“上投影”部分）就像是领取原材料的工人。它们基本保持不变。
流水线的最后一部分（“下投影”部分）是产品包装和贴标签的地方。
研究人员发现，为了学习一种新语言，模型主要只是改变了它在最后阶段如何包装和贴标签，而不是改变它如何领取原材料。这使得它能够在不破坏原有机器的情况下学会说这种新语言。

为什么这很重要

这篇论文证明了我们不需要庞大的超级计算机来教 AI 新语言。通过找到特定的“语言神经元”并给予它们一次小规模、有针对性的锻炼，我们可以让 AI 说出那些它目前正在忽视的数百种语言，而不会让它忘记已经掌握的语言。

作者甚至发布了一份包含 100 多种语言的这些“语言神经元”的地图，为其他研究人员提供了一份免费的蓝图，让他们也可以进行同样的操作。

技术摘要：针对大语言模型中欠代表性语言的稀疏子网络增强

问题陈述

大语言模型（LLMs）在高质量资源语言与低资源语言之间表现出显著的性能差异。虽然扩展训练数据和模型参数可以提升多语言性能，但对于涉及数百种语言的资源受限场景，这种方法往往并不切实际。现有的适配策略面临着一个根本性的权衡：

全量微调（Full Fine-Tuning）： 通常会导致通用能力的灾难性遗忘，并且需要大量的计算资源。
参数高效微调（PEFT）： 如 LoRA 和适配器（Adapters）等方法降低了计算成本，但它们在操作时并未明确考虑知识是如何在模型内部组织的，可能会无差别地修改编码不同功能的参数。
神经元级方法（Neuron-Level Approaches）： 先前的研究已显示在识别特定语言结构方面具有潜力，但主要侧重于特定任务的适配（如机器翻译）或可解释性，而非系统性、有针对性的大规模能力注入。

核心研究问题在于：是否可以通过直接微调仅编码语言特定处理过程的稀疏神经元子集，在不降低现有通用能力的前提下，向 LLM 中注入新的语言能力。

方法论

作者提出了一个通过针对性微调前馈网络（FFN）组件中的语言特定子网络，来增强单语能力的框架。该方法由两个主要阶段组成：

1. 通过 LAPE 进行神经元识别

该方法利用**语言激活概率熵（Language Activation Probability Entropy, LAPE）**这一信息论指标，来识别表现出强语言特定激活模式的神经元。

机制： 对于第 $\ell$ 层中的每个神经元 $i$ ，通过在单语语料库上的输入来估计其在语言 $k$ 下的激活概率 ( $p^k_{\ell,i}$ )。
熵计算： 将不同语言间的概率进行归一化以形成分布。LAPE 分数计算为该分布的香农熵（Shannon entropy）。低 LAPE 分数表示神经元对特定语言具有选择性激活（低熵），而高 LAPE 分数则表示语言无关型神经元。
选择标准： 选择 LAPE 分数处于最低 $\rho$ -百分位数（设定为 5%）的神经元，并受激活阈值 ( $\tau_{act}$ ) 的约束，以过滤掉均匀不活跃的神经元。如果一个神经元在多个语言上都超过了激活阈值，则它可以属于多个子网络，这反映了共享的语言特征。
重点： 研究重点在于 FFN 组件，因为先前的研究证实 FFN 是 Transformer 中事实性知识和语言性知识存储的主要场所。

2. 稀疏子网络微调

一旦确定了目标语言 $k$ 的语言特定子网络 $S_k$ ，则通过仅更新与这些神经元相关的权重来对模型进行微调。

参数范围： 对于基于 GLU 的 FFN 块的 Transformer，一个选定神经元 $i$ 的可训练参数包括对应的门控矩阵和上投影矩阵的行 ( $W_{gate}[i, :], W_{up}[i, :]$ ) 以及下投影矩阵的列 ( $W_{down}[:, i]$ )。
优化： 模型最小化目标语言数据上的语言模型损失，同时保持所有其他参数冻结。
效率： 该方法仅更新总参数量的 0.2% 到 1%。

核心贡献

系统化框架： 引入了一个通过稀疏子网络微调来增强欠代表性语言的框架，证明了可以通过更新不到 1% 的参数来注入语言能力。
实证验证： 在三个模型（LLAMA-3.1-8B, MISTRAL-NEMO-12B, AYA-EXPANSE-8B）和 12 种中低资源语言上进行了广泛实验。该方法在目标语言任务上始终优于全量微调、仅 FFN 微调、LoRA、IA3 以及随机子集基准模型，同时完全保留了通用能力。
机制洞察：
- 权重变化不对称性： 分析表明，后期层中的**下投影（down-projection）**权重经历的更新显著更大（比门控/上投影高出 3–5 倍），这表明它们是语言重构的主要场所。
- 跨语言对齐： 与密集微调相比，稀疏微调能更有效地提高跨语言对齐（通过残差流激活的余弦相似度衡量），在后期层产生更具语言无关性的表示。
资源释放： 发布了超过 100 种语言的语言特定神经元识别结果及适配流程，为社区提供了实用的资源。

实验结果

目标语言性能： 稀疏子网络方法在翻译（FLORES-200, OPUS-100）和理解/分类（BELEBELE, SIB-200）基准测试中取得了最高的平均提升。例如，在 FLORES 上，针对性子网络实现的平均提升高达 5 个 BLEU 点，优于往往会导致性能下降的全量微调。
通用能力保留： 与导致灾难性遗忘（例如 MMLU 分数从 ~58 降至 ~22）的全量微调和仅 FFN 微调不同，稀疏方法保留了通用能力（MMLU 分数保持在基准水平附近，约为 57.5 对比 58.1）。
与 PEFT 的比较： 虽然 IA3 保留了通用能力，但其在目标语言任务上的增益始终小于稀疏子网络方法。LoRA 和随机子集基准表现居中，但出现了明显的通用能力下降。
数据效率： 该方法收敛更快，且达到比基准模型更低的验证损失。增加训练数据规模（最高至 2 亿 token）通常会提高性能，但在特定语言（如立陶宛语、马耳他语）中观察到饱和或轻微下降，这表明了子网络容量的限制。

意义与主张

本文主张，针对语言特定神经元的稀疏、有针对性的微调是实现能力级语言适配的一种可行机制。这项工作的意义在于：

民主化访问： 提供了一条成本效益高的路径，用于将 LLM 扩展到欠代表性语言，而无需承担全量重训的计算负担或灾难性遗忘的风险。
可操作的可解释性： 证明了机械性洞察（通过 LAPE 识别特定神经元）可以直接指导模型增强，从而从事后分析转向可操作的优化。
可扩展性： 证明了可以通过更新不到 1% 的参数来注入语言能力，作者指出此前尚未在如此规模上证明这一点。

作者总结道，该框架为未来研究面向欠代表性语言的 LLM 提供了实践基础，并具有向其他模态以及基于语言类型学确定子网络大小的潜在扩展性。