💬 NLP

MixedPEFT: Combining Multiple PEFT Methods with Mixed Objectives for Unsupervised Domain Adaptation

本文介绍了 MixedPEFT，这是一种结合了可逆适配器（invertible adapters）与 LoRA，并通过混合目标训练来同时优化源域分类和目标域掩码语言模型的创新型参数高效无监督领域自适应方法，在仅使用 7% 可训练参数的情况下，在 MNLI 数据集上实现了最先进的性能。

原作者： Mohammed Rawhani, Dervis Karaboga, Ozkan Ufuk Nalbantoglu, Alper Basturk, Bahriye Akay

发布于 2026-06-23

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Mohammed Rawhani, Dervis Karaboga, Ozkan Ufuk Nalbantoglu, Alper Basturk, Bahriye Akay

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一位才华横溢、环游世界的顶级大厨（预训练语言模型），他已经精通了各种各样的菜系。然而，当你要求他仅使用一个陌生新村庄（目标领域）里的食材来烹饪一道特定的当地菜肴时，他却显得有些吃力。他要么会忘记自己原有的技能，要么试图通过品尝村里每一种食材来学习当地的食谱，而这既费时又昂贵。

这篇名为 “MixedPEFT” 的论文，提出了一种巧妙的新方法，旨在不破坏大厨原有根基且不耗费巨资的情况下，教导他适应新环境。

以下是利用日常类比对他们解决方案的拆解：

问题所在：“全或无”的陷阱

传统上，为了教会大厨新村庄的风格，你必须重新训练他的整个大脑（称为全量微调/Full Fine-Tuning）。这就像是重新雇佣一名新厨师，或者强迫老厨师忘掉他所知道的一切。它是：

昂贵的： 需要巨大的计算能力。
有风险的： 大厨可能会忘记他原本著名的招牌菜（灾难性遗忘）。
低效的： 你需要针对新村庄的标注数据（即食谱书），而这通常并不存在。

解决方案：“专业助手”团队

与其重新训练整个大厨，作者建议雇佣一小支专门的助手团队（PEFT - 参数高效微调）来帮助大厨进行适应。他们只调整大厨极小比例的知识（约占总脑容量的 7%），让其余部分保持冻结和安全状态。

但这里的转折在于：大多数以往的方法只尝试使用一种类型的助手。这篇论文则说：“让我们雇佣一支混合团队。”

两种助手（“定制联盟”）

作者结合了两种在厨房不同区域工作的特定类型的助手：

“可逆适配器”（Invertible Adapter）： 可以把这看作是一个翻译官。它帮助大厨理解新村庄的方言和文化细微差别，而不会改变大厨的核心烹饪风格。它在保留原有身份的同时，增加了地方风味。
“LoRA”（低秩自适应）： 这可以看作是一位专门的副厨，他只专注于新菜肴所需的特定技巧（比如某种特定的刀工或香料配比）。它非常轻量化，且在学习新任务时效率极高。

通过同时使用两者，大厨可以兼得：深厚的文化理解力以及特定的任务掌控力。

训练方法：“混合目标锻炼法”

他们如何训练这个团队？他们使用了一个两阶段混合锻炼方案：

第一阶段（热身）： 团队阅读新村庄未标注的食物日志（未标注数据），仅仅是为了感受一下当地食材的感觉。他们此时还不尝试烹饪，只是通过一种叫做掩码语言模型（猜测句子中缺失的词）的技术来学习村庄的“氛围”。
第二阶段（正式比赛）： 这是该论文的核心创新。他们不是先训练新村庄的任务然后再训练旧村庄的任务（或反之），而是同时进行。
- 他们练习为源领域（原始任务）烹饪特定菜肴。
- 与此同时，他们练习在目标村庄的日志中猜测缺失的词。

这就像一位大厨在练习特定食谱的同时，一边听着当地广播，以便让自己融入当地文化。这能防止大厨在学习新技能时忘记原有的食谱。

结果：击败巨头

作者在名为 MNI 的大规模数据集（涉及 20 种不同的“类型”或“方言”）上进行了测试。

击败专家： 他们的表现明显优于目前的最佳“轻量级”方法（UDapter）。
击败重量级选手： 令人震惊的是，他们的这种方法（仅使用 7% 的参数）表现竟然优于那些重新训练 100% 参数的传统“重型”方法（如 DANN 和 DSN）。
稳定性： 他们证明了使用这样的小型团队并不会导致结果出现不稳定或“抖动”现象。

核心结论

论文声称，通过结合两种不同类型的“助手”（PEFT 方法）并以双重目标（同时学习任务和新领域）进行训练，你可以获得一个更聪明、更具适应性的 AI。

总结： 你不需要重建整个引擎来让汽车在新的道路上跑得更快。有时，你只需要正确的轻量化工具组合和聪明的训练计划，就能超越那些笨重的机械设备。

技术摘要：MixedPEFT

问题陈述
预训练语言模型（PrLMs）在部署到新领域时，常因领域偏移（domain shifts）而导致性能显著下降。传统的无监督领域自适应（UDA）方法通过利用有标签的源数据和无标签的目标数据来解决这一问题。然而，现有的 UDA 方法主要依赖于全量微调（full fine-tuning），这在计算上非常昂贵，且容易产生灾难性遗忘，对于参数量超过 1 亿的模型而言并不实用。虽然参数高效微调（PEFT）方法（如 Adapters 和 LoRA）通过仅更新极小规模的参数子集提供了一种解决方案，但其在 UDA 中的应用仍然有限。大多数现有工作侧重于单一的 PEFT 方法或顺序训练策略，未能充分挖掘同时进行领域自适应与任务性能优化的潜力，往往无法达到全量微调基准线的水平。

方法论
本文提出了 MixedPEFT，这是一个结合了定制化 PEFT 架构与混合目标训练的新型框架，旨在解决无监督领域自适应问题。该方法建立在两个核心支柱之上：

定制 PEFT 统一化（架构）：
作者并未依赖单一的 PEFT 技术，而是采用了一种“定制并集”（custom union），将**可逆适配器（Invertible Adapters）与低秩自适应（LoRA）**相结合。
- 可逆适配器： 被选中是因为其在学习领域特定变换的同时能够保留信息的能力。
- LoRA： 被选中是因为其在注意力机制中捕捉任务特定适配方面的效率极高，且计算负载极小。
- 集成： 这些方法在 Transformer 层内以加法形式（ $h = \text{InvertibleAdapter}(x) + \text{LoRA}(x)$ ）进行组合。这种配置使用了约 768 万个可训练参数（约为 BERT-base 模型参数量的 7.055%），在避免参数过载的同时，充分利用了两种技术的互补优势。
混合目标训练（优化）：
训练过程由两个阶段组成，旨在同时优化领域自适应和任务性能：
- 第一阶段（领域自适应预训练）： 模型使用掩码语言模型（MLM）目标，在无标签的目标领域数据上进行持续预训练。在此阶段，仅更新 PEFT 参数。
- 第二阶段（混合目标微调）： 核心创新在于一个统一的损失函数，它同时优化有标签源数据的分类性能以及无标签目标数据的 MLM 性能。总损失定义为 $L_{total} = \alpha \times L_{classification} + (1 - \alpha) \times L_{MLM}$ 。权重参数 $\alpha$ 根据源数据集和目标数据集的相对大小进行动态调整，以确保两个目标之间的贡献平衡。

核心贡献
作者概述了三项主要贡献：

新颖的方法： 一种专门设计的参数高效 UDA 策略，采用了定制的 PEFT 组合（可逆适配器 + LoRA）以及能够同时优化任务目标和领域自适应目标的混合目标训练方法。
全面的验证： 在涵盖 20 个不同领域偏移的多领域自然语言推理（MNLI）数据集上进行了广泛实验，结果表明，在仅使用 7% 参数量的情况下，该方法显著优于参数高效型基准线和全量微调基准线。
泛化性： 证明了当集成到不同的统一框架（包括作者提出的定制并集和 UniPELT 框架）时，混合目标训练方法依然有效。

实验结果
在 MNLI 数据集上的评估结果如下：

性能对比 PEFT SOTA： 定制并集方法实现了 76.39% 的平均 Macro F1 分数，超过了当前的参数高效 SOTA 方法（UDapter）1.41 个百分点，也超过了作者此前采用的顺序训练方法 0.95 个百分点。
性能对比全量微调基准线： 值得注意的是，尽管该方法仅使用了 7% 的可训练参数，但其表现优于传统的全量微调 UDA 方法，分别超过 DANN 1.26 个百分点和 DSN 0.86 个百分点。
效率： 该方法达到了上限性能（即在目标数据上进行全监督训练）的 96.7%。
消融实验： 通过比较单一 PEFT 方法（仅使用可逆适配器）与组合方法的实验证实，PEFT 组合对于最大化混合目标训练的有效性至关重要，因为单一方法无法充分利用同时优化策略的潜力。
稳定性： 标准差分析表明，性能提升是在不损害模型稳定性的前提下实现的，其方差与既有方法相当。

意义
本文声称为参数高效的无监督领域自适应建立了新的基准。研究表明，精心设计的 PEFT 方法组合，在配合并发的混合目标优化时，可以超越现有的参数高效方法以及计算成本高昂的传统全量微调方法。这项工作表明，互补 PEFT 技术之间的协同作用与同时优化策略的结合，是克服领域偏移限制且无需承担全量微调计算成本的关键因素。