💬 NLP

PEML: Parameter-efficient Multi-Task Learning with Optimized Continuous Prompts

该论文提出了PEML，一种参数高效的多任务学习框架，该框架将用于优化连续提示的神经架构工程与模型权重的低秩适应相结合，在多个基准测试中实现了超越现有最先进方法的显著精度提升。

原作者： Anjir Ahmed Chowdhury, Syed Zawad, Xiaolong Ma, Xu Dong, Feng Yan

发布于 2026-05-15

📖 1 分钟阅读☕ 轻松阅读

原作者： Anjir Ahmed Chowdhury, Syed Zawad, Xiaolong Ma, Xu Dong, Feng Yan

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你有一位博学多才、无所不知的图书管理员（即大型语言模型），他知晓世间万物。然而，这位图书管理员规模如此庞大，占据整整一座仓库，需要一座巨大的发电厂来驱动，且为每一项任务雇佣他都需要极其高昂的费用。

如果你需要这位图书管理员写一首诗、解一道数学题并翻译一份文件，旧的方法是为每一项任务雇佣一位不同的、同样庞大的图书管理员。这种做法极其浪费。

而新方法称为PEFT（参数高效微调），它就像雇佣一位图书管理员，然后为每项任务提供一张小型的、专业化的“作弊小抄”。你无需重新训练整个图书管理员，只需微调作弊小抄上的几条笔记即可。

问题所在：过多的作弊小抄

该论文指出，当你试图同时处理多项任务时，现有的“作弊小抄”方法存在两个主要缺陷：

LoRA 方法（低秩适应）： 这就像给图书管理员一套数学公式，用以调整他们的思维方式。它在改变他们“如何思考”方面表现出色，但无助于他们理解你要求他们“做什么”。这好比给一位厨师一把新刀，却不告诉他是要做汤还是做沙拉。
Prefix Tuning（前缀微调）方法： 这就像在页面最顶端写下特定的指令（例如：“现在，扮演一位诗人”）。它在设定语境方面效果极佳，但论文指出，现有方法使用的是“一刀切”的指令，当你要求图书管理员在不同任务间切换时，这种指令无法很好地适应。

当你试图用这些旧方法同时处理多项任务时，最终会堆积起一堆杂乱无章的不同作弊小抄。在这些小抄之间切换既缓慢，又占用过多内存，而且由于指令未能完美对齐，图书管理员会感到困惑。

解决方案：PEML（智能、统一的作弊小抄）

作者提出了一种名为PEML（参数高效多任务学习）的新系统。你可以将 PEML 想象成一位智能、自动化的建筑师，它能构建出一张单一的、完美的“通用作弊小抄”，可同时适用于你所有的任务。

以下是 PEML 的工作原理，辅以简单的类比：

1. 双引擎结构

PEML 将两个工具并行结合使用：

肌肉（LoRA）： 这部分负责调整图书管理员的内部肌肉（即模型权重），使其更擅长实际工作。
声音（PrefixNAS）： 这是该论文的重大创新。PEML 不使用静态指令，而是利用“神经架构搜索”（NAS）来自动设计完美的指令。
- 类比： 想象你试图训练一只狗做把戏。静态指令就像每次大喊“坐下！”；而 PEML 则像一位训练师，他能倾听狗狗的反应，瞬间找出针对特定把戏所需的确切语调、手势和奖励大小，然后生成一条单一的、完美的指令，能同时适用于坐下、打滚和取回物品。

2. “建筑师”（PrefixNAS）

论文引入了一个名为PrefixNAS的组件。你可以将其视为一位自动化的建筑师，它不只是挑选现成的指令，而是从零开始构建指令。

它会尝试成千上万种不同的“指令结构”（例如不同的句子长度、不同类型的强调方式，或不同的提示语措辞）。
它利用智能搜索过程，找出唯一一种结构，能最有效地帮助图书管理员理解你所有的任务。
它能自动确定正确的设置（超参数），因此你无需再进行猜测。

3. 结果：统御一切的单一适配器

一旦 PEML 训练完成，你就不再需要在不同的作弊小抄之间切换。你拥有了一个统一的适配器来处理一切。

效率： 由于无需为不同任务加载不同的“模式”，你节省了海量的计算机内存（显存）。
速度： 图书管理员无需停顿来切换思维模式；他们只需使用那一套完美的指令集。
性能： 由于指令与图书管理员的新肌肉完美对齐，他们在处理多项任务时的平均表现，优于分别单独处理这些任务时的表现。

论文发现

作者在多种“考试”基准测试（如 GLUE、SuperGLUE 和 MMLU）上测试了该系统，这些测试相当于人工智能的标准化考试。

得分： 与现有最佳方法相比，PEML 将平均准确率提高了约6.67%。在某些特定任务上，这一提升幅度高达10.75%。
权衡： 论文指出，虽然 PEML 在平衡多项任务方面表现出色，但如果某项任务极其具体（例如一个非常棘手的推理谜题），它在处理单一任务时有时会显得力不从心。然而，对于同时处理多项任务而言，它是迄今为止测试中最有效、最高效的方法。
成本： 在初期，确实需要花费一点额外时间让“建筑师”（PrefixNAS）设计出完美的指令，但一旦完成，该系统运行起来将非常高效。

总结

简而言之，PEML 是一种教导巨型人工智能同时完成多项任务的新方法。它不再给 AI 一堆杂乱笨拙的不同操作手册，而是利用一位智能、自动化的建筑师，编写出一本完美、通用的操作手册，使其与 AI 的大脑完美契合。这不仅节省了资金和计算资源，还使 AI 在同时处理多项任务时变得更加聪明。

技术摘要：PEML（基于优化连续提示的参数高效多任务学习）

1. 问题陈述

大型语言模型（LLMs）在各种自然语言处理任务中取得了显著成功，但随着模型规模的扩大，传统的完整微调在计算上变得难以承受。虽然 LoRA 和前缀微调（Prefix Tuning）等参数高效微调（PEFT）方法通过仅学习少量额外参数来解决这一问题，但在应用于**多任务学习（MTL）**时，它们面临特定的挑战：

资源低效：部署多个特定任务的适配器（例如，单独的 LoRA 矩阵或前缀向量）会增加内存使用量并 complicates 资源管理。在推理过程中频繁切换适配器会产生显著的计算开销。
缺乏知识共享：孤立地训练任务阻碍了模型利用跨任务的共享特征和见解，限制了潜在的性能提升。
次优架构：现有的 MTL-PEFT 方法通常侧重于扩展 LoRA（例如，MTL-LoRA、MultiLoRA）或使用静态架构。它们经常忽视提示对齐在多任务环境中的关键作用。此外，像 C-Poly 这样的方法依赖于固定架构，限制了对未见任务的泛化能力，而其他方法则需要针对新基准进行手动超参数调整。
显存（VRAM）扩展：像 MultiLoRA 这样水平扩展模块的方法，由于并行模块的激活缓存，导致显存使用量线性增加。

2. 方法论：PEML 框架

作者提出了PEML，这是一个将用于模型权重适应的LoRA与用于连续提示优化的PrefixNAS相结合的框架。其核心理念是在统一的参数高效结构内，协同优化提示对齐和模型适应。

2.1 核心组件

LoRA（低秩适应）：应用于所有投影层（ $W_Q, W_K, W_V$ ）以处理模型适应。这使得模型能够在不修改冻结的预训练权重的情况下，学习参数空间中的方向性更新。
PrefixNAS（前缀的神经架构搜索）：与使用固定前缀向量的标准前缀微调不同，PrefixNAS 采用**可微神经架构搜索（NAS）**方法。它动态生成并优化单一、统一的连续提示架构。
- 搜索空间：定义了候选操作（具有各种激活函数如 ReLU、Tanh、GELU、Dropout 和层归一化的线性变换）。
- 优化：使用连续松弛（Softmax）来学习架构参数（ $\alpha$ ），以选择最佳操作。收敛后，通过选择主导操作将架构离散化。
- 放置：前缀向量专门并行添加到每个注意力头的**键（ $K$ ）和值（ $V$ ）**投影上，而 LoRA 矩阵则应用于投影本身。

2.2 联合优化

PEML 将多任务学习表述为一个联合优化问题。该框架同时训练基础模型参数（ $\theta$ ，冻结）、LoRA 参数（ $A, B$ ）和 PrefixNAS 架构参数（ $\alpha$ ）。

目标：联合损失函数结合了任务损失（在 mini-batches 上平均）和一个架构正则化项（ $\lambda R(\alpha)$ ），旨在鼓励稀疏且结构良好的操作选择。
超参数调整：该框架采用双层优化方法。内循环通过 PrefixNAS 优化前缀架构，而外循环使用树状 Parzen 估计器（TPE）来优化超参数（例如，学习率、前缀长度）。
推理效率：训练后，LoRA 权重被合并到基础模型中。最终部署的模型仅保留统一的 PrefixNAS 架构，消除了适配器切换的需求，并降低了推理延迟。

3. 主要贡献

统一的多任务框架：PEML 引入了一个连贯的框架，将提示对齐（通过 PrefixNAS）与低秩模型适应（通过 LoRA）相结合，解决了现有方法在多任务设置中经常忽视提示优化的问题。
动态架构搜索：引入PrefixNAS允许自动生成单一、统一的连续提示架构，以适应任务需求，无需手动调整或教师提示的预训练。
资源效率：通过使用单一统一适配器而非多个特定任务适配器，PEML 减少了与适配器切换相关的内存开销和推理延迟。它避免了像 MultiLoRA 这样的水平扩展方法中显存使用量的线性增加。
理论分析：论文提供了 LoRA 和 PrefixNAS 联合优化的收敛性分析，证明了耦合更新以标准非凸 SGD 速率收敛，并且连续到离散的差距由熵正则化控制。

4. 实验结果

作者在 T5-Large、FLAN-T5-Large、LLaMA-7B 和 LLaMA2-7B 等模型上，针对GLUE、SuperGLUE、大规模多任务语言理解（MMLU）和常识推理基准评估了 PEML。

性能提升：
- 与最先进的 MTL 方法（MTL-LoRA、MultiLoRA、C-Poly、MoE）相比，PEML 实现了平均高达 6.67% 的准确率提升。
- 单个任务显示出**高达 10.75%**的峰值增益。
- 在 LLaMA2-7B 的GLUE基准上，PEML 实现了**91.1%**的平均分，优于 MTL-LoRA（90.0%）和 MultiLoRA（87.9%）。
- 在SuperGLUE上，PEML 达到了88.08%，超过了独立 LoRA（83.67%）和 AdaLoRA（86.94%）。
- 在结合 SuperGLUE 任务的MMLU上，PEML 达到了80.3%，在可比秩预算下优于完整微调（76.9%）和 MultiLoRA（78.0%）。
效率：
- 与 MultiLoRA 相比，PEML 表现出更优越的显存效率，无论秩如何增加，其显存使用量几乎保持恒定，而 MultiLoRA 的使用量则呈线性扩展。
- 通过消除适配器切换，推理延迟得以降低（例如，T5-large 在 100 个任务上减少了约 17%）。
消融与敏感性分析：
- LoRA 和 PrefixNAS 的并行优化始终优于顺序方法。
- 发现 PrefixNAS 的最佳层数为 6；超过此层数收益递减。
- 该框架在低数据设置中表现出鲁棒性，并证明了发现的架构在不同数据集（例如，从 GLUE 到 SuperGLUE）之间具有可迁移性，在微调时性能下降极小。

5. 意义与主张

论文声称，PEML 通过解决现有 PEFT 方法中提示未对齐和静态架构局限性的双重挑战，代表了参数高效多任务学习的重要进步。

统一结构：PEML 通过仅需一个统一适配器，降低了多任务部署的复杂性，促进了资源整合，与部署单独模型或切换适配器相比，显著降低了推理成本。
自动化适应：PrefixNAS 的集成消除了为每个任务手动设计架构或预训练教师提示的需求，使模型能够自动调整其提示结构以适应新的数据分布。
平衡的权衡：虽然承认标准的多任务权衡（即某些特定任务如 HellaSwag 的性能可能略低于专门的单任务微调），但 PEML 在多样化的任务和基准测试中提供了持续、平衡的改进。
可扩展性：该方法被提出为在多个任务中部署 LLM 的可扩展解决方案，其性能可与完整微调或复杂的 MTL-PEFT 方法相媲美甚至更优，同时保持了参数高效方法的计算效率。

作者总结道，PEML 通过在单一、高效的框架内动态优化提示对齐和模型适应过程，有效地增强了自然语言理解中的多任务学习能力。