💬 NLP

Context Parametrization with Compositional Adapters

该论文介绍了 CompAs，这是一个将多个上下文块转化为代数可组合适配器参数的元学习框架，为扩展大型语言模型提供了一种比上下文学习和监督微调更高效、更稳定且更具可逆性的替代方案。

原作者： Josip Jukić, Martin Tutek, Jan Šnajder

发布于 2026-01-30

📖 1 分钟阅读☕ 轻松阅读

原作者： Josip Jukić, Martin Tutek, Jan Šnajder

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

核心问题：“塞得太满的书包”

想象一下，大型语言模型（LLM）是一个正在努力回答问题的优秀学生。为了表现出色，他们需要阅读一些背景信息（比如指令、示例或事实）。

目前，有两种主要的方法可以给这个学生提供这些信息：

上下文学习 (In-Context Learning, ICL)： 你直接把所有的背景信息粘贴到学生的阅读材料中。
- 问题所在： 如果你给了他们 100 页的示例，学生就会感到不堪重负。他们会开始遗忘文本开头的细节，变得混乱，而且阅读这些内容需要很长时间。这就像是试图背着一个书包，每增加一本书，书包就变得越来越重。
微调 (Fine-Tuning, SFT)： 你针对那一个特定任务专门训练这个学生。
- 问题所在： 这就像是为每一个学科都专门聘请一位新导师。这既昂贵又缓慢，而且如果任务发生变化，你无法轻松地更换导师。

解决方案：COMPAS（“神奇笔记本”）

作者引入了 COMPAS，一种新的教导模型的方法。与其将大量页面粘贴到提示词（prompt）中，COMPAS 将这些文本转化为一张微小的、不可见的“指令卡”（称为适配器/adapter），并将其直接附加在模型的“大脑”上。

你可以这样理解：

旧方法 (ICL)： 每次考试时，你都递给学生一叠 50 本参考书。
COMPAS 方法： 你只需阅读这 50 本书一次，将最重要的教训浓缩成一个单一的、微小的神奇笔记本，然后把它贴在学生的额头上。现在，学生不需要再次阅读这些书；他们只需要看那个笔记本即可。

核心秘诀：“组合性”（乐高积木）

COMPAS 的真正魔力不仅在于制作一个笔记本，而是在于制作许多可以相互拼接的小笔记本。

想象你有一套乐高积木。

上下文 1（例如，一个数学示例）变成了 积木 A。
上下文 2（例如，一个科学示例）变成了 积木 B。
上下文 3（例如，一个历史示例）变成了 积木 C。

在旧世界里，如果你想使用这三个，你必须把它们粘成一个巨大的、混乱的文本块。而在 COMPAS 中，你可以通过数学手段将 积木 A、积木 B 和积木 C 直接拼在一起。

论文证明，如果你将这些“适配器积木”相加，模型的表现会与它阅读完所有原始文本后的表现完全一致。这意味着：

速度： 模型不需要每次都重新阅读文本。
稳定性： 模型不会被长串的信息搞混。
灵活性： 你可以无需重新训练整个系统，就用“积木 A”替换掉另一个数学示例。

它是如何运作的（教师-学生游戏）

为了教会模型如何制作这些神奇笔记本，作者使用了一个“教师-学生”设置：

教师： 一个强大的模型，负责阅读整个长文本并给出正确答案。
学生： 一个只看到问题和“神奇笔记本”（适配器）的模型。
目标： 学生尝试仅利用笔记本来猜出答案。系统会不断调整笔记本，直到学生的表现与教师的表现相匹配。

他们还加入了一条特殊的规则：“加法规则”。系统强制要求生成器确保：如果你有两个独立的文本，那么“文本 A + 文本 B”的笔记本，必须正好等于“笔记本 A + 笔记本 B”。这确保了乐高积木能够完美地拼接在一起。

为什么这很重要（实验结果）

论文在各种任务（如多选题和长文档中的事实查找）上测试了该方法。他们发现：

更聪明： 当你给模型提供大量示例（例如 16 个或更多）时，COMPAS 的表现优于直接将它们全部粘贴在提示词中。
更稳定： 随着信息量的增加，模型不会出现“迷失在中间”（lost in the middle）的问题。
可逆性： 这个“神奇笔记本”对原始文本的还原度极高，以至于如果你愿意，你实际上可以将笔记本解码回原始文本。这是一种安全特性，确保模型没有隐藏秘密数据。

总结

COMPAS 是一种将冗长、混乱的指令和示例转化为紧凑、数学化的“指令卡”的方法。这些卡片可以像乐高积木一样相加。这使得 AI 模型能够快速、准确地处理海量信息，而不会因为反复阅读长篇文本而感到不堪重负。

技术摘要：基于组合式适配器的上下文参数化 (COMPAS)

1. 问题陈述

大语言模型 (LLMs) 通常通过上下文学习 (ICL) 或监督微调 (SFT) 来适应新任务。然而，这两种方法在扩展到多个示例或检索到的段落时都面临显著限制：

ICL 效率低下： 随着上下文标记（指令、示例、证据）数量的增加，ICL 的计算成本因推理成本的线性增长而变得异常昂贵。此外，长上下文会破坏注意力机制的稳定性，导致性能下降（即“迷失在中部”现象）。
SFT 缺乏灵活性： SFT 需要为每个特定任务或上下文训练单独的模型或适配器，这带来了高昂的训练开销，并且缺乏在不重新训练的情况下动态集成新信息的灵活性。
上下文窗口限制： 当输入超过模型的上下文窗口时，ICL 和标准的 SFT 都无法有效利用全部信息。

虽然之前的研究探索了从单个上下文生成适配器的方法，但很大程度上忽略了集成多个信息块的必要性。现有方法缺乏一种原则性的机制来通过代数方式组合适配器以表示拼接后的上下文，未能捕捉到 LLM 如何结合多个来源的信息。

2. 方法论：COMPAS

作者引入了 COMPAS (Compositional Adapters，组合式适配器)，这是一个元学习框架，它将上下文转化为具有组合结构的适配器参数，从而允许它们在代数上进行合并。

2.1 理论基础

该框架建立在教师-学生设置之上，其目标是确保从单个上下文生成的适配器可以通过在参数空间进行组合，来复制在输入空间中进行上下文拼接的效果。

教师模型 ( $f_T$ )： 处理拼接后的输入 $[c_1; \dots; c_k; q]$ 。
学生模型 ( $f_S$ )： 仅使用由基础参数 $\theta$ 经由适配器之和 $\sum \phi_i$ 修改后的参数来处理查询 $q$ 。
生成器 ( $G$ )： 一个将上下文 $c$ 映射到适配器参数 $\phi = G(c)$ 的网络。

其核心要求是生成器充当一个单子同态 (monoid homomorphism)，将上下文的自由单子（拼接）映射到适配器参数的加法单子（加法）。理想情况下， $G([c_1; c_2]) = G(c_1) + G(c_2)$ 。论文建立了组合性界限 (Compositionality Bound)（定理 2.1），证明了学生输出（适配器之和）与教师输出（拼接上下文）之间的误差受限于生成器的加法误差和学生-教师失配，并受学生 Lipschitz 常数的缩放。

2.2 架构

生成器： 通过增强基础语言模型（LM）的训练组件来工作：在 LM 中插入一个 LoRA 适配器，以及一个线性瓶颈层后接投影干 (projection trunks)。它处理上下文 $c$ 以产生聚合后的隐藏表示，并将其投影到紧凑的潜在空间 $z(c)$ 。随后，该潜在向量通过线性投影映射，为学生模型中的所有目标模块生成 LoRA 矩阵（ $A$ 和 $B$ ）。
学生： 一个带有 LoRA 适配器的标准 LLM。在推理期间，它仅接收查询以及为相关上下文生成的适配器之和。

2.3 训练目标

训练损失 ( $L_{COMPAS}$ ) 是由三个旨在强制执行组合性和忠实性的组件组成的加权和：

学生-教师对齐 ( $L_{ST}$ )： 最小化学生分布（使用求和后的适配器）与教师分布（使用拼接后的上下文）之间的 KL 散度。这同时应用于单上下文 ( $k=1$ ) 和拼接上下文 ( $k=2$ )，以强制执行组合一致性。
加法正则化 ( $L_{ADD}$ )： 惩罚针对拼接上下文生成的适配器 $G([c_1; c_2])$ 与单个适配器之和 $G(c_1) + G(c_2)$ 之间的差异。这直接最小化了生成器的加法误差 $\eta$ 。
重构 ( $L_{RECON}$ )： 一个辅助目标，要求学生使用特殊的 [RECON] 标记，从适配器状态中自回归地重构原始上下文标记。这确保了适配器能够忠实地编码输入信息，并防止出现平凡解。

3. 核心贡献

COMPAS 框架： 一个教师-学生元学习框架，它将上下文编码为组合式适配器，从而实现参数空间的代数组合。
理论保证： 建立了使参数空间加法能够证明近似于上下文拼接行为的理论条件（定理 2.1），并将误差分解为可解释的来源。
实证验证： 证明了 COMPAS 在多项选择题（MMLU, ARC-Challenge）和抽取式问答（HotpotQA）任务上优于标准 ICL、微调以及现有的基于生成器的方法（如 GenAda 和 WILDA），尤其是在扩展到大量示例或检索到的段落时。

4. 实验结果

作者在 LLaMA-3.1 (8B)、LLaMA-3.2 (3B) 和 Qwen-2.5 (7B) 上对多个选择题 (MMLU, ARC-Challenge) 和抽取式问答 (HotpotQA) 任务进行了评估。

性能对比 ICL： 在所有模型和 shot 计数下，COMPAS 始终优于标准 ICL。在较高的 shot 计数（例如 12–16 个示例）下，增益最为显著，因为此时 ICL 的性能往往会因上下文长度而下降。
与 SFT 及生成器的比较： COMPAS 的性能达到或超过了 WILDA（它为每个上下文微调特定的适配器），同时保持了单一生成器的效率。它也显著优于 GenAda，后者缺乏显式的线性瓶颈和加法约束。
扩展性： 在 16 个示例的实验中，COMPAS 达到了比 ICL 和 GenAda 更高的准确率。例如，在 LLaMA 8B 的 MMLU 任务中，COMPAS (4×4 组合) 的准确率达到 72.2%，而 ICL 为 64.2%。
鲁棒性： 与 ICL 相比，COMPAS 在面对噪声、矛盾或离题的上下文时表现出更强的鲁棒性，这表明将上下文压缩进参数可以减轻伪信号的影响。
效率： 通过将推理成本与上下文长度解耦，COMPAS 实现了显著的加速（在 16-shot 时高达 4.1 倍），并降低了相比于随上下文规模线性增长的 ICL 的峰值内存使用量。
重构： 该框架保持了高水平的重构保真度（单个单元的 token 级 F1 > 85%），证实了适配器参数保留了原始上下文的语义内容。

5. 重要性与主张

本文声称 COMPAS 建立了可组合适配器生成作为扩展 LLM 部署的一种实用且高效的替代方案。其重要性在于：

效率： 它通过用紧凑且可重用的适配器参数取代长提示词标记，降低了推理成本和内存占用。
稳定性： 它缓解了与 Transformer 长上下文处理相关的不稳定性和性能下降问题。
可扩展性： 它提供了一种原则性的解决方案，用于处理超出模型上下文窗口的输入，即独立生成并组合适配器。
安全性与可解释性： 将信息可逆地编码进适配器，有助于恢复原始输入上下文，这对于安全审计至关重要。

作者将这项工作定位为并非要取代所有的适配策略，而是一种用于集成外部证据和多个示例，且无需承担传统提示工程的高额计算代价或传统微调之僵化性的可扩展机制。