技术摘要：分布对齐作为上下文学习中任务向量设计的准则

问题陈述

上下文学习（ICL）通过在输入查询前添加带标签的示例，使大语言模型（LLM）能够适应新任务。尽管 ICL 效果显著，但随着上下文长度的增加，其推理成本和内存开销不断攀升，在资源受限的场景下阻碍了其实际应用。为解决这一问题，近期研究提出了任务向量（TVs）：从 LLM 在 ICL 过程中的内部激活中提取的紧凑隐藏状态表示。这些向量封装了从示例中推断出的任务信息，使模型能够在零样本推理期间执行任务适应，而无需重新处理示例。

然而，现有的任务向量提取方法缺乏原则性的设计准则。目前，任务向量提取方法的质量仅通过下游任务准确率进行评估。这种间接指标难以阐明为何某种方法优于另一种，或如何设计更有效的提取机制。因此，亟需一种直接且基于理论依据的准则，以评估和优化任务向量的质量。

方法论

1. 提出的准则：分布对齐

作者认为，任务向量的主要目标是压缩示例的效果，使得生成的预测分布与标准 ICL 的分布紧密对齐。为了量化这种对齐程度，他们引入了dNTP（下一个令牌概率的差异）。

• 定义：dNTP 衡量 ICL 下的下一个令牌预测分布（$P_{icl}$）与基于任务向量的推理分布（$P_{tv}$）之间的 Kullback-Leibler (KL) 散度。
  $$dNTP(f; Z) = \mathbb{E}_{x \sim D} \left[ D_{KL} \left( P_{icl}(\cdot | x, Z) \parallel P_{tv}(\cdot | x, f(Z)) \right) \right]$$
  其中 $f$ 是提取函数，$Z$ 代表示例。
• 验证：在多个模型和基准测试上的实证分析表明，dNTP 与下游准确率之间存在强烈的负相关。较低的 dNTP 始终预示着较高的准确率，确立了 dNTP 作为任务向量质量的有效代理指标，且无需测试集标签。

2. 提出的方法：线性任务向量（LTV）

受最小化 dNTP 目标的驱动，作者提出了线性任务向量（LTV）。该方法源自一个代理优化问题。

• 原理：直接最小化 dNTP 是不可行的，因为它缺乏闭式解且需要迭代更新。作者证明，最小化 ICL 隐藏状态（$h_{icl}$）与零样本隐藏状态加上任务向量（$h_{zs} + v$）之间的均方误差（MSE），可作为 dNTP 的上界。
  $$LMSE(f) = \mathbb{E} \left[ \| h_{icl} - (h_{zs} + f(Z)) \|_2^2 \right]$$
• 线性映射：为了保留 ICL 的“免训练”优势（避免模型参数更新），LTV 将提取函数 $f$ 限制为线性映射。任务向量 $v$ 被估计为零样本隐藏状态 $h_{zs}$ 的线性变换：
  $$v = W h_{zs}(x)$$
• 闭式解：最优线性映射 $W^*$ 是通过对一组未标记的训练查询进行岭回归计算得出的。回归的目标是 ICL 隐藏状态与零样本隐藏状态之间的差值（$h_{icl} - h_{zs}$）。
  $$W^* = \arg\min_W \left( \| Y - W H \|_F^2 + \lambda \| W \|_F^2 \right)$$
  其中 $H$ 包含零样本隐藏状态，$Y$ 包含目标差值。这给出了闭式解，确保了效率。

主要贡献

1. dNTP 指标：提出了一种量化基于 TV 的推理分布与基于 ICL 的推理分布之间差异的指标。论文证明 dNTP 是强大的性能代理指标，与下游准确率呈负相关。
2. 线性任务向量（LTV）：开发了一种通过闭式线性映射最小化 dNTP 的任务向量提取方法。该方法避免了迭代优化和模型微调。
3. 实证优越性：广泛的实验表明，LTV 在八个分类基准测试和五个 LLM 上均优于现有的免训练基线（Function Vector, Task Vector, State Vector, I2CL）。
4. 跨模型迁移：证明了从较大模型（如 72B）提取的任务向量可以迁移到较小模型（如 7B）以提升性能，解决了推理模型容量或上下文长度受限的场景。

实验结果

• 分类性能：在五个 LLM（包括 LLaMA-2/3 和 Qwen 变体）和八个基准测试（如 SST-2, AGNews, DBPedia）上，LTV 实现了最高的平均准确率。具体而言，在 LLaMA-2-13B 上，LTV 将平均准确率提高了9.2%（优于最佳基线 State Vector），达到 79.46%。
• 效率：LTV 保持了与零样本推理相当的推理延迟（每样本约 0.0226 秒），显著快于 ICL。虽然提取需要一次性的预计算成本，但这可以在测试集上被分摊。
• 回归任务：LTV 也在线性和 ReLU 回归任务上进行了评估，在所有任务向量基线中实现了最低的均方误差（MSE）。
• 鲁棒性：该方法对超参数（训练查询数量 $N$ 和正则化 $\lambda$）以及示例数量（$k$）的变化保持鲁棒。
• 可迁移性：将 LTV 从 Qwen-2.5-72B 模型迁移到 Qwen-2.5-7B 模型，使较小模型的平均分类准确率提高了6.43%，在某些情况下甚至达到了较大模型自身 LTV 的性能。

意义与主张

论文主张分布对齐是设计任务向量提取方法的一个根本且有用的准则。通过将评估重点从间接的下游准确率转移到直接的分布差异（dNTP），作者为理解和改进任务向量提供了一个原则性框架。

LTV 的意义在于其能够：

1. 弥合差距：在无需模型更新的情况下，弥合 ICL 的理论目标（隐式贝叶斯推理）与实际实现（紧凑向量）之间的差距。
2. 提供计算高效的替代方案：作为 ICL 的高效替代方案，在保持高准确率的同时降低推理延迟。
3. 实现跨模型迁移：表明从更大、能力更强的模型中提取的任务表示可以作为资源，服务于上下文或容量受限的较小模型。

作者得出结论，LTV 为 LLM 中的任务压缩提供了一个更高效、更有效的框架，验证了最小化 TV 与 ICL 分布之间的差异能够带来更优越的任务适应性的假设。