技术摘要：S2R2——LoRA 微调语言模型鲁棒性的片段级视角

1. 问题陈述

大型语言模型（LLMs）对微小的提示扰动表现出显著的敏感性，例如拼写错误、单词删除、同义词替换或改写。尽管现有的鲁棒性方法通常在整个序列层面强制执行一致性（例如，最小化干净输出与扰动输出之间的 Kullback-Leibler 散度），但这种整体方法存在一个关键局限：它可能会掩盖局部失效。一个被扰动的响应可能在整体上与干净输出相似，但在关键的语义片段（如特定实体、数值、因果关系或结论）上发生漂移。

此外，当前方法往往缺乏对为何发生这些漂移的机制侧解释。扰动会改变模型在生成过程中如何重新分配对源证据的注意力，但这很少被显式正则化。本文认为，鲁棒性应通过局部语义漂移而非仅仅通过全局序列一致性来分析，并且控制适应过程（特别是在低秩适应，即 LoRA 中）对于防止扰动放大的证据转移至关重要。

2. 方法论：S2R2

作者提出了S2R2（语义片段鲁棒性正则化），这是一个针对 LoRA 适配 LLM 的鲁棒微调框架。该框架由两个耦合组件组成：输出侧的语义对齐目标和机制侧的适配器稳定性正则化项。

2.1 片段级分解与对齐

S2R2 不将输出视为单一序列，而是将干净（$y$）和扰动（$y'$）的生成分解为语义片段（$G(y)$ 和 $G(y')$）。

• 片段表示：片段由其令牌级隐藏状态的平均值表示。
• 最优传输对齐：为了处理片段顺序或粒度的变化，该方法使用最优传输计划（$T^*$）对齐两个片段集。片段之间的成本定义为 $1 - \cos(e_u, e'_v)$。
• 最坏漂移惩罚：语义鲁棒性损失（$\mathcal{L}_{sem}$）旨在惩罚漂移最大的片段。它将平均漂移与平滑最大值项（由 $\beta$ 控制）相结合，以将优化集中在“最坏漂移”片段上：
  $$\mathcal{L}_{sem} = \frac{1}{U} \sum_{u} d_u + \frac{1}{\beta} \log \sum_{u} \exp(\beta d_u)$$
  其中 $d_u$ 是片段 $u$ 的漂移。

2.2 适配器稳定性正则化项

为了将输出漂移与模型适应联系起来，作者引入了一个正则化项（$\mathcal{L}_{stab}$），用于控制注意力投影（特别是查询和键矩阵）中 LoRA 更新的增长。

• 机制：该正则化项定义为各层 LoRA 因子矩阵（$A$ 和 $B$）的 Frobenius 范数乘积之和：
  $$\mathcal{L}_{stab} = \sum_{\ell} \sum_{\ast \in \{Q,K\}} \|B^\ell_\ast\|_F \|A^\ell_\ast\|_F$$
• 原理：该术语作为限制扰动放大型注意力重新分配的可行代理。大的 LoRA 更新会放大输入扰动对注意力分数的影响，导致证据分配不稳定。通过约束这些范数，该方法阻止模型依赖过度的参数移动来拟合扰动示例。

2.3 复杂度解释（PAC-Bayesian 视角）

本文通过 PAC-Bayesian 复杂度视角解释了适配器稳定性项。

• 先验/后验：冻结的预训练模型被视为先验中心（$P$），而 LoRA 参数定义了后验分布（$Q$）。
• 复杂度控制：控制 LoRA 范数被解释为限制相对于先验的适应假设的复杂度。这表明，鲁棒性是通过在稳定关键语义片段的同时保留预训练假设空间来实现的，而不是过拟合特定的扰动模式。

2.4 最终目标

总训练目标结合了标准交叉熵损失（$\mathcal{L}_{CE}$）、语义片段损失和适配器稳定性项：
$$\mathcal{L}_{S2R2} = \mathcal{L}_{CE} + \lambda_{sem}\mathcal{L}_{sem} + \lambda_{stab}\mathcal{L}_{stab}$$

3. 主要贡献

1. 片段级鲁棒性视角：本文提出通过局部语义漂移而非整个序列一致性来分析提示鲁棒性失效，认为全局指标可能会掩盖关键的局部失效。
2. S2R2 框架：引入了一种鲁棒的 LoRA 微调框架，该框架在语义片段级别对齐干净和扰动生成，并显式惩罚最坏漂移片段。
3. 适配器稳定性关联：建立了片段级鲁棒性与适配器稳定性之间的新颖联系，将 LoRA 范数控制解释为限制扰动放大型注意力重新分配的可行代理，以及作为 PAC-Bayesian 复杂度正则化项。
4. 实证验证：在摘要基准测试上进行了全面评估，证明了与基于一致性的基线相比，其鲁棒性和跨数据集迁移能力有所提升。

4. 实验结果

作者在摘要任务（CNN/DailyMail、XSum、PubMed）上评估了 S2R2，使用的模型包括 BART-base、Flan-T5-base 和 Mistral-7B-Instruct-v0.2。扰动包括拼写噪声、删除、同义词替换和改写。

• 鲁棒性性能：S2R2 显著降低了扰动下的性能下降率（PDR）。例如，在 CNN/DailyMail 上使用 BART-base 时，S2R2 实现了 0.0012 的 PDR，与 SMART 基线相比降低了 81%。
• 语义稳定性：该方法在降低表面形式不稳定性（输出编辑率）的同时，保持了具有竞争力的语义一致性（通过 Self-BERTScore 衡量）。
• 复杂度与泛化：关键在于，与基线相比，S2R2 以更小的 LoRA 复杂度项（DKL）实现了这些结果。这表明 S2R2 不依赖大的适配器移动来拟合扰动。
• 跨数据集迁移：在零样本评估中（例如，在 CNN/DailyMail 上微调，在 PubMed 上测试），S2R2 表现出比基线更强的可迁移性，实现了更低的经验风险和复杂度调整分数。这表明保留最坏漂移语义片段支持了超越观察到的扰动的鲁棒性迁移。

5. 意义与主张

本文主张 S2R2 通过解决语言输出的非均匀脆弱性，提供了一种更具针对性的鲁棒性方法。其主要意义在于：

• 转变焦点：从整体序列一致性转向片段级语义保留，这更好地捕捉了生成任务中的关键失效。
• 机制侧正则化：提供了一种通过 LoRA 范数约束来控制注意力重新分配的可行方法，将输出稳定性与内部模型适应联系起来。
• 泛化能力：证明了在语义对齐的同时控制适配器增长（复杂度）能带来更好的跨未见数据集和扰动类型的泛化能力。

作者保持了谦逊的立场，指出 PAC-Bayesian 解释是一种“面向泛化的解释”而非认证保证，注意力重新分配是“诊断代理”而非生成行为的完整因果解释。未来的工作提议通过直接注意力诊断和进一步的消融研究来扩展该框架。