技术摘要：利用大语言模型中的非对抗性鲁棒性

1. 问题陈述

大型语言模型（LLM）在面对语义中性但文本不同的提示（非对抗性扰动）时，表现出显著的脆弱性。这些变化，如格式更改、零宽 Unicode 字符或轻微拼写错误，可能会严重降低模型性能。

现有的鲁棒性策略面临关键局限性：

• 基于重训练的方法： 对抗性训练或大间隔分类器等方法需要监督性的真实标签和巨大的计算资源，使其在大规模大语言模型中不可行。
• 事后证书： 随机平滑等方法提供鲁棒性保证，但每个提示需要多次推理传递，导致高昂的计算开销。此外，它们的保证通常与原始模型的预期性能挂钩；如果基础模型在扰动输入上表现不佳，稳定后的模型将继承这一弱点。
• 任务局限性： 许多现有补救措施仅限于分类任务，无法很好地泛化到生成或其他大语言模型特定任务。

核心研究问题是：是否可以通过微小的、任务相关的模型修改，在不进行昂贵重训练或无需访问监督性真实标签的情况下，提高大语言模型对语义中性提示改变的鲁棒性。

2. 理论框架与方法论

2.1. 扰动诱导偏差

本文的理论分析识别出一个关键但此前被低估的因素：扰动诱导偏差。

• 现象： 在大语言模型中，模块 $M$ 在随机扰动 $\delta x$ 下的期望输出 $E_{\delta x}[M(x + \delta x)]$，通常与干净输入上的输出 $M(x)$ 不一致。
• 原因： 这种差异源于随机扰动与模型固有非线性之间的相互作用。与标准分布偏移不同，这种偏差是由加性噪声具体引起的潜在特征期望统计属性的系统性偏移。
• 影响： 这种偏差充当模块输出的系统性偏移，有效降低了鲁棒性边界（到决策边界的距离），导致性能下降。

2.2. 鲁棒性证书

作者推导了理论鲁棒性证书，将已知的鲁棒性决定因素（Lipschitz 常数、稀疏性、方差）与这一新的偏差因素联系起来。

• 对于具有常数 $\gamma_i$ 的 Lipschitz 模块，保证性能达到置信度 $1-\phi_i$ 所需的鲁棒性半径 $\epsilon_i$ 为：
  $$\epsilon_i(\phi_i) = C_i + c\gamma_i \sqrt{2n \ln\left(\frac{2m}{\phi_i}\right)}$$
  其中 $C_i$ 代表扰动诱导偏差的上界（$\sup |E_{\delta x}[f_i(x, \delta x)]|$）。
• 关键见解： 控制偏差项 $C_i$ 与控制 Lipschitz 常数同样关键。减小 $C_i$ 会导致所需鲁棒性半径呈线性下降，并使认证概率呈指数级增长。

2.3. 方法：去偏以实现鲁棒性

受理论启发，本文提出了一种简单且计算高效的干预措施：去偏。
该方法不重新训练整个模型，而是直接修改模块输出：
$$M^*_i(x) = M_i(x) - b_i \quad \text{或} \quad M^*_i(x) = M_i(x) - b_i(x)$$
其中 $b_i$ 是偏差校正项。

本文探索了两种变体：

1. 输入无关去偏： 向神经元（logits）添加常数偏差 $b_i$ 以校准输出。这是在训练集上优化以最小化扰动诱导偏差上界 $C^*_i$。
2. 输入相关去偏： 学习一个函数 $b_i(x)$，通常通过线性岭回归（$b_i(x) = w_i \cdot \psi(x) + \beta_i$），基于输入特征补偿偏差。这提供了更大的灵活性，并能恢复更多因扰动而损失的性能。

实施：

• 该方法不需要扰动数据的真实标签（无监督设置），仅需干净示例进行校准。
• 它可以与现有结构（如 LoRA 适配器）集成，或直接应用于 logits/中间特征。
• 它产生的推理开销可忽略不计（单次传递）。

3. 主要贡献

1. 识别扰动诱导偏差： 本文将期望模块输出的系统性偏移隔离为大语言模型在非对抗性噪声下鲁棒性损失的主要原因。
2. 统一鲁棒性证书： 作者提供了理论证书，将传统决定因素（Lipschitz 常数、边界）与新的偏差因素统一起来，适用于简单和复杂的噪声模型。
3. 高效去偏算法： 提出了简单的闭式去偏方法（包括输入无关和输入相关），在不进行全模型重训练的情况下提高鲁棒性。
4. 实证验证： 广泛的实验表明，去偏恢复了扰动提示上的性能，并增强了形式化鲁棒性证书。

4. 实验结果

4.1. 设置

• 模型： Qwen-3-8B, Llama-3.1-8B, Olmo-3-7B。
• 任务： 来自 Natural Instructions 数据集的 9 个独特任务（筛选出高干净准确率且在扰动下显著下降的任务）。
• 扰动： 格式扰动（结构性变化）和文本扰动（拼写错误、Unicode 混淆字符）。

4.2. 性能恢复

• 输入无关去偏： 显示出提高鲁棒性半径和扰动准确率（$\delta_{pert}$）的潜力，尽管通常以牺牲干净准确率（$\delta_{clean}$）为代价。特定模型和任务存在最佳重叠区域。
• 输入相关去偏： 表现出更优越的性能。在大多数模型和任务中，它恢复了由扰动引起的性能下降的很大一部分（高 $p_{recover}$）。
  • 权衡： 虽然它通常提高了综合性能（干净 + 扰动），但往往导致干净示例性能的适度下降（$p_{clean}$ 为负）。然而，在大多数情况下，净综合改进（$p_{combined}$）仍保持为正。

4.3. 证书改进

• 单示例级别： 去偏显著增加了可被形式化认证为鲁棒的示例百分比。例如，在 Qwen-8B 上进行文本扰动时，单示例认证率（$p'_C$）从 9.4% 增加到 55.7%。
• 总体级别： 该方法提供了可测量的更强总体级别保证，增加了具有认证鲁棒性的总体比例。
• 验证： 实证验证表明，认证的干净示例在其扰动变体上保持了接近 100% 的平衡准确率（BAC），显著优于未认证的提示。

4.4. 泛化

通过对中间层特征进行去偏（通过特征差异的主成分分析 PCA），在生成任务（摘要、问答）上的初步实验显示了将该方法扩展到分类之外、恢复 GSM-8K 和 XSum 等任务性能的潜力。

5. 意义与主张

本文主张，去偏是一种实用的、有原则的干预措施，用于增强在预期提示可变性的部署环境中的大语言模型鲁棒性。

• 效率： 与随机平滑或对抗性训练不同，该方法不增加推理开销，也不需要昂贵的重训练。
• 可及性： 它无需扰动数据的监督性真实标签即可运行，使其适用于训练数据或标签可能不可用的开放权重模型。
• 理论依据： 该方法并非启发式方法，而是源于对扰动诱导偏差的理论分析，提供形式化鲁棒性证书。
• 局限性： 作者承认，该方法依赖于对模型权重的白盒访问，假设是非对抗性（随机）扰动，并涉及干净性能与扰动性能之间的权衡。他们还指出，有效性可能取决于特征空间的内在维度，可能在低维设置中最高效。

总之，这项工作将去偏定位为一种轻量级、有效的工具，用于“驯服”由语义中性提示变化引起的大语言模型性能下降，既提供即时的性能提升，又提供更强的形式化保证。