Robust Fine-Tuning from Non-Robust Pretrained Models: Mitigating Suboptimal Transfer With Epsilon-Scheduling

该论文指出从非鲁棒预训练模型进行鲁棒微调会导致“次优迁移”现象，并提出通过“epsilon 调度”策略动态调整训练扰动强度，从而有效缓解该问题并显著提升模型的预期鲁棒性。

要点

这篇论文探讨了一个在人工智能领域非常普遍但又充满挑战的问题：如何把一个“普通”的预训练模型，改造成既能干新活、又能抵御恶意攻击的“超级模型”。

为了让你轻松理解，我们可以把整个过程想象成**“培养一名特种兵”**的故事。

1. 背景：现有的“特种兵”大多有缺陷

在人工智能的世界里，我们通常不会从零开始训练一个模型（那太慢太贵了）。相反，我们会找一个已经受过基础训练的“预训练模型”（比如 ImageNet 上训练好的模型），然后让它去适应一个新的具体任务（比如识别特定的鸟类或汽车）。这就像是从军队里挑出一名受过基础训练的士兵，派他去执行特种任务。

• 现状： 开源社区里有很多这样的“士兵”，他们很聪明，能认出各种东西。但是，他们有一个致命弱点：他们太“天真”了。只要有人稍微把图片上的像素点动一点点（就像在士兵脸上贴个创可贴，或者把眼镜歪一点），他们就会认不出东西，甚至做出完全错误的判断。这被称为“对抗性攻击”。
• 目标： 我们想通过“微调”（Fine-tuning），让这些士兵在适应新任务的同时，学会抵御这些恶作剧般的攻击，变得“鲁棒”（Robust）。

2. 问题：直接“魔鬼训练”会搞砸（次优迁移）

以前的做法是：直接把这名“天真”的士兵扔进一个高强度的魔鬼训练营（对抗训练），让他一边学新任务，一边面对各种恶作剧攻击。

• 论文发现的大坑： 作者发现，如果直接对“天真”的士兵进行高强度魔鬼训练，结果往往很惨。
  • 比喻： 想象一个刚学会走路的孩子，你直接把他扔进暴风雨里让他学跑步。结果呢？他不仅没学会跑步，连路都走不稳了，甚至摔得鼻青脸肿，完全忘了怎么走路。
  • 学术术语： 这叫**“次优迁移”（Suboptimal Transfer）**。原本预训练模型很好的“底子”（干净准确率），在强行加入防御训练后，反而变得比不训练还差，甚至差到完全无法使用。
  • 原因： 这种“魔鬼训练”在初期会严重干扰模型学习新任务的能力。模型忙着应付攻击，根本没时间学习新东西。这就好比士兵在暴风雨里只顾着躲雨，忘了怎么瞄准靶子。

3. 解决方案：循序渐进的“ epsilon 调度” (Epsilon-Scheduling)

为了解决这个问题，作者提出了一种聪明的新方法，叫**"Epsilon 调度”**。

• 核心思想： 不要一开始就扔进暴风雨，要循序渐进。
• 具体做法（比喻）：
  1. 第一阶段（热身期）： 先让士兵在晴朗的天气下（没有攻击，$\epsilon=0$）专心练习新任务（比如识别汽车）。这时候，他学得非常快，很快就成了识别汽车的高手。
  2. 第二阶段（过渡期）： 慢慢开始引入一点微风（小扰动），让士兵在练习新任务的同时，开始适应一点点干扰。
  3. 第三阶段（实战期）： 最后，当士兵已经熟练掌握新任务后，再逐渐加大风雨强度，直到达到最终的“暴风雨”级别（目标攻击强度）。
• 效果： 这种方法就像**“教练带着士兵慢慢适应环境”**。士兵先学会了怎么跑，再学会怎么在雨中跑，最后成了真正的特种兵。
• 结果： 实验证明，这种方法不仅让模型在恶劣环境下依然能认得准东西（鲁棒性高），而且保留了它原本识别事物的能力（干净准确率高），避免了“次优迁移”的悲剧。

4. 新尺子：如何评价一个“好士兵”？

以前评价一个模型，只看它在“晴天”（干净数据）和“暴风雨”（最大攻击）下的表现。但这就像只看一个人“完全没受伤”和“受重伤”两种状态，忽略了中间过程。

• 新指标： 作者提出了一个**“预期鲁棒性”（Expected Robustness）**的概念。
• 比喻： 这就像评价一个士兵，不仅看他能不能在狂风暴雨中生存，还要看他在微风、小雨、中雨、暴雨等各种天气下的平均表现。
• 意义： 这个新指标能更全面地反映模型在现实世界中的表现，因为现实世界里的攻击强度是千变万化的，不总是“最大”或“没有”。

总结

这篇论文告诉我们：

1. 别急： 想把一个普通的 AI 模型变成抗攻击的模型，不能一上来就“硬刚”。
2. 循序渐进： 使用**"Epsilon 调度”**，先让模型学好新本领，再慢慢增加难度，这样效果最好。
3. 全面评价： 评价模型时，要看它在各种难度下的平均表现，而不仅仅是极端情况。

这就好比教孩子学骑车：你不能一开始就让他去冲坡（高强度对抗训练），那样他会摔得很惨。你应该先让他平地骑稳（标准微调），再慢慢上小坡，最后再挑战陡坡。这样，他既能学会骑车，又能保持平衡，最终成为真正的骑行高手。

技术摘要

这是一篇发表于 ICLR 2026 的会议论文，题为 《从非鲁棒预训练模型进行鲁棒微调：通过 epsilon 调度缓解次优迁移》 (Robust Fine-Tuning from Non-Robust Pre-Trained Models: Mitigating Suboptimal Transfer with Epsilon-Scheduling)。

以下是对该论文的详细技术总结：

1. 研究背景与问题 (Problem)

• 背景：在机器学习中，微调（Fine-Tuning）预训练模型是标准流程。然而，在高安全性应用场景中，模型对对抗样本（Adversarial Examples）的脆弱性是一个主要问题。鲁棒微调（Robust Fine-Tuning, RFT）旨在同时实现下游任务的适应性和对抗鲁棒性。
• 现有局限：
  • 大多数现有的 RFT 研究假设使用的是鲁棒预训练（Robustly Pre-trained）的骨干网络。
  • 实际上，开源仓库中广泛使用的预训练模型（如 ViT, ResNet, CLIP 等）大多是非鲁棒的。
  • 鲁棒预训练成本高昂且不常见，因此开发针对非鲁棒骨干网络的 RFT 策略至关重要。
• 核心问题：作者发现，直接使用标准的鲁棒微调方法（即在整个训练过程中固定使用对抗扰动强度 $\epsilon_g$）对非鲁棒预训练模型进行微调时，会导致**次优迁移（Suboptimal Transfer）**现象。
  • 即使是在较小的扰动强度下，模型在下游任务上的**干净准确率（Clean Accuracy）**也会显著下降，甚至低于标准微调（无扰动）的效果，有时甚至导致迁移失败（准确率接近随机猜测）。
  • 这种现象被称为“次优迁移”，其严重程度取决于骨干网络架构和下游任务的难度。

2. 核心发现与机理分析 (Key Insights)

通过对实验现象的深入分析，作者得出了以下关键见解：

• 任务适应延迟（Task Adaptation Delay）：
  • 在标准微调中，模型从第一个 epoch 开始就能迅速适应下游任务。
  • 在鲁棒微调（RFT-fix）中，由于从一开始就引入对抗扰动，模型的特征表示被扭曲，导致任务适应被推迟。模型需要花费大量 epoch 才能开始提升干净准确率。
  • 相关性：适应延迟的时间长度与次优迁移的严重程度呈高度负相关。延迟越长，最终性能越差。
• 优化景观的差异：
  • 非鲁棒预训练模型的初始状态位于“干净损失”和“对抗损失”景观差异巨大的区域。
  • 直接优化对抗损失会阻碍干净损失的下降，导致模型陷入次优的局部极小值。

3. 方法论：Epsilon-Scheduling (Methodology)

为了解决上述问题，作者提出了一种名为 Epsilon-Scheduling 的新启发式策略。

• 核心思想：在微调过程中动态调整对抗扰动的强度 $\epsilon(t)$，而不是像传统方法那样固定为 $\epsilon_g$。
• 具体实现（双 hinge 线性调度）：
  1. 适应阶段 ($t < T_1$)：$\epsilon(t) = 0$。模型先进行标准的无扰动微调，专注于快速适应下游任务，恢复干净准确率。
  2. 过渡阶段 ($T_1 \le t < T_2$)：$\epsilon(t)$ 从 0 线性增加到目标强度 $\epsilon_g$。
  3. 鲁棒阶段 ($t \ge T_2$)：$\epsilon(t) = \epsilon_g$。模型在达到目标扰动强度后，专注于优化对抗鲁棒性。
• 类比：这类似于课程学习（Curriculum Learning），先让模型接触简单的样本（无扰动），再逐渐增加难度（引入扰动）。
• 参数设置：$T_1$ 设为模型达到高干净准确率所需的 epoch 数（约 25% 总训练时长），$T_2$ 设为适应延迟结束的时间点（约 75% 总训练时长）。

4. 新评估指标：Expected Robustness (Expected Robustness)

作者指出，传统的评估仅关注干净准确率（$\epsilon=0$）和目标扰动下的鲁棒准确率（$\epsilon=\epsilon_g$），忽略了中间状态。为此，他们提出了 Expected Robustness 指标：

• 定义：在 $[0, \epsilon_g]$ 区间内，假设扰动强度服从均匀分布，计算模型准确率的期望值。
• 公式：$Acc_{[0, \epsilon_g]}(f) = \frac{1}{\epsilon_g} \int_{0}^{\epsilon_g} Acc_{\epsilon}(f) d\epsilon$。
• 意义：该指标量化了模型在从“干净”到“最坏情况”整个范围内的综合表现（即准确率 - 鲁棒性权衡曲线下的面积），能更全面地反映模型在实际威胁模型下的性能。

5. 实验结果 (Results)

作者在 6 种预训练模型（包括 ViT, Swin, ResNet, ConvNeXt, CLIP 变体）和 5 个数据集（CUB, Dogs, Caltech, Cars, Aircraft）上进行了广泛实验。

• 中等扰动 regime ($\epsilon_g = 4/255$)：
  • 标准 RFT-fix 在许多配置下导致干净准确率大幅下降（次优迁移）。
  • Epsilon-Scheduling 成功防止了这种下降，保持了高干净准确率，同时维持了可接受的对抗鲁棒性。
  • 在 30 种配置中，调度策略在干净准确率和期望鲁棒性上均优于固定策略。
• 高扰动 regime ($\epsilon_g = 8/255$)：
  • RFT-fix 几乎在所有情况下都失败（干净准确率极低）。
  • Epsilon-Scheduling 在所有 30 种配置中均显著提升了干净准确率和期望鲁棒性，甚至在对抗准确率上也优于固定策略（28/30）。
• 在鲁棒骨干网络上的表现：
  • 即使对于原本就是鲁棒预训练的模型，Epsilon-Scheduling 也能进一步提升干净准确率（尽管可能略微牺牲目标扰动下的鲁棒性），但整体期望鲁棒性依然提升。
• 自动化调度：
  • 作者还提出了一种基于验证集准确率收敛点自动确定 $T_1$ 的自动化调度策略，效果接近手动调优，证明了方法的通用性。

6. 主要贡献 (Contributions)

1. 现象揭示：首次系统性地揭示了从非鲁棒预训练模型进行鲁棒微调会导致“次优迁移”现象，并指出其根本原因是任务适应的延迟。
2. 方法创新：提出了 Epsilon-Scheduling，一种简单有效的扰动强度调度策略，通过先适应任务再引入鲁棒性，成功解决了次优迁移问题。
3. 指标创新：引入了 Expected Robustness 指标，提供了比单一阈值更全面的模型评估视角。
4. 实证验证：通过大量实验证明，该方法在多种架构和任务上均能显著提升鲁棒微调的性能，且不仅适用于非鲁棒骨干，对鲁棒骨干也有增益。

7. 意义与影响 (Significance)

• 填补空白：解决了当前开源生态中大量非鲁棒预训练模型无法有效用于鲁棒微调的痛点，使得利用现有模型资源构建鲁棒系统成为可能。
• 理论启示：揭示了鲁棒微调中“任务适应”与“鲁棒性优化”在时间维度上的冲突，为理解迁移学习中的优化动力学提供了新视角。
• 实践价值：提供了一种低成本、无需重新预训练即可提升模型鲁棒性的实用方案，特别适用于资源受限或需要快速部署的场景。
• 未来方向：论文指出了将此类调度策略扩展到参数高效微调（如 LoRA）、其他模态（如 NLP）以及探索更深层理论机制的可能性。

总结：这篇论文通过发现并解决非鲁棒预训练模型在鲁棒微调中的“次优迁移”问题，提出了一种基于课程学习思想的 Epsilon-Scheduling 策略，显著提升了模型在保持高干净准确率的同时获得对抗鲁棒性的能力，并提出了更全面的评估指标，对鲁棒迁移学习领域具有重要的理论和实践价值。