🤖 machine learning

EulerLoRA: Rank-Driven Jump Dynamics for Calibrated Parameter-Efficient Fine-Tuning

EulerLoRA 是低秩自适应（Low-Rank Adaptation）的一种随机扩展，它通过在共享低秩适配器上采样结构化变体来生成预测不确定性，在实现与集成方法相当的性能的同时，显著减少了可训练参数的数量。

原作者： Srinivas Anumasa, Dianbo Liu

发布于 2026-08-04

📖 1 分钟阅读☕ 轻松阅读

原作者： Srinivas Anumasa, Dianbo Liu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图教一个超级聪明的机器人如何识别猫、狗和汽车。你拥有一个巨大的、预训练好的机器人大脑，它已经了解了很多关于世界的知识，但对于每一个新任务，重新训练整个大脑都太庞大了。为了不重写整个大脑，科学家们使用了一个聪明的技巧，叫做“低秩自适应”（Low-Rank Adaptation，简称 LoRA）。你可以把 LoRA 想象成给机器人安装了一组轻量级的辅助训练轮。这些轮子相对于整辆自行车来说非常微小，但它们足以引导机器人完成新任务，而无需重建引擎。

然而，这里有一个问题：标准的训练轮是僵硬的；它们给机器人提供一种单一且固定的观察世界的方式。如果机器人不确定，它并不知道自己不确定。它只会给出一个充满信心的答案，即便这个答案是错误的。在现实世界中，知道自己“什么时候不知道”与知道答案本身一样重要。这正是这项新研究切入的地方，它提出了一个大问题：我们能否让这些微小的训练轮产生足够的“摇晃感”，从而让机器人探索不同的可能性，使其能够说出：“我挺确定的，但也许我应该再检查一下”，而不需要为每一次猜测都构建一套全新的轮子？

这篇论文介绍了一种名为 EulerLoRA 的新方法，它将那些僵硬的训练轮变成了动态的、弹跳的系统。与其仅仅学习一组固定的调整方案，EulerLoRA 将机器人的学习过程处理成一场发生在微小、快速步骤中的“选择你自己的冒险”游戏。想象一下机器人正在走上台阶。标准的 LoRA 告诉它迈出一个巨大的、固定的步伐。而 EulerLoRA 则告诉机器人进行一系列微小的跳跃，在每一次微跳的过程中，它会沿着已经学到的特定路径，随机地向左或向右轻微倾斜。

这里有一个神奇的魔术：尽管机器人在脑海中不断摇晃并采取不同的路径，但如果我们将所有这些摇晃的结果取平均值，它最终会到达与那个标准、僵硬的机器人完全相同的地方。这意味着机器人仍然能完美地学习任务，但现在它拥有了一个“心理沙盒”，可以在其中生成许多个相同答案的不同版本。通过观察这些不同版本之间的趋同或分歧程度，机器人可以判断自己的信心程度。如果所有的摇晃路径都指向同一个点，它就非常有信心；如果路径四散开来，它就知道要保持谨慎。

研究人员在几个图像识别挑战（如识别不同种类的花朵或发现异常模式）上测试了该方法。他们发现 EulerLoRA 的效率极高。其他试图获得这种“不确定性感知”能力的方法通常需要训练 16 套独立的微型训练轮（这会占用大量内存），而 EulerLoRA 仅需两套轮子就能完成同样的工作，有时甚至表现更好。具体来说，使用仅有两个秩（rank）为 20 的适配器，EulerLoRA 实现的结果与一个拥有 16 个秩为 8 的庞大集成模型相当，甚至更优。

在数字方面，论文显示这种新方法使用了大约 300 万个可训练参数，而它所竞争的传统“集成”方法则使用了约 1000 万个。这实现了大约 69% 的参数量减少。在 CIFAR-10 和 CIFAR-100 等标准图像数据集上的测试表明，该方法在预测正确答案的准确性方面，可以与那些笨重的模型旗鼓相当。但真正的胜利在于“校准”——即正确判断自身置信度的能力。当研究人员让机器人进入“摇晃”模式（随机推理）时，它在识别从未见过的事物（分布外检测）方面表现得出色得多，而这正是标准僵硬模型经常失败的任务。

这项研究表明，你并不需要建立一支由无数独立模型组成的军队来获得一个聪明且具有自我意识的 AI。相反，你可以教会一个精简的模型如何通过一种有结构的随机性来进行“舞蹈”。这种舞蹈让它能够探索不同的可能性并理解自身的局限，同时使用显著更少的计算资源。研究人员发现，虽然“摇晃”版本在识别不确定性方面表现出色，但“稳健”版本（即机器人停止摇晃并直接行走时）在获得最高准确率得分方面实际上是最好的。这意味着同一个训练好的模型可以有两种用途：当你需要一个直接答案时，它可以作为超级准确的预测器；而当你需要知道答案是否可靠时，它可以作为一个谨慎且具有自我意识的侦探。

技术摘要：EulerLoRA

问题陈述

虽然低秩自适应（LoRA）已成为大型预训练模型参数高效微调（PEFT）的标准方法，但它存在一个关键局限性：它产生的是单一的确定性模型。标准的 LoRA 为每个适配的权重学习一个固定的低秩修正 $\Delta W = BA$ ，从而在训练后产生确定性的更新。因此，它缺乏表示认识不确定性（epistemic uncertainty）或进行后验边际化（posterior marginalization）的直接机制。虽然现代神经网络经常在分布偏移下出现校准不良和不确定性估计退化的问题，但标准 LoRA 本身无法提供这些能力，除非诉诸于计算昂贵的集成方法（为每个集成成员学习独立的适配器）或复杂的贝叶斯近似（例如拉普拉斯近似或变分分布），而后者会引入额外的参数或推理开销。

方法论

作者提出了 EulerLoRA，这是一种随机扩展的 LoRA，它能够从一组共享的低秩适配器中生成多个预测轨迹。该方法借鉴了深度神经网络的动力系统解释，即网络深度被视为离散时间，层更新被视为常微分方程（ODE）的欧拉离散化。

核心机制：补偿性秩驱动动力学（Compensated Rank-Driven Dynamics）

EulerLoRA 并非为不同的预测实现学习独立的适配器，而是通过在共享 LoRA 更新的秩一方向上引入结构化随机性来实现。

分解： LoRA 修正项 $B_\ell A_\ell C_\ell$ 被分解为 $r$ 个秩一分量： $\sum_{k=1}^r b_{\ell,k} a_{\ell,k}^\top C_\ell$ 。
内部状态演化： EulerLoRA 并不演化完整的隐藏状态（否则会重复应用冻结的预训练权重），而是引入了一个辅助内部状态 $Y_{\ell,s}$ ，它仅沿着加性输出路径在 $T$ 个内部步骤中进行演化。
随机秩配置： 在每个内部步骤 $s$ ，会采样一个活跃秩 $K_{\ell,s}$ 和一个秩索引子集 $S_{\ell,s}$ 。秩一方向的系数由 $M_{\ell,s,k} = \frac{r}{K_{\ell,s}} \mathbb{1}\{k \in S_{\ell,s}\}$ 进行缩放。这确保了虽然在任何步骤中只有一部分方向是活跃的，但其期望系数保持为 1。
补偿： 直接累积这些采样的更新会导致期望的 LoRA 贡献随步骤数 $T$ 缩放。为了防止这种情况，作者推导出了补偿动力学。确定性的 LoRA 变换由欧拉步长 $\Delta t = 1/T$ 进行缩放，而中心化的随机波动（即与均值的偏差）则由 $\sqrt{\Delta t}$ 进行缩放。
更新规则为：
$Y_{\ell,s+1} = Y_{\ell,s} + \Delta t (W^0_{O,\ell}C_\ell + B_\ell A_\ell C_\ell) + \sigma \sqrt{\Delta t} \sum_{k=1}^r (M_{\ell,s,k} - 1) b_{\ell,k} a_{\ell,k}^\top C_\ell$
这里， $(M_{\ell,s,k} - 1)$ 代表零均值波动。

推理模式

随机推理： 通过在正向传播过程中采样不同的秩配置来生成多条轨迹。这些轨迹被聚合（例如通过平均）以形成隐式的蒙特卡洛集成，用于不确定性估计。
确定性推理： 通过设置 $K_{\ell,s} = r$ （激活所有秩）在每一步，随机项 $(M_{\ell,s,k} - 1)$ 消失。模型恢复为精确的标准确定性 LoRA 变换，允许相同的训练权重在无需不确定性估计的情况下作为高精度预测器运行。

核心贡献

随机化公式化： 引入了 EulerLoRA，它利用低秩修正的秩一分量，定义了用于有限步秩驱动动力学的结构化方向。
均值保持构建： 推导了一种将确定性 LoRA 变换与零均值随机秩波动分离的方法。这确保了期望的终态状态能精确恢复标准 LoRA，且与内部步骤数 $T$ 无关。
预测与参数解耦： 实现了从共享参数中生成多个预测轨迹的能力，将蒙特卡洛预测的数量与独立训练的适配器数量解耦。
liệu 双模态效用： 单个训练好的模型既支持确定性推理（用于峰值精度）也支持随机推理（用于校准和不确定性），消除了为不同推理模式进行单独训练的需求。

实验结果

EulerLoRA 在用于分类任务的 CIFAR-10、CIFAR-100 和 HAM10000，以及用于 OOD 检测的 SVHN（使用 CIFAR-10 作为分布内数据）上进行了评估。

参数效率： EulerLoRA 使用两个秩为 20 的适配器（约 300 万个可训练参数）。将其与一个包含 16 个秩为 8 的适配器的强 LoRA-Ensemble 基线（约 1000 万个参数）进行对比。EulerLoRA 以大约减少 69% 的可训练适配器参数，实现了相当或更优的性能。
分类性能：
- 在 CIFAR-10 上，确定性 EulerLoRA（2 个适配器）达到了 96.10% 的准确率，超过了 16 适配器 LoRA-Ensemble（95.9%）和复现的 2 适配器 LoRA-Ensemble（95.43%）。
- 在 HAM10000 上，确定性 EulerLoRA 达到了 89.6% 的准确率，超过了 16 适配器 LoRA-Ensemble（88.0%）。
- 在 CIFAR-100 上，确定性 EulerLoRA 匹配了最佳宏 F1 分数（82.5%），并达到了 82.6% 的准确率，与 16 适配器集成相当。
校准与不确定性：
- 校准： 随机推理一致地改善了期望校准误差（ECE）。在 HAM10000 上，随机 EulerLoRA 实现了 0.021 的 ECE，显著优于 16 适配器集成的 0.037。
- OOD 检测： 随机推理提供了最佳的 OOD 分离效果。在 SVHN 上，随机 EulerLoRA（2 个适配器）实现了 95.22% 的 AUROC 和 37.42% 的 FPR@95TPR，优于复现的 2 适配器 LoRA-Ensemble（FPR@95TPR 为 45.18%）。
互补效益： 结果表明，确定性推理通常产生最强的预测精度和适当评分（proper scoring），而随机推理则在校准和 OOD 检测方面提供互补的增益。

重要意义

论文声称，EulerLoRA 证明了无需为每个集成成员训练单独的模型，即可从少量共享适配器中获得有用的预测多样性和校准的不确定性估计。通过利用秩驱动的跳跃动力学，该方法回收了规模大得多的适配器集成所具有的预测优势，同时使用了大约减少 69% 的可训练参数。这表明，在参数高效微调中进行不确定性量化存在一条新路径，且无需依赖昂贵的集成或复杂的贝叶斯近似。