🤖 machine learning

Learning in the Fisher Subspace: A Guided Initialization for LoRA Fine-Tuning

本文提出了一种用于 LoRA 微调的费雪引导初始化框架，该框架利用下游数据诱导的曲率信息来选择与任务相关的适应子空间，从而显著优于现有的仅权重初始化策略并提升模型性能。

原作者： Zhi-Quan Feng, Ying-Jia Lin, Hung-Yu Kao

发布于 2026-05-05

📖 1 分钟阅读☕ 轻松阅读

原作者： Zhi-Quan Feng, Ying-Jia Lin, Hung-Yu Kao

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你有一座巨大且极其聪明的图书馆（即大型语言模型），它几乎阅读了世界上所有的书籍。这座图书馆是“冻结”的，意味着它的书籍被固定在原位，无法重写。现在，你希望教会这座图书馆一项新的特定技能，比如解决数学问题或编写代码。

问题：“低秩”捷径
通常，若要教会图书馆一项新技能，你需要重写数百万页内容，这不仅耗时极长，而且成本高昂。相反，研究人员使用一种称为LoRA（低秩自适应）的技巧。可以将 LoRA 想象成在图书馆中添加一小本便签纸。你只需在这些便签上书写，而保持原始书籍 untouched。这种方法既廉价又快速。

然而，这里有一个陷阱：你粘贴便签的位置至关重要。

如果你想在教授“数学”时，将便签贴在关于“古代历史”的页面上，你就是在浪费空间。图书馆无法很好地学习数学，因为便签被放错了位置。
现有的决定便签粘贴位置的方法仅关注图书馆的结构。它们会问：“在图书馆的历史中，哪些页面最重要？”并将便签贴在那里。
缺陷：仅仅因为某页在历史上很重要，并不意味着它对你的特定新任务有用。这就像试图通过研究海洋地图来学习驾驶。地图虽然详尽，但对于这项任务来说却是错误的数据。

解决方案：FILet（“数据敏感”指南针）
本文作者提出了一种选择便签粘贴位置的新方法，称为FILet。FILet 不再仅仅查看图书馆的结构，而是向数据（即你希望从中学习的具体示例）寻求建议。

以下是类比：
想象图书馆的知识是一片丘陵与山谷交织的地形。

旧方法（SVD）：他们查看丘陵地图，然后说：“让我们在这座最大、最著名的山上修路。”他们假设最大的山总是最佳的建设地点。
FILet 方法：他们派出一名侦察兵执行特定任务（你的新任务）。侦察兵四处走动并感受地面。他们发现，对于这项特定任务而言，那座“最大的山”实际上是一条死胡同。相反，有一个小而宁静的山谷，其形状完美契合这项任务。
“费雪能量”概念：论文将这种敏感性称为“费雪能量”。可以将其想象为一个振动传感器。
- 如果你戳图书馆大脑的某个特定部分，而它剧烈震动（高能量），说明该部分非常敏感。改变它可能会破坏事物或引发混乱。
- 如果你戳某部分而它几乎不动（低能量），说明该部分稳定且安全，适合微调。
- FILet 的策略：它寻找那些“安静的山谷”（低费雪能量），在这些地方模型对新数据敏感，但又足够稳定，可以在不破坏自身的情况下进行学习。它将便签贴在这些地方。

工作原理（“克罗内克”技巧）
精确计算整个图书馆如何震动对计算机来说过于沉重（会占用过多内存）。因此，作者使用了一种巧妙的捷径，称为K-FAC。

想象试图测量一面巨大鼓的震动。与其测量鼓皮的每一英寸，不如测量敲击它的鼓槌的震动以及发出的声音，然后将这两个简单的测量值相乘。
这使得 FILet 能够非常快速地找出最佳的学习位置，而无需超级计算机。

结果
作者在许多不同任务上测试了该方法：

推理：解决逻辑谜题和回答棘手问题。
生成：编写代码、解决数学问题以及创作故事。
图像：对汽车、纹理和交通标志的图片进行分类。

在每种情况下，FILet 的表现都优于旧方法。这就像给图书馆戴上了一副眼镜，让它能够确切地看到针对当前特定任务，哪些页面需要贴上便签。

关键要点

不要猜测：不要仅仅假设模型中“最重要”的部分就是最适合修改的部分。
倾听数据：你试图从中学习的具体示例会确切地告诉模型哪里需要适应。
寻找安静的地方：最佳的学习位置通常是模型对变化最不敏感的地方（低费雪能量），这使其能够在不产生混淆的情况下吸收新信息。
速度快：尽管进行了额外的“倾听”，但该方法在计算上是高效的，不会拖慢过程。

简而言之，FILet 是一种更聪明的方法，用于教导巨型 AI 掌握新技巧。它通过找到确切正确的书写指令的位置，确保 AI 学得更快、更好。

技术摘要：Fisher 子空间中的学习（FILet）

问题定义

参数高效微调（PEFT），特别是低秩适应（LoRA），通过将权重更新限制在低秩子空间中来降低训练成本。然而，LoRA 的有效性关键取决于这些子空间的初始化。现有的初始化策略（例如 PiSSA、MiLoRA、KaSA）主要依赖于预训练权重的内在几何属性，通常利用奇异值分解（SVD）根据奇异值选择方向。

本文认为，这些“仅权重”标准是不够的，因为它们对下游数据分布视而不见。在预训练权重中具有结构重要性的方向，对于特定下游任务可能是无关或被动。相反，具有低奇异值的方向可能对目标数据高度敏感。将有限的适应容量分配给与任务无关的方向会阻碍下游性能。核心问题在于识别那些在目标数据分布下能最小化预期损失增加的适应方向，而不是简单地遵循预训练权重的谱结构。

方法论：FILet

作者提出了FILet（用于 LoRA 微调的 Fisher 引导初始化），这是一个利用Fisher 能量来引导初始化的数据感知框架。

1. 理论公式

作者通过下游损失 $\Delta L$ 的变化来定义参数更新方向 $Z$ 的效用。利用二阶泰勒展开，他们表明对于对称扰动，损失变化主要由涉及损失 Hessian 矩阵的二阶项主导：
$\Delta L_{sym}(Z) \approx \frac{\gamma^2}{2} \langle Z, \nabla^2_{W_0} L \rangle$
为了避免计算完整的 Hessian 矩阵，他们使用Fisher 信息矩阵（ $S_W$ ）进行近似，该矩阵定义为梯度的外积的期望：
$S_W = E[\text{vec}(\nabla_W L) \text{vec}(\nabla_W L)^\top]$
方向 $Z = uv^\top$ 的Fisher 能量定义为：
$E(Z) = \text{vec}(Z)^\top S_W \text{vec}(Z)$
该指标量化了模型预测在目标数据分布下对方向 $Z$ 扰动的局部敏感性。作者假设，具有低 Fisher 能量的方向对应于引起最小损失增加的参数更新，使其成为 LoRA 初始化的理想候选。

2. 高效计算（K-FAC 近似）

由于大型语言模型（LLM）的 Fisher 矩阵规模巨大（ $O((mn)^2)$ ），计算完整的 Fisher 矩阵是不可行的。FILet 采用**Kronecker 分解近似曲率（K-FAC）**方法来分解 Fisher 信息：
$S_W \approx S_X \otimes S_Y$
其中：

$S_X = E[XX^\top]$ 是输入激活的经验协方差。
$S_Y = E[(\nabla_Y L)(\nabla_Y L)^\top]$ 是输出梯度的经验协方差。

这些因子通过使用下游数据的小批量进行高效估计。

3. 初始化过程

为了在不进行完整 SVD 的情况下实现这一过程，FILet 从预训练权重 $W_0$ 构建代理奇异基：

计算 $W_0$ 的 Gram 矩阵并归一化列，形成代理右基 $\hat{V}$ 。
将 $\hat{V}$ 通过 $W_0$ 映射并归一化，形成代理左基 $\hat{U}$ 。
将估计的 Fisher 因子（ $S_X, S_Y$ ）投影到这些基上，以计算每个候选方向的 Fisher 能量。
选择具有最小 Fisher 能量的前 $r$ 个方向。
使用这些选定的方向初始化 LoRA 矩阵 $A$ 和 $B$ ，并按其对应的 Fisher 能量的平方根进行缩放。

该过程确保 LoRA 适配器在目标数据最不敏感的子空间中初始化，从而在冻结的残差权重中保留任务相关信息，同时允许在损失景观的“平坦”区域进行高效适应。

主要贡献

数据感知初始化标准：本文将范式从以权重为中心（基于 SVD）转变为以数据为中心的初始化，论证参数对下游分布的敏感性是选择适应子空间更合理的原则。
Fisher 引导框架（FILet）：一种计算高效的方法，利用 K-FAC 和代理基来估计 Fisher 能量，避免了在大型权重上进行完整 Fisher 矩阵计算或完整 SVD 的过高成本。
实证验证：全面的实验表明，选择具有最小 Fisher 能量的方向并结合基于 Fisher 的缩放，始终优于现有的基于 SVD 和数据驱动的基线方法。

实验结果

作者在多样化的任务和模态上评估了 FILet：

自然语言推理：在包括 BoolQ、PIQA、ARC-Challenge 等基准测试上，使用 Llama2-7B 和 Llama3-8B 模型。FILet 始终比 PiSSA、MiLoRA、KaSA 和 LoRA-Dash 等基线方法获得更高的平均准确率。例如，在 Llama3-8B 上，FILet 取得了86.7的平均分数，优于次优方法（NEAT 为 84.5）和基于 SVD 的方法（KaSA 为 85.7）。
图像分类：在七个数据集（如 Cars、DTD、SVHN）上使用 ViT-B/32。FILet 取得了最高的平均准确率（69.3%），在 SVHN 和 Cars 上表现出显著提升。
自然语言生成：在 GSM8k（数学）、MBPP（代码）、E2E 和 MT-bench 上。FILet 显示出实质性提升，特别是在 GSM8k（Gemma-7B 为 63.5）和 MBPP（Gemma-7B 为 30.8）上，表明其在需要精确泛化的任务中有效。
效率：虽然 FILet 需要额外时间来计算 Fisher 因子，但它避免了 KaSA 等方法所需的 FP32 转换和完整 SVD 开销。与基于 SVD 的方法相比，其初始化时间随模型规模的扩展更为有利。
消融研究：
- 小批量大小：性能随小批量增大而提升，但随后趋于平稳，表明中等大小（例如 320）在准确性和效率之间提供了良好的平衡。
- 缩放策略：本文证实，即使方向选择正确，使用基于 Fisher 的缩放（最小能量）也优于使用 SVD 奇异值进行缩放。

意义与主张

本文声称，FILet 为 LoRA 初始化提供了一个原则性、任务相关的标准，使适应更好地与目标对齐。通过利用下游数据诱导的曲率信息，FILet 避免将容量分配给在目标分布下被动的方向。

作者强调，这种方法：

始终提升下游性能，涵盖推理、生成和分类任务。
保持计算效率，与完整 SVD 方法相比，初始化开销极小。
增强 PEFT 的实用价值，通过确保有限的可训练参数被放置在最有效的子空间中，从而在有限的计算预算下实现高质量微调。

该工作得出结论，数据感知初始化，特别是通过 Fisher 能量最小化，是最大化参数高效微调效力的关键因素，超越了静态权重几何的局限性。