技术摘要：LiFT —— 基于线性规划的局部搜索，用于控制 Transformer 过拟合

1. 问题陈述

大规模 Transformer 模型（如 GPT、BERT）已在自然语言处理（NLP）领域取得了最先进的性能。然而，通过微调将这些模型适配到特定任务时面临着重大挑战，特别是在数据受限的场景下，模型极易出现过拟合现象。传统的微调通常需要大量的超参数调优（例如网格搜索、随机搜索和贝叶斯优化）以及重复的全量重训练周期，这在计算上非常昂贵，且对环境造成负担。

现有的参数高效微调（PEFT）方法（如 Adapters、LoRA、Prompt Tuning）通过仅更新一部分参数来降低计算成本。然而，这些方法在很大程度上仍是启发式的。它们依赖于对手动选择的设计决策（如 adapter 大小、秩）进行依赖，并且没有明确地针对泛化能力或验证集性能进行优化。此外，标准的正则化技术（如权重衰减）将超参数选择与优化过程脱节，在训练前就固定了正则化强度，而不是根据验证反馈将正则化强度与模型参数进行联合优化。

2. 方法论：LiFT 框架

本文提出了 LiFT（基于线性规划的微调），这是一个将 Transformer 微调公式化为**双层优化（bilevel optimization）**问题的原则性框架，旨在显式控制过拟合。

2.1 双层优化公式化

LiFT 将微调视为一个两层问题：

• 底层（Lower Level）： 在给定超参数 $\lambda$ 的情况下，针对模型参数 $W$ 最小化正则化训练损失 $L_t(\lambda, W) + \|\sqrt{\lambda} \odot W\|_2^2$。
• 上层（Upper Level）： 针对 $\lambda$ 和 $W$，最小化验证损失 $L_v(\lambda, W)$。

与 $\lambda$ 被固定的传统方法不同，LiFT 寻求同时更新正则化参数 ($\lambda$) 和模型参数 ($W$)，以在保持训练最优性的同时提高验证性能。

2.2 通过线性规划进行的超局部搜索 (HLS)

为了高效解决这个双层问题，LiFT 采用了**超局部搜索（Hyperlocal Search, HLS）策略。它不是进行完整的重训练周期，而是使用线性规划（LP）**计算局部下降方向 $(d^*_\lambda, d^*_W)$。

1. 预热（Warm-up）： 该过程始于一个标准的预热阶段（例如 35 个 epoch），以建立初始解 $(\lambda_0, W_0)$，并特意允许模型对训练数据产生过拟合，从而为修正建立基准。
2. 梯度与曲率收集： 该方法收集验证梯度 ($\nabla_\lambda L_v, \nabla_W L_v$) 并近似训练 Hessian 信息。
3. 基于 HVP 的 LP 公式化： 为了避免在大模型中构建完整 Hessian 带来的计算不可行性，LiFT 使用了Hessian-向量乘积（HVP）。它构建了一个 LP，在满足由 HVP 导出的曲率约束下，最小化验证损失的缩放方向导数：
   $$\begin{aligned} \min_{d_\lambda, d_W} \quad & \begin{bmatrix} \nabla_\lambda L_v \\ \nabla_W L_v \end{bmatrix}^\top \begin{bmatrix} d_\lambda \\ d_W \end{bmatrix} \\ \text{s.t.} \quad & H_{mat} \begin{bmatrix} d_\lambda \\ d_W \end{bmatrix} = 0 \\ & -1 \le d_\lambda \le 1 \end{aligned}$$
   此处，$H_{mat}$ 代表使用探测向量（probe vectors）获得的 HVP 矩阵。该约束确保了更新方向能够保持底层训练目标的优化性。
4. 线搜索（Line Search）： 算法求解 LP 以找到下降方向，然后对步长 $t$ 进行线搜索，以选择使验证损失最小化的最优步长 $t^*$。
5. 更新： 参数更新为 $(\lambda_1, W_1) = (\lambda_0 + t^*d^*_\lambda, W_0 + t^*d^*_W)$。

2.2 灵活性

LiFT 不引入新的架构层。相反，它允许对特定的 Transformer 块、嵌入层或语言模型头进行选择性微调。它支持异构的微调模式（例如，微调全量 Block 与仅微调 MLP 组件），并能适应不同的计算资源。

3. 核心贡献

• 原则性的过拟合控制： LiFT 在 Transformer 微调、双层优化和正则化理论之间建立了理论联系，超越了启发式的超参数选择。
• 联合优化： 它独特地实现了正则化超参数与模型参数的联合优化，其依据是验证反馈，而非将其视为独立的阶段。
• 计算效率： 通过利用基于 HVP 的 LP 公式化，LiFT 避免了显式的 Hessian 构建，使其在选择性微调机制下能够扩展到像 GPT-2 这样的大型模型。
• 无架构开销： 与 PEFT 方法（Adapters, LoRA）不同，LiFT 直接作用于现有的模型参数，无需添加特定任务的模块。

4. 实验结果

作者在 WikiText-2 数据集上使用 GPT-2 Small 模型（124.4M 参数）评估了 LiFT。

• 设置： 实验包括预热阶段以及随后的单次基于 LP 的 HLS 迭代。测试了不同的配置，包括变化的微调 Transformer 块数量 ($N_{TB}$)、微调类型（Full vs. MLP）以及正则化划分。
• 性能：
  • LiFT 在多种配置下均表现出 测试困惑度（test perplexity） 的持续提升。
  • 在特定配置下（微调 3 个 block 且采用混合模式），LiFT 与基准相比实现了 12.49% 的测试困惑度降幅。
  • 在高度过拟合的场景下（例如微调 25 个 blocks），提升幅度达到了 25.94%。
  • 该方法成功控制了过拟合：虽然训练困惑度略有上升（表明对训练数据的过拟合减少），但验证和测试困惑度显著下降。
• 行为观察： 当模型已经具备良好的泛化能力（无过拟合）时，LiFT 会正确建议不进行更新，从而避免了不必要的修改。
• 效率： 每个实验的端到端运行时间在 1.59 到 3.45 小时之间，LP 求解步骤相对于梯度和 HVP 计算而言，产生的额外开销极小。

5. 意义与主张

论文声称 LiFT 为传统的微调策略提供了一种原则性的替代方案。其主要意义在于将微调重新定义为一个结构化的优化问题，而非一系列临时设计的集合。

• 理论基础： 它通过将验证性能直接通过双层优化整合进更新方向，提供了一种显式控制过拟服的机制。
• 实用价值： 它为在有限计算预算下适配大型模型提供了一种轻量级、灵活的机制，特别是在对可靠泛化能力要求极高的关键领域。
• 可扩展性： 使用基于 HVP 的约束使得该方法能够扩展到大型 Transformer，而不会产生全量 Hessian 计算的沉重代价。

作者指出，虽然单次 HLS 迭代只能提供局部改进，但通过多次迭代可以逐步逼近最优超参数配置。他们将 LiFT 定位为不是所有 PEFT 方法的替代品，而是一种互补的、由优化驱动的方法，可以与现有技术（如 LoRA）结合使用，以进一步增强鲁棒性和泛化能力。