💻 computer science

DRIFT: Transferring Reasoning Priors for Efficient MLLM Fine-Tuning

本文提出了DRIFT，这是一种轻量级微调方法，通过将预计算的推理先验注入梯度空间，将纯文本大语言模型的推理能力高效迁移至多模态模型，从而在显著降低计算成本的同时克服朴素参数合并的不稳定性并实现更优越的性能。

原作者： Chao Huang, Zeliang Zhang, Jiang Liu, Ximeng Sun, Jialian Wu, Xiaodong Yu, Ze Wang, Chenliang Xu, Emad Barsoum, Zicheng Liu

发布于 2026-04-28

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Chao Huang, Zeliang Zhang, Jiang Liu, Ximeng Sun, Jialian Wu, Xiaodong Yu, Ze Wang, Chenliang Xu, Emad Barsoum, Zicheng Liu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你有两位截然不同的专家：

文字巫师：一位才华横溢的数学家，能解决复杂的逻辑谜题并写出逐步解题过程，但一生中从未见过任何图片。
视觉艺术家：一位才华横溢的艺术家，能完美描述照片、识别物体并理解图表，但在解决隐藏在图像中的数学问题时却感到吃力。

本文的目标是教导视觉艺术家如何像文字巫师那样思考，而无需让他们重返校园接受多年昂贵的训练。

问题：尝试“糟糕的联姻”

此前，研究人员试图通过简单地将这两位专家的“大脑”（即计算机权重）“合并”在一起来结合他们。他们认为：“如果我们混合 50% 的数学巫师大脑和 50% 的艺术家大脑，就能得到一个完美的‘数学 - 艺术家’。”

本文将这种做法称为朴素合并。作者发现，这通常会失败。这就像试图将喷气式发动机粘在自行车上。有时它能稍微起作用，但往往会导致自行车彻底损坏。“数学”部分会被“艺术”部分搞糊涂，而“艺术”部分则会忘记如何观察。最终得到的模型，在数学和视觉识别方面都比之前更差。

解决方案：DRIFT（指南针）

作者提出了一种名为DRIFT（用于微调的方向性推理注入）的新方法。他们不是将两个大脑物理地粘在一起，而是使用一个指南针。

以下是该类比的工作原理：

映射差异：首先，研究人员观察文字巫师与视觉艺术家之间的差异。他们计算出一个“向量”（即方向箭头），该箭头精确地从“艺术家的思考方式”指向“巫师的思考方式”。这个箭头代表了推理先验。
训练旅程：他们让视觉艺术家开始学习，使用一小套图片数学问题（仅 4,000 个示例，与通常所需的数百万个相比微不足道）。
指南针引导：当艺术家学习时，计算机计算出更新艺术家大脑的常规方式。但在进行更新之前，它会查看指南针（即推理先验）。它会温和地将艺术家的学习方向推向巫师的思考方式。
- 它不会强迫艺术家变成巫师。
- 它只是说：“嘿，当你解决这个问题时，试着按照巫师使用的这个特定方向去思考。”

为何这很重要

速度：传统方法教导 AI 进行推理需要海量数据，并需超级计算机训练数天甚至数周。而 DRIFT 仅需约两小时。
效率：它不需要庞大的图片数学问题库。由于“指南针”（即预计算的方向）承担了大部分繁重工作，它只需要一小套高质量的示例。
安全性：与“粘合”方法不同，DRIFT 不会破坏艺术家的视觉能力。论文表明，该模型在提升数学能力的同时，并未忘记如何描述图像。

结果

通过使用这个“指南针”来引导训练，视觉艺术家学会了像文字巫师一样逻辑地串联信息。论文证明，这种方法比试图将模型粘合在一起更有效，并且比使用海量数据集从头训练要快得多、便宜得多。

简而言之：DRIFT 不是强行将两个不同的大脑融合成一个混乱的团块，而是利用从另一个大脑创建的地图，温和地将一个大脑引向正确的方向。

以下是论文《DRIFT：转移推理先验以实现高效多模态大语言模型微调》的详细技术总结。

1. 问题陈述

多模态大语言模型（MLLMs）在感知和对齐方面取得了显著进展，但在推理能力（例如数学和逻辑推理）方面始终落后于纯文本大语言模型（LLMs）。

当前瓶颈：弥合这一差距通常需要通过：
1. 大规模多模态监督微调（SFT）：收集高质量的图像思维链（CoT）数据既昂贵又耗时。
2. 强化学习（RL）：增加了计算开销和训练不稳定性。
模型合并的局限性：一种有前景的替代方案是参数空间模型合并（在纯文本推理专家和多模态模型之间插值权重）。然而，作者证明，简单的合并是脆弱的。它通常无法有效转移推理能力，并且会严重损害多模态感知和对齐能力，特别是当底层模型（例如 Qwen 系列）的参数分布存在差异时。

2. 方法论：DRIFT

作者提出了DRIFT（用于微调的定向推理注入），这是一种轻量级的、基于梯度的方法，能够在不破坏模型稳定性的情况下转移推理知识。

核心概念

DRIFT 不在参数空间中直接插值权重，而是在梯度空间中操作。它将纯文本推理专家与多模态模型之间的差异视为一种“推理方向”（先验），并利用该方向在标准 SFT 期间对优化轨迹进行偏置。

关键步骤

推理先验（ $\Delta$ ）的预计算：
- 计算纯文本推理模型（ $\phi_{reason}$ ）与目标多模态模型（ $\phi_{VL}$ ）之间的参数差异：
  $\Delta = \phi_{reason} - \phi_{VL}$
- 该差异仅限于与推理相关的模块（MLP 投影、注意力投影和归一化层）。
- $\Delta$ 仅计算一次并存储在 CPU 上。
SFT 期间的梯度注入：
- 在少量多模态数据上对 MLLM 进行监督微调期间，标准梯度（ $g$ ）会被修改。
- 引导梯度（ $\tilde{g}$ ）计算如下：
  $\tilde{g} = g + \alpha \cdot \text{scale}(g, \Delta)$
- 缩放策略：论文探讨了三种变体：
  - 绝对值（Absolute）：直接添加 $\Delta$ 。
  - 梯度范数（Grad-Norm）：在保持 $g$ 幅度的同时，使更新方向与 $\Delta$ 对齐。
  - 带自适应 $\alpha$ 的梯度范数（Grad-Norm w/ Adaptive $\alpha$ ）：根据当前梯度与先验（ $\Delta$ ）之间的余弦相似度，动态调整注入强度。
效率：
- DRIFT 不引入任何额外的可训练参数。
- 它仅修改反向传播（梯度计算），前向传播保持不变。
- 与标准 SFT 或 RL 所需的大规模数据集相比，它仅需一个小型的精选数据集（4K 个样本）。

3. 主要贡献

合并的实证分析：作者严谨地表明，参数空间合并并非“免费午餐”。它对模型家族高度敏感；虽然对某些模型（如 LLaMA/Mistral）有效，但由于参数未对齐，它往往会降低其他模型（如 Qwen）的性能。
DRIFT 框架：提出了一种新颖的轻量级方法，通过梯度引导而非权重插值注入推理先验，在增强推理能力的同时保持多模态对齐。
效率与性能：证明了 DRIFT 实现了与训练密集型方法（SFT + RL）相当的推理能力，但所需的数据和计算时间减少了数个数量级（约 2 小时对比超过 1 天）。

4. 实验结果

该方法在包括 MathVista、MathVision、MathVerse、WeMath 和 LogicVista 在内的基准测试中进行了评估。

与参数合并相比：DRIFT consistently 优于简单的合并以及先进的合并技术（Task Arithmetic、TIES、DARE）。虽然合并通常会降低分数（例如 Qwen2.5-VL 在 MathVista 上降低了 2.1 分），但 DRIFT 提高了分数（+2.0）。
与标准 SFT 相比：DRIFT 在相同的小规模数据集上优于标准 SFT，证明推理先验提供了有价值的互补信号。
与训练密集型方法相比：DRIFT 达到或超越了 R1-OneVision 和 X-Reasoner 等重型方法（这些方法需要数天的训练和大规模 CoT 数据集），同时仅需约 2 小时和4K个高质量样本即可完成。
泛化性：
- 感知：与有时会损害通用感知能力（例如在 RealWorldQA 上）的标准 SFT 不同，DRIFT 保持或略微提升了多模态感知能力。
- 鲁棒性：与标准 SFT 相比，DRIFT 对噪声数据表现出更好的鲁棒性。
- 通用性：该方法适用于不同的骨干/专家配对（例如 LLaVA + DART，Qwen + DeepSeek-R1）。

5. 意义

推理能力的民主化：DRIFT 降低了构建具备推理能力的 MLLM 的门槛。它消除了对昂贵的大规模多模态 CoT 数据收集和多天 RL 训练的需求。
稳定性：它解决了与简单模型合并相关的不稳定性问题，提供了一种将 MLLM 的“视觉”与纯文本专家的“推理”稳健结合的方法。
实用性：该方法可无缝集成到现有的 SFT 流程中（例如通过 LLaMA-Factory），开销可忽略不计，使其在研究和工业部署中都具有高度的可扩展性。

总之，DRIFT 证明了梯度空间先验是比参数空间合并更优越的推理能力转移机制，为弥合多模态模型中的推理差距提供了一条高效、稳定且有效的路径。