How to Teach Large Multimodal Models New Skills

1. 研究背景与问题 (Problem)

核心问题： 如何在让大型多模态模型（LMMs，如 LLaVA, Qwen-VL）学习新技能（如计数、医疗问答、OCR 等）的同时，避免“灾难性遗忘”（Catastrophic Forgetting），即不损害其原有的通用能力？

现状与挑战：

• 重新训练 LMM 成本极高（数百万美元、数周时间、大量碳排放），因此通常采用微调（Fine-tuning）现有模型。
• 传统的逐任务微调（Sequential Fine-tuning）往往会导致模型在旧任务或通用基准测试上的性能大幅下降。
• 现有的持续学习（Continual Learning）方法（如经验回放、模型扩展、正则化等）通常复杂、需要存储旧数据或引入额外参数，且效果在生成式多模态模型中尚未得到充分验证。

关键发现（直觉）： 作者发现，在微调一个任务后看似“遗忘”的能力，在微调下一个不同任务后可能会部分恢复。这表明遗忘可能并非知识的永久丢失，而是输出分布的暂时性偏移。

---

2. 方法论 (Methodology)

2.1 实验设置

• 模型家族： 测试了三种主流 LMM：LLaVA-OneVision, LLaVA-NeXT (LLaMA-3 8B), Qwen2.5-VL (7B)。
• 任务序列： 设计了包含 5 个不同目标技能的顺序微调课程：
  1. 鸟类分类 (CUB200)
  2. 计数 (PixmoCount)
  3. 医疗视觉问答 (PathVQA)
  4. OCR 阅读 (TextVQA)
  5. 时间读取 (TimeClock)
• 评估基准： 在 8 个广泛使用的保留（Held-out）基准（如 AI2D, ChartQA, MMStar 等）上监控通用能力，以衡量遗忘程度。
• 指标：
  • 目标学习 (Target Learning)： 当前任务性能的提升。
  • 目标遗忘 (Target Forgetting)： 之前任务性能的下降。
  • 保留遗忘 (Held-out Forgetting)： 通用基准性能的下降。

2.2 核心假设与机制分析

作者基于 Transformer 的机制研究提出假设：

• 自注意力层 (Self-Attention)： 主要负责信息的路由和组合（Routing）。
• 前馈网络 (MLP)： 充当键值记忆 (Key-Value Memories)，负责将激活特征投影回残差流，直接影响下一个 token 的分布。
• 遗忘的本质： 遗忘往往不是记忆擦除，而是输出 token 分布的偏移 (Output Distribution Shift)。例如，在微调“计数”任务后，模型倾向于在描述性任务中输出数字 token，导致通用能力下降。

2.3 提出的解决方案：选择性微调 (Selective Tuning)

基于上述分析，作者提出了两种简单且鲁棒的微调策略，旨在限制输出分布的偏移：

1. 仅更新自注意力投影层 (SA Proj.)：
   • 更新所有 Transformer 块中的 $W_Q, W_K, W_V, W_O$。
   • 原理： 改变信息路由方式，但不直接修改 MLP 的“写入”机制，从而保持输出分布的稳定性。
2. 仅更新 MLP 的 Gate 和 Up 层 (MLP Gate&Up)：
   • 更新 $W_{gate}$ 和 $W_{up}$，但冻结 $W_{down}$（负责将特征写回残差流的层）。
   • 原理： 允许模型学习新的特征激活模式（记忆），但通过冻结 $W_{down}$ 来防止这些新特征过度扭曲最终的输出分布。

---

3. 关键贡献 (Key Contributions)

1. 揭示了遗忘的可恢复性： 首次系统性地证明，在 LMM 的顺序技能适应中，看似遗忘的性能在微调后续不同任务后可以部分恢复。
2. 提出了两种高效的微调配方：
   • SA Proj.： 在保持极高稳定性的同时获得显著的学习效果。
   • MLP (Gate&Up)： 在实现接近全量微调的学习效果的同时，将遗忘降至最低。
3. 机制性解释： 通过“计数偏差探针 (Counting-bias probe)"量化了输出分布偏移与遗忘之间的强相关性（Spearman $\rho = 0.84$）。证明了控制输出分布偏移是解决遗忘的关键。
4. 广泛的验证： 在 3 个模型家族、5 个目标技能、8 个通用基准上验证了方法的通用性。
5. 优于现有方法： 相比 LwF (Learning without Forgetting)、LoRA、MoE (Mixture-of-Experts) 和 WiSE-FT 等主流方法，提出的选择性微调策略更简单（无需回放数据、无需额外参数、无需每阶段调整），且在学习 - 稳定性权衡上表现更好或相当。

---

4. 实验结果 (Results)

4.1 性能对比 (以 LLaVA-OneVision 为例)

方法	目标学习 ($\Delta$)	目标遗忘 ($\Delta$)	保留遗忘 ($\Delta$)	综合评价
Full (全量微调)	+29.9	-25.9	-27.4	学习强，但遗忘严重
SA Proj.	+24.9	-2.3	-0.6	极佳平衡，几乎无遗忘
MLP (Gate&Up)	+30.5	-4.2	-2.1	最佳学习，遗忘极低
MLP (全量)	+31.1	-19.5	-15.7	学习最强，但遗忘较大
Vision Encoder	+9.6	-12.7	-10.8	学习收益低，干扰大

• SA Proj. 在保持通用能力（Held-out）几乎不变的情况下，获得了显著的目标任务提升。
• MLP (Gate&Up) 的学习效果甚至超过了全量微调，同时将遗忘控制在极低水平。
• 相比之下，全量微调（Full）虽然学习效果好，但导致通用能力大幅下降（-27.4%）。

4.2 跨模型泛化

在 LLaVA-NeXT 和 Qwen2.5-VL 上，观察到了相同的趋势：

• 更新语言模型（LLM）部分对于学习新技能至关重要。
• SA Proj. 和 MLP (Gate&Up) 在所有模型中均表现出最佳的鲁棒性。
• 在 Qwen2.5-VL 上，SA Proj. 甚至在保留基准上实现了轻微的正向迁移。

4.3 与基线方法对比

• LoRA / MoE： 未能达到 SA Proj. 或 MLP (Gate&Up) 的学习 - 稳定性平衡。LoRA 在目标任务性能上往往落后。
• LwF (知识蒸馏)： 能有效抑制遗忘，但可能牺牲部分目标任务的学习增益，且计算开销较大（需要教师模型前向传播）。
• WiSE-FT (权重插值)： 表现尚可，但需要仔细调整插值系数，且不如选择性微调简单高效。
• 效率： SA Proj. 方法在 4x H100 GPU 上的吞吐量最高（1.46 samples/sec），优于 LoRA (1.27) 和 MoE (0.44)。

4.4 分布偏移分析

• 计数偏差探针： 当微调 MLP 进行计数任务时，模型在通用描述任务中输出数字 token 的概率显著上升（分布偏移），这与通用性能下降高度相关。
• 恢复机制： 当随后微调一个非数字主导的任务（如 PathVQA）时，数字 token 的偏差降低，通用性能随之恢复。这证实了“遗忘”是分布偏移而非知识丢失。

---

5. 意义与结论 (Significance & Conclusion)

核心结论：
教 LMM 新技能而不遗忘的关键在于控制输出分布的偏移。通过选择性地更新模型组件（仅更新 SA Proj. 或仅更新 MLP 的 Gate&Up 层），可以在不引入复杂机制（如回放、额外参数）的情况下，实现强大的技能学习与极高的稳定性。

实际意义：

1. 低成本适应： 为工业界提供了一种简单、高效、低成本的 LMM 持续适应方案，无需昂贵的重新训练或庞大的数据回放库。
2. 理论洞察： 深化了对 Transformer 内部组件（Attention vs. MLP）在持续学习中角色的理解，指出 MLP 的 $W_{down}$ 层是输出分布偏移的主要驱动者。
3. 通用性： 该方法适用于多种架构和任务类型，具有广泛的适用性。

局限性：

• 评估尚未扩展到超大规模商业模型。
• 未测试在数十亿样本规模下的扩展性。

总结： 该论文通过简单的组件选择策略，解决了 LMM 持续学习中的核心痛点，证明了“少即是多”（Selective Tuning），为未来多模态模型的持续进化提供了新的范式。