🤖 AI

Beyond Routing Saturation: A Long-Horizon Class-Incremental Perspective on Expert Routing in Multimodal Continual Instruction Tuning

本文介绍了 FLEX，这是一个具有挑战性的 34 任务基准测试，它通过消除文本指纹和扩展任务视野，揭示了当前多模态持续指令微调中专家路由的局限性，同时提出了一种原则性的类增量学习框架，显著提高了路由准确性和整体性能。

原作者： Huiyu Yi, Yongqi Xu, Bogang Zhang, Dunwei Tu, Xu Zhiming, Zhen-Hao Xie, Baile Xu, Furao Shen

发布于 2026-08-04

📖 1 分钟阅读☕ 轻松阅读

原作者： Huiyu Yi, Yongqi Xu, Bogang Zhang, Dunwei Tu, Xu Zhiming, Zhen-Hao Xie, Baile Xu, Furao Shen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个超级聪明的机器人依次学习许多不同的技能。首先，你教它识别猫和狗；接着，你教它解决数学问题；然后，你教它阅读医学 X 光片。这被称为持续学习（Continual Learning）。棘手之处在于，随着机器人学习新技能，它往往会忘记旧的技能，或者在当你向它提问时，它会对该使用哪种技能感到困惑。

为了解决这个问题，科学家们给了机器人一个专门的“工具箱”，称为 LoRA 专家（LoRA experts）。把这些专家想象成大型厨房里不同的厨师：一位厨师擅长烘焙，另一位擅长烧烤，还有一位擅长做寿司。当你点餐时，你需要一个路由（Router）——也就是一位聪明的服务员——来查看你的订单，并将订单发送给正确的厨师。如果服务员把一份寿司订单发给了烧烤厨师，那这顿饭就会变成一场灾难。目前这个领域的大问题是：我们的服务员能否变得更聪明，能够精准地知道该挑选哪位厨师，尤其是当餐厅增加到拥有数十位厨师，且订单看起来非常相似的时候？

问题所在：服务员在依赖捷径（但这仅仅是因为菜单太简单了）

来自南京大学的一个研究小组决定调查这些“服务员”（路由）究竟表现如何。他们研究了用于训练这些机器人的标准测试，并发现了一些可疑之处：服务员拿到了满分，但他们是在利用捷径。

在现有的测试中，“菜单”（给机器人的指令）带有明显的线索。例如，一个数学题可能会总是以“计算总和……”这样的短语开头，而一张图片描述可能会总是以“描述图像……”开头。服务员不需要看图片或理解数学，它只需要阅读指令的前几个词，就能知道该选哪位厨师。研究人员称这些线索为**“文本指纹”（textual fingerprints）**。

因为现有的测试任务较少（比如只有 6 到 10 位厨师），且菜单非常直观，所以路由问题处于“饱和”状态。这就像是一个只有三张桌子的小餐厅里的服务员；他们可以记住桌号，而无需真正了解顾客的名字。研究人员意识到，如果我们想要构建一个能在很长时间内学习数百种技能的机器人，我们需要一个更难的测试，让菜单看起来都一样，从而迫使服务员真正理解内容。

解决方案：一个全新的、更难的餐厅（FLEX）

为了解决这个问题，该团队创建了一个名为 FLEX（指纹缩减的长程专家检验，Fingerprint-reduced Long-horizon Expert eXamination）的新基准测试。

把 FLEX 想象成一家规模宏大、混乱的餐厅，这里有 34 位不同的厨师（任务），而不是只有寥寥数位。在这家餐厅里，每位厨师都使用完全相同的菜单模板。无论你是点一道数学题、一项医学诊断，还是一段关于日落的描述，指令看起来都是完全一样的。想要知道该选哪位厨师，唯一的办法就是实际观察图片并理解上下文。

研究人员还移除了这些“捷径”线索。他们确保了化学问题的指令看起来不会与艺术史问题的指令有所不同。这迫使路由系统停止依赖捷径，开始进行真正的硬核工作——弄清楚任务到底是什么。

核心理念：服务员本质上就是一个分类器

这是论文引入的一个巧妙转折。研究人员意识到，服务员（路由）的工作实际上与一个经典的机器学习问题——**类增量学习（Class-Incremental Learning, CIL）**是相同的。

在 CIL 中，你教计算机识别新的类别（比如先是“猫”，然后是“狗”，接着是“鸟”），而不会忘记旧的类别。研究人员表明，挑选正确的 LoRA 专家与挑选正确的类别完全相同：

任务 1（数学）= 类别 1
任务 2（艺术）= 类别 2
任务 34（医学）= 类别 34

通过这种方式看待问题，他们可以借鉴已经在 CIL 领域发明出的强大“服务员训练”技术。他们提取了四种不同的方法（HC、HC-SOINN、RanPAC 和 DDAS），并将它们接入到现有机器人的路由系统中。

结果：更聪明的一位服务员

当他们在困难的 FLEX 餐厅上测试这些新的“插件式”服务员时，结果令人印象深刻：

更高的准确度： 新的路由比旧的路由在识别正确厨师方面的准确率高出了高达 16.3 个百分点。
更好的性能： 机器人的整体性能（称为 MacroScore）提升了高达 4.6 分。
缩小差距： 新的路由成功弥补了当前性能与“完美”性能（即机器人永远能选对厨师）之间 28% 到 50% 的差距。

然而，论文也发现并非所有的机器人都能同等程度地受益。一些现有的系统（如 HiDe-LLaVA）其设计初衷使得即使是完美的路由也无法显著提升最终的“菜肴”，因为问题实际上出在厨师如何烹饪，而不是服务员如何下单。但对于那些高度依赖路由的系统（如 DISCO 和 SAME），提升是非常巨大的。

为什么这很重要

这篇论文表明，要让机器人真正实现长期的持续学习，我们不能只给它带有明显线索的简单测试。我们需要构建这样的环境：在这种环境下，机器人必须真正理解任务，而不仅仅是阅读标签。通过将“我该找谁？”的问题转化为“这是什么类别？”的问题，我们可以利用现有的强大工具，让我们的 AI 变得更加可靠。

研究人员不仅提出了这一建议，他们还构建了新的测试（FLEX），证明了旧的测试过于简单，并展示了更换这些新的路由方法确实有效。他们并没有声称解决了所有问题——与完美的差距依然存在——但他们展示了一条清晰且有原则的路径，通往能够真正持续学习而不产生困惑的多模态 AI。

技术摘要：超越多模态持续指令微调中的路由饱和问题

问题陈述

多模态持续指令微调（MCIT）旨在使多模态大语言模型（MLLM）能够在学习新任务的同时保留先前的能力。近期的研究通常采用“路由—组合—推理”范式，即在推理时维护特定任务的低秩自适应（LoRA）专家，并通过路由器进行选择或加权。

作者识别了当前 MCIT 评估中一个关键且被忽视的局限性：专家路由饱和（Expert Routing Saturation）。在广泛使用的基准测试（如 CoIN、UCIT、TriGap）上，路由机制实现了近乎完美的准确率（通常匹配度 >96%），但这并非因为它们学习到了鲁棒的任务表示，而是由于两个混淆因素：

文本指纹（Textual Fingerprints）： 肤浅的指令模式（例如，独特的模板、特定的字段如“Reference OCR token”、或独特的选项布局）允许路由器仅凭文本即可识别数据集身份，从而绕过了对视觉理解或深度语义分析的需求。
短时程（Short Horizons）： 现有的基准测试通常仅包含 6–10 个任务。这限制了竞争 LoRA 专家的数量，使得任务识别问题对于简单的文本主导型路由器来说变得过于简单。

因此，专家路由在长时程、真实场景下的可扩展性仍未得到测试，且区分具有多样化视觉领域的语义相似任务的难度也被掩盖了。

方法论

1. FLEX：一个新的基准测试

为了揭示专家路由的真实难度，作者引入了 FLEX（指纹削减的长时程专家检验，Fingerprint-reduced Long-horizon Expert eXamination）。

规模： FLEX 包含 34 个任务，与之前的基准测试相比，显著扩大了专家池。
设计： 它将具有相似指令/答案格式但具有多样化视觉和知识领域的数据集进行分组（例如，5 个 ImageNet-200 分割、2 个描述生成、7 个多选题、20 个简答式 VQA）。
指纹削减： 该基准测试规范化了外部答案格式模板，并移除了作为“捷径”的独特界面线索。这迫使路由器依赖真正的多模态理解，而非肤浅的文本模式。
组合： 任务涵盖了分类、描述生成、多选题和简答式 VQA，确保了视觉和文本复杂性的混合。

2. 理论重构：软性“任务即类别”MCIL

作者提出了一个新的理论视角：渐进式 LoRA 路由可以被表述为软性“任务即类别”多模态类增量学习（MCIL）。

映射： 在渐进式 LoRA 池中，每个传入的任务 $t$ 对应一个唯一的 LoRA 专家 $t$ 。路由问题变成了在不断扩大的 $t$ 个类别中识别正确的类别（任务）。
软性 vs 硬性： 与通常输出硬性 argmax 预测的标准 MCIL 不同，MCIT 通常需要一个软性分布的分数，用于同时为多个 LoRA 专家加权。
- 硬性路由（Hard Routing）： 等同于标准增量分类（ $\alpha_{k} = \mathbb{I}[k = \arg\max]$ ）。
- 软性路由（Soft Routing）： 一种连续松弛，完整的得分分布作为混合权重（ $\alpha_{k} \propto \exp(\tau s_k)$ ）。
意义： 这种重构允许已有的类增量学习（CIL）方法被直接适配为 MCIT 框架中的“插件式”路由器，而无需重新训练 LoRA 专家或改变生成流水线。

3. PureLoRA 基准与路由器适配

为了隔离路由的影响，作者引入了 PureLoRA，这是一个受控基准，其特点是：

训练独立的特定任务 LoRA 专家。
使用冻结的多模态原型路由器（基于 CLIP）。
执行软性 LoRA 组合。
不包含共享专家、门控网络或重放缓冲区。

随后，作者将四种现有的 CIL/MCIL 方法适配为 PureLoRA 的路由器，包括 HiDe-LLaVA、DISCO 和 SAME：

HC（层次聚类）： 使用层次聚类原型和余弦相似度。
HC-SOINN： 通过自组织网络动态增长原型节点。
RanPAC： 使用随机投影和闭式岭回归分类器。
DDAS： 使用特定任务的自动编码器以及基于重构误差的路由分数。

关键结果

FLEX 上的路由饱和

在 FLEX 上的评估显示，路由远未达到饱和：

地面真值权重 (G)： 与现有基准测试相比，FLEX 显著降低了宏观地面真值 LoRA 权重（例如，从 UCIT 上的 ~99% 降至 FLEX 上的 ~53–80%，具体取决于方法）。
严格匹配 (R)： 严格的任务-LoRA 匹配率从近乎完美水平下降到 ~64–04%，表明存在真实的任务识别挑战。
文本捷径： 消融实验证实，在 FLEX 上恢复“强”文本指纹（独特的后缀）会立即恢复高匹配率，证明 FLEX 的难度源于这些捷径的移除。

性能提升

将 CIL 方法作为插件式路由器适配带来了持续的改进：

路由质量： 在对路由敏感的框架（DISCO、SAME、PureLoRA）上，所有 12 种 CIL 迁移都提高了宏观得分 (M) 和地面真值权重 (G)。
宏观得分增益：
- DISCO： 使用 DDAS 时提升高达 +4.61 点。
- SAME： 使用 RanPAC 时提升高达 +4.05 点。
- PureLoRA： 使用 RanPAC 时提升高达 +1.54 点。
Oracle 差距恢复： 最好的路由器恢复了基准路由器与“Oracle”（完美路由）上限之间 28.3% 至 50.2% 的性能差距。
HiDe-LLaVA 的不敏感性： 尽管路由质量有所提高，HiDe-LLaVA 的下游性能提升却很小。分析表明，这是由于其架构瓶颈：一个共享的“剩余（remain）”层，无论顶层路由决策如何，都会平均所有历史专家，从而限制了改进任务识别带来的影响。

校准与软性路由

论文证明了校准后的软性混合优于硬性 Top-1 选择。即使 Top-1 专家被正确识别，通过重用与相关任务兼容的 LoRA 实现的软性混合也会产生更高的性能（在 PureLoRA 中比硬性路由高出达 +2.01 点）。

意义与主张

该论文声称了三个主要贡献：

诊断饱和： 它揭示了当前的 MCIT 基准测试受文本指纹和短任务序列的影响，存在“路由饱和”现象，从而掩盖了专家路由真正的可扩展性挑战。
FLEX 基准： 它引入了 FLEX，这是一个具有弱化文本指纹的 34 任务基准，成功暴露了不断扩大的任务识别问题，并为路由可扩展性提供了严苛的测试平台。
理论桥梁： 它建立了专家路由与多模态类增量学习（MCIL）之间的直接联系。通过将路由表述为“软性任务即类别 MCIL”，作者证明了成熟的 CIL 分类器可以有效地作为插件式路由器进行迁移，在不修改底层 LoRA 专家的情况下，显著提高路由质量和下游任务性能。

作者总结道，未来的 MCIT 系统必须既解决长时程任务识别问题（通过借鉴自 CIL 的方法），又解决兼容性感知的专家组合问题（通过校准后的软性混合），以克服当前路由范式的局限性。