Dynamic Model Merging Made Slim
本文介绍了 DiDi-Merging，这是一个紧凑的动态模型合并框架，它利用可微分秩分配和无数据细化，在视觉、语言和多模态任务中实现优于现有方法的精度与效率权衡，且参数量显著更少。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象你有一位技艺超群的大厨。你要求他学习十种不同的菜系：意大利菜、日本菜、墨西哥菜、印度菜等等。为此，你为每种菜系分别训练了一个专属的“专家”版大厨。现在，你有了十位不同的大厨，每位都拥有自己独特的笔记和技法。
问题所在：
如果你想经营一家提供全部十种菜系的餐厅，你无法直接雇佣十位独立的大厨；这既太昂贵，又占用太多空间。
- 旧方法（静态合并）： 你试图将十位大厨的笔记合并成一本巨著。但这些笔记常常相互矛盾（例如，“加盐”与“不加盐”），最终这本巨著成了一团混乱，导致大厨忘记了如何出色地烹制特定菜肴。
- 当前的“动态”方法： 你保留大厨的基础知识，并为每种菜系添加一张小型的“速查表”。当顾客点意大利菜时，你就递给他们意大利菜的速查表。这种方法效果不错，但如果你有 50 种菜系，就需要 50 张速查表。如果大厨的基础知识非常庞大，且你为每一种菜系都单独保留一份，那么你的“厨房”（存储空间）就会变得臃肿且昂贵。
新解决方案：DiDi-Merging
本文作者顾东杜（Guodong Du）和林婉玉（Wanyu Lin）提出了一种更聪明的组织这些大厨的方法，称为DiDi-Merging。你可以将其想象为一个“精简动态厨房”。
以下是其工作原理，使用简单的类比说明：
1. “共享知识”与“专家技巧”
DiDi-Merging 既不像传统方法那样为每个任务单独保留整个大厨的“大脑”（那样太沉重），也不像另一种方法那样丢弃大厨只保留微小的笔记（那样会损失质量），而是找到了一个平衡点。
- 它创建一个小型的、共享的“核心”手册，其中包含所有菜系共通的技能（例如切菜或烧水）。
- 随后，它为每种菜系的独特部分创建微小的、特定的“口袋指南”（例如印度咖喱特有的香料混合配方）。
2. “智能调光开关”（可微分秩分配）
这是本文的秘诀所在。通常，当你压缩信息时，你只是简单地切掉前 10% 或 20% 的数据，就像切掉蛋糕的顶部一样。这是一种“一刀切”的方法。
DiDi-Merging 使用一个智能调光开关。它会审视每一条信息，并询问：“这条信息对这项特定任务有多重要？”
- 如果某条知识对所有任务都有用，调光开关就会在共享核心中将其保持明亮。
- 如果某条知识仅对一项任务有用，调光开关就会在核心中将其调暗，并将其移至专家口袋指南中。
- 关键在于，该系统能够自动学习究竟应为每个部分分配多少“亮度”（或秩），而无需再次查看原始训练数据。这就像一个智能恒温器，能够自动学习每个房间需要多少热量以保持舒适，而无需浪费能源。
3. “抛光”（无数据微调）
当你压缩信息时，通常会损失一点风味。为了解决这个问题，DiDi-Merging 会进行最后的“抛光”。
- 它利用已有的原始“笔记”（任务向量），对压缩后的精简版本进行微调。
- 这一过程无需原始食材（原始训练数据）。这就像一位厨师在品尝浓缩酱汁时，即使手中已没有那锅原始的汤，也能通过加一撮盐来恢复风味。
为什么这很重要？
本文声称，DiDi-Merging 是目前最高效的方法：
- 极小占用： 它仅占用相当于单一大厨笔记1.24 倍的空间。而以往的方法需要2 倍或更多的空间。
- 高质量： 尽管体积如此小巧，它仍保留了98% 或更多的原始烹饪技能。它不会丢失风味。
- 通用性强： 它适用于视觉（图像识别）、语言（聊天）甚至混合任务（如描述视频）。
总结：
DiDi-Merging 就像构建一个模块化厨房，其中包含一个小型、高质量的基础站，以及针对每项具体工作的微小定制附件。它利用一个智能的学习系统来决定每个部分的确切大小，确保以最小的存储空间获得最佳性能，且完全无需回溯原始训练数据。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。