💻 computer science

Black-Box Optimization of Mixed Binary-Continuous Variables: Challenges and Opportunities in Evolutionary Model Merging

本文综述了进化模型合并技术，并将数据流空间合并形式化表征为一种具有混合二元 - 连续变量的挑战性黑盒优化问题，证明相较于非结构化方法，一种尊重条件依赖性的结构化方法能显著提升准确性并缩小搜索空间。

原作者： Md. Robiul Islam Niloy

发布于 2026-05-13

📖 1 分钟阅读☕ 轻松阅读

原作者： Md. Robiul Islam Niloy

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一间满是专家厨师的厨房。一位是意大利面大师，一位是制作寿司的奇才，还有一位是烘焙面包的高手。与其雇佣一位新厨师并花费数年训练其掌握所有技能（这既极其昂贵又缓慢），你决定将这三位厨师融合成一位能烹饪这三种菜系的“超级厨师”。

本文探讨如何利用智能的自动化试错过程来构建这位“超级厨师”，并指出了当前方法所忽视的一个特定问题。

以下是通俗易懂的分解说明：

1. 目标：融合模型而非训练新模型

从头开始训练一个巨型人工智能模型，就像从地基开始建造摩天大楼——这需要巨大的资金、时间和精力。
模型融合则像是将三座现有的、已建成的建筑合并成一座超级建筑。它更便宜、更快捷。本文聚焦于利用进化算法（模仿自然选择的计算机程序）来找出融合这些模型的最佳方式。

2. 两种融合方式

本文指出，尝试混合这些模型主要涉及两个“空间”：

“权重”空间（参数空间）： 想象你有三个颜料桶（即模型）。你只需将它们倒入一个大桶中，按不同比例（例如 50% 意大利风味，50% 寿司风味）搅拌混合。这是研究人员已经非常理解的“简单”部分。
“流”空间（数据流空间）： 这是棘手之处。想象厨师们不仅仅是混合食材；他们必须决定哪位厨师负责食谱的哪一步。
- 问题： 应该由意大利厨师切洋葱吗？寿司厨师来烤鱼吗？还是由面包师处理酱汁？
- 这涉及同时做出两类决策：
  1. 二元决策（是/否）： “我们是否在这一步使用寿司厨师？”（开或关）。
  2. 连续决策（多少？）： “如果我们使用寿司厨师，应用多少他的风格？”（0 到 1 之间的一个数值）。

3. 大问题：“条件”陷阱

本文认为，当前试图解决此问题的计算机程序犯了一个错误。它们将“是/否”决策和“多少”决策视为完全独立、互不相关的事物。

类比：
想象你正在调试收音机。

二元变量： 你决定收听哪个频道（爵士乐、摇滚乐或古典乐）。
连续变量： 你调节音量旋钮。

如果你正在收听爵士乐，音量旋钮控制的是爵士乐的音量。但如果你切换到摇滚乐频道，那个“爵士乐音量旋钮”就毫无用处了。它根本不会影响声音。

本文声称，当前的人工智能工具（如 CMA-ES）试图同时调节每个频道的所有音量旋钮，即使某些频道当前并未开启。这是时间和精力的浪费。这就像试图调节一个甚至没有广播的电台的音量。

4. 解决方案：“结构化”搜索

作者提出了一种更聪明的搜索方式：

首先，选择频道（二元）： 决定开启人工智能模型的哪些层。
其次，调节音量（连续）： 仅调节你刚才选定的那些频道的旋钮。

结果：
作者用两个小型人工智能模型（就像小厨师）测试了这种方法。

“非结构化”方式（同时调节所有旋钮）变得困惑，其表现甚至不如单独使用一个模型。
“结构化”方式（先选频道，再调音量）达到了最佳单一模型的性能水平。
效率： 结构化方法将其需要尝试的“旋钮”数量减少了51%。通过忽略无用的旋钮，它节省了一半的工作量。

5. 为什么这很重要

本文得出结论，这不仅仅关乎人工智能模型。它关乎一个根本性的数学问题：如何优化一个系统，其中某些选择会开启或关闭其他选择？

通过认识到“是/否”的选择会改变哪些“多少”的选择实际上起作用，我们可以停止将计算能力浪费在无用的计算上。作者希望这能将人工智能社区与数学社区联系起来，以便他们能构建更好的工具来解决这种特定类型的谜题。

简而言之： 本文指出，“不要试图同时调节所有电台的音量。先选定电台，然后再调大音量。这样更快、更聪明，且效果更好。”

技术摘要：进化模型合并中混合二元 - 连续变量的黑盒优化

问题定义
本文探讨了进化模型合并（Evolutionary Model Merging）固有的优化挑战，特别是数据流空间（Data Flow Space, DFS）内的挑战。虽然模型合并为从头训练大语言模型（LLMs）提供了一种具有成本效益的替代方案，但利用进化算法自动搜索最佳合并配置的方法仍鲜为人知。作者指出，DFS 合并涉及一个复杂的搜索空间，包含：

混合二元 - 连续变量：该问题需要同时优化离散决策（包含哪些层，由二元向量 $z$ 表示）和连续参数（所选层的缩放权重，由向量 $x$ 表示）。
高维性：现代大语言模型涉及多个模型中的数百层，从而形成了具有数千维的搜索空间。
条件依赖（I 型交互）：一个关键的结构挑战，即连续变量的有效维度完全取决于二元配置。如果某层未被选中（ $z_{i,j}=0$ ），其对应的缩放权重（ $x_{i,j}$ ）对目标函数而言就变得无关紧要。

本文认为，标准的黑盒优化方法（如CMA-ES）并不适合解决此问题，因为它们主要设计用于处理连续变量，未能考虑这些混合变量交互和条件依赖。

方法论与公式化
作者将 DFS 合并问题正式表征为具有混合二元 - 连续变量的黑盒优化问题。其目标是最小化代表合并模型在目标任务上性能的目标函数 $f(x, z)$ ，约束条件为：

$z \in \{0, 1\}^m$ （二元层选择）
$x \in \mathbb{R}^n$ （连续缩放权重）

该公式明确强调了I 型交互（如 Akimoto 等人 [11] 所定义），其中活动的连续维度取决于二元向量。本文对比了两种方法：

非结构化 DFS：将问题视为通用黑盒搜索，无论选择状态如何，均优化所有参数组，从而在无关维度上浪费评估次数。
结构化 DFS：通过首先选择活动层（优化 $z$ ），然后仅针对这些选定的层优化缩放权重（优化 $x|z$ ），来尊重条件依赖关系。

主要贡献

结构化综述：本文将现有的进化模型合并技术归类为三个不同的组：参数空间（PS）合并、数据流空间（DFS）合并和混合方法。
形式化表征：它首次将 DFS 合并问题正式定义为混合二元 - 连续黑盒优化问题，明确指出了阻碍标准求解器的条件依赖关系。
连接社区：这项工作将模型合并社区与更广泛的进化计算和黑盒优化文献联系起来，特别强调了CatCMA和ICatCMA等算法（解决类似的交互挑战）与模型合并背景的相关性。

实验结果
作者在 15 题基准测试上，使用两个预训练模型（google/flan-t5-small 和 declare-lab/flan-alpaca-large）进行了初步的实证验证。他们在 10 次迭代中比较了非结构化 DFS 方法与结构化 DFS 方法：

准确率：结构化 DFS方法达到了26.7%的准确率，与基线（仅模型 A）持平，而非结构化 DFS方法下降至20.0%。这代表比非结构化方法提高了6.7%。
搜索效率：结构化方法将有效搜索空间减少了 51.4%。非结构化方法在每次迭代中修改所有 192 个参数组，而结构化方法在每次迭代中动态聚焦于平均 93.3 层。
动态维度：实验证实，活动层的数量在迭代过程中动态变化（从 53 到 125），验证了有效连续维度会根据二元配置发生变化的假设。

意义与主张
本文声称，所识别的优化挑战——特别是具有条件依赖的混合二元 - 连续结构——并非模型合并所独有，而是出现在任何需要在黑盒设置下同时优化组合变量和连续变量的领域（例如神经架构搜索、药物发现）。

作者将其工作定位为以下方面的基础步骤：

解释为何当前的进化模型合并方法（通常忽略这些结构属性）可能是低效或次优的。
推动将先进的混合变量优化器（如带有热启动和超表示技术的 ICatCMA）应用于模型合并。
提出未来的研究方向，包括调整 CatCMA 用于层选择、开发混合变量 DFS 搜索的理论收敛保证，以及利用代理辅助搜索将这些方法扩展到更大的模型（例如 70 亿参数模型）。

作者对其当前发现保持谦逊，承认该研究是初步的，使用了小型模型（7600 万至 2.47 亿参数），并且依赖于随机采样而非完整的进化算法。他们将结果视为对理论公式的实证验证，以此激励更大规模的未来工作。