🤖 machine learning

Beyond Numerical Features: CNN-Driven Algorithm Selection via Contour Plots for Continuous Black-Box Optimization

本文提出了一种用于连续黑盒优化的新颖实例级算法选择方法，该方法利用卷积神经网络分析探测景观的等高线图可视化，结果表明这种基于图像的方法优于单一最佳求解器，且在不依赖手工设计描述符的情况下仍能与传统基于特征的方法保持竞争力。

原作者： Yiliang Yuan, Xiang Shi, Mustafa Misir

发布于 2026-05-21

📖 1 分钟阅读☕ 轻松阅读

原作者： Yiliang Yuan, Xiang Shi, Mustafa Misir

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你是一位主厨，正试图烤制完美的蛋糕。你拥有一个巨大的储藏室，里面装满了各种食谱（算法），但你不知道哪一种最适合你今天面前的特定食材。有些食谱用面粉和鸡蛋效果极佳，而另一些则更适合巧克力和坚果。

在计算机科学领域，这被称为连续黑盒优化。你面对一个“黑盒”（复杂问题），只能品尝结果（获得分数），却无法看到内部的“食谱”。目标是为当前面临的具体问题挑选最佳的“求解器”（食谱）。

旧方法：阅读数字列表

传统上，计算机试图通过采集问题的少量样本并将其转化为长长的数字列表（例如“它是起伏的”、“它是弯曲的”、“它是尖锐的”）来解决这一问题。这些被称为数值特征。这就像试图仅通过阅读平均高度、坡度和温度的列表来描述一片山脉。它提供了数据，却遗漏了全局图景。

新方法：查看地图

本文提出了一种更简单、更直观的方法。作者没有将问题转化为数字列表，而是将其转化为图像。

将问题想象成一片丘陵地貌。作者使用“探针”（一组测量值）绘制该地貌的等高线图，就像显示山峰和山谷的徒步地图一样。

输入：他们使用 300x300 点的网格生成这些地图。
大脑：他们将这些图像输入到CNN（卷积神经网络）中。你可以将 CNN 想象成一个超级聪明的机器人，它非常擅长观察图像并识别模式，就像你的大脑能在人群中认出面孔一样。

工作原理

设置：他们拥有一个包含 12 种不同“求解器”算法（12 种食谱）的集合。
视角：对于每一个新问题，他们会生成该地貌的几种不同“视角”（等高线图）。
- 对于二维问题：他们查看整张地图。
- 对于复杂的三维及以上问题：他们截取高维空间的“切片”以创建二维图像，就像切开面包以观察内部纹理一样。
预测：CNN 观察这些图像并预测：“如果我使用食谱 A，我将获得分数 X。如果我使用食谱 B，我将获得分数 Y。”
选择：系统选择预测能带来最佳分数的食谱。

发现

研究人员在标准的一组数学难题（称为 BBOB）上测试了这种方法。

击败“一刀切”方案：他们将这种视觉系统与“单一最佳求解器”（SBS）进行了比较——后者只是选择那个在平均情况下对所有问题都表现最好的单一食谱。他们的视觉系统彻底击败了 SBS，更频繁地为特定任务找到了正确的工具。
与专家竞争：他们还将该方法与旧的“数字列表”方法（ELA 和 Deep-ELA）进行了比较。他们的基于图像的方法表现同样出色，有时甚至更好，特别是在中等难度的问题上。
分辨率很重要：他们发现，观察更高分辨率的图像（300x300 像素）有助于机器人做出比模糊、低分辨率图像（64x64 像素）更好的选择，尽管这需要更多的计算能力来处理。

局限性（“细则”）

作者诚实地指出了该方法的局限性：

制作地图成本较高：生成这些高质量图像需要大量的初始“品尝”（计算）。他们承认，这非常适合离线规划（你有时间准备），但对于实时、瞬息万变的决策来说可能太慢了。
“切片”问题：对于非常复杂的高维问题，地图的单个二维切片可能会遗漏一些隐藏细节，这就是为什么它未能在绝对最困难的问题上获胜的原因。
特定于本次测试：他们在特定的一组问题和特定的 12 种求解器列表上测试了该方法。这证明了“图像有效”，但尚未在世界上的每一种可能的问题类型上进行测试。

核心结论

本文表明，你并不总是需要将复杂问题转化为枯燥的数字列表来解决它。有时，仅仅将问题以图像形式展示给计算机，就能让它“看见”地貌的结构，并为任务挑选完美的工具，其表现往往优于那些依赖大量数字的旧方法。

技术摘要：基于轮廓图的 CNN 驱动算法选择

问题陈述
连续黑盒优化（BBO）涉及最小化或最大化目标函数，其中梯度信息不可用，仅依赖函数评估。尽管无导数求解器（例如 CMA-ES 变体）表现良好，但“没有免费午餐”定理指出，没有任何单一算法能在所有问题实例上普遍优于其他算法。因此，自动化算法选择（AAS）旨在为特定问题实例从固定算法集中选择最合适的求解器。

现有的连续 BBO 中 AAS 方法主要依赖探索性景观分析（ELA），即通过探测评估构建数值特征向量（如曲率、可分离性），或依赖深度 ELA，即使用预训练 Transformer 学习到的嵌入。作者认为，这些数值描述符可能无法捕捉可视化景观中明显的空间结构。虽然基于 CNN 的 AAS 已在具有直接实例编码的离散领域中得到探索，但其在连续 BBO 中的应用（其中表示必须通过探测构建）尚未得到充分研究。

方法论
本文提出了一种基于表示的 AAS 方法，将探测到的景观视为图像而非数值向量。

实例表示（轮廓图）：
- 单目标（SOO）： 通过在固定的 $300 \times 300$ 网格上评估目标函数，将每个问题实例渲染为 2D 灰度轮廓图。对于维度 $d > 2$ ，通过随机选择两个坐标来跨越子空间，同时将其他坐标固定为零（利用 BBOB 的对称域），创建一个 2D 切片。
- 多目标（MOO）： 对于双目标问题（ $d=2, m=2$ ），采用子轮廓采样策略。在每个目标的域内采样五个轴对齐的矩形窗口，生成多个视图，以减少对单一全局渲染的依赖。
- 输入变体： 为了研究输入保真度，将图调整大小至分辨率 $r \in \{64, 128, 300\}$ 。
CNN 架构：
提出了两种模型变体，用于预测算法集中各算法的相对性能（SOO 的期望运行时间，MOO 的相对超体积）：
- 组合模型： 将五个实例特定视图（或窗口样本）沿通道维度堆叠，并直接输入到 CNN 编码器中。
- 分离模型： 每个视图由共享权重的编码器单独处理，生成的特征向量在传递给回归头之前进行拼接。
- SOO 架构： 一个三层 CNN 编码器。
- MOO 架构： 由于更高的表示需求，采用 ResNet-18 编码器。
选择机制：
模型预测算法集中每个算法的性能指标（例如相对 ERT）。选择预测值最佳（最小 ERT 或最大 HV）的求解器。

主要贡献

基于探测的图像表示： 作者引入了一种新颖的连续 BBO AAS 公式，使用探测景观的轮廓图渲染作为实例表示，消除了对手工 ELA 特征的需求。
实证评估： 该研究在标准 BBOB 2009 单目标基准和遵循深度 ELA 协议的双目标设置上提供了综合分析。它分析了视图聚合（组合式与分离式）和输入分辨率的影响。
性能基准测试： 该工作将基于轮廓的选择与既定的基于特征的基线（带有 MLP/RF 的 ELA 和深度 ELA 变体）进行了定位比较。

实验结果

单目标优化（SOO）：
- 在 BBOB 2009 基准（96 种配置）上，具有 $300 \times 300$ 输入分辨率的组合 CNN显著优于单一最佳求解器（SBS），将平均相对 ERT 从 30.37（SBS）降低至 5.60。
- CNN 方法与最强的基于特征的基线（ELA-MLP：5.72；深度 ELA Medium-kNN：6.04）具有竞争力。
- 性能通常随输入分辨率的提高（ $r=300$ ）而改善，尽管这增加了训练成本。
- 该方法在函数组 F1–F19 上显示出显著增益，而在最困难的组（F20–F24）上，与基于特征的方法相比，性能表现不一。
多目标优化（MOO）：
- 在深度 ELA 评估设置下，基于 CNN 的选择器与深度 ELA 基线具有竞争力。
- 分离 CNN取得了最佳平均相对 HV 分数（0.971–0.974），优于深度 ELA 变体（0.904）。
- 该方法在 ZDT 实例上特别有效（取得了近乎完美的分数），而在 DTLZ 和 MMF 上的结果虽然强劲，但略低于最佳深度 ELA 设置。

意义与主张
本文主张，简单的视觉模型可以利用探测景观的空间结构进行算法选择，而无需依赖手工 ELA 特征。结果表明，轮廓图可视化包含足够的信号来驱动连续 BBO 中的有效 AAS，为数值描述符提供了一种互补的表示。

局限性与范围
作者明确指出了若干局限性：

探测预算： 当前方法需要大量的探测预算（每种配置五个 $300 \times 300$ 图），使其适用于离线分析，但不适用于严格的低预算在线部署。
高维表示： 对于 $d > 2$ ，2D 切片表示是景观的部分视图，这可能导致在最困难函数组上性能较弱。
固定协议： 评估与特定算法集和协议（包括 MOO 的窗口采样）绑定，且 MOO 研究仅限于 $d=2, m=2$ 。

该工作被呈现为一种概念验证，证明了基于图像的表示的可行性，未来的方向指向成本敏感型探测、多视图设计以及混合视觉 - 数值特征。