技术摘要：ParetoPilot

问题陈述

离线多目标优化（Offline Multi-Objective Optimization, Offline MOO）旨在仅利用静态的、预先收集的数据集来发现新的帕累托最优设计，从而避免昂贵的在线环境交互。这在药物发现、材料设计和硬件架构搜索等函数评估成本高昂或受到限制的领域中至关重要。

核心挑战在于如何同时实现收敛性（将解推向未观测到的真实帕累托前沿）与多样性（确保在整个目标权衡空间内的广泛覆盖）。目前最先进的方法主要依赖于外部代理模型（例如代理回归器或偏好分类器）来引导生成过程。这种依赖引入了三个显著的瓶颈：

1. 计算开销： 为每个目标训练单独的代理模型需要大量的超参数调优和资源。
2. 不可靠的外推： 外部代理模型往往会对分布外（OOD）的设计给出欺骗性的评分，导致流形塌陷并产生无效解。
3. 隐私与部署约束： 训练特定任务的代理模型需要持续访问原始离线数据集，这违反了仅通过权重部署模型的基座模型范式，并与严格的数据隐私法规相冲突。

方法论：ParetoPilot 与 IPG 引擎

作者提出了 ParetoPilot，这是一个**零代理（zero-surrogate）扩散框架，它消除了对外部辅助模型的需求。相反，它利用了预训练条件扩散模型中固有的条件先验。该框架通过在反向生成过程的无条件去噪步骤中，交织一种新颖的推断-扰动-引导（Infer-Perturb-Guide, IPG）**引擎来运行。

IPG 引擎在扩散过程中的特定间隔执行三个顺序操作：

1. 推断（Infer）：隐式流形锚定

该框架并不使用外部回归器，而是隐式地推断出噪声样本 $x_t$ 的瞬时目标方向 ($y^*_t$)。

• 机制： 它通过最小化一个对齐损失 ($L_{align}$) 来实现，该损失衡量条件噪声预测 ($\epsilon_\theta(x_t, y, t)$) 与无条件噪声预测 ($\epsilon_\theta(x_t, \emptyset, t)$) 之间的距离。
• 稳定性： 为了对抗大步长下噪声预测的高频随机性，该方法采用了全局、不重置的 Adam 优化器。通过在扩散步骤之间保持优化器的动量状态，它充当了天然的低通滤波器，平滑了推断出的锚点 $y^*_t$ 的优化轨迹。

2. 扰动（Perturb）：正交流体动力学

一旦建立了锚点 $y^*_t$，引擎就会合成一个扰动向量，以引导候选批次向帕累托前沿移动，同时保持多样性。这是通过一个数学上正交化的流体动力学系统实现的：

• 预热阶段： 扰动被限制在 $t \le T - T_{warmup}$ 的步骤中，以允许锚点稳定并防止早期流形塌陷。
• 收敛力（平行重力）： 一个统一的平行重力场 ($\vec{d}_{conv}$) 驱动所有解向最优区域移动，同时保留它们的相对横向距离，从而保留无条件分布的先验多样性。
• 多样性力（边缘感知排斥）： 为了确保极端权衡设计的覆盖，对靠近边界的解应用“边缘性”乘数 ($E_i$)，从而放大排斥力 ($\vec{F}_{rep}$)，将其向外推。
• 正交化： 为了防止排斥力与收敛力相互抵消，使用 Gram-Schmidt 正交化将排斥向量投影到重力场的正交补空间上。这严格地将探索（多样性）与开发（收敛性）解耦。
• 动态退火： 一个时间调度表融合了收敛力和多样性力，随着过程接近 $t=0$，实现从收敛驱动向多样性驱动（或反之）的过渡。

3. 引导（Guide）：CFG 外推

扰动后的目标条件 ($y^{target}_t$) 被直接输入到标准的**分类器自由引导（Classifier-Free Guidance, CFG）**公式中。

• 计算修改后的噪声预测 $\tilde{\epsilon}_t$ 为：
  $$\tilde{\epsilon}_t = \epsilon_\theta(x_t, \emptyset, t) + w_t \cdot (\epsilon_\theta(x_t, y^{target}_t, t) - \epsilon_\theta(x_t, \emptyset, t))$$
• 引导尺度 $w_t$ 与扰动调度同步进行线性插值。这使得模型能够在不脱离无条件分布定义的有效数据流形的情况下，引导生成向多样且帕累托最优的区域。

核心贡献

1. 零代理框架： ParetoPilot 是第一个通过直接利用预训练扩散模型中的内在条件信息来进行离线 MOO 的框架，消除了训练辅助代理模型的需求。
2. IPG 引擎： 一种通过推断隐式条件并应用正交化流体力的机制，动态改变生成轨迹。这显式地引导去噪过程以逼近真实的帕累托前沿，同时保护数据隐私。
3. 即插即用能力： 该方法可以作为一个模块部署在已学习的分布上，而无需访问原始训练数据，符合实际的下游部署场景。

实验结果

作者在四个领域的 51 个连续离线 MOO 任务上评估了 ParetoPilot，包括：合成函数、多目标神经架构搜索（MO-NAS）、科学设计（SciDesign）和现实世界工程（RE）。

• 性能： ParetoPilot 在所有任务中实现了 平均排名 6.81 和 10.46% 的超体积（Hypervolume, HV）提升，超越了 14 种最先进的基准方法（包括类似 IOM 和 PcGrad 的基于代理的前向方法，以及类似 ParetoFlow 和 PGD-MOO 的生成式逆向方法）。
• 鲁棒性： 与由于 OOD 评估错误而在复杂离散/结构化任务（MO-NAS, SciDesign）上出现严重性能下降（甚至出现负向 HV 提升）的基于代理的方法不同，ParetoPilot 保持了稳健的性能。无条件扩散步骤本质上将轨迹限制在有效的数据流形内，防止了合成无意义的分子或损坏的架构。
• 消融实验： 去除关键组件证实了它们存在的必要性：
  • 无平滑处理： 由于未过滤噪声导致的轨迹振荡，性能显著下降（排名 3.08）。
  • 无边缘性处理： 系统无法有效地发现极端的权衡设计。
  • 无正交化： 收敛力和多样性力相互抵消，降低了整体 HV 提升。

意义与主张

论文声称 ParetoPilot 通过解决数据隐私、计算效率和优化可靠性之间的紧张关系，代表了离线 MOO 的范式转变。

• 隐私保护： 通过移除外部代理，该方法严格保护了数据隐私，因为它不需要重新访问原始离线数据集进行代理训练。
• 可靠性： 它避免了基于代理的方法中常见的“欺骗性评估”，这些方法在向 OOD 区域外推时经常导致流形塌陷。
• 部署可行性： 该方法符合基座模型范式，允许仅通过分享权重来共享模型，同时仍能支持复杂的下游优化任务。

作者承认了局限性，指出生成的质量本质上取决于基座扩散模型捕捉初始数据分布的能力，且 IPG 引擎相比简单的代理前向评估会引入额外的推理延迟。然而，他们认为这种权衡是合理的，因为其消除了代理训练的开销并带来了稳健的结果。