🤖 AI

Diffusion Large Language Models for Black-Box Optimization

本文介绍了 dLLM，这是一种用于离线黑盒优化的新颖方法，它利用带有上下文去噪模块和掩码扩散树搜索的扩散大语言模型，通过迭代优化设计，在少样本场景下实现了最先进的性能。

原作者： Ye Yuan, Can, Chen, Zipeng Sun, Dinghuai Zhang, Christopher Pal, Xue Liu

发布于 2026-01-22

📖 1 分钟阅读☕ 轻松阅读

原作者： Ye Yuan, Can, Chen, Zipeng Sun, Dinghuai Zhang, Christopher Pal, Xue Liu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你是一位试图发明完美新配方的顶级大厨。然而，你面临一个巨大的难题：你手里只有一个记着 10 个旧配方及其评分的小笔记本。你没有可以实时测试新想法的厨房，因为测试成本太高或过于危险。你必须仅通过观察这个小笔记本，就找出最好的新配方。

这就是**离线黑盒优化（Offline Black-Box Optimization）**的挑战。所谓的“黑盒”，就是那个决定一个设计（比如一段 DNA 序列或一个机器人形状）好坏的未知规则。而“离线”的部分是指你无法进行实时的测试，只能利用过去的数据。

以下是这篇论文提出的新方法 dLLM 如何解决这一问题的，通过简单的类比来解释。

旧方法的缺陷

以往解决此类问题的方法使用的是自回归模型（Autoregressive Models）。把它们想象成一个作家，从左到右、一个词一个词地写故事。

缺陷： 如果你在写一个句子，句子的结尾往往会改变你应该如何书写开头。但一个从左向右写作的人在写开头时看不见结尾。他们会错过“全局观”层面的联系。在复杂的设计（如 DNA）中，每一部分都依赖于其他部分，因此严格地从左向右书写往往会导致混乱且平庸的结果。

新方案：“扩散”大厨

作者引入了扩散大语言模型（Diffusion Large Language Models, dLLMs）。与其一个词一个词地写作，不如想象一位大厨，他从一碗空白且被遮盖的食材（用 [M] 表示）开始，然后逐步揭开配方，并在过程中不断精炼。

这种方法有两个超能力：

双向视野： 大厨可以同时观察整碗食材。他们可以看到“结尾”如何影响“开头”，从而能够进行全局性的修正，而不只是局部修正。
迭代精炼： 他们不会瞬间猜出最终的菜肴。他们从一个粗略的草图开始，然后慢慢填补空白，每一步都变得越来越好。

它是如何运作的：两步舞曲

论文结合了两个聪明的技巧，让这位大厨变得更加出色：

1. 上下文内去噪（“智能提示”）

在大厨开始烹饪之前，你会给他们一张特殊的指令卡。这张卡片包含：

目标： “制作一段能最紧密粘附于特定蛋白质的 DNA 序列。”
笔记本： 你离线数据集中那 10 个示例。
命令： “请提议一个更好的新序列。”

模型阅读这张卡片，并利用其庞大的预训练知识（就像一位读过数百万本食谱的大厨一样），开始对被遮盖的食材进行“去噪”。它将空白的 [M] 转化为实际的字母（A, C, G, T），缓慢地揭示出一个候选设计。

2. 掩码扩散树搜索（“分支探索者”）

仅仅猜测一个配方是不够的。如果大厨陷入了一条错误的路径怎么办？作者添加了一个**树搜索（Tree Search）**机制。想象大厨不仅仅是在做一道菜，而是设置了一系列分支的可能性：

选择（Selection）： 大厨查看所有当前的局部配方，并挑选出最有希望的一个作为下一步的研究对象（使用一种平衡“尝试新事物”与“坚持已知有效做法”的评分机制）。
扩展（Expansion）： 他们拿着那个有希望的局部配方，生成几种不同的方式来填补接下来的几个空白。现在，你拥有的不再是一条路径，而是一棵由许多可能性组成的树。
评估（Evaluation）： 对于每一个新分支，他们使用一个“预测器”（高斯过程，类似于根据你的 10 个示例训练出的智能计算器）来猜测如果完成这个设计，最终的菜肴会有多好。
回溯（Backpropagation）： 如果一个分支看起来很美味，大厨会记住这条路径并进一步探索；如果一个分支味道不好，他们就会修剪掉它，不再浪费时间。

这个过程就像是蒙特卡洛树搜索（Monte Carlo Tree Search）（一种用于 AI 玩围棋的策略），只不过 AI 不是在下棋，而是在玩“填空游戏”，以寻找完美的设计。

实验结果

论文在四个不同的挑战上测试了这种方法：

蚂蚁形态学（Ant Morphology）： 设计一个爬行速度快的机器人蚂蚁。
D'Kitty 形态学（D'Kitty Morphology）： 设计一个爬行速度快的机器人猫。
TF Bind 8 & 10： 设计短 DNA 序列以粘附到特定的蛋白质。

在所有这些测试中，dLLM 方法的表现都优于现有的所有方法，包括那些使用梯度、生成模型或标准语言模型的方法。即使在只有 10 个示例可以学习的情况下，它在寻找绝对最佳设计（即“前 1%”）方面表现得尤为出色。

总结

把旧方法想象成一个只能从左向右书写且容易卡壳的作家。而新的 dLLM 方法则像是一位大师级大厨，他：

阅读你有限的笔记本和指令。
从一张空白画布开始。
在观察全局的同时，缓慢地揭示设计。
使用树搜索策略同时探索许多种“如果……会怎样”的情景，以确保不会错过完美的解决方案。

这使得他们即使在数据稀缺且游戏规则隐藏的情况下，也能找到最好的设计。

技术摘要：用于黑盒优化的扩散大语言模型

问题陈述

离线黑盒优化（Black-Box Optimization, BBO）旨在利用有限的离线设计-标签数据集，识别能够最大化未知目标函数 $f(\cdot)$ 的最优设计 ( $x^*$ )。这一场景广泛存在于 DNA 序列设计和机器人技术等领域，其中查询属性的成本很高，且标记数据非常稀缺（少样本机制）。

传统方法通常分为两类：

基于代理的方法： 训练一个代理模型（如高斯过程或深度神经网络）来逼近 $f(\cdot)$ ，并利用其梯度来引导优化。
生成式方法： 训练条件生成模型以直接产生高分设计。

然而，这些方法在数据受限的情况下往往面临分布外（out-of-distribution）泛化问题。此外，最近将自回归大语言模型（LLMs）应用于 BBO 的尝试（将任务构建为自然语言提示词）面临一个关键限制：它们采用从左到右的单向生成方式。这种单向方法难以捕捉设计任务中固有的双向依赖关系（例如，一个 DNA 单位的功能取决于其前缀和后缀）。

方法论：dLLM

作者提出了 dLLM，一个利用**扩散大语言模型（Diffusion Large Language Models）**进行离线 BBO 的框架。该方法结合了两个核心模块：上下文内去噪（In-Context Denoising）和掩码扩散树搜索（Masked Diffusion Tree Search）。

1. 上下文内去噪

该方法并非进行微调，而是利用预训练扩散 LLM 的上下文学习能力。

提示词构建： 扩散 LLM 的输入由包含以下内容的结构化自然语言提示词组成：
- 任务描述： 定义设计格式（如 DNA 字母表）、目标和约束条件。
- 离线数据集： 一组少样本的设计-标签对（例如，DNA 序列及其结合亲和力）。
- 指令： 一个生成改进候选方案的指令。
去噪过程： 模型从完全掩码的设计（ $x_{t=1}$ ）开始。它通过迭代预测掩码标记来生成完整的候选方案（ $\hat{x}_0$ ）。置信度最低的标记会被重新掩码，以形成下一步的局部掩码状态（ $x_s$ ），从而通过迭代去噪来精炼设计。

2. 掩码扩散树搜索 (MDTS)

为了引导生成过程向高绩效区域移动，并平衡探索与利用，去噪过程被转化为逐步的蒙特卡洛树搜索（MCTS）。

树结构： 每个节点代表一个部分掩码的设计（ $x_t$ ）。
选择： 算法使用**置信上限（UCT）**评分，从根节点（完全掩码）开始遍历树。这平衡了对高价值节点的利用和对较少访问分支的探索。UCT 评分结合了节点的价值估计以及模型执行去掩码步骤的可能性。
扩展： 通过应用扩散 LLM 生成多样化的补全方案来扩展选定节点，随后通过重新掩码来创建子节点。
评估： 子节点被展开为完全去噪的设计。它们的奖励使用基于在离线数据集上训练的高斯过程（GP）得出的**期望改进（Expected Improvement, EI）**进行估计。GP 提供了在少样本设置中至关重要的原则性不确定性估计。
反向传播： 奖励信号被传播回树的上层，以更新祖先节点的价值估计和访问计数，从而为未来的选择决策提供信息。

核心贡献

首次将扩散 LLM 应用于 BBO： 本文引入了第一个利用扩散 LLM 进行离线黑盒优化的框架，利用其双向建模和迭代精炼能力来处理复杂的设计依赖关系。
上下文内去噪模块： 一种新颖的条件机制，允许扩散 LLM 根据自然语言任务描述和少样本离线数据集来精炼掩码设计，而无需参数更新。
掩码扩散树搜索： 一种将扩散去噪视为序列决策过程的搜索算法，通过 MCTS 和基于 GP 的期望改进动态平衡探索与利用。

实验结果

作者在 Design-Bench 基准测试上评估了 dLLM，涵盖了连续型（Ant Morphology, D'Kitty Morphology）和离散型（TF Bind 8, TF Bind 10）任务，均处于少样本设置（10 个标记示例）下。

性能： dLLM 在所有四个任务中均取得了最先进的结果（SOTA），在 15 个基准模型中的平均排名和中位数排名均位列第一。它在连续和离散设计空间中均展示了持续的提升。
对比：
- 优于纯基于梯度的代理方法（如 Grad-mean, Grad-EI），表明生成模型结合搜索在探索方面更具优势。
- 超越了其他生成式基准，包括自回归 LLM (OPRO) 和其他扩散模型 (DDOM, GTG)。作者将其归功于扩散 LLM 的双向建模能力及其利用的广泛预训练知识。
- 优于强大的自回归基准 UniSO-T，表明双向上下文对于具有复杂依赖关系的任务至关重要。
消融实验：
- 去除树搜索（w/o MDTS）会导致性能大幅下降，凸显了引导式探索的必要性。
- 用仅在少样本数据上训练的普通扩散模型替换扩散 LLM 会导致性能显著退化，证实了预训练知识的重要性。
- 移除提示词中的显式任务描述会降低性能，验证了语义框架的作用。

重要性与主张

本文声称 dLLM 展示了扩散 LLM 作为通用优化器进行高效数据设计生成的潜力。通过解决自回归模型在捕获双向依赖方面的局限性，并将其与鲁棒的搜索策略相结合，该方法为标记数据稀缺的科学和工程领域提供了一种通用的替代方案。作者认为，这项工作为利用预训练基础模型进行离线黑盒优化开辟了新的方向。

旧方法的缺陷

新方案：“扩散”大厨

它是如何运作的：两步舞曲

1. 上下文内去噪（“智能提示”）

2. 掩码扩散树搜索（“分支探索者”）

实验结果

总结

技术摘要：用于黑盒优化的扩散大语言模型

问题陈述

方法论：dLLM

1. 上下文内去噪

2. 掩码扩散树搜索 (MDTS)

核心贡献

实验结果

重要性与主张

类似论文