🤖 machine learning

Variational Learning for Insertion-based Generation

本文介绍了插入过程（Insertion Process, IP），这是一种变分学习框架，通过学习插入轨迹与排列之间的双射对应关系来学习数据驱动的插入顺序，从而实现变长非单调序列生成，进而提升在缺乏规范从左至右结构的领域中的建模质量与泛化能力。

原作者： Yangtian Zhang, Zhe Wang, Arthur Gretton, Rex Ying, David van Dijk, Michalis K. Titsias, Jiaxin Shi

发布于 2026-06-02

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Yangtian Zhang, Zhe Wang, Arthur Gretton, Rex Ying, David van Dijk, Michalis K. Titsias, Jiaxin Shi

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在尝试搭建一座复杂的乐高城堡。

旧方法（自回归模型）：
当今大多数 AI 模型就像一支严格的施工队，只能从左到右工作。他们铺好第一块砖，然后是第二块，接着是第三块，以此类推。如果他们在盖到一半时意识到墙中间需要一个塔楼，他们无法直接把一块砖塞进去。他们必须拆掉所有东西重新开始，或者笨拙地在现有的墙上加盖塔楼，这往往会导致结构摇晃、不稳定的局面。这对于简单的句子还行，但在处理那些“中间”取决于“结尾”的复杂结构时，这种方法会显得力不从心。

当前“灵活型”模型的缺陷：
科学家们尝试用“掩码扩散”（masked diffusion）模型来修复这个问题。想象一下这些模型是一支从预定数量的空位（固定网格）开始工作的施工队，并随机填充这些位置。

缺陷 1： 他们受限于固定的槽位数量。如果你想造一个小房子或一座摩天大楼，你必须提前猜好规模。
缺陷 2： 他们并不真正关心什么时候填充某个槽位。他们可能会在打好地基之前先盖好屋顶，或者在砌好墙壁之前先装好烟囱。虽然这种方式很灵活，但效率很低，因为 AI 必须学习如何适应每一种可能的建造顺序，这是一个极其庞大且令人困惑的任务。

新的解决方案：“插入过程”（Insertion Process, IP）
作者在这篇论文中引入了一种全新的建造方式，称为插入过程。想象一位大师级建筑师，他并不遵循固定的网格，也不遵循从左到右的规则。相反，他拥有这样的神奇能力：

观察半成品结构。
决定下一个部件精确的插入位置（例如：“我要把这扇窗户正好嵌在墙的正中间”）。
决定在该处放入什么部件。
决定何时停止（例如：“城堡盖好了，不再需要更多砖块了”）。

这种模型学习的是针对特定任务的最佳顺序，而不是被迫遵循一种僵化的顺序。

他们是如何实现的（“魔术技巧”）
难点在于如何通过数学手段教会 AI 学习这种“最佳顺序”。如果你试图通过让它随机猜测插入位置来教学，数学计算会变得混乱且不稳定。

作者发现了一个聪明的数学捷径。他们意识到，每一种可能的构建序列方式，实际上都只是对最终部件进行的一种不同的排序方式。

类比： 想象你有一副扑克牌。无论你是从顶部一张张发牌，还是洗乱后按某种奇怪的模式发牌，最终得到的牌手都是一样的。这种“插入过程”将“向不断增长的堆叠中插入”这一混乱的行为，转化为了一个清晰、有序的“排列”（permutation，即最终卡牌的一种特定排序）。
通过这种转化，他们可以使用标准的、高效的训练方法（变分推理）来教导 AI 针对所见数据采取哪种排序方式是最优的。

他们测试了什么
这篇论文在两个“从左到右”规则完全失效的挑战任务上测试了这个新颖的“建造者”：

规划路径（迷宫）：
- 任务： AI 需要生成一条穿过迷宫并访问特定检查点的路径。
- 结果： 旧的“从左到右”建造者会陷入困境，因为它们无法轻松地跳回路径中间去填补空隙。而新的插入过程可以四处跳跃，完美地填补检查点之间的间隙。它几乎解决了 100% 的高难度迷宫，而旧方法则表现糟糕。
设计分子（化学）：
- 任务： AI 需要生成有效的化学字符串（SMILES）。这些字符串就像是分子的地图。一个有效的地图需要括号能够匹配（比如环状结构的开启与闭合），以及数字来连接遥远的各个部分。
- 结果： 新模型学会了一种“聪明”的构建方式。它并没有随机添加原子，而是学会了先构建“骨架”（环和连接），然后再填充原子。
- 为什么重要： 这使得 AI 能够比那些仅仅在末尾追加部件的模型更好地创建有效、独特且新颖的分子。它在没有被明确告知规则的情况下，学会了化学的“语法”。

核心结论
这篇论文提出了一种新的生成序列（如文本、计划或化学公式）的方法，它不再强迫执行僵化的“从头到尾”的顺序。相反，它学习如何在需要的时候、在需要的位置插入部件。通过使用一种巧妙的数学技巧，将“插入”转化为“排序”，他们训练出了一个能够比以往方法更好地处理复杂、变长任务的模型。

技术摘要：基于插入生成的变分学习

1. 问题陈述

自回归序列模型通常按固定的从左到右顺序生成 Token。虽然这种因子化在许多任务中行之有效，但它并不适用于所有数据结构，并且可能与现实世界的生成问题（如生物序列设计、程序合成和结构化规划）不匹配，在这些问题中，输出部分可能依赖于未来的上下文。

现有的替代方案，例如掩码扩散模型（非单调生成），通过在固定长度的网格上更新被掩码的位置来提供灵活性。然而，这些方法存在两个主要局限性：

静态画布： 它们在预设的、固定长度的网格上运行，需要外部长度规范，使得变长生成变得间接。
顺序无关性： 它们的训练目标通常对更新调度进行边缘化处理或隐式假设了许多可能的更新顺序。这迫使模型去逼近因式分解数量级的生成顺序，即使其中只有一小部分与数据的底层结构相一致。

最近的研究分别解决了这些问题：基于插入的模型允许通过任意插入实现变长序列，而学习顺序的方法引入了对排列的分布。然而，将两者结合起来并非易事，因为在插入模型中，插入位置不是固定的坐标，而是随着部分序列的变化而演进，从而使生成顺序与中间状态紧密耦合。

2. 方法论：插入过程 (IP)

作者提出了插入过程 (Insertion Process, IP)，这是一个联合学习以下内容的概率框架：

在哪里插入： 对插入决策（槽位选择）的数据驱动偏好。
插入什么： 一个 Token 分布。
何时终止： 一个停止规则（基于策略或基于分类器）。

2.1 通过排列进行重参数化

一个核心理论贡献是形式化了插入轨迹与目标序列索引的排列之间存在双射对应关系。

挑战： 对插入轨迹进行直接的变分推理非常困难，因为相对槽位索引 ( $z_i$ ) 是依赖于轨迹的，这使得在相对动作的空间中定义稳定的顺序后验分布变得困难。
解决方案： 作者将每个产生序列 $y_L$ 的有效插入轨迹映射到唯一的排列 $\sigma \in S_L$ ，其中 $\sigma_i$ 是在第 $i$ 步填充的元素索引。
确定性映射： 第 $i$ 步的相对插入槽位变为排列前缀 ( $\sigma_{\le i}$ ) 的确定性函数。具体而言， $z_i = 1 + |\{j \in \sigma_{<i} : j < \sigma_i\}|$ 。
似然因子化： 这种变量代换将对依赖于轨迹的动作的边缘化转换为对排列的精确求和，从而实现了数据似然的精确重参数化：
$p(y_L) = \sum_{\sigma \in S_L} p(y_L, \sigma)$

2.2 变分推理与训练

为了训练该模型，作者最大化数据对数似然的证据下界 (ELBO)，将生成顺序（排列 $\sigma$ ）视为一个隐变量。

变分后验： 他们引入了一个参数化为 Plackett-Luce (PL) 模型 的摊销变分后验 $q_\theta(\sigma | y_L)$ 。
优化： 由于隐变量顺序是离散的，目标函数是不可微的。作者使用以下方法优化 ELBO：
- Gumbel-Top-k Trick： 从 PL 分布中高效采样排列。
- 带有留一法 (Leave-One-Out, LLOO) 的 REINFORCE： 用于估计梯度。
- 方差缩减： 通过利用排列-轨迹结构，可以对给定固定前缀时下一个索引 $\sigma_i$ 的内层期望进行闭式精确求解，从而降低蒙特卡洛估计器的方差。

2.3 网络架构

生成解码器： 基于 Transformer 的解码器处理部分序列（通过边界 Token 增强），以生成上下文嵌入。
- 位置头 (Location Head) 根据嵌入对候选插入槽位（包括终止动作）进行评分。
- 内容头 (Content Head) 在选定槽位的条件下预测 Token 分布。
推理编码器： 双向 Transformer 编码器处理完整的观测序列，输出每个全局索引的得分，这些得分用于参数化用于采样生成顺序的 Plackett-Luce 分布。

3. 核心贡献

变长插入的概率框架： 第一个使用到排列的双射映射来实现精确似然重参数化的变长序列插入学习框架。
排列边缘化似然： 一个理论推导，表明数据似然可以表示为对排列的求和，从而促进了以隐顺序变量进行变分推理。
高效训练算法： 一种使用 Plackett-Luce 模型、Gumbel-Top-k 采样和 RLOO 梯度的方差缩减训练方法，用以处理离散且不可微的隐顺序问题。
原生变长支持： 与固定画布的扩散模型不同，IP 原生支持变长生成，并学习数据驱动的插入顺序偏好。

4. 实验结果

作者在两个领域评估了 IP：目标条件规划和分子字符串生成。

4.1 目标条件规划

基准测试： 迷宫规划（Braided, Imperfect, Perfect）和星形图 (Star Graph) 规划。
基线模型： 固定顺序 ARM (FO-ARM)、任意顺序 ARM (AO-ARM)、掩码扩散模型 (MDM) 和学习顺序 ARM (LO-ARM)。
结果： IP 在所有迷宫家族和图基准测试中均达到了最先进的性能 (SOTA)。
- 在 完美迷宫 (Perfect Mazes)（高度受限）中，FO-ARMs 性能显著下降，而 IP 保持了接近完美的准确率（例如，在 Hard Perfect Mazes 上为 99.9%，而 FO-ARM 为 27.2%）。
- 与所有基线相比，IP 显著提高了序列和 Token 准确率，并降低了编辑距离，证明了学习特定实例的插入顺序对于具有长程约束的任务至关重要。

4.2 分子字符串 (SMILES) 生成

基准测试： GuacaMol 无条件和有条件生成。
结果：
- 有效性与新颖性： IP 实现了高有效性 (97.2–97.4%) 和最高的新颖性 (~95%)，显著优于随机顺序插入 (AO-IP)（后者有效性降至 88.2%)。这表明 IP 成功内化了化学语法规则。
- 分布度指标： 虽然 FO-ARMs 在分布相似性 (KL 散度, FCD) 上略微优于 IP，但 IP 提供了更好的权衡，能够更有效地探索化学空间。
- 有条件生成： 在需要固定片段间插入的任务（如连接子设计）中，IP 保持了约 100% 的有效性，而固定顺序模型在此类约束下表现挣扎。
可解释性： 对学习到的插入调度进行的分析揭示了一种可解释且一致的生成顺序：(1) 构建分子骨架（环/括号），(2) 插入原子，(3) 终止。这一过程是在没有显式语法先验的情况下实现的。

5. 重要性与主张

本文声称，学习数据依赖的插入顺序能显著提高在缺乏规范从左到右结构的领域中的建模质量和泛化能力。通过将插入轨迹与排列联系起来的形式化，作者提供了一种可处理且无偏的变分方法，用于训练基于插入的模型。

作者将他们的工作定位为生成建模迈向领域中“自然”生成顺序模糊或非线性的重要一步。他们明确指出，未来的工作可以将此方法应用于蛋白质设计等其他领域。论文保持了谦逊的基调，指出虽然 IP 在复杂的结构化任务中提高了泛化性和有效性，但它在简单的分布匹配指标上并不一定优于固定顺序模型，这强调了灵活性与严格分布保真度之间的权衡。