🤖 machine learning

Generative Modeling of Discrete Latent Structures via Dynamic Policy Gradients

本文介绍了 GReinSS，这是一个利用动态重缩放奖励来从间接观测中准确推断组合机制潜在状态的策略学习框架，在合成基准测试和真实世界 RNA 异构体重建方面均优于现有方法。

原作者： Stefan Ivanovic, Ge Liu, Mohammed El-Kebir

发布于 2026-06-08

📖 1 分钟阅读☕ 轻松阅读

原作者： Stefan Ivanovic, Ge Liu, Mohammed El-Kebir

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

核心理念：在看不见线索的情况下破解谜团

想象你是一名正在试图破案的侦探。你看不见罪犯（潜在状态/Latent State），也看不见犯罪现场。相反，你只有一堆模糊且间接的线索留下的痕迹，比如一个泥脚印或一块撕碎的布料（间接观测/Indirect Observations）。

你的目标是仅凭这些线索，弄清楚罪犯长什么样以及他们做了什么。

在科学界，这种情况经常发生。科学家们拥有数据（例如细胞中的 RNA 片段），但需要弄清楚创造这些数据的隐藏生物结构（例如蛋白质的完整形状）。

问题所在：“选项太多”的陷阱

该论文指出，旧有的解谜方法有两个主要缺陷：

“猜想与检查”法（经典统计学）： 想象你在试图从一个城市规模的干草堆中寻找一根特定的针。传统的数学方法试图检查每一根干草。当可能性数量巨大（组合爆炸）时，这会耗费极长时间并导致计算机崩溃。
“伪造线索”法（标准 AI）： 现代 AI（如变分自编码器 VAEs）擅长发现模式，但它经常会发明自己的“虚假”隐藏状态。这就像一名侦探忽略了泥脚印，而是创造了一个看起来符合故事逻辑、但并非真实罪犯的“假嫌疑人”。AI 找到了数学上的拟合，但它并没有重建出真实的底层真相。

解决方案：GReinSS（拥有动态计分板的聪明侦探）

作者引入了 GReinSS（生成式强化学习结构化状态）。你可以把 GReinSS 想象成一名利用电子游戏策略来破案的侦探。

它是如何运作的，请看以下步骤：

1. 侦探在玩游戏（策略学习）

侦探（AI）不再是逐一检查每种可能性，而是学习如何“玩”生成嫌疑人的游戏。它通过逐步构建嫌疑人来完成任务（比如先戴上一顶帽子，再穿上一件外套，最后戴上一个面具）。这被称为策略（Policy）。

2. 动态计分板（核心秘诀）

在普通的电子游戏中，如果你击中了目标，你会获得分数。如果你击中了目标，你就会得到奖励。

旧方法： 如果一个嫌疑人完美地符合了线索，AI 就会一遍又一遍地生成同一个嫌疑人。它忽略了其他可能也部分成立的可能性。
GReinSS 的方法： 作者发明了一种动态奖励系统。想象一个在游戏进行过程中规则会不断变化的计分板。
- 如果 AI 生成了一个能完美解释所有线索的嫌疑人，它会获得巨大的奖励。
- 但诀窍在于：奖励是**经过重新缩放（Rescaled）*的。如果 AI 太擅长解释某一个特定线索，那么该线索对应的奖励就会下降，而解释其他*线索的奖励就会上升。

这迫使 AI 停止执着于某一个完美的猜测，转而学习一种平衡的分布。它学会了说：“好吧，60% 的时间罪犯戴了帽子，40% 的时间没戴，”而不是只选择一个僵化的答案。这使得它能够重建出创造数据的真实隐藏状态的多样性。

结果：奏效了吗？

论文在三种场景下测试了这位侦探：

地图之谜（图推理/Graph Inference）：
- 设定： AI 必须仅根据看不见的汽车进行的随机游走所记录的“起点和终点”列表，来猜出隐藏城市地图（一个图/Graph）的布局。
- 结果： GReinSS 重建地图的效果比旧方法好得多。当线索非常稀缺（只有 10 次随机游走）时，GReinSS 依然准确，而其他方法则完全失效。
盒子之谜（集合推理/Set Inference）：
- 设定： AI 必须猜出隐藏盒子（一个集合/Set）里有哪些物品，其依据是带有噪声的测量数据（比如一个读数略有偏差的秤）。
- 结果： GrinSS 是唯一能够处理包含数千个物品的大型盒子而不崩溃或失去准确性的方法。其他方法在盒子变大时会变得混乱。
现实世界测试：RNA 剪接（生命的“剪切与粘贴”）
- 设定： 这是最实际的测试。细胞通过剪切和粘贴 RNA 片段（称为外显子/Exons）来制造蛋白质。不同的剪切方式会产生不同版本的蛋白质（异构体/Isoforms）。
- 问题： 科学家拥有廉价、短小的 RNA 片段（短读长/Short-reads），但需要知道完整的、长链的蛋白质版本。目前标准的工具叫做 RSEM。
- 结果： 作者使用真实的人类组织数据将 GReinSS 与 RSEM 进行了对比。他们通过“长读长（Long-read）”测序（这种技术可以直接看到整个蛋白质，被视为“真相”）来验证答案。
- GReinSS 胜出了。 它预测正确蛋白质版本及其比例的准确度远高于标准的 RSEM 工具。例如，在一次测试中，RSEM 在 53% 的情况下猜错了蛋白质混合比例，而 GReinSS 的误差不到 1%。

总结

该论文声称，GReinSS 是一种解决科学谜团的新型强大方法，其中答案是一个复杂的、隐藏的结构（如地图、物品集合或蛋白质形状），而我们只有间接且带有噪声的线索。

通过使用动态奖励系统，强制 AI 在所有数据之间平衡其猜测，GReinSS 能够比传统统计学或标准 AI 模型更好地重建真实的隐藏现实。它将“猜测隐藏状态”的问题转化为了一个 AI 可以学习如何取胜的游戏，即使在可能性数量呈天文数字般巨大时也是如此。

技术摘要：通过动态策略梯度进行离散潜在结构的生成式建模

问题定义

本文解决了从间接观测值（ $X$ ）中推断未观测到的、具有机制性的潜在状态（ $S^*$ ）的挑战，这类问题存在于潜在空间具有组合爆炸特征的科学领域。与学习人工潜在表示的一般无监督学习（如聚类或主题模型）不同，这项工作专注于重建真实的机制状态，例如化学反应路径、交通网络或基因异构体。

核心问题被表述为一个学习任务（问题 2.1），即寻找生成分布 $Pr(S|\theta)$ 的模型参数 $\theta$ ，以最大化观测数据 $X_{1:N}$ 的似然度，其中 $Pr(X|\theta) = \sum_{S} Pr(X|S)Pr(S|\theta)$ 。次要推断任务（问题 2.2）涉及为每个观测值 $X_i$ 估计特定的潜在状态 $\hat{S}_i$ 。

经典的期望最大化（EM）算法在此类问题中表现不佳，因为 E 步需要在指数级规模的状态空间上计算期望，这通常是难以处理的。虽然强化学习（RL）天然适用于结构化状态的序列生成，但标准的策略梯度优化的是在平稳奖励函数下的期望回报，而非间接观测值的边缘似然。

方法论：GReinSS

作者引入了 GReinSS（生成式强化学习结构化状态），该框架通过改进策略梯度来优化间接观测值的边缘似然。

动态奖励重缩放

其核心创新在于一种动态重缩放的奖励函数。在标准 RL 中，策略梯度为 $\mathbb{E}_{\tau}[r(\tau) \nabla_\theta \log Pr(\tau|\theta)]$ 。GReinSS 将轨迹 $\tau$ （产生潜在状态 $S(\tau)$ ）的奖励 $r(\tau)$ 定义为：
$r(\tau) = \sum_{i=1}^{N} \frac{Pr(X_i | \tau)}{Pr(X_i | \theta)}$
其中 $Pr(X_i | \theta) = \mathbb{E}_{\tau}[Pr(X_i | \tau)]$ 。

定理 3.1 确立了这种特定的奖励函数使得策略梯度成为数据对数似然梯度 $\nabla_\theta \log Pr(X_{1:N} | \theta)$ 的无偏估计量。

机制： 分母 $Pr(X_i | \theta)$ 对每个观测值的贡献进行了重缩放。这防止了策略坍缩到单一的高奖励轨迹上（这种坍缩会最大化单个观测值的似然，但无法兼顾其他观测值），而是鼓励策略学习一个能够平衡所有观测值似然度的分布 $Pr(S|\theta)$ 。
训练循环： 该算法在采样轨迹、基于当前 $\theta$ 计算动态奖励以及通过梯度上升更新 $\theta$ 之间进行交替。

离策学习（Off-Policy Learning）

为了解决产生非零似然轨迹稀疏的问题，论文采用了离策采样。定理 3.3 确定了最优的方差最小化离策提议分布为 $q(\tau | X_{1:N}, \theta) = \frac{1}{N} \sum_{i=1}^N Pr(\tau | X_i, \theta)$ 。虽然精确从该分布进行采样通常是难以处理的，但作者利用启发式方法（例如根据观测特征偏置采样）结合重要性采样修正，以保持梯度的无偏估计。

小批量处理（Mini-batching）

该框架支持小批量处理（推论 3.2），即奖励在观测子集 $B \subset [N]$ 上进行计算，从而使该方法能够扩展到大规模数据集。

核心贡献

形式化： 论文将从间接观测中学习离散潜在状态分布的问题表述为一个策略优化问题，弥合了概率建模与强化学习之间的鸿沟。
理论联系： 它提供了一个理论证明（定理 3.1），证明带有动态缩放奖励的策略梯度等价于最大化间接观测的边缘似然，这一结果是标准 RL 或变分推断（VI）形式化无法实现的。
泛化性： 不同于以往类似技术（如癌症系统发育学或拷贝数变异）的应用，这项工作将该过程推广到了任意离散结构（图、集合、序列），并建立了与广义期望最大化（GEM）和 GFlowNets 在特定条件下的联系。

实验结果

作者在模拟和真实世界数据集上评估了 GReinSS，并将其与局部搜索、标准策略梯度、GFlowNets 以及使用变分自编码器（VAE）、自回归模型和离散扩散模型的 GEM 实现进行了对比。

1. 模拟过程图推断

任务： 从随机游走端点重建有向图。
结果： GReinSS 一致取得了最高的 F1 分数中位数。值得注意的是，在单次观测信息量较低（ $k=10$ 次随机游走）的情况下，GReinest 达到了 0.891 的 F1 分数，而所有基准模型（包括朴素策略梯度和 GFlowNets）得分均低于 0.55。朴素策略梯度基准经常坍缩为预测空图，凸显了动态奖励重缩放的必要性。

2. 模拟子集推断

任务： 从带噪声的元素测量值中重建子集。
结果： GReinSS 在不同噪声水平（ $\sigma$ $σ$ ）和全集大小（ $|U|$ $∣ U ∣$ ）下均优于所有基准模型。
- 对于小全集（ $|U|=10$ ），大多数方法表现良好。
- 对于大全集（ $|U|=1000$ ），基准模型（VAE、扩散模型、自回归模型）发生坍缩（F1 中位数 < 0.4），而 GReinSS 保持了 0.938 的 F1 中位数。
- 结果表明，GReinSS 能有效扩展到其他生成模型失效的大规模组合空间。

3. 现实应用：RNA 异构体重建

任务： 从短读长测序数据中推断 RNA 异构体结构和比例（GTEx 数据集），并使用长读长测序的地面真值进行验证。
对比： 与 RSEM（GTEx 项目中使用的标准基于 EM 的算法）进行比较。
结果： GReinSS 显著优于 RSEM。
- 对于基因 MBD2，RSEM 预测的主要异构体比例为 18%（相比 96% 的地面真值），且预测了错误的次要异构体，导致预测误差为 0.5374。GReinSS 对主要异构体的预测为 92%，误差仅为 0.0067。
- 在 14,390 个基因中，GReinSS 在 46.6% 的案例中比 RSEM 至少领先 $\ge 0.05$ 的幅度，而 RSEM 仅在 9.4% 的案例中优于 GReinSS。中位误差差异为 $-0.0405$，对 GReinSS 有利。

意义与主张

论文声称 GReinSS 是组合空间内生成式建模的一种“原则性且在实践中有效的方案”。其主要意义在于：

克服不可行性： 它为在指数级复杂度导致精确 EM 难以处理的潜在状态推断问题提供了解决方案。
优于标准 RL： 它证明了如果没有动态奖励重缩放，标准策略梯度在此背景下会失效，并且 GFlowNets（平衡轨迹概率）在奖励结构与观测似然不完全一致时也显得不足。
现实世界影响力： 在真实生物数据上优于广泛使用的标准方法（RSEM）并成功应用于 RNA 剪接，验证了该方法在实际应用中的效用。

作者指出，尽管该方法目前依赖于离策采样的启发式方法并假设已知 $Pr(X|S)$，但该框架为未来的扩展（包括 Q-learning、Actor-Critic 框架以及学习观测模型本身）奠定了基础。