🤖 machine learning

Diffeomorphic Optimization

本文介绍了微分同胚优化（diffeomorphic optimization），这是一种利用生成模型将复杂数据流形映射到更简单的基空间以进行梯度下降的方法，有效地实现了使轨迹保持在流形上的黎曼优化，并显著提升了在蛋白质设计任务（如二级结构靶向和结合亲和力优化）中的性能。

原作者： Ludwig Winkler, Andrew Leaver-Fay, Joseph Kleinhenz, Pan Kessel

发布于 2026-07-02

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Ludwig Winkler, Andrew Leaver-Fay, Joseph Kleinhenz, Pan Kessel

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图在一片广袤且雾气缭绕的山脉中寻找绝对的最低点。这座山脉代表了蛋白质（一种微小的生物机器）所有可能的形状。

“最低点”即是最稳定、最健康或最实用的形状。

问题在于，这座山脉极其复杂。它充满了陡峭的悬崖、隐藏的山谷和死胡同。如果你只是盲目地向下坡走（这正是标准计算机方法所做的），你可能会困在一个小凹陷里，误以为那是底部，而其实在下一个山脊之后还有一个更深的谷底。更糟糕的是，如果你迈出的步子没有与山脉表面完美对齐，你可能会直接掉下边缘，坠入那些在自然界中并不存在的“不可能”的形状。

这篇论文介绍了一种全新的地形导航方式，称为微分同胚优化（Diffeomorphic Optimization）。以下是它的工作原理，使用了简单的类比：

1. 地图与疆域

将复杂的蛋白质形状想象成一张揉皱的纸（“流形”）。因为它充满了褶皱和扭曲，所以很难在上面行走。

旧方法： 直接尝试在揉皱的纸上行走。你会不断被褶皱绊倒，或者从边缘跌落。
新方法： 作者使用了一张特殊的“魔法地图”（一种生成模型，如扩散模型），这张地图已经学会了如何将那张揉皱的纸展平为一张光滑、平整的方格纸（“基空间”）。

ता 2. 平滑滑动

在这张平坦的方格纸上，地形变得简单得多。山丘很缓和，山谷也清晰可见。

计算机不再尝试在揉皱的纸上行走，而是在光滑的方格纸上进行它的“行走”（梯度下降）。
因为方格纸是光滑的，计算机可以轻松地滑向最佳位置，而不会被微小的凸起卡住，也不会掉下边缘。
一旦在平坦的地图上找到了最佳位置，计算机就会使用“魔法地图”将这个位置重新转换回揉皱的纸上。由于这张地图是完美的、可逆的转换，结果会是一个有效的蛋白质形状，它恰好位于应有的位置，永远不会跌落出“现实的边缘”。

3. “李群”转动（旋转拼图）

蛋白质不仅仅是平面的；它们是三维物体，会扭转和旋转。蛋白质的一部分像门铰链一样旋转，而另一些部分则像抽屉一样滑动。

论文解释说，当你尝试在三维空间中旋转物体时，标准的数学方法会失效（就像尝试将两个角度相加，却得到一个毫无意义的结果）。
作者创建了一个特殊的“齿轮系统”（使用被称为“李群”和“SO(3)”的数学工具），确保每一次旋转和滑动都保持完美有效。这就像拥有一个只能按正确方式转动的齿轮，防止蛋白质扭曲成违反物理定律的结。

4. 他们实际做了什么（实验）

作者在三个特定的蛋白质任务上测试了这种“平滑滑动”方法：

改变形状（二级结构）： 他们将一个呈螺旋状（α-螺旋）的蛋白质转化为平整的折叠片层（β-折叠）。
- 结果： 相比于仅仅通过“微调”模型的旧方法（成功率为63%），他们的方法能更好地达到目标形状（成功率达91%）。
粘附作用（肽结合）： 他们尝试让一条较短的蛋白质链更好地粘附在较大的链上。
- 结果： 他们的法找到更佳粘附点的速度比之前的最优方法快了两倍。
释放张力（能量最小化）： 他们尝试让蛋白质尽可能地放松并处于低能量状态（就像解开一个结）。
- 结果： 他们将蛋白质的“能量”（张力）降低了数千个单位，表现远优于沿用了数十年的行业标准工具 Rosetta。

核心结论

这篇论文并不声称能立即治愈疾病或为人类设计新药。相反，它提供了一个更好的导航工具，供科学家使用。

目前，科学家们通常不得不生成数以千计的随机蛋白质设计，挑选出最好的，然后扔掉其余的。而这种新方法允许他们从一个设计开始，并直接将其“引导”向更好的版本，同时全程保持在“有效”生物学的路径上。这就像是从蒙眼投掷飞镖，转变为使用引导激光笔来精准击中靶心。

技术摘要：微分同胚优化 (Diffeomorphic Optimization)

问题陈述

机器学习数据，特别是在蛋白质设计等领域，通常存在于嵌入在高维环境空间中的低维流形之上。这些流形通常是隐式的且未知的。直接在环境空间中优化可微目标函数（例如蛋白质稳定性、结合亲和力）具有挑战性，因为其损失函数曲面是高维、崎岖且非凸的。标准梯度下降由于无法感知流形的几何结构，经常会产生脱离流形的分布外（out-of-distribution）解。现有的解决办法，如引导法（近似条件密度）、奖励微调（需要重新训练）或最优控制（注入可能将轨迹拉离流形的控制量），都存在局限性，包括计算不可行、计算成本高昂或无法严格维持流形约束。

方法论

本文提出了**微分同胚优化（Diffeomorphic Optimization）**框架，该框架利用扩散模型和流模型（flow-based generative models）的几何特性，在数据流形上进行严格的优化。

核心概念

扩散模型和流模型学习了一个从易处理的基础空间 $Z$ （通常是像高斯分布这样的简单单峰分布）到数据流形 $X$ 的微分同胚（光滑且可逆）映射 $g: Z \to X$ 。该方法不再直接在 $X$ 中优化损失函数 $L: X \to \mathbb{R}$ ，而是将问题重参数化到基础空间中：
$\tilde{L}(z) = L(g(z))$
在基础变量 $z$ 上执行梯度下降：
$z^{(i+1)} = z^{(i)} - \lambda \nabla_z L(g(z^{(i)}))$
最终优化的点 $x^{(n)} = g(z^{(n)})$ 在构造上保证位于数据流形上。

理论基础

利用微分几何，作者证明了在基础空间进行梯度下降等价于在数据流形上进行黎曼梯度下降（Riemannian gradient descent），误差项为 $O(\lambda^2)$ 。微分同胚映射隐式地学习了流形的几何结构，有效地将数据空间中复杂的、多峰的区域重参数化为基础空间中更平滑的区域。这使得模式切换（mode-switching）变得更加容易，并提供了比直接优化更平滑的优化景观。

蛋白质的技术实现

蛋白质结构通常使用矩阵李群表示，特别是用于骨架帧的 $SE(3) $和用于旋转的$ SO(3)$。为了实现通过这些李群上的 ODE 解算器进行反向传播，本文推导了两种方法：

重用的自动求导（Repurposed Autograd）： 一种通过封装标准矩阵导数来计算 $SO(3) $上黎曼梯度的方法。它利用关系式$ \nabla L(R) = 2 [\frac{dL}{dR}R^\top]_A $，其中$ [\cdot]_A$ 表示反对称分量。这使其能够与现有的自动求导引擎无缝集成。
伴随状态法（Adjoint State Method）： 矩阵李群上伴随状态法的推广。它将梯度计算表述为一个终值问题，求解反向时间 ODE 以获得伴随状态 $A_\tau$ 。虽然它是内存高效的（ $O(L)$ ），但与 autograd 方法相比，需要仔细处理离散化误差。

对于 $SE(3)$，梯度下降被解耦为旋转部分和平移部分，允许对平移进行标准欧几里得更新，对旋转进行李群指数映射更新。

主要贡献

微分同胚优化框架： 一种无需重新训练生成模型或使用辅助网络，即可在数据流形上优化任意可微代价函数的创新方法。
理论等价性： 证明了基础空间梯度下降等价于流形上的黎曼梯度下降，确保了轨迹始终保持在流形上。
李群反向传播： 推导了在 $SO(3) $和$ SE(3)$ 上通过 ODE 解算器的有效且兼容自动求导的方法，包括针对矩阵李群的广义伴随状态法。
实现： 提供了这些梯度计算的高效 PyTorch 实现。

实验结果

作者在多种蛋白质设计任务上评估了该方法，使用了最先进的生成模型（FrameFlow, DiffDock, AlphaFlow）：

二级结构靶向 (FrameFlow)： 微分同胚优化在目标拉氏图区域（ $\beta$ -折叠）内的残基比例达到了 91.3%，而经过调优的引导法仅为 63.3%。该方法成功实现了模式切换，并在优化骨架结构的同时保持在流形上。
多肽结合亲和力 (DiffDock)： 该方法在优化多肽结合亲和力方面优于 OC-Flow 框架（该框架使用最优控制），运行速度快了 2 倍。
Rosetta 能量弛豫 (AlphaFlow)： 在最小化 Rosetta 能量时，微分同้อม优化结合标准的 Rosetta Relax，在 PDB 测试集上比单纯的 Rosetta Relax 得到的能量显著降低（降低了数千个单位）。这种改进在增加基准方法的计算预算时依然保持一致。
蛋白质-配体对接： 在相同的计算预算下，该方法显著提高了 Vina 对接评分，优于独立同分布（iid）采样。

意义与主张

本文将微分同胚优化定位为一种针对性的替代方案，用以应对目前蛋白质设计中由于实验湿实验能力瓶颈而导致的“暴力采样并排序”的标准做法。与强化学习或奖励微调不同，该方法不需要重新训练。与引导法不同，它不依赖于近似难以处理的条件密度或依赖于超参数密集的调度方案。

作者声称，通过利用生成模型学习到的隐式几何结构，微分同胚优化提供了一种更高效、更鲁棒的方式来导航数据流形，从而为结构弛豫、二级结构修改和结合亲和力优化等任务提供更高质量的样本。该方法被呈现为一个即插即用的工具，适用于任何带有可微奖励的冻结、预训练好的流模型或扩散模型。