🤖 machine learning

Measure-to-measure Regression with Transformers

本文对非线性测度到测度回归进行了形式化，并提出了两种基于可扩展变换器的方法——静态映射与动态速度场——以学习概率分布之间的变换，通过在合成、物理和生物数据集上预测群体演化，证明了其有效性。

原作者： Matthew Vandergrift, Martha White, Yury Polyanskiy, Philippe Rigollet, Lazar Atanackovic

发布于 2026-05-28

📖 1 分钟阅读☕ 轻松阅读

原作者： Matthew Vandergrift, Martha White, Yury Polyanskiy, Philippe Rigollet, Lazar Atanackovic

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人如何预测人群将如何移动。

旧方法（经典回归）：
通常，如果你想预测移动，你会一次观察一个人。你会说：“如果爱丽丝向左走，她最终会到达这里。如果鲍勃向右走，他最终会到达那里。”你把每个人都视为独立的旅行者。

新问题（测度到测度回归）：
但在许多现实世界的情况中——比如鱼群、蜂群或人体内的细胞群——人们并非独自移动。他们是作为一个集体移动的。如果整个人群发生偏移，那是因为他们彼此之间相互作用的结果。你不能只观察一个人；你必须观察整个人的“云”（即分布），并预测整个“云”将如何重塑自身。

这篇论文将这种方法称为测度到测度（M2M）回归。你不是在预测一个点会去哪里，而是在预测整个形状或点云如何变换成一个新的形状。

解决方案：作为“人群管理者”的“Transformer"

作者提出使用一种特定的人工智能——Transformer（许多现代聊天机器人背后的技术）——来解决这个问题。但他们以一种特殊的方式使用它。

将标准的 Transformer 想象成一位超级有条理的管理者，他查看物品清单，并根据其他物品决定如何处理每一个物品。

魔力所在： 在这篇论文中，Transformer 不仅仅查看清单；它将整个“人群”视为一个单一实体。它会问：“鉴于当前人群的形状，每个人应该如何移动，才能将这个形状转变为那个新形状？”

这篇论文介绍了两种主要方法：

1. “快照”方法（静态 Transformer）

想象你有一张人群处于起始位置的照片，和一张他们处于完成位置的照片。

工作原理： 人工智能查看起始照片，并立即计算出一张“魔法地图”，告诉每个人确切地需要跳跃到哪里，以便一步到位到达目的地。
类比： 这就像导演大喊：“所有人，现在立刻跳到你们的最终位置！”人群瞬间传送到了新的队形。
优缺点： 它很快，但一次性为每个人计算出完美的“跳跃”在数学上非常困难，而且可能会很混乱。

2. “流动”方法（动态 Transformer / M2M-TFM）

这是这篇论文的明星表现者。与其进行巨大的跳跃，不如想象人群像流体或河流一样移动。

工作原理： 人工智能不告诉人们跳去哪里。相反，它像风或水流一样运作。它计算出一个“速度场”——一股推动人群前进的微风。
- 在时间 0，微风很弱。
- 在时间 0.5，微风在特定方向上推得更用力。
- 在时间 1，人群已平滑地流入新形状。
类比： 想象将水从水壶倒入玻璃杯。你不需要告诉每一个水分子去哪里；你只需控制水流的流动，水自然会找到填充玻璃杯的路径。
为什么更好： 论文表明，这种“流动”方法更加灵活和准确。它学习的是移动规则，而不仅仅是死记硬背起点和终点。

他们在哪里进行了测试？

作者不仅谈论理论；他们在三个具体挑战上测试了他们的“人群管理者”：

变形的字母： 他们取形成了字母（如"A"或"B"）的点云，并对其进行破坏（将点散开）。人工智能必须学习如何将散开的点推回正确的字母形状。他们的“流动”方法在这方面表现最佳。
模拟物理： 他们模拟了粒子相互作用的复杂系统（例如“Kuramoto 模型”，就像一组同步摆动的钟摆）。人工智能必须预测群体将如何随时间演变。同样，“流动”方法胜出。
现实世界的生物学（结直肠癌）： 这是最重要的一项。他们使用了来自患者来源类器官（从患者肿瘤中培养出的微小 3D 细胞簇）的数据。
- 设置： 他们拥有显示患者细胞在治疗前和后外观的数据。
- 目标： 他们用 9 名患者的数据训练人工智能，并要求它预测一名它从未见过的第 10 名患者的治疗反应。
- 结果： 人工智能成功学会了这些特定癌细胞对药物反应的“规则”，并且能够比以前的方法更好地预测新患者的结果。

结论

这篇论文认为，当你处理像细胞、粒子或人群这样共同移动的群体时，你不应该将它们视为个体。你应该将它们视为一个单一的、不断变化的云。

通过使用Transformer作为“快照”地图或“流动”水流，他们创造了一种能够学习如何重塑这些云的工具。他们的“流动”方法（M2M-TFM）特别强大，因为它将移动整个人群的复杂问题分解为平滑的、循序渐进的旅程，使其更易于学习，并且即使在完全新的情况下也能更准确地预测。

技术摘要：基于 Transformer 的测度到测度回归

问题定义

本文探讨了测度到测度（Measure-to-Measure, M2M）回归问题，该问题旨在学习概率测度之间的映射，而非个体数据点之间的映射。在许多科学领域（如细胞和分子生物学）中，种群是作为集合而非独立实体演化的。因此，数据自然地被表示为点云或分布（测度） $\mu$ 和 $\nu$ 。目标是学习一个算子 $T^*: \mathcal{P}(\mathbb{R}^d) \to \mathcal{P}(\mathbb{R}^d)$ ，使得 $\nu = T^*(\mu)$ ，给定有限个观测到的输入 - 输出对 $\{(\mu_i, \nu_i)\}_{i=1}^n$ 。

与样本被独立转换的经典回归不同，M2M 回归将整个分布视为基本数据点。一个关键挑战是，学习到的算子必须能够泛化到未见过的测度，包括那些具有不同支撑集大小或平滑极限的测度，而不仅仅是插值训练期间看到的经验支撑集。现有方法通常依赖于有限的函数类（例如线性传输映射或核方法），这些方法在处理复杂非线性动力学时缺乏表达能力或可扩展性。

方法论

作者提出利用Transformer作为概率测度的算子，利用其固有的测度依赖和平均场结构。自注意力机制允许 Transformer 将一组令牌（粒子）作为集合进行处理，有效地使其输出以输入的经验分布为条件。

本文将非线性 M2M 算子形式化为推前映射（pushforward maps），形式为 $T(\mu) = (f_\mu)^\sharp \mu$ ，其中传输映射 $f_\mu$ 显式依赖于源测度 $\mu$ 。文章介绍了两种基于 Transformer 的不同范式：

1. 静态 M2M 回归（单步推前）

该方法将变换建模为由 Transformer 参数化的直接单步映射 $F_\mu: \mathbb{R}^d \to \mathbb{R}^d$ 。

机制：Transformer 接收定义输入测度 $\mu$ 的一组粒子，并输出代表目标测度 $\nu$ 的变换后粒子集。
训练：通过在输入和输出测度之间的耦合 $\gamma_i$ 上最小化分布损失 $D(F_\mu(x), y)$ 来训练模型。作者利用了多种损失函数，包括通过 Sinkhorn 算法计算的最大均值差异（MMD）、能量距离（ED）和 Wasserstein 距离（ $W_1, W_2$ ）。
局限性：在高维空间中优化分布距离在统计上和计算上都具有挑战性。

2. 动态 M2M 回归（Transformer 流匹配 - M2M-TFM）

为了克服直接分布优化的困难，作者引入了一种将变换建模为连续时间流的动态方法。

机制：变换不是由单个映射定义，而是由依赖于测度当前状态的时变速度场 $\chi_t[\mu(t)]$ 定义。测度的演化由连续性方程控制： $\partial_t \mu(t) + \nabla \cdot (\mu(t) \chi_t[\mu(t)]) = 0$ 。最终输出是通过从 $t=0$ 到 $t=1$ 积分该常微分方程（ODE）获得的。
架构：一个时变 Transformer 参数化速度场 $\chi_t$ 。该 Transformer 处理当前的粒子集和时间步 $t$ ，以预测每个粒子的速度向量。
训练（M2M-TFM）：该方法采用条件流匹配（Conditional Flow Matching, CFM）。它训练速度场以匹配源粒子与目标粒子之间线性插值路径 $\phi_t(x, y) = (1-t)x + ty$ 的目标速度。损失函数最小化预测速度与目标速度 $(y-x)$ 之间的平方误差，并在测度对的数据集上进行边缘化。这将困难的分布优化问题转化为可处理的逐点回归任务。
推理：给定一个新的输入测度，模型逐步模拟 ODE 轨迹以生成预测的输出测度。

主要贡献

形式化：本文对非线性 M2M 回归进行了严格的形式化，将其定义为在概率测度空间 $\mathcal{P}(\mathbb{R}^d)$ 上学习算子，区分了直接映射和连续时间动力学。
新框架：引入了两种可扩展且表达能力强的方法：
- 静态 Transformer：使用标准 Transformer 直接近似 M2M 映射。
- M2M-TFM：一个动态框架，将流匹配与 Transformer 的测度依赖特性相结合，消除了训练过程中显式分布损失优化的需求。
实证验证：作者证明了这些方法在三种不同设置下的有效性：
- 合成多测度对象：预测字母形状和多对象组合上扩散过程和核交互过程的逆过程。
- McKean-Vlasov 系统：预测 2D、50D 和 100D 系统（Kuramoto、FitzHugh-Nagumo、Mean-Field Atlas）中种群动力学的演化。
- 现实世界应用：利用大规模患者来源类器官（PDO）数据集预测结直肠癌的治疗反应，其中模型必须泛化到未见过的患者。

结果

所提出的方法，特别是动态M2M-TFM，在所有实验设置中始终优于现有的基线：

合成对象：M2M-TFM 实现了最低的 Wasserstein（ $W_1$ ）和能量距离（ED）误差，显著优于条件流匹配（CFM）、元流匹配（Meta-FM）和 Wasserstein 流匹配（WFM）。
McKean-Vlasov 系统：在高维（100D）设置中，与神经 McKean-Vlasov（NMKV）和平均场 Transformer（MF-Transformer）相比，M2M-TFM 表现出卓越的泛化能力和表达能力，通常大幅降低误差。
生物应用：在结直肠癌数据集上，M2M-TFM 在所有指标（ $W_1$ 、ED 和 $r^2$ ）上提供了平衡的性能，而静态方法往往仅在其特定损失函数对应的指标上表现优异。M2M-TFM 实现了最高的 $r^2$ （0.9029）和具有竞争力的 $W_1$ 分数，表明其对未见患者的鲁棒泛化能力。

意义与主张

本文主张，Transformer 因其内在的建模测度依赖动力学的能力，是 M2M 回归的自然且强大的架构。通过将问题形式化为在 $\mathcal{P}(\mathbb{R}^d)$ 上学习算子，作者架起了 Transformer 理论平均场极限与实际应用之间的桥梁。

主要意义在于M2M-TFM框架，它为 M2M 回归问题提供了一种可扩展且表达能力强的解决方案。通过将复杂分布算子的学习简化为速度场上的逐点回归，该方法避免了直接优化分布距离所伴随的“维数灾难”。作者将这项工作定位为科学应用中建模集体动力学的通用基础，特别强调了其在预测细胞演化和治疗反应方面的成功，因为这些领域的数据本质上是分布式的。

本文在理论保证方面保持适度，指出虽然深度 Transformer 已知是 M2M 映射的通用近似器，但在流匹配框架下通过向量场模型学习非线性算子的形式化保证仍然是未来工作的开放方向。同样，当前的实现假设线性插值路径和确定性动力学，将非线性、随机和非平衡设置的扩展留待未来研究。