🤖 machine learning

Zero-shot generalization of transformer neural operators to larger domains

本文提出了一种新型的基于 Transformer 的神经算子，该算子通过在注意力逻辑中引入可分解偏置以及使用旋转位置嵌入来强制实现空间局部性和平移等变性，从而在不改变底层架构的情况下，实现了向显著更大的空间域的零样本泛化。

原作者： Armand de Villeroché, Sibo Cheng, Vincent Le Guen, Marc Bocquet, Rem-Sophia Mouradi, Patrick Armand, Alban Farchi, Patrick Massin

发布于 2026-06-15

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Armand de Villeroché, Sibo Cheng, Vincent Le Guen, Marc Bocquet, Rem-Sophia Mouradi, Patrick Armand, Alban Farchi, Patrick Massin

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人如何预测一个 10 英尺长的小型游泳池中的水流。你向它展示了成千上万次关于波浪破碎、涟漪扩散以及特定 10 英尺方框内水流旋涡的模拟过程。机器人完美地掌握了那个小泳池的规则。

现在，想象你要求同一个机器人去预测一条 100 英里长的巨型河流的流动，而没有给它任何新的训练数据。这就是论文中所称的**“领域扩展”（domain extension）**。这就像是要求机器人从浴缸的规模外推到海洋的规模。

问题所在：“幽灵”交互

研究人员发现，标准的 AI 模型（特别是“Transformer 神经算子”）在执行这项任务时会失败。原因如下：

把 AI 的注意力机制想象成一个人试图在拥挤的房间里倾听一场对话。

标准 AI (Rope)： 这个 AI 使用一种“周期性”的方式来理解距离。它就像一个时钟盘面。如果你向前移动 12 小时，你会回到起点。在 AI 的意识里，一个 100 英里外的点看起来在数学上可能与 1 英里外的点完全相同，因为“时钟”发生了回绕。
结果： 当 AI 面临巨大的领域时，它开始将相距很远的点视为邻居。它产生了**“幽灵交互”（ghost interactions）**。它认为 100 英里长的河流左岸的一个波浪会瞬间与右岸的一个波浪进行“对话”，尽管物理学告诉我们它们现在并不相连。这导致预测崩溃成一堆乱码。

解决方案：“局部邻域”规则

作者们与来自 EDF R&D 和 CEREA 的合作伙伴一起提出了一个修复方案。他们意识到，在真实的物理世界中，事物通常只影响其直接相邻的部分。这里的波浪不会瞬间改变那里的水流，除非它需要时间来传播。

他们引入了一种名为 LAAPE（局部各向异性非对称位置编码）的新方法。

以下是类比：

旧方法： AI 有一个“全局地图”，其中每个点都可以与任何其他点交谈，但它对规模感到困惑。
新方法 (LAAPE)： 他们给了 AI 一个**“局部邻域规则”**。他们告诉 AI：“你只能倾听一定半径范围内的点。如果一个点太远，信号就会降至零。”

但他们并没有仅仅画一个硬性的圆圈。他们让它变得智能化：

可分解性： 他们利用能够完美适配现有高速计算机芯片（如 FlashAttention）的数学构建了这一规则。这就像是在不重建整个相机的情况下，为相机镜头添加了一个新的滤镜。
非对称性： 在现实世界中，风可能会从左向右吹，从而将污染物带向下游。AI 需要知道“下游”与“上游”是不同的。这种新方法允许“倾听半径”在不同方向上被拉伸或压缩，就像真实的风场一样。

实验：从浴缸到城市

团队在三个不同的挑战上测试了该方法：

浅水模型 (1D)： 模拟长通道中的水高变化。
Gray-Scott (2D)： 模拟产生图案（如豹子身上的斑点）的化学反应。
城市风场 (3D)： 一个真实的工业挑战，模拟风吹过带有随机建筑物的城市。这是最难的测试，因为风与建筑物的相互作用是复杂的、单向的（非对称的）。

实验结果：

标准 AI (RoPE)： 当领域规模增大（例如从 1 倍到 5 倍）时，误差剧增。预测变得混乱且毫无意义。
新 AI (LAAPE)： 当领域规模增大时，误差保持在较低且稳定的水平。即使在从未见过如此大规模城市的训练过程中，AI 也能成功预测该巨大城市中的流动。

核心结论

该论文声称，通过强制 AI 遵循空间局部性（仅关注附近的物体）并允许这种注意力具有非对称性（在不同方向上表现不同），我们可以利用小规模数据集进行训练，并使其在庞大的、未见过的领域中完美运行。

他们不仅仅是让 AI 变得更“聪明”；他们赋予了它对距离更好的理解。他们证明了，如果能阻止 AI 在遥远的各点之间产生幻觉式的连接，它就能在无需重新训练的情况下，将其规模推广到现实世界的尺度。

注：局限性。 作者承认，虽然这在扩大规模方面效果显著，但如果问题的物理特性确实需要比训练数据更长的长距离连接（这很少见但确实可能发生），该方法可能会遗漏这些连接。此外，虽然其数学逻辑允许更快的计算，但他们尚未完全优化代码以实现极速运行；他们目前的重点是首先证明这一概念是行得通的。

技术摘要：Transformer 神经算子在更大领域上的零样本泛化

问题陈述

基于 Transformer 的神经算子在逼近复杂几何形状上的偏微分方程（PDE）解算子方面表现出了强大的性能。然而，现有方法通常假设训练期间的领域大小是固定的，这限制了其在推理时的泛化能力。本文探讨了**领域扩展（domain extension）**问题：即在空间领域显著大于训练领域的情况下，进行零样本推理的挑战。

与超分辨率或部分观测任务（这些属于插值问题）不同，领域扩展本质上是一个外推问题（extrapolation problem）。目前的 Transformer 算子依赖于受限于有限训练领域的非局部集成核。当推理领域的规模发生变化时，标准位置编码（如旋转位置编码 RoPE）固有的准周期性可能会在空间上遥远的两个点之间诱发“幽灵”交互，而这些点在训练期间从未被同时观察到。这破坏了模型进行泛化的能力，因为算子无法相对于新的领域规模遵循物理上的局部交互特性。

方法论

作者提出了一种方法，旨在不改变底层架构或牺牲对优化注意力内核（如 FlashAttention）兼容性的前提下，在 Transformer 神经算子的注意力机制中强制执行显式的、可控的空间局部性。

核心机制：可分解的局部性偏差

该方法将旋转位置编码（RoPE）与添加到注意力对数（logits）中的可分解距离偏差相结合。

RoPE 主干： RoPE 提供平移等变性和具有表现力的相对位置编码。然而，它本质上是非局部的且具有准周期性。
局部性约束： 为了防止伪长程交互，通过减去一个偏差项 $\phi$ 来作用于注意力对数。该偏差作为一个几何势能，强制注意力核在特定距离 $r$ 之外迅速衰减，从而有效地将积分支撑集限制在邻域 $B_r(c)$ 内。
可分解性： 为了保持与高效 GPU 内核的兼容性，偏差必须是查询位置与键位置的函数的可分解形式（即 $z = q^\top R_\theta k - \phi$ ）。

提出的编码方式

论文引入了两种特定的偏差公式：

局部各向异性对称位置编码 (LASPE)：
使用各向异性 $L_2$ 距离偏差：
$z_{LASPE} = q^\top(c) R_\theta^\top(c-\xi) k(\xi) - \frac{\sqrt{d}}{ 2} (c-\xi)^\top A (c-\xi)$
此处， $A$ 是控制各向异性的对角矩阵。虽然这种方法对于对称领域有效，但由于依赖二次项，在坐标值较大时可能会导致数值不稳定。
局部各向异性非对称位置编码 (LAAPE)：
为了处理非对称性（例如，风流中上游与下游的交互存在差异）并提高数值稳定性，作者提出了一个基于双曲函数（特别是指数函数）的偏差：
$z_{LAAPE} = q^\top(c) R_\theta^\top(c-\xi) k(\xi) - \frac{\sqrt{d}}{2} \sum_i \left[ \exp(A_-^{1/2}(c-\xi)\cdot e_i) + \exp(A_+^{1/2}(\xi-c)\cdot e_i) \right]$
该公式允许在正向和负向方向具有不同的衰减率（ $A_+$ 和 $A_-$ ），从而使核支撑集具有非对称性和各向异性。研究表明，它是 LASPE 在小位移下的自然扩展，但在处理大领域时提供了更优的稳定性。

核宽度选择

作者认为，核宽度（由衰减参数 $\lambda$ 控制）应根据训练领域的大小来选择。具体而言， $\lambda$ 的设置应使得注意力权重在超过训练领域距离时变得在统计上可以忽略不计，从而防止模型从扩展后的测试领域中学习到伪相关性。

核心贡献

问题形式化： 本文正式将领域扩展定义为神经算子的零样本泛化挑战，强调了当前非局部假设在外推设置中的局限性。
新型位置编码： 作者提出了 LAAPE 和 LASPE，它们将 RoPE 与可分解距离偏差相结合。这些编码提供了：
- 可控的局部性： 显式地限制交互范围。
- 各向异性与非对称性： 能够模拟方向相关的交互范围，这对于流体力学等复杂的物理系统至关重要。
- 高效性： 通过可分解性，实现了与优化后的注意力内核（如 FlashAttention）的完全兼容。
实验验证： 该方法在两个学术 PDE 基准测试（1D 浅水方程和 2D Gray-Scott 方程）以及一个具有挑战性的 3D 工业应用（城市环境中的微尺度大气流）上得到了验证。

实验结果

模型在小领域上进行训练，并在逐渐扩大的领域上进行测试（缩放因子 $s$ 最高达 10 倍）。

学术基准（1D & 2D）：
- 标准 RoPE 模型随着领域规模的增大表现出显著的误差退化（例如，Gray-Scott 的 L1 误差在 $s=10$ 时从约 30% 增加到 >400%）。
- LASPE 和 LAAPE 模型在不同的缩放因子下保持了几乎恒定的误差率。
- 在高缩放因子（ $s \ge 7$ ）下，LAAPE 在 Gray-Scott 基准测试中优于 LASPE，因为 LASPE 在处理大坐标值时表现出了数值不稳定性。
工业应用（3D 大气流）：
- 在 AB-SWIFT 模型（微尺度大气流）中，任务涉及强烈的各向异性和非对称性（建筑物位于上风向）。
- RoPE 在缩放领域（ $5\times5$ ）上表现失败，产生了不连贯的流场预测。
- LAAPE 保留了整体流场结构，并准确预测了尾迹区域，其误差增幅明显低于 RoPE。作者将 LAAPE 中残留的误差归因于由于领域扩大而产生的、在训练数据中不存在的新流场模式，而非算子本身的失效。

意义与主张

本文声称，强制执行结构化空间局部性是使神经算子扩展到工业应用的关键归纳偏置。通过显式地将交互的有效支撑集限制在与训练领域相匹配的范围内，模型可以在不需要按比例增加训练数据或模型容量的情况下，实现对更大领域的零样本泛化。

作者将这项工作定位为迈向物理领域“适当缩放法则（appropriate scaling laws）”的一步，表明性能的提升可以通过调节归纳偏置以反映信息如何在空间中传播，而不仅仅是依赖于数据和模型规模。该方法实现了鲁棒的零样本领域扩展，这种能力此前在领域分解策略或基于图的模型中较为常见，但本文是在统一的、兼容高性能计算内核的 Transformer 架构中实现的。

作者承认了局限性，指出虽然局部性提高了泛化能力，但它无法捕捉本质上存在于大于训练领域尺度的物理相关性。他们建议，对于此类情况，在少量大规模案例上进行微调仍是未来的必要方向。