技术摘要：在权重空间中探索物理方向

问题陈述

神经算子通过大规模预训练和上下文适应，在构建参数化偏微分方程（PDE）的可扩展代理求解器方面已展现出显著成功。然而，关于同一物理家族内部适应的本质，仍有一个根本性问题：当共享算子针对同一物理家族内的多个机制（例如变化的粘度或扩散率）进行微调时，由此产生的权重更新仅仅是定义了孤立的“机制专家”，还是揭示了权重空间中可复用的、结构化的物理几何？

现有的适应策略存在局限性。条件算子需要架构和训练语料库能够以高保真度覆盖整个物理状态空间。微调成多个特定机制的专家会创建碎片化的检查点，且缺乏一种原则性方法将它们组合以应对未见过的机制。通用模型合并技术（例如模型汤、任务算术）通常将下游任务视为无序的，基于验证损失选择合并系数，而非基于具有物理意义的坐标。因此，这些方法往往无法有效地泛化到分布外（OOD）机制，特别是在需要外推的情况下。

方法论：校准条件合并（CCM）

本文提出了校准条件合并（CCM），这是一种事后坐标读出方法，它将具有相同锚点的端点专家视为权重空间中局部物理方向的有限差分探针，而非孤立的检查点。

1. 理论框架

该方法假设对于参数化 PDE 家族，下游机制是沿潜在物理轴排列的有序点。从共享家族锚点 $\theta_0$ 开始，作者微调了两个端点专家：$\theta_{low}$（低机制）和 $\theta_{high}$（高机制）。

相对于锚点的权重更新被分解为两个分量：

• 共享适应（$\Delta_+$）： 端点残差的均值，捕捉家族内共享的求解器修正。
  $$\Delta_+ = \frac{\Delta_{low} + \Delta_{high}}{2}$$
• 有符号物理方向（$\Delta_-$）： 残差的有符号对比，捕捉沿物理轴定向的变化。
  $$\Delta_- = \frac{\Delta_{high} - \Delta_{low}}{2}$$

这种分解定义了权重空间中的一维坐标线：
$$\theta(\alpha) = \theta_0 + \Delta_+ + \alpha\Delta_-$$
其中 $\alpha = -1$ 和 $\alpha = +1$ 分别恢复低机制和高机制专家。静态平均对应于 $\alpha=0$。

2. CCM 算法

CCM 根据可用的测试时信息选择目标组合坐标 $\hat{\alpha}$，部署单个合并检查点 $\hat{\theta}_\lambda = \theta(\hat{\alpha})$，无需进一步微调、路由或集成。提出了三种选择策略：

• CCM-Coord： 使用已知的物理元数据（例如归一化扩散率）直接将物理坐标 $s(\lambda)$ 映射到 $\hat{\alpha}$。
• CCM-Scale： 通过在校验数据上学习全局缩放因子 $\gamma$ 来考虑物理坐标尺度与权重空间尺度之间潜在的失配（$\hat{\alpha} = \gamma s(\lambda)$）。
• CCM-Prefix： 当元数据不可靠或缺失时，该方法通过在短观测 rollout 前缀（例如前 $K$ 个时间步）上最小化损失，相对于有限候选坐标库来推断 $\hat{\alpha}$。

主要贡献

1. 微调的物理坐标视角： 本文将具有相同锚点的端点专家表述为局部求解器轨迹的有限差分探针。它证明了端点 - 锚点残差编码了可复用的物理结构（有符号方向），而非任意的检查点漂移。
2. 校准条件合并（CCM）： 一种用于 PDE 机制间无训练迁移的新颖方法。它利用物理元数据、校准尺度或短 rollout 前缀组合单个检查点，避免了针对目标机制进行训练或动态路由的需求。
3. 可校准方向的实证证据： 通过大量实验，作者验证了端点微调揭示了一个有符号物理方向，该方向对插值和外推均有用。这体现在最优合并坐标与独立物理参数之间的强相关性，以及 CCM 在 OOD 机制中优于静态平均的表现。

实验结果

该方法在三个不同的 PDE 家族上进行了评估：反应 - 扩散动力学、粘度参数化的二维纳维 - 斯托克斯方程以及径向溃坝动力学。

• 分解有效性： 在受控轴上的实验表明，虽然当共享适应占主导地位时静态平均（$\alpha=0$）是有效的，但当目标机制需要沿物理轴进行定向偏移时，它则会失效。引入非零 $\alpha$ 可恢复特定于端点的物理特性。
• 坐标对齐： 在反应 - 扩散和纳维 - 斯托克斯任务中，诊断神谕坐标（通过 rollout 损失选择）与归一化物理坐标几乎完美对齐（分别为 $r=1.00$ 和 $r=0.99$），证实了权重空间方向的可物理解释性。
• 外推性能： CCM 在外推（OOD）机制中取得了最显著的增益，在这些机制中静态平均会削弱特定于端点的物理特性：
  • 反应 - 扩散： 相对于家族锚点，OOD rollout 误差降低了 54.2%。
  • 纳维 - 斯托克斯： OOD rollout 误差降低了 42.8%。
  • 径向溃坝： OOD rollout 误差降低了 13.8%（使用前缀选择）。
• 鲁棒性： 这些增益在不同模型规模（FNO 小/中/大）、骨干架构（包括 DPOT 风格）和随机种子下持续存在。“错误符号”控制（翻转方向）显著增加了误差，证实了改进依赖于正确的物理定向，而非任意插值。

意义与主张

本文主张，具有相同锚点的神经 PDE 专家构成了一个连续家族，而非孤立的检查点。通过分解端点残差，作者表明神经求解器将连续物理变化编码为可解释的权重空间方向。

这项工作的意义在于将“端点微调暴露出可校准的物理方向”这一假设操作化。这使得：

1. 无训练机制迁移： 无需重新训练或复杂路由机制即可适应新的物理参数。
2. 诊断能力： 作为理解神经求解器如何表示物理参数的工具，区分共享求解器修正与特定机制的物理变化。
3. 外推： 提供一种原则性方法，通过遍历有符号物理方向来外推到训练分布之外，这是朴素平均法无法完成的任务。

作者对局限性保持谦逊，指出 CCM 预设了共同的局部几何结构和兼容的架构。该方法不提供通用的 OOD 保证，如果端点间隙过大或检查点流形表现出高曲率，坐标假设可能会失效。此外，基于前缀的方法需要短暂的观测视界，排除了在所有场景中真正的零样本部署。