Multiple Neural Operators Achieve Near-Optimal Rates for Multi-Task Learning

技术摘要：多神经算子实现多任务学习的近最优速率

问题陈述
本文解决了多任务算子学习的问题，具体而言是在共享神经网络模型中逼近算子集合。与逼近单一映射 $G: U \to V$ 的标准算子学习不同，多任务学习旨在逼近映射 $G: W \to \{G[\alpha]: U \to V\}_{\alpha \in W}$，其中 $\alpha \in W$ 作为特定算子或任务的描述符（例如参数化偏微分方程、变化的边界条件）。

识别出的核心挑战是潜在的参数复杂性。先前关于多神经算子（MNO）架构的工作 [47] 建立了构造性逼近界，该界相对于标准单算子学习表现出“指数级爆炸”。具体而言，为实现精度 $\varepsilon$ 所需的参数数量 $N^\#$ 的缩放比例为 $N^\# \lesssim \varepsilon^{-\varepsilon^{-\varepsilon^{-d_W}}}$，这表明多任务学习可能本质上比单任务学习更复杂。本文探讨了这种复杂性是构造性证明策略的产物，还是问题类别的内在障碍。

方法论
作者结合了构造性逼近理论、统计学习理论和下界复杂性分析。

1. 改进的构造性逼近（MNO）： 作者分析了 MNO 架构，其定义为子网络的分离和：
   $$\text{MNO}[\alpha][u](x) = \sum_{p=1}^P \sum_{k=1}^H l_p(M_W(\alpha)) b_{pk}(M_U(u)) \tau_{pk}(x)$$
   他们引入了一种并行误差分析策略（与之前的“嵌套”策略相对照）。在嵌套方法中，第二阶段（逼近输入函数依赖性）的误差会随着第一阶段（参数依赖性）中的项数累积，迫使每项精度必须严格得多，从而增加了复杂性。在新的并行方法中，系数 $l_p$ 构成近似的单位分解（$\sum l_p \approx 1$）。这将第二阶段的误差与第一阶段的项数解耦，允许第二阶段以目标精度 $\varepsilon$ 运行，而不是更小的 $\varepsilon^{\gamma+1}$。

2. 统计泛化： 利用改进的逼近界，作者通过将逼近误差与假设类的度量熵相结合，遵循 [46] 中建立的框架，推导出了统计学习速率。

3. 下界理论： 为了建立极小极大速率，作者将 [26] 中的下界复杂性框架（基于无限维立方体和病态算子）扩展到多任务设置。他们定义了神经网络型多算子映射和对称多算子映射，证明对于广泛的 Lipschitz 和可微映射类，任何达到精度 $\varepsilon$ 的神经网络必须满足形式为 $C(NN) \gtrsim \exp(c \varepsilon^{-1/\eta})$ 的下界。

4. 架构比较： 本文分析了一个串联 DeepONet 基线，其中算子描述符 $\alpha$ 和输入 $u$ 被串联并输入到单个网络中。他们推导了该架构的上界和下界，以将其缩放律与 MNO 进行比较。

主要贡献与结果

• 近最优逼近速率： 主要的理论贡献是显著改进了 MNO 的构造性上界。作者证明，对于 Lipschitz 多算子映射，为实现精度 $\varepsilon$ 所需的非零参数总数 $N^\#$ 满足：
  $$N^\# \lesssim \exp\left( d \log(\varepsilon^{-1}) \varepsilon^{-\max\{d_W, d_U\}} \right)$$
  反转此关系可得误差缩放：
  $$\varepsilon \lesssim \left( \frac{\log N^\#}{\log \log N^\#} \right)^{-1/\max\{d_W, d_U\}}$$
  这些速率在定性上与单算子学习已知的速率相同，证明了之前的“指数级爆炸”是证明技术的产物，而非多任务学习的内在属性。

• 改进的统计学习速率： 因此，MNO 的统计泛化误差缩放为：
  $$O\left( \left( \frac{\log n_\alpha}{\log \log n_\alpha} \right)^{-2/\max\{d_W, d_U\}} \right)$$
  其中 $n_\alpha$ 是采样的算子数量。这与单算子学习的缩放律相匹配，证实了共享表示不会增加整体统计成本。

• 下界复杂性界限与极小极大速率： 本文确立了多任务学习的参数复杂性诅咒。他们证明，对于广泛的 Lipschitz 和可微多算子映射类，复杂性的下界为：
  $$C(NN) \gtrsim \exp\left( c \varepsilon^{-1/[(\eta+1+\delta)r]} \right)$$
  结合改进的上界，作者推导出了极小极大逼近 - 复杂性速率。虽然上界和下界在精确指数上有所不同，但它们都确认了双重指数复杂性机制，表明虽然先前工作中的特定“爆炸”是可以避免的，但对于一般的 Lipschitz 类，真正的指数障碍依然存在。

• 与串联 DeepONet 的比较： 作者证明，串联 DeepONet 架构（其中 $\alpha$ 和 $u$ 被串联）满足与 MNO 基本相同的极小极大逼近 - 复杂性缩放律。具体而言，两种架构共享相同的最坏情况复杂性界限。

意义与主张
本文声称解决了一个关于多任务算子学习复杂性的基本问题：跨任务的共享表示不会增加整体成本。 结果表明，多任务算子学习遵循与单算子学习相同的缩放律。

这项工作的意义在于：

1. 阐明复杂性来源： 它区分了构造性分析的产物（之前的指数级爆炸）和内在障碍（参数复杂性的双重指数诅咒）。
2. MNO 的理论验证： 它为 MNO 架构提供了理论依据，表明其在没有先前怀疑的内在惩罚的情况下实现了近最优速率。
3. 最坏情况下的架构等价性： 发现 MNO 和串联 DeepONet 共享相同的极小极大速率，表明先前工作 [47] 中观察到的 MNO 的经验优越性（MNO 比串联 DeepONet 高出几个数量级）可能是由于特定于数据和任务的结构或几何属性，而不是最坏情况逼近复杂性的差异。本文提出，MNO 对参数和输入角色的显式分离在实践中是有益的，即使极小极大速率无法区分这两种架构。

作者得出结论，虽然仅靠 Lipschitz 正则性无法克服参数复杂性诅咒，但利用额外结构（如全纯依赖性或特定于偏微分方程的正则性）仍然是实现显著更好速率的一个有前途的方向。