技术摘要：Hölder 空间上的深度 Q 学习

1. 问题表述

本文研究了在连续时间、连续状态与动作的随机控制背景下，Q 学习的算子理论核心。作者并未分析实际深度 Q 网络（DQN）的完整训练动力学（这些过程涉及探索、经验回放和随机梯度下降），而是隔离出了**贝尔曼最优目标（Bellman optimality target）**本身。

本研究聚焦于一个由前向 Itô 随机微分方程（SDE）控制的有限时界马尔可夫决策过程（MDP）。其目标是理解扩散设置下贝尔曼更新算子的正则性（regularity）与近似复杂度。具体而言，本文探讨的问题是：贝尔曼目标属于哪种正则性类？这种正则性如何影响使用神经网络对其进行近似的复杂度？

分析假设如下：

• 一致椭圆性（Uniform Ellipticity）： 扩散系数是非退化的，确保了平滑高斯转移密度的存在。
• Hölder 正则性： 漂移、扩散和奖励系数在状态-时间域内是一致 Hölder 连续的，且在动作空间内是 Lipschitz 连续的。
• 各向异性（Anisotropic Nature）： 问题区分了状态-时间域（其中扩散诱导平滑）与动作空间（其中由于 $\max$ 算子的存在，最优策略可能表现出非平滑的“折痕”）。

2. 研究方法

作者结合了随机分析、PDE 理论和近似理论：

1. 半离散贝尔曼算子（Semi-Discrete Bellman Operator）： 将连续时间问题离散化为步长为 $\delta$ 的时间步。贝尔曼更新 $T_\delta$ 被分解为两个阶段：

   • 非线性最大化： 计算 $V_\Phi(x) = \sup_{a'} \Phi(x, a')$。这一步通常会破坏可微性，使得值函数在状态上仅保持 Lipschitz 连续（$C^{0,1}$），即使输入是平滑的。
   • 线性演化： 在区间 $[t, t+\delta)$ 内求解一个后向抛物型 PDE（通过 Feynman-Kac 公式）。这一步将 Lipschitz 连续的值函数与热核进行卷积。

2. 内部 Schauder 估计（Interior Schauder Estimates）： 核心分析工具是应用抛物型方程的内部 Schauder 估计。作者利用扩散项的一致椭圆性，证明了线性演化步骤能够“修复”最大化步骤引入的粗糙性，从而恢复状态变量的高阶正则性。

3. 各向异性函数空间（Anisotropic Function Spaces）： 为了严谨地捕捉混合正则性，作者定义了一个各向异性 Hölder 空间 $\mathcal{H}_{\alpha, \text{Lip}}$。该空间中的函数在状态-时间变量上是 $C^{2,\alpha}$ 平滑的，但在动作变量上仅是 Lipschitz 连续的。

4. 定义域截断（Domain Truncation）： 为了协调全局 PDE 估计与实际训练中使用的紧凑定义域，作者利用测度集中（concentration of measure）论证。他们证明了扩散过程退出扩张后的计算域的概率呈指数级衰减，从而允许将全局正则性估计应用于内部区域且误差可以忽略不计。

5. 架构设计： 基于识别出的各向异性正则性，本文提出了一种 张量积 DeepONet（Tensor-Product DeepONet） 架构。该设计解耦了状态与动作输入，利用平滑激活函数处理状态子网络（以匹配 $C^{2,\alpha}$ 正则性），并利用分段线性激活函数处理动作子网络（以建模 $C^{0,1}$ 依赖性）。

3. 核心贡献与结果

A. 贝尔曼目标的正则性

主要的理论贡献在于证明了在一致椭圆性条件下，贝尔曼算子将有界输入映射到各向异性 Hölder 类 $\mathcal{H}_{\alpha, \text{Lip}}$ 中。

• 状态正则性： 尽管存在非平滑的 $\max$ 算子，但扩散项确保了输出在状态变量上是 $C^{2,\alpha}$ 的。
• 动作正则性： 对动作的依赖保持为 Lipschitz 连续（$C^{0,1}$），但不会获得更高的平滑度。
• 精细化平滑估计： 作者推导出了比标准不连续数据结果更紧致的平滑界限。当 $\delta \to 0$ 时，奇异性随 $\delta$ 的缩放比例为 $O(\delta^{-(1+\alpha)/2})$，这严格优于与通用有界可测数据相关的 $O(\delta^{-(2+\alpha)/2})$ 缩放。

B. 迭代的紧致性（Compactness of Iterates）

论文证明了贝尔曼迭代序列在由该各向异性范数定义的 Banach 空间内保持在一个预紧子集中。这种紧致性是应用通用逼近定理的前提，并确保了只要 $\delta$ 固定，目标函数不会变得过于复杂以至于无法学习。

C. 近似复杂度与刚性权衡（Stiffness Trade-off）

作者推导了将贝尔曼迭代近似到误差 $\epsilon$ 所需的资源（网络宽度和传感器密度）的显式界限。

• 解耦复杂度： 张量积 DeepONet 避免了与联合状态-动作空间（$d + d_a$）相关的维度灾难。相反，其复杂度分别随状态维度 $d$ 和动作维度 $d_a$ 缩放。
• 刚性-复杂度权衡： 一个关键结果是量化了趋近连续时间极限（$\delta \to 0$）的代价。随着 $\delta$ 减小，平滑效应减弱，函数变得更加“刚性”（具有较大的二阶导数）。所需的网络容量随 $O(\delta^{-\gamma(\alpha)d})$ 缩放，其中 $\gamma(\alpha) = \frac{3+\alpha}{2(2+\alpha)}$。这解释了为什么即使底层扩散过程是正则化的，连续时间极限在数值上仍可能表现出刚性。

D. 架构建议

论文提出了一种专门针对该问题的混合正则性设计的 张量积 DeepONet 架构。通过将状态和动作视为具有不同网络分支的独立输入，该架构与 PDE 分析揭示的各向异性归纳偏置相一致。

4. 意义与声明范围

本文旨在为连续随机控制中的 Q 学习提供基础性的理论贡献。

• 声称内容： 作者声称已经隔离并表征了贝尔曼目标类。他们证明了在一致椭圆扩散设置下，这些目标具有可利用的各向异性正则性。因此，他们为旨在匹配该正则性的神经架构提供了严谨的近似保证和资源界限。
• 未声称内容： 作者明确表示，他们并未为实际的、基于采样的 Q 学习提供完整的收敛定理。他们的分析止步于算子层面，并未涵盖探索策略、经验回放缓冲区、目标网络启发式方法或训练深度网络的随机优化动力学等复杂性。
• 动机背景： 该工作的动机源于观察到：经典的 Lipschitz 假设忽略了噪声带来的正则化效应（抛物型平滑）。通过利用 Schauder 估计，本文提供了一种对值函数方法正在近似什么的更精确的理论理解，超越了悲观的各向同性界限，提供了更尖锐的各向异性复杂度估计。

综上所述，本文认为连续时间 Q 学习的“算子理论核心”在正则性方面（由于扩散作用）是表现良好的，但这种行为伴随着特定的计算成本（刚性），即随着时间步长消失，需要专门的神经架构来实现高效近似。