技术摘要：神经生成分布回归

问题陈述

传统非参数回归主要集中于估计条件均值函数，这仅捕捉了协变量 $X$ 与响应变量 $Y$ 之间关系的有限方面。在许多应用中，如风险敏感决策、不确定性量化和半参数推断，条件分布的更丰富方面（如分位数、预测区间、条件密度和得分函数）才是主要关注点。

尽管现有的分布回归方法存在，但它们面临显著局限：

1. 参数假设：许多方法假设条件分布属于特定的参数族，存在模型误设的风险。
2. 计算与统计低效：使用连续排序概率分数（CRPS）或条件最大均值差异（MMD）等损失的非参数方法，往往受限于维度灾难，或需要计算昂贵的过程（例如，为 $\Omega(\text{poly}(n))$ 个累积概率运行分位数回归，或使用随维度扩展性差的最近邻估计量）。
3. 理论缺口：缺乏针对基于神经网络的分布回归的严格非渐近理论保证，这些保证需同时实现样本效率、计算效率和最优收敛速率，且无需假设特定的参数结构。

方法论

本文提出了神经生成分布回归（NDR），这是一个通过生成变换隐式建模 $Y$ 给定 $X$ 的条件分布的框架。

核心公式

该方法假设条件分布 $Y|X$ 可通过深度神经网络 $g$ 将外生噪声变量 $U$ 进行变换来生成：
$$Y \approx g(X, U)$$
其中 $X \in \mathbb{R}^d$ 是协变量，$U \in \mathbb{R}^{ed}$ 是从已知分布 $\mu_u$（例如均匀分布或正态分布）采样的噪声向量。目标是学习函数 $g$，使得 $g(X, U)$ 的分布与真实条件分布 $Y|X$ 相匹配。

损失函数：能量距离

估计量是通过最小化 $Y$ 的分布与 $g(X, U)$ 的分布之间的经验能量距离推导得出的。总体目标（忽略与 $g$ 无关的常数）为：
$$R(g) = \mathbb{E}\left[ 2|g(X, U) - Y| - |g(X, U) - g(X, U')| \right]$$
其中 $U, U'$ 是噪声的独立副本。该损失是具有一阶 Sobolev 核的最大均值差异（MMD）的一个特例，等价于 CRPS 损失。

经验优化

由于损失函数中的期望对于复杂神经网络难以处理，作者定义了使用蒙特卡洛采样的完全经验目标。令 $m = (m_1, m_2)$ 分别表示每个数据点的批次数和噪声样本数。经验损失为：
$$R_{n,m}(g) = \frac{1}{m_1} \sum_{b=1}^{m_1} \frac{1}{n} \sum_{i=1}^n \left( \frac{2}{m_2} \sum_{k=1}^{m_2} |Y_i - g(X_i, U_{b,i,k})| - \frac{1}{m_2(m_2-1)} \sum_{k \neq k'} |g(X_i, U_{b,i,k}) - g(X_i, U_{b,i,k'})| \right)$$
估计量 $\hat{g}$ 是通过对随机深度 ReLU 网络类使用批量梯度下降最小化该损失而获得的。一个关键的计算洞察是，$m_1$（批次/轮次）可以很大并并行化，而 $m_2$（每个数据的噪声样本数）可以保持较小（例如 $m_2=2$），从而在不牺牲统计精度的情况下保持计算效率。

下游应用

一旦 $\hat{g}$ 训练完成，各种条件量即可通过对 $\hat{g}(x, U)$ 进行蒙特卡洛采样来估计：

• 条件矩：通过对 $w(\hat{g}(x, U))$ 取平均来估计。
• 条件分位数：通过生成样本的经验分位数来估计。
• 预测区间：使用覆盖生成样本中目标概率质量的最短区间构建。
• 条件密度与得分函数：使用生成样本上的核密度估计来估计。

主要贡献与理论结果

1. 非渐近 Oracle 不等式

本文建立了所提估计量的非渐近 Oracle 不等式。令 $\|F_{\hat{g}} - F^*\|_2$ 表示估计量诱导的条件累积分布函数（CDF）与真实条件 CDF 之间的 $L_2$ 距离。误差界被证明为：
$$\|F_{\hat{g}} - F^*\|_2^2 \lesssim \delta_a + \delta_s + \sqrt{\delta_s} \frac{1}{\sqrt{m_1 m_2}} + \delta_{opt}$$
其中 $\delta_a$ 是近似误差，$\delta_s$ 是随机误差，$\delta_{opt}$ 是优化误差。关键在于，随机误差项取决于乘积 $m_1 m_2$，这意味着如果 $m_1$ 很大，每个批次只需常数个噪声样本（$m_2 \ge 2$）即可实现最优速率。

2. 低维结构的自适应最优速率

作者证明，该估计量能够自适应地利用目标函数中的低维组合结构（具体而言，是分层组合模型）。在假设条件分位数函数 $Q^*(x, \alpha)$ 属于分层组合模型类的情况下，该估计量实现了 $n^{-\frac{2\gamma^*}{2\gamma^*+1}}$（忽略对数因子）的极小极大最优非参数收敛速率，其中 $\gamma^*$ 是有效光滑度。该速率的达成不受协变量维度 $d$ 的维度灾难影响。

3. 下游任务保证

本文提供了从 CDF 估计量导出的下游任务的理论保证：

• 条件矩：只要蒙特卡洛样本量 $k$ 足够大，即可实现最优速率。
• 条件分位数与预测区间：误差率为 $(\delta_{NDRE})^{2/3}$ 量级，其中 $\delta_{NDRE}$ 是 CDF 估计误差。这支持构建具有最优宽度的有效预测带。
• 条件密度与得分函数：估计误差率取决于密度的光滑度和蒙特卡洛样本数量，随着 $k$ 的增加趋近于最优速率。

4. 计算效率

与先前需要不断增加分位数或噪声样本数量以达到一致性的方法不同，该方法表明每个批次只需常数个辅助噪声样本（$m_2=2$） 即可实现最优收敛。这使得该方法具有计算效率，可与标准回归训练相媲美，同时保留了生成模型的表达能力。

意义与主张

本文声称填补了文献中的一个关键空白，提供了一种样本高效且计算高效且具有坚实理论基础的分布回归方法。

• 统一性：它将各种估计目标（均值、分位数、密度、得分）统一到一个单一的生成建模框架中。
• 理论严谨性：它首次为基于能量距离的神经网络分布回归提供了严格的非渐近分析，建立了无需参数假设的 Oracle 不等式和自适应最优速率。
• 实用性：该方法避免了先前非参数分布回归方法（如核方法或最近邻 MMD）的计算瓶颈以及 GAN 的训练不稳定性。
• 通用性：该框架被证明具有通用性，能够成功处理合成数据集和真实世界数据集（加州房价和蛋白质三级结构）中复杂、高维和多模态的条件分布，在预测区间宽度和覆盖率方面优于 LinCDE 和 Distribution Boosting 等最先进竞争对手。

作者强调，他们的方法利用神经网络的表示能力，以纯算法方式自适应地利用低维结构，在保持标准回归计算简单性的同时实现了统计最优性。