技术摘要：针对高维数据中测量受限的个体化阈值估计的主动子抽样研究

1. 问题定义

本文解决了在高维设定下，在测量约束条件下估计最优个体化阈值的问题。这种情况经常出现在现代应用中，例如电子健康记录（EHR）研究，其中可以获得大规模人群的协变量 $(X, Z)$，但响应变量 $Y$（例如需要人工查阅病历的临床结局）的获取成本很高或非常耗时。因此，必须从大规模未标记数据集（规模为 $n$）中，仅选择一个较小的子集（规模为 $N$，即标签预算）进行标注。

具体目标是估计一个高维参数 $\theta^* \in \mathbb{R}^d$，该参数定义了一个关于连续变量 $X$ 的线性阈值 $c(Z) = \theta^{*T}Z$。最优阈值旨在最小化事件 $\{X > \theta^T Z\}$ 与二元结果 $Y \in \{-1, +1\}$ 之间的差异。形式上，这被框架化为一个 M-估计问题：
$$\theta^* = \arg\min_{\theta} R(\theta), \quad \text{其中} \quad R(\theta) = \mathbb{E}\left[\gamma(Y) L_{01}\{Y(X - \theta^T Z)\}\right]$$
这里 $L_{01}$ 是 0-1 损失，$\gamma(\cdot)$ 是权重函数。该问题具有以下特征：

• 非正则性（Non-regularity）： 0-1 损失导致了非标准的极限分布和收敛速率（通常比参数速率 $N^{-1/2}$ 更慢）。
• 高维性（High-dimensionality）： 维度 $d$ 可能超过样本量，因此需要稀疏性假设（$s$-稀疏 $\theta^*$）。
• 测量约束（Measurement Constraints）： 估计过程必须主动选择哪些数据点进行标注，以实现效率最大化，而非依赖随机采样。

2. 方法论

作者提出了一种 K 步主动子抽样算法，通过将标注工作集中在信息量最大的数据点上，迭代地优化估计器。

核心机制

该算法基于这样一个洞察：残差 $X - \theta^T Z$ 接近于零（即“近阈值”点）的观测值能为估计 $\theta^*$ 提供最多的信息。具体步骤如下：

1. 初始化： 从未标记数据中均匀抽取一个小子集，使用带有平滑代理损失的正则化 M-估计器获得初始估计器 $\hat{\theta}_1$。
2. 活跃集构建： 对于后续迭代 $k=2, \dots, K$，定义一个包含残差较小的观测点 $(X, Z)$ 的“活跃集” $S_k$：
   $$S_k = \left\{ (X, Z) : -b_{k-1} \leq \frac{X - \hat{\theta}_{k-1}^T Z}{\sqrt{1 + \|\hat{\theta}_{k-1}\|_2^2}} \leq b_{k-1} \right\}$$
   其中 $b_{k-1}$ 是控制区间宽度的调节参数。
3. 主动采样： 从剩余的未标记数据中抽取落在 $S_k$ 内的点，其概率与分配给该步骤的预算成正比。不在 $S_k$ 内的点不进行标注。
4. 估计： 在新标注的数据上求解正则化 M-估计器，以更新估计器为 $\hat{\theta}_k$。
5. 迭代： 重复上述过程直到完成 $K$ 步。

技术组件

• 平滑代理损失（Smoothed Surrogate Loss）： 为了解决 0-1 损失的计算不可行性和问题的非正则性，作者使用核平滑损失函数 $L_\delta(u) = \int_{u/\delta}^\infty K(t) dt$，其中 $K$ 是核函数，$\delta$ 是带宽。
• 正则化： 应用 $\ell_1$ 惩罚项来处理高维情况（$d \gg N$）。
• 路径跟随算法（Path-Following Algorithm）： 为了高效求解非凸优化问题，作者采用了路径跟随算法（Feng et al., 2022）来计算近似局部解。

3. 主要理论贡献

论文根据给定 $X$ 在 $Y$ 和 $Z$ 条件下的条件密度平滑度 $\beta$，确立了所提估计器的收敛速率的**相变（Phase Transition）**特性。

收敛速率

令 $N$ 为总标签预算，$s$ 为稀疏度，$d$ 为维度。$\ell_2$ 范数下的收敛速率取决于 $\beta$：

1. 情形 $\beta > (1+\sqrt{3})/2 \approx 1.37$：

   • 一个两步算法（$K=2$）足以达到参数速率：
     $$\|\hat{\theta}_K - \theta^*\|_2 = O_p\left(\sqrt{\frac{s \log d}{N}}\right)$$
   • 该速率严格快于使用 $N$ 个来自总体的 i.i.d. 样本所能达到的极小极大最优速率 $O_p((s \log d / N)^{\beta/(2\beta+1)})$，证明了主动采样的优势。

2. 情形 $1 < \beta \leq (1+\sqrt{3})/2$：

   • 两步算法是次优的。
   • 为了恢复参数速率，必须增加迭代步数 $K$ 至一个固定的有限值：$K = \lceil \log_{\frac{\beta}{2\beta+1}}(1 - \frac{\beta+1}{2\beta^2}) \rceil + 1$。

3. 情形 $0 < \beta \leq 1$：

   • 估计器无法通过固定步数达到参数速率。
   • 实现的是超参数速率（Super-parametric rate）：$O_p((s/N)^{1/(2\beta)})$（忽略对数因子）。
   • 这要求步数 $K$ 随 $N$ 缓慢增长：$K = \lceil \log_{2\beta+1}(\log N) \rceil$。

极小极大最优性（Minimax Optimality）

作者提出了一个 $N$-预算极小极大框架，其中采样分布 $Q$ 被选为使最坏情况风险最小化的分布。他们证明了极小极大风险的下界为：
$$\inf_{Q} \inf_{\hat{\theta}} \sup_{P} \mathbb{E}_{P,Q} \|\hat{\theta} - \theta^*(P)\|_2 \gtrsim \left(\frac{s \log(d/s)}{N}\right)^{\frac{1}{2(\beta \wedge 1)}}$$
所提出的主动子抽样估计器达到了这一速率（在对数因子范围内），证明了其在测量约束设定下的极小极大速率最优性。

自适应性

论文开发了 Lepski 方法 以自适应未知的平滑度 $\beta$ 和稀疏度 $s$，使得算法可以在没有这些量先验知识的情况下选择调节参数。

4. 实验结果

• 模拟实验： 该方法在三种模型（逻辑回归、条件均值模型和一般二元响应模型）下对合成数据进行了测试。“两步主动子抽样结合路径跟随法”始终优于被动子抽样（均匀随机采样）和标准的 $\ell_1$ 惩罚逻辑回归，特别是在 $\ell_1$ 和 $\ell_2$ 估计误差方面。
• 真实数据应用： 该方法应用于来自美国 130 家医院的糖尿病数据集（UCI 存储库），用于根据 HbA1c 水平预测早期再入院情况。主动子抽样方法识别出了重要的协变量（如“住院时间”、“药物变更”），并在各种标签预算（$N=3000, 4000, 5000$）下，相比于被动采样实现了更低的估计误差。

5. 意义与主张

本文声称为估计个体化阈值提供了一个计算和统计高效的解决方案，尤其是在标注数据成本高昂的情况下。其主要意义在于：

1. 加速收敛： 证明了主动采样可以打破非正则收敛障碍，实现参数速率（或超参数速率），而这在相同的预算下，被动采样是无法实现的。
2. 理论精确性： 刻画了精确的条件（通过平滑参数 $\beta$），即何时简单的两步程序就足够了，以及何时需要更复杂的迭代方案。
3. 实际可行性： 提出了一种基于梯度的路径跟随算法，对于高维数据在计算上是可行的，这不同于许多需要直接最小化非凸 0-1 损失的主动学习方法。
4. 最优性： 确立了所提方法具有极小极大最优性，这意味着在最坏情况下，没有任何其他采样策略能实现更快的收敛速率。

作者强调，其工作弥合了非正则统计估计与主动学习之间的鸿沟，为高维环境下的测量约束问题提供了一个严谨的框架。