技术摘要：具有条件有效性的灵活获胜者推断

问题陈述

在许多经验性工作流中，研究人员根据数据驱动的标准（例如最大的估计处理效应、最佳模型性能或最高的特征重要性）选择一组表现最优的选项（获胜者），随后报告这些选定单元的效应估计值。由于用于选择和估计的数据是相同的，朴素的后选择估计会遭受“赢家诅咒”（winner's curse），导致系统性的过度乐观结果，并产生低于标称覆盖率的置信区间。

虽然现有文献提供了解决方案，但它们面临着显著的权衡：

• 同时/边际推断（Simultaneous/Marginal Inference）： 这些方法保证了在所有可能的选择结果上平均有效的有效性，但往往无法为给定数据集中观察到的特定获胜者提供有效的条件推断。
• 条件推断（Conditional Inference）： 现有的条件方法（例如多面体法、数据拆分法）通常受限于特定的参数模型、针对特定的选择规则，或者产生的区间过于宽泛且不稳定，尤其是在竞争者非常接近时。

核心挑战在于开发一种既能提供条件覆盖保证（即对从观测数据中选出的特定获胜者的有效性），又不会牺牲选择质量或产生不合理宽泛区间的算法，同时还要适用于非参数设置。

方法论

作者提出了一种基于数据自适应指数随机化方案的灵活条件推断方法。其核心思想是用一种随机化选择规则取代确定性的“硬”选择规则（即选择得分最高的 $k$ 个项目），该规则根据与得分成比例的概率分布来采样获胜者。

1. 随机化选择方案

该方法不再确定性地选择最大化得分 $s_E(T)$ 的子集 $E^*$，而是使用离散概率分布从所有 $k$-子集 $\mathcal{E}_k$ 中采样一个获胜集合 $\hat{E}$：
$$P[\hat{E} = E \mid T = t] = \frac{\exp\left(\frac{s_E(t)}{\tau \cdot \sigma_s(t)}\right)}{\sum_{E' \in \mathcal{E}_k} \exp\left(\frac{s_{E'}(t)}{\tau \cdot \sigma_s(t)}\right)}$$
其中：

• $s_E(t)$ 是给定数据 $t$ 的加性得分。
• $\sigma_s(t)$ 是所有子集得分的离散度，确保了尺度不变性。
• $\tau$ 是控制随机化程度的温度参数。

无参数调优校准： 文中引入了一种**遗憾度（regret）**的概念，用于在无需手动调优的情况下校准 $\tau$。通过设置用户指定的遗憾预算 $q$（即相对于标准 top-$k$ 规则的可接受损失），温度值被自动确定为 $\tau \leq q / \log |\mathcal{E}_k|$。这确保了随机化选择能够紧密匹配标准的 top-$k$ 规则，同时实现有效的推断。

2. 推断工作流

一旦观测到一组获胜者 $E_o$，该方法会为效应 $\mu_{E_o}$ 构建有效的条件置信区间。该工作流包含三个步骤：

1. 通过条件化消除扰动参数： 作者识别出充分统计量 $T^\perp_{j_o}$（正交于目标参数 $\mu_{j_o}$），使得目标统计量 $T_{j_o}$ 在给定选择事件 $\{\hat{E} = E_o\}$ 和 $T^\perp_{j_o}$ 的条件密度中不含扰动参数。
2. 闭式条件密度： 一个关键的理论贡献是，由于指数机制的特定设计，条件选择概率 $P[\hat{E} = E_o \mid T = t]$ 可以通过闭式解获得。与需要将选择事件表征为多面体的多面体法不同，这种方法不需要对选择事件进行解析描述。其条件密度推导为：
   $$f(t \mid \hat{E}=E_o, T^\perp_{j_o}=t^\perp) \propto \phi(t; \mu_{j_o}, \sigma^2_{j_o}) \times \Lambda_{E_o}(t, t^\perp)$$
   其中 $\Lambda_{E_o}$ 是由指数机制导出的选择权重。
3. 枢轴构造（Pivot Construction）： 通过对该条件密度应用概率积分变换来构造枢轴。该枢轴在给定选择事件的条件下服从 Uniform(0,1) 分布，从而允许通过反演构建精确的 $p$ 值和置信区间。

3. 渐近理论

该方法被扩展到了选择统计量具有渐近线性性质的非参数设置中。在满足温和的正规性条件（有界的得分导数和统计量的渐近线性表示）下，证明了该枢轴具有渐近有效性。这使得该方法可以应用于二元结果（A/B/n 测试）、排序模型（Bradley–Terry–Davidson）以及非参数特征重要性，即使底层数据不是高斯的。

4. 高效实现

计算指数机制的归一化常数涉及对指数级数量的子集求和。作者利用得分的加性结构，将其表示为一个初等对称多项式，并可以使用动态规划在 $O(pk)$ 时间内完成计算。这实现了高效的采样和用于推断的选择权重计算。

主要结果

论文将所提出的“随机化 PSI”方法与三个基准方法进行了评估：标准的 top-$k$ 规则（无修正）、“多面体 PSI”（虽有条件性但通常区间过宽）以及“数据拆分法”（虽有条件性但损失了选择质量）。

1. 选择质量： 所提方法实现了接近于零的遗憾度，其选择的获胜者几乎与标准 top-$k$ 规则一样优。相比之下，数据拆分法由于仅使用数据的一个子集进行选择，导致了显著更高的遗憾度。
2. 覆盖率： 该方法为选定的获胜者实现了标称的条件覆盖（例如 95%）。它优于边际基准方法（如“缩放修正/Zoom Correction”），后者无法提供条件有效性。
3. 区间长度： 所提方法产生的置信区间明显短于多面体方法。在高斯模拟中，在某些设置下，多面体区间的长度被发现是其 496%。虽然数据拆分法也能产生相似短的区间，但它是以牺牲选择质量为代价的。
4. 非参数适用性： 该方法通过依赖渐近保证，成功处理了非高斯数据（二元结果、配对比较和黑盒特征重要性），而许多现有的条件方法则受限于高斯或特定的参数模型。

意义与主张

作者声称其工作填补了后选择推断领域的关键空白：

• 灵活性： 该方法广泛适用于具有渐近线性统计量的非参数设置，涵盖了临床试验、排行榜模型评估、特征重要性等多样化应用。
• 无需解析可解性的条件有效性： 它提供了精确（或渐近精确）的条件推断，而无需对选择事件进行解析表征，这解决了以往条件方法的一个主要局限。
• 平衡权衡： 它解决了选择质量与推断能力之间的紧张关系。通过使用由遗憾度引导的无参数调优随机化方案，它确保了在推断能力（更短的区间）的提升不会以牺牲选择次优获胜者为代价。
• 实际效用： 该方法产生了数值稳定且较短的区间，具有实际应用价值，不像现有的条件方法在竞争者接近时会产生无限长或不稳定的区间。

论文总结道，这种随机化方法为未来的研究提供了一个极具前景的框架，不仅可以用于解决“赢家诅咒”问题，还可以用于更广泛的后选择推断问题，包括获胜者与亚军之间的比较。