Practical Boundary Degeneracy and Reverse-Martingale Limits in Sequential Binary Models

技术摘要：序列二元模型中的实际边界退化与逆鞅极限

问题陈述
本文探讨了序列二元数据中反复出现的统计现象，即有限样本会制造出“边界退化”的表象。这种情况出现在三种不同的设定中：

1. 伯努利试验：一连串的全失败（或全成功）导致分析师将概率估计为恰好零（或一）。
2. 逻辑回归：完全或准完全分离导致拟合系数发散，将预测概率推向边界（0 或 1）。
3. 序列风险轨迹：在潜在状态稳定之前，风险分数已趋近于边界。

在所有这三种情况下，人们都倾向于基于有限数据宣布精确的边界概率（$p=0$ 或 $p=1$）。本文认为，虽然有限序列数据可能为实际边界陈述（例如 $p \le \varepsilon$）提供理由，但它们并不能为精确边界概率提供证据。核心混淆在于将有限的近边界估计与过程收敛的极限条件律混为一谈。

方法论与框架
本文在逆鞅框架下统一了这三种设定，利用了经典的逆鞅收敛定理（Doob, 1953; Durrett, 2019）。

• 逆鞅表述：不同于标准的向前滤过（$\mathcal{F}_1 \subseteq \mathcal{F}_2 \subseteq \dots$），本文考虑了一个递减滤过（$\mathcal{G}_1 \supseteq \mathcal{G}_2 \supseteq \dots$）。对于二元结果 $Y \in \{0, 1\}$，过程 $M_n = E(Y | \mathcal{G}_n)$ 是一个逆鞅，它几乎必然收敛于极限 $M_\infty = E(Y | \mathcal{G}_\infty)$。
• 退化的定义：边界退化被重新定义为极限律 $M_\infty$ 的属性，而非有限样本事件。如果 $M_\infty \le \varepsilon$ 或 $M_\infty \ge 1-\varepsilon$，则该过程是实际边界退化的。
• 三条件停止规则（$\tau_{RM}$）：为了区分暂时的表观确定性与真正的极限退化，本文提出了一种停止规则，要求同时满足三个条件：
  1. 边界接近度（$B_n \le \varepsilon$）：当前估计值接近边界。
  2. 不确定性宽度（$W_n \le w$）：置信区间或不确定性度量足够窄。
  3. 轨迹稳定性（$r_n \le \eta$）：轨迹是稳定的，通过稳定性缺陷来衡量（例如，当前估计值与向后看的平均值或潜在状态投影之间的差异）。

这种方法是对经典工具（如单侧二项检验、Clopper-Pearson 界限、置信序列和 Wald 序贯概率比检验 SPRT）的补充，而非替代。虽然 SPRT 在简单对简单假设检验中是最优的，但它无法解决复合单侧陈述、逻辑分离或轨迹稳定性问题。

主要贡献

1. 统一性：本文提供了一个单一的理论结构（逆鞅），将伯努利全失败序列、逻辑分离和不稳定风险轨迹解释为有限估计与极限律之间同一混淆的不同表现。
2. 操作补救：推导出了 $\tau_{RM}$ 停止规则，该规则通过要求稳定性和不确定性控制（除了边界接近度之外），防止过早宣布边界概率。
3. 正则化洞察：在逻辑回归的背景下，本文提倡使用正则化估计量（如岭回归、Firth 或贝叶斯先验）以确保有限的拟合概率，将发散的系数解释为分离的数值伪影，而非精确边界概率的证据。

数值结果
本文提出了五项数值研究以验证该框架：

• 伯努利稀有事件实验：表明虽然普通最大似然估计（$\hat{p}_n = 0$）在稀有事件样本中频繁出现，但基于预设 $\varepsilon$ 的实际零停止规则可以控制 I 类错误。最大似然估计等于零被证明是有限样本的伪影，而非 $p=0$ 的证明。
• 低维与高维逻辑回归：显示即使真实系数有限，稀有事件与协变量的结合（特别是在高维中）也会导致“类分离”行为，包括单类样本、不收敛和极端的拟合 logits。正则化（岭回归）稳定了这些估计，将发散的系数转化为有限的预测概率。
• 稳定性与接近度：在条件风险轨迹的受控模拟中，仅基于“边界”的规则在一条暂时性轨迹上以 0.999 的概率停止，而该轨迹后来回到了内部。相比之下，三条件规则（$\tau_{RM}$）将这一假阳性率降低至 0.107，同时在真正稳定的边界收敛轨迹上保持了 100% 的停止能力。
• 真实数据示例（RAND 健康保险实验）：使用具有稀有结果（1.5% 患病率）的真实数据集，研究证实小样本量通常会产生不稳定、极端的拟合概率。添加灵活的模型项（二次设计）加剧了这一问题，加强了对稳定性诊断的需求。

意义与主张
本文声称，所提出的框架提供了一种更可靠的方法来解释有限样本中的边界现象。其主要意义在于区分有限近边界估计与极限边界律。

作者指出，在没有稳定性证据的情况下仅依据边界接近度采取行动是操之过急的。逆鞅视角将边界退化重新表述为极限条件律（$M_\infty$）的属性。因此，本文认为有限样本可以为受控的实际边界陈述（例如“我们有信心 $p \le \varepsilon$"）提供理由，但绝不能支持精确的边界概率。其操作收益在于能够区分暂时的表观确定性与真正的极限退化，从而防止在序列监测、自适应治疗和稀有事件建模中得出错误结论。