Practical Boundary Degeneracy and Reverse-Martingale Limits in Sequential Binary Models

Resumen Técnico: Degeneración Práctica de Frontera y Límites de Martingala Inversa en Modelos Binarios Secuenciales

Enunciado del Problema
El artículo aborda un fenómeno estadístico recurrente en datos binarios secuenciales donde muestras finitas crean la apariencia de "degeneración de frontera". Esto ocurre en tres contextos distintos:

1. Pruebas de Bernoulli: Una larga racha de fracasos (o éxitos) totales lleva a un analista a estimar una probabilidad exactamente igual a cero (o uno).
2. Regresión Logística: La separación completa o cuasi-completa provoca que los coeficientes ajustados diverjan, empujando las probabilidades predichas hacia las fronteras (0 o 1).
3. Trayectorias de Riesgo Secuenciales: Una puntuación de riesgo se acerca a una frontera antes de que el estado subyacente se haya estabilizado.

En los tres casos, existe la tentación de declarar probabilidades exactas de frontera ($p=0$ o $p=1$) basándose en datos finitos. El artículo argumenta que, aunque los datos secuenciales finitos pueden justificar declaraciones de frontera prácticas (por ejemplo, $p \le \varepsilon$), no proporcionan evidencia para probabilidades de frontera exactas. La confusión central radica en confundir una estimación cercana a la frontera finita con la ley condicional límite a la que converge el proceso.

Metodología y Marco
El artículo unifica estos tres contextos bajo un marco de martingala inversa, utilizando el teorema clásico de convergencia de martingalas inversas (Doob, 1953; Durrett, 2019).

• Formulación de Martingala Inversa: En lugar de la filtración estándar hacia adelante ($\mathcal{F}_1 \subseteq \mathcal{F}_2 \subseteq \dots$), el artículo considera una filtración decreciente ($\mathcal{G}_1 \supseteq \mathcal{G}_2 \supseteq \dots$). Para un resultado binario $Y \in \{0, 1\}$, el proceso $M_n = E(Y | \mathcal{G}_n)$ es una martingala inversa que converge casi seguramente a un límite $M_\infty = E(Y | \mathcal{G}_\infty)$.
• Definición de Degeneración: La degeneración de frontera se redefine como una propiedad de la ley límite $M_\infty$, no como un evento de muestra finita. Un proceso es prácticamente degenerado de frontera si $M_\infty \le \varepsilon$ o $M_\infty \ge 1-\varepsilon$.
• Regla de Parada de Tres Condiciones ($\tau_{RM}$): Para distinguir la certeza aparente transitoria de la degeneración límite genuina, el artículo propone una regla de parada que requiere tres condiciones simultáneas:
  1. Proximidad a la Frontera ($B_n \le \varepsilon$): La estimación actual está cerca de la frontera.
  2. Ancho de Incertidumbre ($W_n \le w$): El intervalo de confianza o la medida de incertidumbre es suficientemente estrecho.
  3. Estabilidad de la Trayectoria ($r_n \le \eta$): La trayectoria es estable, medida por un defecto de estabilidad (por ejemplo, la diferencia entre la estimación actual y un promedio hacia atrás o una proyección de estado latente).

Este enfoque complementa, en lugar de reemplazar, herramientas clásicas como las pruebas binomiales unilaterales, los límites de Clopper-Pearson, las secuencias de confianza y la Prueba de Razón de Probabilidad Secuencial (SPRT) de Wald. Mientras que la SPRT es óptima para la prueba de hipótesis simple-verso-simple, no aborda declaraciones unilaterales compuestas, la separación logística ni la estabilidad de la trayectoria.

Contribuciones Clave

1. Unificación: El artículo proporciona una única estructura teórica (martingalas inversas) para interpretar las rachas de fracasos totales de Bernoulli, la separación logística y las trayectorias de riesgo inestables como manifestaciones de la misma confusión entre estimaciones finitas y leyes límite.
2. Remedio Operativo: Deriva la regla de parada $\tau_{RM}$, que previene declaraciones prematuras de probabilidades de frontera al requerir estabilidad y control de incertidumbre además de la proximidad a la frontera.
3. Perspectiva de Regularización: En el contexto de la regresión logística, el artículo aboga por estimadores regularizados (por ejemplo, ridge, Firth o priores bayesianos) para garantizar probabilidades ajustadas finitas, interpretando los coeficientes divergentes como artefactos numéricos de la separación en lugar de evidencia de probabilidades exactas de frontera.

Resultados Numéricos
El artículo presenta cinco estudios numéricos para validar el marco:

• Experimentos de Eventos Raros de Bernoulli: Demuestra que, aunque una MLE ordinaria ($\hat{p}_n = 0$) ocurre frecuentemente en muestras de eventos raros, una regla de parada de "cero práctico" (basada en un $\varepsilon$ preespecificado) controla el error de Tipo I. Se muestra que la igualdad de la MLE a cero es un artefacto de muestra finita, no una prueba de $p=0$.
• Regresión Logística de Baja y Alta Dimensión: Muestra que incluso con coeficientes verdaderos finitos, los eventos raros combinados con covariables (especialmente en altas dimensiones) conducen a un comportamiento "tipo separación", incluyendo muestras de una sola clase, no convergencia y logits ajustados extremos. La regularización (ridge) estabiliza estas estimaciones, convirtiendo coeficientes divergentes en probabilidades predictivas finitas.
• Estabilidad vs. Proximidad: En una simulación controlada de trayectorias de riesgo condicional, una regla de "solo frontera" se detuvo con una probabilidad de 0.999 en una trayectoria transitoria que luego regresó al interior. En contraste, la regla de tres condiciones ($\tau_{RM}$) redujo esta tasa de falsos positivos a 0.107 mientras mantenía un poder de parada del 100% en trayectorias genuinamente estables que convergen a la frontera.
• Ilustración con Datos Reales (Experimento de Seguro de Salud RAND): Utilizando un conjunto de datos real con un resultado raro (prevalencia del 1.5%), el estudio confirma que las submuestras pequeñas a menudo producen probabilidades ajustadas extremas e inestables. Añadir términos de modelo flexibles (diseño cuadrático) exacerba esto, reforzando la necesidad de diagnósticos de estabilidad.

Significado y Afirmaciones
El artículo afirma que el marco propuesto ofrece una manera más fiable de interpretar los fenómenos de frontera en muestras finitas. Su significado principal es la distinción entre estimaciones cercanas a la frontera finitas y leyes límite de frontera.

Los autores declaran que actuar sobre la cercanía a la frontera sin evidencia de estabilidad es prematuro. La visión de martingala inversa reconceptualiza la degeneración de frontera como una propiedad de la ley condicional límite ($M_\infty$). En consecuencia, el artículo argumenta que las muestras finitas justifican declaraciones de frontera prácticas controladas (por ejemplo, "estamos seguros de que $p \le \varepsilon$") pero nunca probabilidades exactas de frontera. La ventaja operativa es la capacidad de separar la certeza aparente transitoria de la degeneración límite genuina, previniendo conclusiones erróneas en el monitoreo secuencial, el tratamiento adaptativo y la modelización de eventos raros.