Resumen Técnico: Evidencia Válida en Cualquier Momento para Correcciones Predictivas Preespecificadas

1. Configuración del Problema

El artículo aborda el problema de confirmar una corrección predictiva preespecificada en un entorno secuencial. En muchos contextos científicos y operativos (por ejemplo, recalibración de instrumentos, deriva de ensayos o intervenciones conocidas), un profesional puede poseer una hipótesis específica sobre cómo una distribución predictiva de la fuente existente, $p_0(y \mid x, D_{tr})$, debería modificarse para reflejar cambios anticipados en los resultados futuros. Esta modificación, o sesgo (tilt) $h(x, y)$, define una distribución predictiva corregida $p_h(y \mid x, D_{tr})$.

A diferencia de los problemas estándar de cambio de distribución donde el objetivo es estimar una distribución objetivo desconocida utilizando abundantes datos de la misma, este trabajo se centra en la confirmación: determinar si la corrección específica y preespecificada $p_h$ predice mejor los resultados objetivo entrantes $(X_i, Y_i)$ que la fuente original $p_0$. El entorno asume que los resultados llegan secuencialmente, potencialmente bajo una selección de entrada adaptativa, y el profesional desea monitorear la evidencia continuamente sin fijar un tamaño de muestra de antemano.

2. Metodología

2.1 Construcción del Proceso-E

La metodología central construye un proceso-E válido en cualquier momento basado en la razón de verosimilitud entre la corregida y la fuente.

• Sesgo y Normalización: Se preespecifica un sesgo no negativo $h: \mathcal{X} \times \mathcal{Y} \to [0, \infty)$. Este se normaliza mediante $Z_h(x, D_{tr}) = \int h(x, y)p_0(y \mid x, D_{tr}) dy$ para formar la predictiva corregida:
  $$p_h(y \mid x, D_{tr}) = \frac{h(x, y)p_0(y \mid x, D_{tr})}{Z_h(x, D_{tr})}$$
• Valor-E Condicional: Para cada observación $i$, el factor de evidencia de un paso se define como:
  $$e_i = \frac{p_h(Y_i \mid X_i, D_{tr})}{p_0(Y_i \mid X_i, D_{tr})} = \frac{h(X_i, Y_i)}{Z_h(X_i, D_{tr})}$$
  Bajo la hipótesis nula predictiva de la fuente $H_0^{pred}: Y_i \mid X_i, \mathcal{F}_{i-1} \sim p_0(\cdot \mid X_i, D_{tr})$, la esperanza condicional $E[e_i \mid \mathcal{G}_i] = 1$, donde $\mathcal{G}_i$ contiene los datos pasados y la entrada actual $X_i$. Por lo tanto, $e_i$ es un valor-e condicional.
• El Proceso de Riqueza: El producto acumulado $M_t = \prod_{i=1}^t e_i$ forma una martingala no negativa bajo $H_0^{pred}$. Por la desigualdad de Ville, para cualquier $\alpha \in (0, 1)$:
  $$\sup_{P \in \mathcal{P}_0^{pred}} P\left( \sup_{t \ge 0} M_t > \frac{1}{\alpha} \right) \le \alpha$$
  Esto garantiza que la probabilidad de confirmar falsamente la corrección (cruzar el límite $1/\alpha$) es a lo sumo $\alpha$, independientemente del tiempo de parada o del mecanismo de selección de entrada (incluyendo diseños adaptativos).

2.2 Interpretación de la Evidencia

El logaritmo del proceso de riqueza, $\log M_t$, representa la ventaja acumulada del log-score predictivo de la distribución corregida sobre la fuente:
$$\log M_t = \sum_{i=1}^t \left( \log p_h(Y_i \mid X_i, D_{tr}) - \log p_0(Y_i \mid X_i, D_{tr}) \right)$$
Un cruce del límite $1/\alpha$ (o $\log(1/\alpha)$ en el espacio logarítmico) proporciona evidencia relativa válida en cualquier momento de que $p_h$ supera a $p_0$ en el flujo observado.

2.3 Extensiones y Variaciones

• Refutación: Si $h(x, y) > 0$ casi seguramente, el proceso recíproco $M_t^\downarrow = 1/M_t$ permite la refutación válida en cualquier momento de la predictiva corregida en favor de la fuente.
• Sesgos Predictibles: El marco se extiende a sesgos $h_i$ que se actualizan de forma predecible basándose en observaciones pasadas, interpretando el resultado como evidencia de una estrategia de apuesta adaptativa en lugar de una única corrección fija.
• Mezclas: Para manejar la incertidumbre sobre la magnitud o dirección de la corrección, el artículo propone mezclar trayectorias de riqueza sobre una familia preespecificada de sesgos, $\int M_t(\theta) d\Pi(\theta)$, lo cual mantiene la propiedad de proceso-E.
• Más allá de la Tolerancia: El método puede adaptarse para probar si un cambio excede un límite de tolerancia específico $\delta_{tol}$ comparando una predictiva accionable $p_{alarm}$ contra $p_{tol}$ en lugar de la fuente no corregida.

3. Contribuciones Clave

1. Confirmación Relativa Válida en Cualquier Momento: El artículo construye un proceso-E condicional para correcciones predictivas preespecificadas. La validez se mantiene bajo parada opcional y secuencias de entrada arbitrarias (incluidas las adaptativas). El proceso cuantifica la ventaja acumulada del log-score de la corrección sobre la fuente.
2. Descomposición de la Deriva y Crecimiento: El autor deriva una descomposición de la deriva condicional que muestra que la tasa de crecimiento logarítmico esperado es la diferencia en las divergencias de Kullback-Leibler (KL) condicionales:
   $$\Gamma_h(x) = D_{KL}(q(\cdot \mid x) \parallel p_0(\cdot \mid x, D_{tr})) - D_{KL}(q(\cdot \mid x) \parallel p_h(\cdot \mid x, D_{tr}))$$
   Esto aclara que la acumulación de evidencia positiva requiere solo que la corrección esté más cerca del objetivo real que la fuente, no que esté perfectamente especificada.
3. Control de Falsa Confirmación bajo Especificación Incorrecta: El artículo identifica un semiespacio protegido dependiente de la corrección de distribuciones objetivo mal especificadas. Si el objetivo real $q$ satisface una condición de momento específica ($E_q[h(X, Y)] \le Z_h(X)$), el límite original de falsa confirmación sigue siendo válido. Esto distingue entre la proximidad genérica a la fuente (que no garantiza el control) y la robustez basada en momentos específicos.
4. Identidad de Sobrepaso (Overshoot): Se deriva una identidad que explica por qué la tasa de error de Tipo I realizada es a menudo estrictamente inferior al nivel nominal $\alpha$. La probabilidad de cruce está inversamente relacionada con el sobrepaso esperado del proceso de riqueza en el momento del cruce.
5. Correcciones Estructuradas: El marco se instancia para casos específicos que incluyen cambios de etiqueta (label-shift), correcciones de media/varianza condicional, ajustes específicos de subgrupos y sesgos generales de la familia exponencial.

4. Resultados de Experimentos Sintéticos

El artículo valida la teoría utilizando experimentos sintéticos con una predictiva de la fuente gaussiana oráculo:

• Validez: Bajo la nula de la fuente, las tasas empíricas de falsa confirmación estuvieron consistentemente por debajo del $\alpha = 0.05$ nominal (por ejemplo, 0.034), lo cual es consistente con la identidad del sobrepaso.
• Tasas de Crecimiento: Las correcciones correctamente especificadas (cambios de media y varianza) acumularon evidencia a tasas que coinciden con las predicciones teóricas de la deriva. Las correcciones subespecificadas aún acumularon evidencia (deriva positiva) pero a tasas más lentas, mientras que las correcciones sobreespecificadas podrían resultar en una deriva negativa o en una reducción de la potencia.
• Robustez y Modos de Fallo:
  • Deriva de la Familia Cruzada: Un proceso de corrección de varianza podía ser impulsado por un cambio puro de media (si el cambio de media aumentaba suficientemente el segundo momento), llevando a una falsa confirmación de un cambio de varianza. Por el contrario, un proceso de corrección de media podía ser impulsado por colas pesadas o inflación de la varianza. Esto demuestra que un cruce apoya el rendimiento predictivo relativo de la corrección, pero no identifica de manera única el mecanismo físico.
  • Fallo de la Condición de Momento: Cuando la distribución objetivo violaba la condición de momento (por ejemplo, objetivos de cola pesada donde la esperanza del sesgo es infinita), el límite de falsa confirmación podía ser excedido, incluso si la deriva a largo plazo era negativa. Esto resalta que la deriva negativa por sí sola no garantiza la protección uniforme en el tiempo.
• Adaptabilidad: La selección de entrada adaptativa (por ejemplo, seleccionar entradas con alta separación KL) aceleró la acumulación de evidencia sin comprometer la validez de la garantía de la nula de la fuente.
• Mezclas y Más Allá de la Tolerancia: Las mezclas sobre las magnitudes de la corrección proporcionaron robustez a la incertidumbre, y las pruebas de "más allá de la tolerancia" controlaron con éxito las falsas alarmas sobre una región compuesta de cambios aceptables.

5. Significado y Reivindicaciones

El artículo afirma proporcionar un marco de muestra finita y válido en cualquier momento para evaluar correcciones predictivas preespecificadas sin necesidad de estimar la distribución objetivo completa.

• Relativo vs. Absoluto: El autor enfatiza que el método proporciona confirmación relativa. Un cruce de frontera indica que la corrección propuesta es mejor que la predictiva de la fuente para los datos observados, pero no prueba que la corrección sea la distribución objetivo real ni identifica el mecanismo específico del cambio.
• Utilidad Operativa: El marco está diseñado para entornos donde se dispone de una corrección plausible antes de comenzar el monitoreo (por ejemplo, debido a un análisis de ingeniería o cambios de política), permitiendo el monitoreo secuencial con un control estricto del error.
• Limitaciones: Las garantías están condicionadas a la predictiva de la fuente ajustada $p_0$. El artículo no pretende manejar la especificación incorrecta del modelo de la fuente ni la incertidumbre derivada de la etapa de ajuste del modelo en sí misma. Además, el límite de refutación recíproco solo está calibrado bajo la nula de la predictiva corregida, no bajo una clase amplia de especificaciones incorrectas.
• Distinción de la Estimación: El trabajo se distingue explícitamente de los métodos de estimación o adaptación de cambios de distribución. No aprende un objetivo sin restricciones; pone a prueba una hipótesis específica sobre cómo la fuente debería ser modificada.

En resumen, el artículo ofrece una herramienta estadística rigurosa para "apostar" por una corrección predictiva específica frente a un modelo de la fuente, asegurando que el riesgo de falsas alarmas esté controlado en cada paso de un proceso de monitoreo secuencial, al tiempo que aclara los límites interpretativos respecto a la identificación del mecanismo de cambio subyacente.