Anytime-Valid Confirmation of Label-Shift Corrections

Resumen Técnico: Confirmación en Cualquier Momento de las Correcciones de Desplazamiento de Etiquetas

1. Planteamiento del Problema

En despliegues científicos con lotes pequeños, los resultados etiquetados del objetivo suelen ser demasiado escasos para estimar de manera fiable los desplazamientos de etiquetas (donde la distribución marginal $p(y)$ cambia mientras que $p(x|y)$ permanece estable) utilizando métodos tradicionales de objetivos no etiquetados como BBSE o MLLS. En estos escenarios, los profesionales suelen poseer una corrección candidata preespecificada derivada del conocimiento del dominio, especificaciones regulatorias o experimentos de puente.

El problema central abordado no es la estimación del desplazamiento, sino la confirmación de si los resultados etiquetados entrantes respaldan una corrección de desplazamiento de etiquetas fija y postulada respecto a un modelo predictivo de origen. Esto se enmarca como un problema de confirmación en lugar de un problema de estimación, lo que requiere una herramienta estadística que pueda manejar la llegada secuencial de datos sin un tamaño de muestra preespecificado, controlando el error Tipo I bajo parada opcional.

2. Metodología

El artículo propone un marco de pruebas secuenciales basado en e-valores y e-procesos (Vovk & Wang, 2021; Shafer, 2021).

Construcción Central:
Dado un predictivo de origen fijo $p_s(y|x, D_{tr})$ y un peso candidato $w(y)$ derivado del conocimiento del dominio, los autores definen un predictivo inclinado (tilted predictive):
$$\tilde{p}_w(y|x, D_{tr}) \propto w(y) p_s(y|x, D_{tr})$$
La prueba acumula la razón de verosimilitud por observación entre el predictivo inclinado y el predictivo de origen:
$$e_i = \frac{\tilde{p}_w(y_i|x_i, D_{tr})}{p_s(y_i|x_i, D_{tr})} = \frac{w(y_i)}{Z_w(x_i)}$$
donde $Z_w(x_i)$ es la constante de normalización.

Garantías Teóricas:

• E-valor Condicional: Bajo la hipótesis nula predictiva $H_0^{pred}$ (donde los resultados siguen el predictivo de origen $p_s$), la esperanza de $e_i$ dado los datos pasados y la entrada actual es 1. Por lo tanto, $e_i$ es un e-valor condicional válido.
• Propiedad de Martingala: El producto acumulado $M_t = \prod_{i=1}^t e_i$ forma una martingala no negativa (un e-proceso).
• Regla Válida en Cualquier Momento: La regla de parada $\tau^* = \inf\{t : M_t > 1/\alpha\}$ controla el error Tipo I al nivel $\alpha$ simultáneamente para todos los tamaños de muestra $t$, sin necesidad de corrección por parada opcional.
• Identidad de la Brecha NLPD: El log-patrimonio $\log M_t$ es igual a la diferencia acumulada en la Densidad de Log-Predicción Negativa (NLPD) entre el origen y el predictivo inclinado:
  $$\log M_t = \sum_{i=1}^t (\text{NLPD}_i(p_s) - \text{NLPD}_i(\tilde{p}_w))$$
  El rechazo ocurre cuando la ventaja de la puntuación de log acumulada del predictivo inclinado excede $\log(1/\alpha)$.

Forma Cerrada para Procesos Gaussianos:
Para fuentes de Procesos Gaussianos (GP) con relaciones de desplazamiento de etiquetas gaussianas, los autores derivan expresiones de forma cerrada para la constante de normalización $Z_w(x)$ y el e-valor por muestra. Esto permite una computación eficiente utilizando únicamente las salidas de la posterior del GP ($\mu_s, \sigma^2_s$) y los parámetros de desplazamiento.

Pruebas Múltiples:
Para pruebas paralelas de $K$ flujos, el artículo recomienda el procedimiento e-BH (Wang & Ramdas, 2022) utilizando e-valores por lotes para controlar la Tasa de Falsos Descubrimientos (FDR), en lugar de las conservadoras correcciones de Bonferroni.

3. Contribuciones Clave

1. Identidad de la Brecha NLPD: Conecta la apuesta óptima de Kelly con la evaluación de modelos, demostrando que la brecha de NLPD acumulada sirve como el log-patrimonio de un e-proceso válido.
2. Prueba de Confirmación Válida en Cualquier Momento: Proporciona una prueba secuencial formal para un desplazamiento fijo postulado que no requiere un tamaño de muestra preespecificado y controla el error Tipo I bajo parada opcional.
3. E-valores de GP de Forma Cerrada: Deriva soluciones analíticas para los e-valores bajo inclinaciones de desplazamiento de etiquetas gaussianas, permitiendo la implementación práctica en regresión de GP.
4. Caracterización de la Tasa de Crecimiento: Demuestra que, bajo la alternativa (especificación correcta), la prueba tiene potencia asintótica uno, con una tasa de crecimiento igual a la divergencia KL promedio entre los predictivos inclinado y de origen.
5. Validación Empírica: Demuestra el control del error Tipo I, la potencia en muestras finitas, la sensibilidad a la descalibración y la ventaja de utilizar un prior fiable sobre la reestimación ruidosa en lotes pequeños.

4. Resultados Experimentales

Los autores validan su método utilizando simulaciones de regresión de GP de extremo a extremo:

• Control de Tipo I: Bajo la nula predictiva, la tasa empírica de falsas alarmas permanece estrictamente por debajo del $\alpha$ nominal (0.05) en todos los horizontes, confirmando la garantía de validez en cualquier momento.
• Potencia vs. LRT de Muestra Fija: Aunque las Pruebas de Razón de Verosimilitud (LRT) de muestra fija calibradas para tamaños de muestra específicos muestran una potencia ligeramente mayor en horizontes largos, el e-proceso mantiene la validez bajo tiempos de parada arbitrarios, ofreciendo un compromiso fundamental entre potencia y flexibilidad.
• Ventaja de Lotes Pequeños: En escenarios con tamaños de lote objetivo pequeños ($n_t=10$), una corrección previa (oráculo) fiable supera significativamente a la reestimación adaptativa en términos de NLPD de la muestra mantenida. La prueba de confirmación proporciona evidencia formal para respaldar el uso de tales priors.
• Sensibilidad a la Descalibración: La prueba es altamente sensible a la descalibración del predictivo de origen. La subestimación de la varianza por parte del GP de origen (por ejemplo, un factor $c=2$) causa una inflación aguda del error Tipo I (hasta 36.45%), resaltando que la garantía de validez depende de que el modelo de origen esté bien calibrado.
• Robustez ante la Especificación Errónea: Cuando el desplazamiento postulado está mal especificado (magnitud o dirección incorrectas), la potencia de la prueba disminuye, pero el error Tipo I permanece controlado siempre que el peso sea fijo antes de la prueba. La prueba no rechaza falsamente la nula debido a la especificación errónea; simplemente no logra rechazarla.

5. Significado y Reivindicaciones

El artículo afirma proporcionar una herramienta necesaria para un escenario específico, a menudo pasado por alto en el despliegue de modelos: la confirmación en lugar de la estimación.

• Distinción de la Estimación: Los autores enfatizan que el rechazo confirma que la corrección postulada es consistente con los datos en relación con el origen, pero no cuantifica el grado exacto del desplazamiento. Para la estimación cuantitativa, los métodos de objetivos no etiquetados siguen siendo la herramienta apropiada.
• Utilidad Práctica: El método permite a los profesionales validar formalmente las correcciones basadas en el conocimiento del dominio (por ejemplo, especificaciones regulatorias) a medida que llegan los datos, evitando la falta de fiabilidad de reestimar los desplazamientos a partir de datos etiquetados escasos.
• Limitaciones: Los autores declaran explícitamente que la garantía de control de Tipo I está condicionada a la nula predictiva (es decir, el modelo de origen debe estar bien calibrado). La prueba no es robusta a la especificación errónea arbitraria del modelo sin capas de calibración adicionales. Además, el peso candidato debe fijarse antes de que comience el flujo de la prueba; utilizar datos del flujo de la prueba para estimar el peso invalida la propiedad del e-valor.

En resumen, el artículo ofrece un marco riguroso y válido en cualquier momento para confirmar correcciones de desplazamiento de etiquetas preespecificadas, cerrando la brecha entre el conocimiento del dominio y la evidencia estadística secuencial en entornos de escasez de datos.