Sequential model confidence sets

Resumen Técnico: Conjuntos de Confianza de Modelos Secuenciales

Planteamiento del Problema
En la predicción y estimación estadística, los profesionales suelen enfrentarse al desafío de seleccionar el mejor modelo (o modelos) de un conjunto de candidatos ($M_0 = \{1, \dots, m\}$) basándose en una función de pérdida especificada por el usuario. El enfoque estándar, los Conjuntos de Confianza de Modelos (MCS, por sus siglas en inglés) propuestos por Hansen et al. (2011), reduce el conjunto de candidatos a un subconjunto que contiene los mejores modelos con un nivel de confianza determinado. Sin embargo, el MCS clásico se basa en dos supuestos restrictivos que entran en conflicto con los escenarios de pronóstico del mundo real:

1. Tamaño de Muestra Fijo: Asume un periodo de evaluación preespecificado y fijo, mientras que la selección de modelos y la evaluación de pronósticos son tareas inherentemente secuenciales donde los datos llegan a lo largo del tiempo y las decisiones de continuar o detener un estudio dependen de los resultados intermedios.
2. Estacionariedad: Asume que las secuencias de diferencias de pérdida observadas son estacionarias, un supuesto que suele violarse a medida que los modelos evolucionan, corrigen errores o se adaptan a sesgos sistemáticos a lo largo del tiempo.

Además, el MCS clásico depende de aproximaciones de bootstrap y propiedades asintóticas del Teorema del Límite Central (CLT), ofreciendo únicamente garantías de cobertura asintótica e incurriendo en altos costos computacionales. Existe la necesidad de métodos que permitan el monitoreo continuo del desempeño de los modelos con garantías de cobertura no asintóticas y uniformes en el tiempo.

Metodología
Los autores proponen los Conjuntos de Confianza de Modelos Secuenciales (SMCS), que generalizan el marco de los MCS a un entorno secuencial utilizando e-procesos y secuencias de confianza. La metodología se basa en la "inferencia segura en cualquier momento" (safe anytime-valid inference), asegurando la validez independientemente de cuándo se detenga el análisis.

El núcleo del enfoque involucra tres definiciones distintas de modelos "superiores", correspondientes a diferentes hipótesis sobre el desempeño de los modelos:

1. Fuertemente Superior ($M_{s,\star}$): Modelos que superan a todos los demás en cada punto en el tiempo en términos de diferencias de pérdida esperada condicional ($\mu_{ij,t} \le 0$).
2. Uniformemente Débilmente Superior ($M_{uw,\star}$): Modelos que superan a todos los demás en promedio a través de todos los puntos en el tiempo ($\Delta_{ij,t} \le 0$ para todo $t$).
3. Débilmente Superior ($M_{w,\star,t}$): Modelos que superan a todos los demás en un tiempo $t$ específico basado en la pérdida promedio hasta ese momento.

Construcción de SMCS:

• Para Hipótesis Fuertes y Uniformemente Débiles: Los autores utilizan e-procesos (específicamente los de Howard et al., 2020, y Choe y Ramdas, 2023) bajo el supuesto de diferencias de pérdida condicionalmente acotadas o uniformemente acotadas. Emplean el principio de clausura con una función de fusión aritmética como función de combinación de e-procesos para controlar la tasa de error de familia mediante múltiples comparaciones por pares. Un modelo es excluido del SMCS si el e-proceso correspondiente excede un umbral ($1/\alpha$).
• Para Hipótesis Débiles: La construcción se basa en secuencias de confianza uniformes en el tiempo. Los autores definen una región de confianza para el vector de diferencias de pérdida promedio. Un modelo es excluido si la región de confianza no intersecta con el hiperplano donde el modelo es superior.
• Manejo de Pérdidas No Acotadas: Para funciones de pérdida que no están uniformemente acotadas (por ejemplo, CRPS con soporte no acotado), los autores proponen una transformación a diferencias condicionalmente acotadas, que luego son escaladas para ser uniformemente acotadas, permitiendo la aplicación de los e-procesos derivados.

Contribuciones Clave

1. Extensión Secuencial: El artículo extiende el concepto de MCS a un marco secuencial, permitiendo el monitoreo continuo del desempeño de los modelos sin requerir un tamaño de muestra fijo.
2. Garantías Uniformes en el Tiempo: Los SMCS propuestos proporcionan garantías de cobertura no asintóticas y uniformes en el tiempo. Esto significa que la probabilidad de que los verdaderos modelos superiores estén contenidos en el conjunto es al menos de $1-\alpha$ para todos los puntos en el tiempo simultáneamente, una garantía más fuerte que la cobertura asintótica puntual.
3. Supuestos Mínimos: Los métodos dependen de supuestos distribucionales mínimos (diferencias de pérdida sub-gaussianas o sub-exponenciales) y no requieren aproximaciones de bootstrap computacionalmente costosas.
4. Flexibilidad en las Definiciones de Superioridad: El marco acomoda tres nociones diferentes de superioridad de modelos, permitiendo a los investigadores elegir la hipótesis (fuerte, uniformemente débil o débil) que mejor se ajuste a su contexto de aplicación (por ejemplo, conjuntos de información anidados frente a desempeño de modelos en evolución).

Resultados
El artículo valida la metodología a través de estudios de simulación y dos casos de estudio del mundo real:

• Simulaciones:
  • Simulación 1 (Hipótesis Fuerte): Con 49 pronosticadores, el SMCS logró una tasa de cobertura del 100% para el mejor modelo real, demostrando un desempeño conservador pero válido. El tamaño promedio del SMCS disminuyó con el tiempo.
  • Simulación 2 (Hipótesis Uniformemente Débil): En un escenario donde el mejor modelo era superior solo en promedio (no en cada punto de tiempo individual), el SMCS identificó correctamente el modelo uniformemente débilmente superior, mientras que la hipótesis fuerte habría producido un conjunto vacío.
  • Simulación 3 (Hipótesis Débil): En un entorno donde el mejor modelo cambiaba con el tiempo (empeorando $\to$ sesgado $\to$ mejorando), el SMCS para la hipótesis débil rastreó con éxito el cambio del modelo superior, incluyendo y excluyendo modelos a medida que su desempeño relativo cambiaba.
• Caso de Estudio 1 (Pronósticos de Covid-19): Aplicado a 69 modelos del Covid-19 Forecast Hub. El SMCS (bajo la hipótesis fuerte) identificó a los modelos de ensamble como consistentemente superiores y rechazó modelos epidemiológicos específicos (por ejemplo, PSI-draft) de forma relativamente temprana. Esto demostró la utilidad del monitoreo secuencial para la toma de decisiones políticas, permitiendo el rechazo temprano de modelos de bajo desempeño sin esperar a un tamaño de muestra fijo.
• Caso de Estudio 2 (Predicciones de Ráfagas de Viento): Aplicado a 9 métodos de postprocesamiento para ráfagas de viento. Bajo la hipótesis débil, el SMCS reveló que, aunque algunos modelos eran inicialmente inferiores, volvieron a ser competitivos tras las actualizaciones del modelo de Predicción Numérica del Tiempo (NWP) subyacente. Este comportamiento dinámico (modelos reingresando al conjunto de confianza) habría sido omitido por enfoques de muestra fija o de hipótesis fuerte.

Significancia y Reivindicaciones
El artículo afirma que los Conjuntos de Confianza de Modelos Secuenciales ofrecen una alternativa estadísticamente rigurosa a la selección de modelos tradicional, particularmente en entornos dinámicos.

• Validez en Cualquier Momento (Anytime-Validity): La principal significancia es la capacidad de "detenerse cuando sea" sin inflar las tasas de error Tipo I, una característica crucial para el monitoreo continuo en campos como la epidemiología y la meteorología.
• Manejo de la No Estacionariedad: Al distinguir entre la superioridad fuerte, uniformemente débil y débil, el método reconoce que los modelos pueden evolucionar. Permite la detección de modelos que son superiores en promedio o temporalmente, en lugar de requerir el dominio en cada instante.
• Utilidad Práctica: Los autores argumentan que sus métodos proporcionan una justificación teórica para la práctica común de la evaluación regular de modelos en situaciones de emergencia (como la pandemia), ofreciendo una forma de recolectar evidencia secuencialmente y tomar decisiones basadas en el estado actual del conocimiento mientras se respeta la incertidumbre de la selección.

Los autores mantienen la modestia, señalando que, aunque se centraron en diferencias de pérdida acotadas, la teoría no se limita estrictamente a ellas, aunque se requiere más investigación para funciones de pérdida generales. También reconocen que, si bien sus métodos controlan las tasas de error de familia, trabajos futuros podrían explorar el control de la tasa de falso descubrimiento (FDR) para obtener potencialmente mayor potencia.