From metric to action: The decision value of infectious disease forecasts

Este artículo presenta un marco teórico que vincula las predicciones epidemiológicas con la toma de decisiones en salud pública, traduciendo métricas estadísticas en valor práctico para los decisores mediante la integración de conceptos de la teoría de la información y la decisión.

Lo esencial

Imagina que estás a punto de salir de casa y el pronóstico del tiempo dice: "Hay un 40% de probabilidad de lluvia".

Para un meteorólogo, lo importante es que ese 40% sea matemáticamente preciso. Pero para tú, el que va a salir, lo importante no es el número exacto, sino qué vas a hacer con esa información. ¿Te llevas el paraguas? ¿Te quedas en casa? ¿Llevas botas de agua?

La respuesta depende de tu "tolerancia al riesgo":

• Si eres muy precavido (te molesta mucho mojarte), te llevarás el paraguas aunque solo haya un 10% de lluvia.
• Si eres más arriesgado (no te importa mojarte un poco), solo te llevarás el paraguas si la probabilidad es del 90%.

El problema actual:
Hasta ahora, cuando evaluábamos los pronósticos de enfermedades (como el COVID), los científicos se centraban en ver qué tan "matemáticamente perfectos" eran los modelos. Usaban reglas estrictas para ver si el modelo acertaba en el número exacto de casos. Pero esto es como evaluar al meteorólogo solo por si acertó el porcentaje, sin importar si su pronóstico te ayudó a decidir si llevar o no el paraguas.

La solución de este nuevo estudio:
Los autores de este paper proponen un nuevo sistema para evaluar los pronósticos de enfermedades. En lugar de preguntar "¿Qué modelo es el más inteligente?", preguntan: "¿Qué modelo es el más útil para la persona que tiene que tomar la decisión?"

Aquí te explico sus ideas clave con analogías sencillas:

1. Del "Puntaje de Gimnasia" al "Valor en la Vida Real"

Antes, los modelos competían como gimnastas: buscaban el puntaje más alto en calibración y precisión estadística.

• La nueva idea: Imagina que el pronóstico es un mapa de navegación. No importa si el mapa es matemáticamente perfecto en todos sus detalles; lo que importa es si te ayuda a llegar a tu destino sin chocar.
• El estudio introduce una herramienta llamada Ratio Costo-Pérdida. Es como preguntarte: "¿Cuánto me cuesta llevar el paraguas (costo) comparado con cuánto me costaría mojarme y enfermar (pérdida)?".
  • Si el costo de llevar el paraguas es bajo y mojarse es terrible, el modelo debe ser muy bueno advirtiendo de cualquier riesgo pequeño.
  • Si el costo de actuar es muy alto (ej. cerrar una ciudad entera), el modelo debe ser extremadamente seguro antes de sugerir esa acción.

2. No existe un "Mejor Modelo" para todos

En el pasado, decíamos: "El Modelo A es el mejor porque tiene el puntaje más alto".

• La realidad: El Modelo A podría ser el mejor para un alcalde que tiene muchos recursos y puede permitirse cerrar escuelas si hay un riesgo leve. Pero el Modelo B podría ser el mejor para un hospital con pocos recursos que solo quiere actuar si hay un riesgo muy grave.
• La analogía: Es como comprar zapatos. Un zapato de running de alta gama es el "mejor" para un maratón, pero es terrible para caminar por la nieve. El estudio dice que debemos elegir el "zapato" (modelo) correcto según el "terreno" (la decisión específica) y el "caminante" (el tomador de decisiones).

3. El "Termómetro de la Caos" (Previsibilidad)

A veces, el futuro es simplemente muy caótico y nadie puede predecirlo bien, sin importar cuán inteligente sea el modelo.

• La analogía: Imagina intentar predecir el camino de una hoja que cae en un río con muchas corrientes. A veces el río es tranquilo (alta previsibilidad) y puedes ver hacia dónde irá la hoja. Otras veces, el río es una tormenta (baja previsibilidad) y la hoja va a donde el viento la lleve.
• El estudio propone medir este "nivel de caos" del río. Si el río está muy turbulento, los modelos no deben prometer certezas. Esto ayuda a los líderes a no confiar ciegamente en un pronóstico cuando la situación es demasiado impredecible.

4. El Nuevo Flujo de Trabajo (La Receta)

El estudio propone una nueva forma de trabajar en 7 pasos, que es como una receta para cocinar un plato a medida:

1. Pregunta: ¿Qué decisión específica necesitamos tomar? (Ej: ¿Cerramos parques?).
2. Objetivo: ¿Qué queremos medir? (Ej: ¿Casos nuevos?).
3. Preferencias: ¿Qué tan arriesgados somos? (Ej: ¿Preferimos prevenir de más o de menos?).
4. Pronóstico: Usamos los modelos para predecir.
5. Prueba: Evaluamos el modelo no por su puntaje general, sino por qué tan bien nos ayudó a tomar esa decisión específica.
6. Realidad: Verificamos si el "río" (la enfermedad) es predecible en este momento.
7. Decisión: Elegimos el modelo que mejor se adapta a nuestra necesidad actual.

En resumen

Este paper es un llamado a dejar de obsesionarse con la "perfección matemática" de los modelos y empezar a obsesionarse con su utilidad práctica.

Es como pasar de evaluar a un chef solo por si cortó las cebollas en cubos perfectos, a evaluarlo por si el plato que cocinó satisfizo el hambre y los gustos del comensal. El objetivo final no es tener el modelo más bonito, sino tomar mejores decisiones que salven vidas y recursos cuando estemos frente a una epidemia.

Resumen técnico

Resumen Técnico: De la métrica a la acción: El valor de decisión de las previsiones de enfermedades infecciosas

1. Planteamiento del Problema

La toma de decisiones durante brotes de enfermedades infecciosas es compleja, con consecuencias críticas y debe realizarse bajo incertidumbre, presión social y limitaciones de tiempo. Aunque las previsiones probabilísticas (predicciones de valores futuros epidemiológicos junto con su incertidumbre) son herramientas clave, su evaluación actual presenta deficiencias fundamentales:

• Enfoque en el pronosticador: Las métricas de evaluación tradicionales (como el Continuous Ranked Probability Score - CRPS o el Weighted Interval Score - WIS) se centran en la calidad estadística de la predicción (calibración y nitidez) desde la perspectiva del modelador, no del usuario final.
• Falta de valor de acción: No existen protocolos sistemáticos para medir el "valor" de una previsión, definido como su capacidad para proporcionar información procesable (actionable insights) a los tomadores de decisiones.
• Brecha conceptual: Existe una desconexión entre la calidad estadística de un modelo y su utilidad práctica para decisiones específicas (ej. aumentar capacidad hospitalaria vs. lanzar vacunas), las cuales dependen de las preferencias de riesgo y los recursos del decisor.

2. Metodología y Marco de Trabajo

Los autores proponen un marco de evaluación sistemático que integra conceptos de la meteorología, la teoría de la información y la teoría de la decisión para cerrar la brecha entre pronosticadores y decisores. El flujo de trabajo (Figura 1 del artículo) consta de siete pasos iterativos:

1. Definición de la pregunta de política: Identificar la pregunta específica del usuario (ej. "¿Superará la incidencia un umbral crítico?").
2. Definición del resultado: Determinar el resultado epidemiológico a predecir (casos, hospitalizaciones, etc.).
3. Selección de métricas y preferencias: Elegir métricas adecuadas y definir las preferencias de riesgo del usuario.
4. Generación de previsiones: Utilizar modelos probabilísticos.
5. Evaluación de rendimiento: Medir el rendimiento del modelo en el tiempo y el espacio.
6. Evaluación de predictibilidad: Analizar la predictibilidad inherente de la serie temporal epidémica.
7. Toma de decisiones: Utilizar los modelos basados en métricas para informar la decisión.

Componentes Clave del Marco:

• Descomposición de Métricas (CORP): Se utiliza el algoritmo CORP para descomponer las puntuaciones en componentes interpretables:

  • MCB (Miscalibration): Desviación de la calibración (fiabilidad).
  • DSC (Discrimination): Capacidad de discriminación del modelo.
  • UNC (Uncertainty): Variabilidad irreducible de los datos.
  • Esto permite diagnosticar si un modelo falla por mala calibración o falta de discriminación en contextos específicos (espacio/tiempo).

• Marco de Decisión Costo-Pérdida (Cost-Loss, C/L):

  • Se introduce una matriz de error donde $P$ es el costo de tomar una acción preventiva y $Q$ es la pérdida evitable si no se actúa y ocurre el evento.
  • La relación $C/L = P/Q$ define el umbral de probabilidad bajo el cual un decisor debe actuar.
  • Se demuestra que muchas métricas estadísticas (como CRPS o Brier Score) son en realidad integrales de funciones de puntuación elementales ponderadas por funciones de utilidad que asumen preferencias de riesgo específicas.

• Nuevas Métricas de Valor de Decisión:

  • Valor Económico Relativo (REV): Mide el valor operativo de un modelo frente a un modelo de referencia y un modelo perfecto, para una relación C/L y umbral de evento dados.
  • Diagramas de Murphy: Visualizaciones que muestran el rendimiento del modelo (puntuación elemental media) frente a diferentes umbrales de eventos (para un usuario fijo) o diferentes preferencias de riesgo (para un evento fijo). Permiten identificar dominancia de modelos en escenarios de incertidumbre.
  • Pérdida Pinball (Quantile Score): Evalúa la precisión en cuantiles específicos, útil para usuarios con aversión al riesgo específica.

• Evaluación de Predictibilidad (Entropía de Permutación):

  • Se utiliza la Entropía de Permutación (PE) para cuantificar la predictibilidad inherente de la serie temporal epidémica (0 = baja predictibilidad, 1 = alta).
  • Esto ayuda a determinar si el rendimiento del modelo se debe a la calidad del modelo o a la naturaleza predecible del brote, y a anticipar cambios de régimen en la dinámica epidémica.

3. Resultados Principales (Aplicación a COVID-19)

El marco se aplicó a previsiones semanales de casos incidentes de COVID-19 a nivel estatal en EE. UU. (agosto 2020 - enero 2022), utilizando datos del COVID-19 Forecast Hub.

• Rendimiento de Modelos:
  • El modelo de conjunto (Ensemble) generalmente obtuvo el mejor rendimiento promedio en métricas tradicionales (WIS, rWIS) a través de diferentes horizontes y ubicaciones.
  • Sin embargo, al analizar preferencias de riesgo específicas y eventos extremos (ej. percentil superior 10% de casos), el modelo de conjunto no siempre fue el óptimo. Modelos como Karlen-pypm o el modelo de referencia (Baseline) a veces ofrecieron mayor valor para decisores con perfiles de riesgo específicos.
• Valor de Decisión:
  • Los Diagramas de Murphy y las curvas REV revelaron que la "mejor" modelación promedio no garantiza el mayor valor para decisiones específicas. Por ejemplo, para decisores con baja tolerancia al riesgo (alto costo de no actuar), ciertos modelos individuales superaron al conjunto en la predicción de eventos extremos.
  • Se observó que la relación entre predictibilidad y valor de la previsión no es lineal. En fases de alta predictibilidad (crecimiento/auge), la cobertura de los intervalos de predicción (PI) a menudo caía por debajo del nivel nominal (ej. <95%), sugiriendo la necesidad de recalibrar los pesos del conjunto.
• Predictibilidad:
  • La predictibilidad (medida por PE) fue moderada y varió espacial y temporalmente. Se correlacionó positivamente con la tasa de reproducción efectiva ($R_t$) y el número de casos recientes.
  • La evaluación de la predictibilidad histórica sirve como una "comprobación de sentido" para anticipar la fiabilidad futura de los modelos.

4. Contribuciones Clave

1. Cambio de Perspectiva: Transición de evaluar modelos desde la perspectiva del pronosticador (calidad estadística) a la del tomador de decisiones (valor de acción).
2. Marco Unificado: Integración de la teoría de la decisión (relaciones Costo-Pérdida) con la evaluación de pronósticos epidemiológicos, permitiendo cuantificar el valor de una previsión en función de los recursos y preferencias del usuario.
3. Herramientas de Visualización: Introducción de Diagramas de Murphy y curvas REV adaptadas a enfermedades infecciosas para visualizar el rendimiento bajo incertidumbre en umbrales de eventos y preferencias de riesgo.
4. Evaluación de Robustez: Inclusión de la Entropía de Permutación para evaluar la predictibilidad inherente de la epidemia, ayudando a distinguir entre fallos del modelo y limitaciones fundamentales de la predictibilidad del sistema.
5. Protocolo Iterativo: Propuesta de un flujo de trabajo que debe repetirse para cada pregunta de política, reconociendo que no existe un modelo "óptimo" universal, sino uno óptimo para una decisión específica.

5. Significado e Impacto

Este trabajo proporciona una base fundamental para alinear la predicción de enfermedades infecciosas con la toma de decisiones en el mundo real.

• Mejora en la Salud Pública: Permite a los gestores de salud seleccionar modelos que maximicen el beneficio para sus decisiones específicas (ej. asignación de camas UCI), en lugar de seguir ciegamente el modelo con la puntuación estadística promedio más alta.
• Gestión de la Incertidumbre: Al cuantificar explícitamente las preferencias de riesgo y la predictibilidad del sistema, el marco hace que la toma de decisiones sea más transparente y defendible ante la incertidumbre.
• Colaboración Interdisciplinaria: Fomenta un diálogo continuo entre modeladores, economistas, científicos sociales y decisores para definir parámetros realistas de costos y pérdidas (C/L), esenciales para operacionalizar el marco.
• Adaptabilidad: Reconoce que las dinámicas epidémicas cambian y que las estrategias de evaluación deben ser dinámicas, adaptándose a cambios en la predictibilidad y en los recursos disponibles.

En conclusión, el artículo argumenta que la "mejor" previsión no es la que tiene el error estadístico más bajo, sino la que mejor informa la acción óptima para un decisor específico en un contexto de riesgo y recursos determinado.