PRE-CISE: A PRE-calibration Coverage, Identifiability, and SEnsitivity analysis workflow to streamline model calibration

El artículo presenta PRE-CISE, un flujo de trabajo pre-calibración que integra análisis de cobertura, sensibilidad local y diagnósticos de colinealidad para optimizar la calibración de modelos, mejorar la identificabilidad de los parámetros y fortalecer la fiabilidad de los análisis de políticas de salud.

Lo esencial

¡Hola! Imagina que eres un arquitecto que va a construir un rascacielos. Antes de poner el primer ladrillo, necesitas asegurarte de que tus planos sean correctos. Si los planos están mal, el edificio podría caerse o, peor aún, podría parecerse a un castillo de naipes en lugar de un rascacielos.

En el mundo de la salud, los científicos usan modelos matemáticos (como esos planos) para predecir cómo se comportarán las enfermedades y qué tan bien funcionarán los tratamientos. Pero estos modelos tienen "perillas" o ajustes (llamados parámetros) que a veces no sabemos exactamente cómo poner. Tienen que "calibrarse" para que el modelo coincida con la realidad.

El problema es que a veces hay demasiadas formas de ajustar esas perillas, y el modelo puede dar resultados correctos por pura suerte, pero ser un desastre en el futuro. Esto se llama no identificabilidad (es como si tuvieras un candado con mil llaves que abren, pero no sabes cuál es la correcta).

Los autores de este artículo, Valeria, Jeremy y Fernando, crearon un nuevo método llamado PRE-CISE. Piensa en PRE-CISE como un kit de herramientas de "pre-construcción" para evitar que el modelo se caiga antes de empezar.

Aquí te explico cómo funciona PRE-CISE usando una analogía de ajustar la radio de un coche antiguo:

1. La Prueba de Cobertura (¿La señal llega?)

Imagina que intentas sintonizar una estación de radio, pero tu antena está rota o el rango de búsqueda es muy pequeño.

• El problema: Si ajustas la radio en un rango muy estrecho, quizás nunca encuentres la estación, aunque la señal exista.
• La solución de PRE-CISE: Primero, hacen una "prueba de cobertura". Simulan miles de ajustes aleatorios dentro de sus límites actuales. Si la "radio" (el modelo) no logra captar la "estación" (los datos reales de salud), saben que sus límites de búsqueda son demasiado pequeños o están mal colocados.
• El resultado: Ajustan los límites de la radio para asegurarse de que, al menos, podrían encontrar la señal si la buscan en el lugar correcto.

2. Análisis de Sensibilidad (¿Qué perilla importa más?)

Ahora que sabes que la señal existe, necesitas saber qué perilla mover.

• La analogía: Tienes un panel con 100 perillas. Algunas controlan el volumen, otras el tono, y otras solo hacen que la luz parpadee. Si quieres mejorar la música, mover la perilla de "luz" es una pérdida de tiempo.
• La solución de PRE-CISE: Mueven cada perilla un poquito y miran qué pasa. Descubren cuáles perillas tienen un efecto gigante en el resultado y cuáles son casi invisibles.
• El resultado: Se enfocan solo en las perillas importantes. Esto hace que el proceso sea mucho más rápido y eficiente, como limpiar el camino de obstáculos antes de correr.

3. Análisis de Colinealidad (¿Estamos buscando en el laberinto correcto?)

A veces, dos perillas están conectadas de tal manera que mover una es lo mismo que mover la otra.

• La analogía: Imagina que tienes un mapa del tesoro, pero dos caminos diferentes te llevan al mismo árbol. Si intentas encontrar el tesoro exacto, te confundirás porque no sabes por cuál camino ir.
• La solución de PRE-CISE: Usan una herramienta matemática para ver si sus datos son lo suficientemente buenos para distinguir entre las diferentes perillas.
• El resultado: Si los datos son muy vagos (como usar datos semanales en lugar de diarios), el mapa es confuso y no pueden saber qué perilla es la correcta. El método les dice: "Oye, necesitas datos más detallados (como diarios) para desbloquear este acertijo".

¿Qué descubrieron con sus ejemplos?

Usaron dos casos reales para probar su método:

1. Un modelo de enfermedad crónica (Sick-Sicker): Descubrieron que al ajustar primero los límites basándose en qué perillas importaban más, lograron que el modelo encajara perfectamente con la realidad.
2. El modelo del COVID-19 en Ciudad de México: Aquí fue muy interesante. Descubrieron que si usaban datos diarios de casos nuevos, el modelo podía encontrar la solución correcta fácilmente. Pero si usaban datos semanales (promedios), el modelo se volvía confuso y no podía distinguir la verdad. ¡La resolución de los datos era clave!

En resumen

PRE-CISE es como tener un GPS inteligente antes de salir de viaje.

• En lugar de conducir a ciegas y gastar mucha gasolina (tiempo de computadora) buscando una ruta que quizás no existe, el GPS te dice: "Tu mapa inicial está mal, ajusta tus límites", "Concéntrate en esta carretera, no en ese sendero", y "Si no tienes datos detallados, no podrás llegar a tu destino".

Gracias a este método, los científicos pueden crear modelos de salud más fiables, transparentes y rápidos, lo que ayuda a los líderes a tomar mejores decisiones para proteger nuestra salud. ¡Es como pasar de adivinar el clima a usar un satélite!

Resumen técnico

Resumen Técnico: PRE-CISE

1. Planteamiento del Problema

Los modelos de políticas de salud son herramientas esenciales para proyectar los beneficios y daños de las intervenciones, pero a menudo dependen de parámetros que no son directamente observables (tasas de transmisión, probabilidades de transición no observadas, etc.). Estos parámetros deben estimarse mediante calibración para que las salidas del modelo coincidan con datos empíricos (objetivos de calibración).

El proceso de calibración enfrenta dos desafíos principales:

• Ineficiencia computacional: La búsqueda en espacios de parámetros de alta dimensión es costosa y requiere muchas simulaciones.
• No identificabilidad: Ocurre cuando múltiples conjuntos de parámetros distintos ajustan los datos de manera igualmente buena. Si no se aborda, esto puede llevar a proyecciones divergentes y recomendaciones de políticas contradictorias.
• Falta de cobertura: A menudo, las distribuciones a priori iniciales son demasiado estrechas o mal centradas, impidiendo que el modelo genere salidas que abarquen los objetivos de calibración, lo que desperdicia recursos computacionales en regiones inviables.

El artículo propone que las técnicas de análisis inverso (análisis de sensibilidad y colinealidad) rara vez se integran como un flujo de trabajo estructurado antes de la calibración intensiva en la modelización de decisiones sanitarias.

2. Metodología: El Flujo de Trabajo PRE-CISE

Los autores introducen PRE-CISE, un flujo de trabajo pre-calibración que integra tres análisis secuenciales para refinar el espacio de parámetros y diagnosticar problemas antes de ejecutar algoritmos de calibración costosos (como MCMC o IMIS).

Fase 1: Análisis de Cobertura (Coverage Analysis)

• Objetivo: Verificar si las salidas del modelo, generadas con conjuntos de parámetros extraídos de sus distribuciones a priori, abarcan (cubren) los objetivos de calibración.
• Procedimiento: Se muestrean $N$ conjuntos de parámetros de las distribuciones a priori, se ejecuta el modelo y se calculan los rangos intercuartílicos (ej. 95%) de las predicciones.
• Diagnóstico: Si los objetivos de calibración caen fuera de estos rangos, indica que los límites de las distribuciones a priori deben ajustarse (ampliarse o centrarse) antes de proceder.

Fase 2: Análisis de Sensibilidad Local (Local Sensitivity Analysis)

• Objetivo: Cuantificar la influencia de cada parámetro en las salidas del modelo para guiar el ajuste de los límites de las distribuciones a priori.
• Procedimiento: Se utiliza un enfoque de "un parámetro a la vez" (perturbación local) alrededor de un vector de parámetros base (media o punto medio). Se calculan las elasticidades (cambio proporcional en la salida por cambio proporcional en el parámetro) para construir una matriz de sensibilidad ($S$).
• Aplicación: Las magnitudes de las elasticidades identifican qué parámetros controlan las salidas. Los signos indican la dirección del ajuste necesario. Esto permite redefinir los límites de las distribuciones a priori de manera informada para mejorar la cobertura sin violar la plausibilidad biológica o clínica.

Fase 3: Análisis de Colinealidad (Identificabilidad)

• Objetivo: Diagnosticar la no identificabilidad práctica antes de la calibración completa.
• Procedimiento: Se utiliza la matriz de sensibilidad para calcular un índice de colinealidad ($\gamma$) basado en el valor propio más pequeño de la matriz de sensibilidad normalizada.
• Umbral: Un índice $\gamma > 15$ indica no identificabilidad práctica (los parámetros no pueden recuperarse de forma única con los datos disponibles).
• Aplicación: Permite determinar qué combinaciones de objetivos de calibración (ej. datos diarios vs. semanales) y qué subconjuntos de parámetros son identificables.

3. Contribuciones Clave

1. Estandarización del Pre-procesamiento: Opera técnicas matemáticas avanzadas (análisis inverso) en un protocolo práctico y transparente específico para modelos de políticas de salud.
2. Optimización de Recursos: Reduce la carga computacional al estrechar el espacio de búsqueda de parámetros a regiones plausibles y bien cubiertas antes de iniciar la calibración bayesiana intensiva.
3. Diagnóstico de Identificabilidad: Proporciona una herramienta para evaluar si los datos disponibles (y su resolución temporal) son suficientes para recuperar los parámetros del modelo, evitando ilusiones de precisión.
4. Transparencia: Fomenta el reporte honesto de la incertidumbre y la existencia de múltiples soluciones bien ajustadas cuando la identificabilidad no es posible.

4. Resultados

El flujo de trabajo se validó en dos modelos:

• Modelo Testbed (Sick-Sicker Markov):

  • El análisis de cobertura inicial mostró que el modelo sobreestimaba la prevalencia y la supervivencia.
  • La sensibilidad local identificó que la probabilidad de transición de "Enfermo" a "Más Enfermo" era el parámetro más influyente.
  • Al ajustar los límites a priori basándose en la sensibilidad, se logró una cobertura adecuada.
  • El análisis de colinealidad demostró que se necesitaban al menos dos objetivos de calibración (combinados en el tiempo) para identificar los tres parámetros; un solo objetivo no era suficiente.

• Estudio de Caso (Transmisión de COVID-19 en Ciudad de México):

  • El modelo tenía 11 parámetros desconocidos.
  • PRE-CISE identificó que las tasas de detección variables en el tiempo y la efectividad de las intervenciones no farmacéuticas (NPI) eran los factores más sensibles.
  • El ajuste de los límites a priori redujo el espacio de búsqueda, disminuyendo el tiempo computacional de calibración en un 18%.
  • Resolución de Datos: Al usar objetivos de casos incidentes diarios, todos los índices de colinealidad fueron < 15 (identificables). Sin embargo, al usar objetivos semanales, los índices aumentaron y se acercaron o superaron el umbral de 15, indicando que la calibración sería casi no identificable con datos agregados semanalmente.

5. Significado e Impacto

• Para Modeladores: Ofrece un protocolo para refinar priores y seleccionar objetivos de calibración, evitando búsquedas infructuosas y mejorando la convergencia de los algoritmos.
• Para Tomadores de Decisiones: Aumenta la confianza en las recomendaciones de políticas al clarificar qué se puede y qué no se puede aprender de los datos disponibles, y al exponer la incertidumbre inherente a la no identificabilidad.
• Para la Comunidad Científica: Establece criterios para que revisores y editores evalúen el rigor de la calibración en modelos de salud.
• Generalización: El flujo de trabajo es agnóstico al tipo de modelo (compartmental, microsimulación, basado en agentes) y es aplicable a una amplia gama de problemas, desde enfermedades crónicas hasta la vigilancia de enfermedades infecciosas en tiempo real.

En conclusión, PRE-CISE transforma la calibración de modelos de un proceso de "prueba y error" computacionalmente costoso en un proceso sistemático, transparente y eficiente, asegurando que las inferencias basadas en modelos sean robustas y útiles para la formulación de políticas públicas.