Resumen Técnico: Un Gemelo Digital de Subpoblación basado en Modelos de Difusión para el Despliegue en Salud Móvil

1. Declaración del Problema

Las intervenciones de salud móvil (mHealth) dependen cada vez más de algoritmos de aprendizaje en línea, como las Intervenciones Adaptativas Justo a Tiempo (JITAI), para personalizar los estímulos conductuales (por ejemplo, sugerencias de actividad) en tiempo real. Sin embargo, el diseño de estos algoritmos implica numerosos hiperparámetros y decisiones estructurales (por ejemplo, tasas de exploración, selección de características) que, si se configuran incorrectamente, pueden sobrecargar a los participantes y reducir la eficacia de la intervención.

El desafío principal es la falta de simuladores realistas para validar estos diseños de algoritmos antes de su despliegue en el mundo real. Los simuladores existentes enfrentan dos limitaciones principales:

1. Escasez de Datos: Las subpoblaciones objetivo (por ejemplo, pacientes de rehabilitación cardíaca) suelen ser pequeñas (40–80 participantes), lo que dificulta el entrenamiento de modelos robustos.
2. Empobrecimiento de Datos: Los despliegues consecutivos suelen dirigirse a diferentes subpoblaciones, ubicaciones o contextos sociales. Un simulador entrenado en un despliegue previo suele fallar al generalizar al siguiente debido a cambios en la distribución (por ejemplo, cambios de comportamiento post-pandemia).
3. Limitaciones del Modelo: Los simuladores estructurales previos (por ejemplo, modelos de espacio de estados lineales) no logran capturar la dinámica no lineal, con exceso de ceros y heterogénea de los datos de actividad reales. Los métodos basados en remuestreo preservan las distribuciones marginales pero a menudo pierden la coherencia temporal.

El artículo propone un "JITAI-Twin": un gemelo digital que representa a una subpoblación objetivo que puede simular el comportamiento y la respuesta a las intervenciones antes de que comience un estudio, permitiendo la prueba segura de diseños de algoritmos de aprendizaje en línea.

2. Metodología

El método propuesto construye un JITAI-Twin utilizando un modelo de difusión de series temporales condicional a través de un pipeline de tres etapas. La arquitectura se adapta de TimeWeaver (Narasimhan et al., 2024) pero se modifica para asegurar la consistencia temporal (no anticipatoria), lo que significa que las acciones futuras no influyen en la generación de los estados pasados.

2.1. Arquitectura

• Modelo Base: Un modelo de difusión de espacio de estados (SSSD) con un backbone de 36 bloques residuales.
• Consistencia Temporal: Para soportar la evaluación de algoritmos en línea, el modelo genera trayectorias estrictamente hacia adelante en el tiempo. Esto se logra mediante:
  • Convoluciones 1-D con padding a la izquierda: Asegurando que la salida en el tiempo $t$ dependa solo de las entradas $\le t$.
  • Kernels S4 de solo avance: Utilizando únicamente la dirección hacia adelante del kernel de espacio de estados estructurado, evitando el flujo de información desde pasos de tiempo futuros.
• Condicionamiento:
  • Encuesta de Línea Base: Codificada mediante un codificador de texto T5 congelado en un resumen de lenguaje natural, inyectada mediante atención cruzada en cada bloque residual. Esto permite al modelo manejar esquemas de encuestas heterogéneos entre estudios.
  • Secuencia de Intervención: Inyectada mediante un módulo dedicado, con inicialización en cero y temporalmente consistente, durante el ajuste fino (fine-tuning).

2.2. El Pipeline de Tres Pasos

El pipeline integra tres fuentes distintas de información para adaptar el gemelo a un nuevo despliegue:

1. Pre-entrenamiento (Datos Observacionales):

   • Fuente: Conjuntos de datos observacionales a gran escala (por ejemplo, "All of Us" del NIH) donde los participantes son monitoreados sin intervención.
   • Objetivo: Aprender un prior amplio sobre la dinámica conductual día a día (por ejemplo, ciclos día-noche, patrones de exceso de ceros) y cómo el comportamiento varía entre individuos según la demografía de la línea base.
   • Entrenamiento: Entrena el backbone de espacio de estados, la atención cruzada y las proyecciones. Las capas de intervención se excluyen.

2. Ajuste Fino (Datos de Intervención Previos):

   • Fuente: Datos de pequeña escala de despliegues previos del mismo tipo de intervención (por ejemplo, HeartSteps v2/v3).
   • Objetivo: Aprender cómo los estímulos de la intervención específica desplazan el comportamiento respecto al prior observacional.
   • Entrenamiento: El backbone de espacio de estados (que captura la dinámica agnóstica a la intervención) se congela. Solo se actualizan las vías de inyección de la intervención, los adaptadores LoRA en la atención cruzada y las proyecciones de entrada/salida. Esto minimiza el sobreajuste en conjuntos de datos pequeños (~100 participantes).

3. Calibración en Tiempo de Inferencia (Conocimiento Pre-despliegue):

   • Fuente: Experiencia de científicos del dominio o pronósticos de Modelos de Lenguaje Extensos (LLM) sobre la población y el contexto del próximo despliegue (por ejemplo, "Adultos con sobrepeso en el sur de California post-pandemia").
   • Objetivo: Ajustar el gemelo ya ajustado para que coincida con el perfil de comportamiento esperado de la población objetivo sin usar ningún dato del despliegue actual.
   • Mecanismo: Un muestreador con sesgo de recompensa (reward-tilted sampler) modifica el proceso de generación de la difusión. El modelo muestrea de una distribución sesgada $\tilde{p}(s) \propto p_\theta(s) \exp(\gamma \langle v, s \rangle)$, donde $v = \mu^* - \mu_{base}$ es la diferencia entre el perfil medio objetivo ($\mu^*$) y la media del modelo base. El parámetro de confianza $\gamma$ controla la fuerza del desplazamiento.
   • Generación del Perfil Objetivo: Un prompt de dos pasos en el LLM elicia el razonamiento cualitativo sobre las diferencias de población y lo convierte en una forma diurna numérica normalizada, que luego se escala por el nivel de actividad del despliegue previo.

3. Contribuciones Clave

1. Arquitectura de Difusión con Consistencia Temporal: Una modificación novedosa de los modelos de difusión de series temporales que impone un flujo de información estrictamente hacia adelante en el tiempo, convirtiéndolos en entornos válidos para evaluar algoritmos de aprendizaje en línea donde las acciones futuras no pueden influir en los estados pasados.
2. Calibración en Tiempo de Inferencia: Un método para adaptar un modelo generativo fijo a una nueva población no vista utilizando solo conocimiento pre-despliegue (protocolo y pronósticos de expertos/LLM) mediante el muestreo con sesgo de recompensa, evitando el re-entrenamiento.
3. Evaluación de Extremo a Extremo: Un replay exhaustivo del programa HeartSteps (v2 a través de v4), demostrando la capacidad del gemelo para evolucionar de un prior observacional a un simulador ajustado y calibrado a través de distintos desplazos de población.

4. Resultados

El método fue evaluado en la serie de intervención de actividad física HeartSteps, comparando el JITAI-Twin contra baselines más simples (KNN, Muestreo de Rechazo por Estado, Modelos de Ecuaciones Estructurales Lineales).

• Fidelidad en Desplazos de Distribución:
  • Primer Traspaso (v2/v3): Sin datos de intervención previos, el gemelo pre-entrenado (calibrado) reprodujo la heterogeneidad entre participantes (dispersión de autocorrelación) significativamente mejor que los baselines, aunque el ajuste del perfil diario fue comparable a los métodos de remuestreo.
  • Segundo Traspaso (v4): Cuando la población objetivo cambió significamente (pacientes cardíacos de Seattle a adultos con sobrepeso del sur de California), el gemelo calibrado y ajustado logró un rendimiento cercano al oráculo (igualando el suelo de los datos reales). Fue el único método no-oráculo capaz de reproducir fielmente el perfil diario, la estructura de los periodos temporales y la heterogeneidad entre participantes simultáneamente. Los baselines fallaron en la transferencia, ya sea colapsando la heterogeneidad o representando erróneamente los patrones temporales.
• Condicionamiento Demográfico: El gemelo reprodujo con éxito la dirección de los contrastes demográficos (por ejemplo, empleados vs. desempleados, niveles de estrés) en los datos generados, coincidiendo con el orden de los subgrupos y el tiempo de pico de los datos reales.
• Precisión del Objetivo de Calibración: Los pronósticos cualitativos generados por el LLM, convertidos en objetivos numéricos, predijeron con éxito el cambio en los patrones de actividad diurna (por ejemplo, el patrón bimodal de la cohorte v4 post-pandemia), permitiendo al gemelo cerrar la brecha hacia la distribución real objetivo.
• Efecto de la Intervención: El gemelo aprendió un efecto casi nulo para los estímulos específicos de HeartSteps en v4, consistente con los hallazgos reales del programa, demostando que no alucina la eficacia de la intervención.

5. Significado y Reivindicaciones

El artículo sostiene que este marco proporciona un prerrequisito práctico para probar e informar las decisiones de diseño de algoritmos en línea antes de su despliegue real.

• Costo-Beneficio: El gemelo justifica su costo específicamente cuando los despliegues difieren significamente (desplazo de distribución) o cuando las decisiones dependen de la heterogeneidad entre participantes que los remuestreadores más simples colapsan. Cuando las poblaciones son similares, los remuestreadores más simples pueden ser suficientes.
• Reproducibilidad: Al permitir la validación previa al despliegue de los hiperparámetros de los algoritmos, el método busca prevenir la improvisación a mitad del despliegue que socava la reproducibilidad y el compromiso de los participantes.
• Limitaciones: Los autores señalan explícitamente que, aunque la arquitectura es temporalmente consistente, no identifica intrínsecamente efectos causales; el proceso de ajuste fino puede no eliminar completamente los factores de confusión sin un pesaje específico. Además, el bucle "modelo-a-decisión" (usar el gemelo para cambiar realmente un despliegue) aún no ha sido probado en un ensayo prospectivo, solo en un replay de simulación.

El trabajo sugiere que combinar priors generativos fuertes, un ajuste fino robusto con pocos datos de intervención y una calibración en tiempo de inferencia permite a los investigadores construir simuladores de alta fidelidad para subpoblaciones incluso cuando no se dispone de datos del objetivo, siempre que se cuente con la experiencia de dominio para describir el cambio de población.