Résumé technique : Un jumeau numérique de sous-population basé sur un modèle de diffusion pour un déploiement en santé mobile

1. Énoncé du problème

Les interventions de santé mobile (mHealth) reposent de plus en plus sur des algorithmes d'apprentissage en ligne, tels que les interventions adaptatives juste-à-temps (JITAI), pour personnaliser les incitations comportementales (par exemple, des suggestions d'activité) en temps réel. Cependant, la conception de ces algorithmes implique de nombreux hyperparamètres et choix structurels (par exemple, les taux d'exploration, la sélection des caractéristiques) qui, s'ils sont mal configurés, peuvent peser sur les participants et réduire l'efficacité de l'intervention.

Le défi principal est l'absence de simulateurs réalistes pour valider ces conceptions d'algorithmes avant leur déploiement dans le monde réel. Les simulateurs existants font face à deux limitations majeures :

1. Rareté des données : Les sous-populations cibles (par exemple, les patients en réadaptation cardiaque) sont souvent de petite taille (40 à 80 participants), ce qui rend difficile l'entraînement de modèles robustes.
2. Appauvrissement des données : Les déploiements consécutifs ciblent souvent des sous-populations, des lieux ou des contextes sociétaux différents. Un simulateur entraîné sur un déploiement précédent échoue souvent à se généraliser au suivant en raison de décalages de distribution (par exemple, les changements de comportement post-pandémie).
3. Limites des modèles : Les simulateurs structurels antérieurs (par exemple, les modèles d'espace d'état linéaires) ne parviennent pas à capturer la dynamique non linéaire, la surdispersion des zéros et l'hétérogénéité des données d'activité réelles. Les méthodes de rééchantillonnage préservent les distributions marginales mais perdent souvent la cohérence temporelle.

Le papier propose un « JITAI-Twin » : un jumeau numérique représentant une sous-population cible capable de simuler le comportement et la réponse aux interventions avant le début d'une étude, permettant ainsi de tester en toute sécurité les conceptions d'algorithmes en ligne.

2. Méthodologie

La méthode proposée construit un JITAI-Twin en utilisant un modèle de diffusion de séries temporelles conditionnel via un pipeline en trois étapes. L'architecture est adaptée de TimeWeaver (Narasimhan et al., 2024) mais modifiée pour garantir la cohérence temporelle (non anticipatrice), ce qui signifie que les actions futures n'influencent pas la génération des états passés.

2.1. Architecture

• Modèle de base : Un modèle de diffusion d'espace d'état (SSSD) avec une dorsale de 36 blocs résiduels.
• Cohérence temporelle : Pour soutenir l'évaluation d'algorithmes en ligne, le modèle génère des trajectoires strictement vers l'avant dans le temps. Cela est réalisé via :
  • Convolutions 1-D avec remplissage à gauche (left-padding) : Garantissant que la sortie à l'instant $t$ ne dépend que des entrures $\le t$.
  • Noyaux S4 uniquement vers l'avant : Utilisation de la seule direction directe du noyau d'espace d'état structuré, empêchant le flux d'informations provenant des étapes temporelles futures.
• Conditionnement :
  • Enquête de base : Encodée via un encodeur de texte T5 gelé en un résumé en langage naturel, injectée via l'attention croisée (cross-attention) à chaque bloc résiduel. Cela permet au modèle de gérer des schémas d'enquêtes hétérogènes entre les études.
  • Séquence d'intervention : Injectée via un module dédié, initialisé à zéro et temporellement cohérent lors du réglage fin (fine-tuning).

2.2. Le pipeline en trois étapes

Le pipeline intègre trois sources distinctes d'informations pour adapter le jumeau à un nouveau déploiement :

1. Pré-entraînement (Données observationnelles) :

   • Source : Grands ensembles de données observationnelles (par exemple, « All of Us » du NIH) où les participants sont suivis sans intervention.
   • Objectif : Apprendre un a priori large sur la dynamique comportementale jour après jour (par exemple, cycles jour-nuit, motifs de présence de zéros) et comment le comportement varie selon les individus en fonction des données démographiques de base.
   • Entraînement : Entraîne la dorsale d'espace d'état, l'attention croisée et les projections. Les couches d'intervention sont exclues.

2. Réglage fin (Données d'intervention préalières) :

   • Source : Données à petite échelle issues de précédents déploiements du même type d'intervention (par exemple, HeartSteps v2/v3).
   • Objectif : Apprendre comment les incitations spécifiques de l'intervention modifient le comportement par rapport au l'a priori observationnel.
   • Entraînement : La dorsale d'espace d'état (capturant les dynamiques indépendantes de l'intervention) est gelée. Seuls les voies d'injection d'intervention, les adaptateurs LoRA sur l'attention croisée, et les projections d'entrée/sortie sont mis à jour. Cela minimise le surapprentissage sur de petits jeux de données (~100 participants).

3. Calibration au moment de l'inférence (Connaissances pré-déploiement) :

   • Source : Expertise de scientifiques du domaine ou prévisions de modèles de langage (LLM) concernant la population et le contexte de l'imminence du déploiement (par exemple, « Adultes en surpoids en Californie du Sud post-pandémie »).
   • Objectif : Ajuster le jumeau affiné pour qu'il corresponde au profil de comportement attendu de la population cible sans utiliser de données provenant du déploiement cible.
   • Mécanisme : Un échantillonneur incliné par la récompense (reward-tilted sampler) modifie le processus de génération de la diffusion. Le modèle échantillonne à partir d'une distribution inclinée $\tilde{p}(s) \propto p_\theta(s) \exp(\gamma \langle v, s \rangle)$, où $v = \mu^* - \mu_{base}$ est la différence entre le profil moyen cible ($\mu^*$) et le profil moyen du modèle de base. Le paramètre de confiance $\gamma$ contrôle la force du décalage.
   • Génération du profil cible : Un prompt LLM en deux étapes suscite un raisonnement qualitatif sur les différences de population et le convertit en une forme diurne numérique normalisée, qui est ensuite mise à l'échelle par le niveau d'activité du déploiement précédent.

3. Contributions clés

1. Architecture de diffusion temporellement cohérente : Une modification novatrice des modèles de diffusion de séries temporelles qui impose un flux d'information strictement vers l'avant dans le temps, ce qui les rend valides pour évaluer des algorithmes d'apprentissage en ligne où les actions futures ne peuvent influencer les états passés.
2. Calibration au moment de l'inférence : Une méthode pour adapter un modèle génératif fixe à une nouvelle population non vue en utilisant uniquement des connaissances pré-déploiement (protocole et prévisions d'experts/LLM) via un échantillonnage incliné par la récompense, évitant ainsi le réentraînement.
3. Évaluation de bout en bout : Un rejeu complet du programme HeartSteps (v2 à v4), démontrant la capacité du jumeau à évoluer d'un a priori observationnel vers un simulateur affiné et calibré à travers des changements de population distincts.

4. Résultats

La méthode a été évaluée sur la série d'interventions d'activité physique HeartSteps, comparant le JITAI-Twin à des bases de référence plus simples (KNN, échantillonnage par rejet par état, modèles d'équations structurelles linéaires).

• Fidélité sur les décalages de distribution :
  • Premier transfert (v2/v3) : Sans données d'intervention préalables, le jumeau pré-entraîné (calibré) a reproduit l'hétérogénéité entre les participants (dispersion de l'autocorrélation) de manière nettement supérieure aux bases de référence, bien que l'ajustement du profil quotidien soit comparable aux méthodes de rééchantillonnage.
  • Second transfert (v4) : Lorsque la population cible a considérablement changé (patients cardiaques de Seattle vers adultes en surpoids de Californie du Sud), le jumeau affiné et calibré a atteint une performance proche de l'oracle (correspondant aux données réelles). Il était la seule méthode non-oracle à reproduire fidèlement le profil quotidien, la structure des séquences temporelles et l'hétérogénéité entre les participants simultanément. Les bases de référence ont échoué à transférer, soit en faisant s'effondrer l'hétérogénéité, soit en représentant mal les motifs temporels.
• Conditionnement démographique : Le jumeau a réussi à reproduire la direction des contrastes démographiques (par exemple, employés vs sans emploi, niveaux de stress) dans les données générées, correspondant à l'ordre des sous-groupes et au moment des pics des données réelles.
• Précision de la cible de calibration : Les prévisions qualitatives générées par le LLM, converties en cibles numériques, ont réussi à prédire le décalage des motifs d'activité diurne (par exemple, le motif bimodal de la cohorte v4 post-pandémie), permettant au jumeau de combler l'écart vers la distribution réelle cible.
• Effet de l'intervention : Le jumeau a appris un effet quasi nul pour les incitations spécifiques de HeartSteps dans la v4, ce qui est cohérent avec les conclusions réelles du programme, démontrant qu'il n'hallucine pas l'efficacité de l'intervention.

5. Signification et affirmations

Le papier affirme que ce cadre constitue un prérequis pratique pour tester et informer les décisions de conception d'algorithmes en ligne.

• Coût-Bénéfice : Le jumeau justifie son coût spécifiquement lorsque les déploiements diffèrent de manière significative (décalage de distribution) ou lorsque les décisions reposent sur l'hétérogénéité entre les participants que les rééchantillonneurs plus simples font s'effondrer. Lorsque les populations sont similaires, des rééchantillonneurs plus simples peuvent suffire.
• Reproductibilité : En permettant la validation pré-déploiement des hyperparamètres d'algorithmes, la méthode vise à prévenir l'improvisation en cours de déploiement qui compromet la reproductibilité et l'engagement des participants.
• Limites : Les auteurs notent explicitement que bien que l'architecture soit temporellement cohérente, elle n'identifie pas intrinsèquement les effets causaux ; le processus de réglage fin peut ne pas élimer totalement les facteurs de confusion sans un pondération spécifique. De plus, la boucle « modèle-vers-décision » (utiliser le jumein pour changer réellement un déploiement) n'a pas encore été testée dans un essai prospectif, seulement en rejeu de simulation.

Ce travail suggère que la combinaison de puissants a priori génératifs, d'un réglage fin robuste sur de petites données d'intervention et d'une calibration au moment de l'inférence permet aux chercheurs de construire des simulateurs de haute fidélité pour les sous-populations, même lorsque les données cibles sont indisponibles, à condition de disposer de l'expertise du domaine pour décrire le changement de population.