Tailored Behavior-Change Messaging for Physical Activity: Integrating Contextual Bandits and Large Language Models

Cette étude propose une approche hybride combinant des bandits contextuels et des modèles de langage pour personnaliser des messages de motivation physique, démontrant que cette méthode améliore l'acceptation et l'équité de la distribution des interventions tout en réduisant les coûts computationnels par rapport aux solutions purement génératives ou aléatoires.

L'essentiel

🏃‍♂️ Le Grand Défi : Comment motiver les gens à bouger ?

Imaginez que vous essayez d'aider un ami à faire plus de marche. Le problème, c'est que ce qui fonctionne lundi matin (quand il est plein d'énergie) ne fonctionne pas du tout mardi soir (quand il est stressé et fatigué).

Les chercheurs de cette étude se sont demandé : Comment créer un coach numérique qui s'adapte parfaitement à l'humeur et à la situation de chacun, jour après jour ?

Pour répondre à cette question, ils ont créé une équipe de deux experts virtuels qui travaillent ensemble.

---

🤝 L'Équipe de Deux : Le Stratège et l'Écrivain

Au lieu d'utiliser un seul robot, ils ont combiné deux technologies très différentes, un peu comme un chef d'orchestre et un compositeur de musique.

1. Le Stratège (Le "Contextual Bandit") 🎲

Imaginez un stratège militaire très logique. Son travail n'est pas d'écrire les messages, mais de décider quelle stratégie utiliser.

• Il observe le "terrain de bataille" (votre humeur, votre stress, votre confiance en vous).
• Il a quatre armes au choix :
  1. Le suivi ("Regardez ce que vous avez déjà fait !").
  2. La récompense ("Si vous marchez, vous gagnerez de l'énergie !").
  3. La peur ("Si vous ne marchez pas, vous risquez d'être fatigué !").
  4. La comparaison ("Vos voisins marchent déjà, rejoignez-les !").
• Ce stratège apprend en continu : s'il voit que la "peur" fonctionne mal avec vous, il arrête de l'utiliser et essaie autre chose. C'est comme un joueur d'échecs qui adapte sa stratégie à chaque coup.

2. L'Écrivain (Le "Grand Modèle de Langage" ou LLM) ✍️

Imaginez maintenant un écrivain de génie, très créatif et empathique.

• Une fois que le Stratège a décidé d'utiliser l'arme "Récompense", il passe le relais à l'Écrivain.
• L'Écrivain ne se contente pas de copier-coller un texte tout fait. Il écrit un message sur mesure, en utilisant vos mots, votre style et votre situation du jour.
• Au lieu de dire simplement "Marchez pour votre santé", il pourrait dire : "Je sais que vous avez eu une journée chargée, mais une petite marche de 10 minutes pourrait être comme une pause café pour votre esprit."

---

🧪 L'Expérience : Qui gagne la course ?

Les chercheurs ont testé cette équipe (Stratège + Écrivain) contre d'autres méthodes pendant 30 jours avec des centaines de participants. Voici les quatre autres équipes qu'ils ont comparées :

1. Le Tirage au Sort (RCT) : On envoie un message au hasard, sans réfléchir. C'est comme lancer une pièce pour décider si on vous dit "Allez !" ou "Non".
2. Le Stratège seul : Il choisit la bonne stratégie, mais l'Écrivain est remplacé par un robot qui envoie toujours le même texte (un modèle pré-écrit).
3. L'Écrivain seul : L'Écrivain choisit la stratégie ET écrit le message, mais il n'a pas de "mémoire" des décisions passées, il improvise tout.
4. L'Écrivain avec Mémoire : Comme le précédent, mais il se souvient de vos messages des 10 derniers jours pour ne pas se répéter.
5. L'Équipe Hybride (Le gagnant) : Le Stratège choisit la meilleure stratégie, et l'Écrivain rédige le message parfait pour cette stratégie.

🏆 Les Résultats : Ce qui a surpris les chercheurs

Voici les trois grandes leçons de l'histoire :

1. La personnalisation est reine : Les messages écrits par l'Écrivain (même sans le Stratège) étaient beaucoup mieux reçus que les messages tout faits. Les gens trouvaient qu'ils parlaient vraiment à eux.
2. Le mélange est le secret : L'équipe Hybride (Stratège + Écrivain) a obtenu les mêmes résultats excellents que l'Écrivain seul, mais avec deux avantages majeurs :
   • C'est moins cher : Le Stratège fait le gros du travail de décision, donc l'Écrivain a moins de travail à faire (moins de "jetons" utilisés).
   • C'est plus clair : On sait exactement pourquoi un message a été envoyé (le Stratège a pris une décision logique), alors que quand l'Écrivain décide tout seul, c'est un peu une "boîte noire" mystérieuse.
3. Le type de message compte toujours : Même avec un super écrivain, les messages positifs ("Gain") fonctionnaient mieux que les messages négatifs ("Peur"). Le Stratège a bien fait de privilégier les approches positives.

💡 En résumé

Cette étude nous dit que pour changer les comportements (comme faire du sport), il ne faut pas choisir entre la logique (savoir quoi dire) et la créativité (savoir comment le dire).

Le meilleur moyen est de séparer les tâches :

• Laissez un algorithme logique décider de la stratégie (le "quoi").
• Laissez une intelligence créative rédiger le message (le "comment").

C'est comme avoir un coach sportif qui connaît parfaitement vos statistiques (le Stratège) et un ami bienveillant qui vous parle avec le ton parfait pour vous motiver (l'Écrivain). Ensemble, ils sont imbattables pour vous aider à atteindre vos objectifs, sans gaspiller de ressources ni perdre de temps.

Résumé technique

1. Problématique et Contexte

Les interventions de santé numérique visant à augmenter l'activité physique (AP) reposent souvent sur le cadre des Interventions Adaptatives en Temps Réel (JITAI). L'objectif est d'adapter le message de motivation au contexte immédiat de l'utilisateur (humeur, stress, auto-efficacité). Cependant, deux approches existantes présentent des limites majeures :

• Les Bandits Multiples Contextuels (cMAB) : Ils permettent de sélectionner dynamiquement le type d'intervention (parmi un ensemble fini) en fonction du contexte. Cependant, ils nécessitent de grands échantillons pour apprendre efficacement et reposent souvent sur des modèles de messages fixes (templates), limitant la nuance linguistique et l'adaptation au ton.
• Les Grands Modèles de Langage (LLM) : Ils excellent dans la génération de contenu personnalisé et nuancé. Cependant, leurs décisions internes sont souvent opaques ("boîte noire"), manquent de cohérence à long terme et peuvent être coûteuses en termes de tokens et de calcul.

Le défi central est de combiner la rigueur décisionnelle et l'interprétabilité des bandits avec la flexibilité linguistique des LLM pour créer des interventions personnalisées, efficaces et déployables à grande échelle.

2. Méthodologie

L'étude propose une approche hybride, cMABxLLM, qui sépare la décision de quoi envoyer (le type d'intervention) de la décision de comment l'exprimer (la génération du message).

A. Design de l'Expérience

Une étude de 30 jours a été menée avec 93 participants (54 actifs), visant à atteindre un objectif de pas quotidien. Les participants ont reçu des messages motivationnels quotidiens. Cinq modèles d'attribution ont été comparés via une micro-randomisation quotidienne :

1. RCT (Randomized Controlled Trial) : Attribution aléatoire uniforme d'un type d'intervention et d'un message fixe.
2. cMAB-only : Le bandit sélectionne le type d'intervention, mais le message est un template fixe.
3. LLM-only : Le LLM sélectionne le type d'intervention ET génère le message personnalisé.
4. LLM-tracing : Comme le LLM-only, mais avec un historique des 10 derniers jours inclus dans le prompt pour assurer la cohérence longitudinale.
5. cMABxLLM (Approche Hybride) : Le cMAB sélectionne le type d'intervention (selon un échantillonnage de Thompson), puis le LLM génère le message personnalisé uniquement dans le cadre de ce type sélectionné.

B. Variables et Contexte

Les modèles utilisent des facteurs contextuels dynamiques collectés via des évaluations écologiques momentanées (EMA) :

• Auto-efficacité, influence sociale, focus réglementaire (promotion vs prévention).
• Narratif écrit libre par l'utilisateur (pour le LLM).
• Note : L'humeur et le niveau de stress sont collectés mais n'influencent pas l'attribution en temps réel dans les modèles cMAB/LLM, servant plutôt à l'analyse a posteriori.

C. Types d'Interventions

Quatre stratégies de changement de comportement ont été utilisées :

1. Auto-surveillance comportementale : Suivi de l'activité.
2. Cadrage par gain (Gain-framing) : Mise en avant des bénéfices.
3. Cadrage par perte (Loss-framing) : Mise en avant des coûts de l'inactivité.
4. Comparaison sociale : Comparaison avec les pairs.

D. Modélisation Statistique

Les auteurs ont utilisé des modèles linéaires à effets mixtes pour analyser :

• RQ1 : L'impact du modèle d'attribution et du contexte sur l'acceptation du message (récompense $R_t$).
• RQ2 : La relation entre l'acceptation des messages et le changement de motivation à long terme (mesuré par le questionnaire BREQ-3 avant/après).

3. Contributions Clés

1. Architecture Hybride Déployable : Présentation d'un pipeline fonctionnel où un algorithme bayésien (cMAB) gère l'exploration/exploitation des stratégies, tandis qu'un LLM gère la personnalisation linguistique. Cela permet de conserver la transparence décisionnelle tout en bénéficiant de la richesse du langage naturel.
2. Optimisation des Coûts et de la Performance : L'approche hybride démontre qu'il est possible d'atteindre un niveau d'acceptation comparable à un LLM pur (qui choisit tout) tout en réduisant l'utilisation de tokens (car le LLM n'a pas besoin de choisir le type d'intervention) et en fournissant une règle de décision explicite et reproductible.
3. Évaluation Empirique à Long Terme : Une étude longitudinale réelle (30 jours) comparant systématiquement des modèles basés sur des templates, des LLM purs et des modèles hybrides, comblant un vide dans la littérature qui se concentre souvent sur des études à court terme ou simulées.

4. Résultats

A. Acceptation des Messages (RQ1)

• Supériorité de la Personnalisation : Les modèles utilisant le LLM (LLM-only, LLM-tracing, cMABxLLM) ont obtenu des scores d'acceptation significativement plus élevés (moyenne ~3.8/5) que les modèles non personnalisés (RCT et cMAB-only, moyenne ~2.6-2.7).
• Performance de l'Hybride : L'approche cMABxLLM a obtenu des scores d'acceptation statistiquement équivalents à ceux du LLM pur et du LLM-tracing, tout en étant plus efficace en termes de ressources.
• Impact du Type d'Intervention : Le cadrage par gain a été le mieux noté en moyenne, tandis que le cadrage par perte a été le moins bien accepté. Cela suggère que même avec une personnalisation linguistique, le choix du type d'intervention reste critique.
• Interaction Contextuelle : Aucune preuve forte n'a été trouvée que les facteurs contextuels (auto-efficacité, influence sociale) modéraient significativement l'effet des différents types d'interventions sur l'acceptation dans cet échantillon.

B. Changement de Motivation (RQ2)

• Les résultats concernant l'évolution de la motivation à long terme (BREQ-3) sont limités et bruités.
• Seuls 28 participants ont complété les deux sondages (avant/après), rendant l'analyse sous-puissante.
• Les changements observés étaient faibles et non statistiquement significatifs après correction pour tests multiples, bien qu'une réduction de la culpabilité liée à l'inactivité ait été notée. Cela met en évidence la difficulté de mesurer des changements comportementaux durables sur une période de 30 jours avec des outils d'auto-évaluation.

5. Signification et Conclusion

Cette étude valide la faisabilité d'intégrer des Bandits Multiples Contextuels et des LLM dans des interventions de santé numérique réelles.

• Interprétabilité vs Personnalisation : L'approche hybride offre le meilleur des deux mondes : la capacité d'adaptation et de personnalisation linguistique des LLM, couplée à la structure décisionnelle transparente et contrôlable des bandits.
• Efficacité Opérationnelle : En déléguant la sélection du type d'intervention au cMAB, le système réduit la charge cognitive du LLM (moins de tokens, pas de besoin de générer des choix de haut niveau) et évite les biais de sélection potentiels d'un LLM agissant seul.
• Perspectives Futures : Les auteurs soulignent la nécessité d'études plus longues et d'une mesure plus fréquente de la motivation (quotidienne) plutôt que binaire (avant/après) pour capturer les effets dynamiques. De plus, la gestion de l'espace d'action continu (généré par le LLM) pour l'analyse de regret nécessite de nouvelles méthodes d'évaluation.

En résumé, cMABxLLM se positionne comme un modèle prometteur pour le déploiement d'interventions de santé adaptatives, équilibrant l'efficacité comportementale, la personnalisation utilisateur et la viabilité technique.