Consistency of AI-Generated Exercise Prescriptions: A Repeated Generation Study Using a Large Language Model

Cette étude révèle que si les prescriptions d'exercice générées par le modèle Gemini 2.5 Flash présentent une forte cohérence sémantique, elles affichent une variabilité notable dans leurs composantes quantitatives, soulignant la nécessité de contraintes structurelles et d'une validation experte avant une utilisation clinique.

L'essentiel

🧠 Le Grand Test de Répétition : L'IA peut-elle être un coach sportif fiable ?

Imaginez que vous avez un super coach sportif virtuel (une intelligence artificielle très avancée) capable de créer des programmes d'exercice sur mesure pour n'importe qui, du patient diabétique au sportif de haut niveau. C'est génial, non ?

Mais il y a un petit souci : si vous demandez la même chose à ce coach 20 fois de suite, va-t-il vous donner exactement la même réponse chaque fois, ou va-t-il changer d'avis comme un chat ?

C'est exactement ce que l'auteur, Kihyuk Lee, a voulu tester. Il a demandé à l'IA (un modèle appelé Gemini) de créer des programmes d'exercice pour 6 types de personnes différentes (des patients malades et des gens en bonne santé) et il a répété la demande 20 fois pour chaque personne. Au total, 120 programmes générés !

Voici ce qu'il a découvert, avec quelques images pour mieux comprendre :

---

1. Le "Miroir" des Mots (La Cohérence Sémantique)

L'analogie : Imaginez que vous demandez à 20 dessinateurs différents de dessiner un "chat". Si tous les dessins ressemblent à un chat, c'est bon. Mais si l'un dessine un chien et l'autre un poisson, c'est le chaos.

Ce que l'étude a vu :
L'IA est très bonne pour garder le ton et le style. Si vous lui demandez un programme pour un patient diabétique, elle dira toujours "Bonjour, voici un programme doux pour vous". Les mots sont très similaires d'une réponse à l'autre (comme un miroir qui reflète la même image).

• Le verdict : L'IA est très cohérente dans ses paroles. Elle ne s'embrouille pas dans ses explications.

2. Le "Règlement" du Programme (La Structure FITT)

L'analogie : C'est ici que ça se corse. Imaginez que vous commandez 20 pizzas identiques. La pâte et la sauce sont toujours les mêmes (le style), mais parfois, le pizzaiol met 3 tranches de pepperoni, et parfois 7. Ou alors, il oublie de préciser si la pizza est cuite à 200°C ou 220°C.

Ce que l'étude a vu :
L'IA a du mal à être précise sur les chiffres (la fréquence, l'intensité, le temps).

• Pour les patients malades (ex: problèmes de genou) : L'IA est prudente. Elle dit presque toujours "marchez doucement". C'est cohérent.
• Pour les gens en bonne santé (ex: vouloir se muscler) : L'IA devient un peu "artistique". Parfois, elle dit "soulevez 50 kg", parfois "soulevez 60 kg", et parfois elle oublie même de donner un chiffre !
• Le problème majeur : Pour les exercices de musculation, dans 10 à 25 % des cas, l'IA ne donnait pas de chiffre précis sur la force à utiliser. C'est comme si le coach disait : "Fais-en un peu, mais pas trop, tu verras bien !" Ce n'est pas très utile pour un sportif.

3. Le "Parapluie" de Sécurité

L'analogie : Imaginez que l'IA doit toujours vous donner un parapluie s'il pleut (les avertissements de sécurité).

Ce que l'étude a vu :
L'IA est toujours polie et prudente. Dans 100 % des cas, elle a inclus des avertissements de sécurité ("Attention à votre dos", "Arrêtez si vous avez mal").

• La nuance : Pour les patients très malades, le parapluie est énorme (elle écrit des pages de précautions). Pour les gens en bonne santé, le parapluie est plus petit (juste quelques lignes). Mais le message de sécurité est toujours là.

---

🏁 La Conclusion en une phrase

L'IA est un excellent rédacteur qui parle toujours de la même manière, mais c'est un mauvais mathématicien quand il s'agit de donner des chiffres précis pour les exercices.

Pourquoi est-ce important ?
Si vous utilisez cette IA pour prescrire un sport à un patient, vous ne pouvez pas vous fier à elle à 100 % pour les chiffres (combien de répétitions, quelle vitesse). Elle a besoin d'un humain (un vrai coach ou un médecin) pour vérifier les chiffres, comme un chef qui goûte la soupe avant de la servir.

En résumé : L'IA est un super assistant qui sait parler du sport, mais elle a encore besoin d'un expert pour calculer le sport.

Résumé technique

Titre de l'étude

Cohérence des prescriptions d'exercice générées par l'IA : Une étude de génération répétée utilisant un modèle de langage de grande taille (LLM)

1. Problématique

L'avancement des modèles de langage de grande taille (LLM) offre de nouvelles possibilités pour la création de prescriptions d'exercice personnalisées. Cependant, bien que la faisabilité et la sécurité de ces outils aient été démontrées, leur reproductibilité (la capacité à produire des sorties stables sous des conditions identiques) reste insuffisamment examinée.
Dans le contexte clinique, une prescription d'exercice ne doit pas seulement être sûre, mais aussi cohérente. La nature probabiliste des LLM peut entraîner des variations dans les sorties même lorsque les invites (prompts) sont identiques. Cette variabilité pose un risque clinique direct : un même profil patient pourrait recevoir des prescriptions structurellement différentes, conduisant à des stimuli d'exercice non équivalents et potentiellement dangereux. L'objectif de cette étude est de quantifier cette cohérence intra-modèle.

2. Méthodologie

L'étude a employé une conception de génération répétée pour évaluer la variabilité d'un seul modèle (Gemini 2.5 Flash) dans des conditions contrôlées.

• Scénarios Cliniques : Six scénarios ont été utilisés, incluant trois cas cliniques à haut risque (Diabète de type 2 + Obésité, Ostéoarthrite du genou + Risque de chute, Récupération post-cancer colorectal), un cas de multimorbidité (Hypertension + Diabète + Obésité), et deux cas de sujets sains (Perte de graisse, Hypertrophie musculaire).
• Génération des données : Pour chaque scénario, 20 prescriptions ont été générées sous des conditions d'invite strictement identiques via l'API Vertex AI, totalisant 120 sorties. La température a été fixée à 1,0 pour observer la variabilité stochastique standard.
• Prétraitement : Un modèle distinct (Claude Sonnet 4.6) a été utilisé pour extraire systématiquement le corps de la prescription des éléments de formatage (salutations, etc.) afin de réduire le bruit dans l'analyse sémantique.
• Évaluation de la cohérence (3 dimensions) :
  1. Cohérence Sémantique : Calculée via la similarité cosinus basée sur SBERT (modèle all-MiniLM-L6-v2) entre toutes les paires de sorties (190 paires par scénario).
  2. Cohérence Structurelle (Principe FITT) : Évaluée par un « Juge IA » (Claude Sonnet 4.6) séparé pour classer la Fréquence, l'Intensité, le Temps et le Type d'exercice. L'intensité a été catégorisée (Faible, Modérée, Élevée) ou marquée « inclassable » si non spécifiée.
  3. Cohérence de l'Expression de Sécurité : Analyse de la présence binaire et du nombre de phrases concernant les contre-indications, précautions, surveillance des symptômes et avertissements.

3. Résultats Clés

A. Cohérence Sémantique

• La similarité sémantique globale était élevée, avec des moyennes de similarité cosinus variant de 0,879 à 0,939.
• Les cas cliniques avec des contraintes fortes (ex. : récupération post-cancer, risque de chute) ont montré la plus grande cohérence (S2 et S3).
• Les cas de sujets sains (S6) ont présenté la plus grande variabilité (Similarité moyenne = 0,879, Écart-type = 0,052), suggérant que l'absence de contraintes cliniques strictes augmente la diversité des sorties.

B. Cohérence Structurelle (FITT)

• Fréquence : Les modèles ont généralement respecté les fréquences recommandées (ex. : 3-4 fois/semaine pour l'aérobie dans les cas cliniques).
• Intensité : C'est le point de faiblesse majeur.
  • Pour les exercices aérobiques, l'intensité était cohérente (principalement faible pour les cas cliniques, modérée/élevée pour les sujets sains).
  • Pour les exercices de résistance, une variabilité significative a été observée. Dans 10 à 25 % des prescriptions cliniques, l'intensité était inclassable (absence de valeur %1RM ou expression floue), malgré une invite explicite demandant cette précision.
• Durée : Des incohérences ont été notées dans la spécification des durées (valeurs estimées vs explicites).

C. Cohérence de la Sécurité

• Taux d'inclusion : 100 % des 120 sorties ont inclus au moins une mention de sécurité (contre-indications, précautions, etc.).
• Quantité : Le nombre de phrases liées à la sécurité variait considérablement selon le scénario (H = 86,18, p < 0,001). Les cas cliniques complexes (notamment S4 : HTN + T2DM + Obésité) ont généré beaucoup plus de contenu de sécurité que les cas de sujets sains.
• Cela indique que le modèle réagit bien aux contraintes de sécurité dans l'invite, mais que la profondeur de l'explication dépend de la complexité du cas.

4. Contributions et Signification

• Validation de la fiabilité des LLM : L'étude démontre que si les LLM sont sémantiquement cohérents, ils manquent de stabilité dans les composantes quantitatives critiques (comme l'intensité de la résistance), ce qui est problématique pour une application clinique directe.
• Méthodologie d'évaluation : L'article propose un pipeline d'évaluation combinant la similarité sémantique (SBERT) et la classification structurelle par « Juge IA » (FITT), offrant un cadre reproductible pour tester la fiabilité des LLM au-delà de la simple vérification de sécurité.
• Impact sur le déploiement clinique : Les résultats soulignent que la fiabilité d'un LLM dépend fortement de la structure de l'invite et des contraintes imposées. La variabilité observée dans les prescriptions numériques suggère que des mécanismes de contrôle quantitatif et une validation par des experts sont indispensables avant tout déploiement clinique.
• Nuance importante : Une haute similarité sémantique ne garantit pas l'équivalence clinique. Une variation de 50 % à 70 % de la fréquence cardiaque maximale peut être sémantiquement proche mais cliniquement distincte.

Conclusion

Bien que les LLM puissent générer des prescriptions d'exercice structurellement alignées sur les lignes directrices et sémantiquement stables, leur incapacité à produire des prescriptions numériques quantitatives cohérentes (notamment l'intensité) limite leur utilisation autonome en milieu clinique. L'étude conclut que l'avenir de ces systèmes repose sur une combinaison de modèles génératifs, de contraintes d'invite rigoureuses et de validation humaine ou algorithmique stricte des paramètres numériques.