From Protocol to Analysis Plan: Development and Validation of a Large Language Model Pipeline for Statistical Analysis Plan Generation using Artificial Intelligence (SAPAI)

Cette étude valide un pipeline d'intelligence artificielle capable de générer des plans d'analyse statistique (SAP) à partir de protocoles cliniques avec une forte précision pour les éléments descriptifs, tout en soulignant la nécessité d'une supervision humaine pour les sections complexes requérant un raisonnement statistique.

L'essentiel

🧠 Le Chef d'Orchestre et le Copiste : Quand l'IA écrit les plans d'analyse médicale

Imaginez que vous organisez un grand concert (un essai clinique médical). Avant même que le premier instrument ne joue, vous devez écrire un livret de partition très précis. Ce livret s'appelle le Plan d'Analyse Statistique (SAP). Il dit exactement comment les musiciens doivent jouer, comment on va mesurer le succès du concert, et ce qu'on fera si un instrument se casse.

Écrire ce livret est une tâche épuisante, complexe et cruciale. Une erreur ici pourrait fausser tout le résultat du concert. C'est là que les chercheurs de King's College London ont eu une idée : Et si on demandait à une intelligence artificielle (une "super-ordinateur" capable de parler) de rédiger ce livret pour nous ?

Voici ce qu'ils ont fait et ce qu'ils ont découvert, raconté comme une histoire.

1. L'Expérience : Trois Robots, Neuf Concerts

Les chercheurs ont pris 9 partitions de concerts réels (des protocoles d'essais cliniques) et les ont donnés à trois robots très intelligents (des modèles d'IA de pointe : GPT-5, Claude Sonnet 4 et Gemini 2.5 Pro).

Leur mission ? Transformer ces protocoles bruts en livrets de partition parfaits (les SAP). Ils ont utilisé une méthode très stricte, comme un chef d'orchestre qui donne des instructions précises à chaque musicien, section par section, pour éviter que le robot ne divague.

2. Le Résultat : Le Robot est un excellent Copiste, mais un mauvais Compositeur

Après avoir comparé le travail des robots avec celui de vrais statisticiens humains (les experts), voici ce qui est ressorti :

• Le Robot est un "Super-Copiste" (80% de réussite) :
  Pour les parties faciles du livret, comme écrire la liste des musiciens, la date du concert, ou décrire le style de musique, les robots étaient excellents. Ils ont copié les informations du protocole sans se tromper. C'est comme un photocopieur ultra-rapide et intelligent.

  • Analogie : Si vous demandez au robot de lister les ingrédients d'une recette, il le fait parfaitement.

• Le Robot est un "Compositeur Incertain" (70% de réussite) :
  Là où ça coince, c'est quand il faut prendre des décisions mathématiques complexes. Par exemple : "Comment analyser les notes si un musicien rate une mesure ?" ou "Quelle formule utiliser pour prédire l'avenir ?".
  Ici, les robots ont souvent fait des erreurs subtiles. Ils proposaient des solutions qui semblaient professionnelles et logiques, mais qui étaient en fait fausses ou dangereuses.

  • Analogie : C'est comme si le robot écrivait une belle phrase sur la façon de cuisiner un gâteau, mais qu'il oubliait de mettre le four à la bonne température. Le texte est joli, mais le gâteau sera raté.

3. Le Danger Invisible : Les "Hallucinations"

Le plus grand danger identifié n'est pas l'erreur grossière (comme écrire "le concert aura lieu en mars" alors qu'il est en avril), mais l'hallucination plausible.
Le robot invente parfois des analyses statistiques qui ont l'air très intelligentes, mais qui n'ont aucun sens scientifique.

• Analogie : Imaginez un robot qui vous dit : "Pour mesurer le succès du concert, nous allons compter les sourires du public." Cela semble logique, mais en réalité, pour ce type de concert, on doit mesurer le volume sonore. Le robot a inventé une méthode qui semble bonne, mais qui fausserait tout le résultat.

4. La Conclusion : L'IA est un Assistant, pas un Patron

L'étude conclut avec une métaphore très claire :

L'IA est un excellent "dessinateur de plans" (le draughtsman), mais elle ne doit jamais être l'"architecte" (l'architecte).

• Ce que l'IA peut faire : Elle peut rédiger 80% du document, gagner un temps fou, et s'assurer que la forme est correcte. Elle soulage les humains de la partie ennuyeuse et répétitive.
• Ce que l'IA ne doit PAS faire : Elle ne doit jamais décider seule de la méthode scientifique. Un humain expert (le statisticien) doit toujours relire, vérifier et valider chaque décision mathématique.

En résumé

Cette étude nous dit : "Utilisez l'IA pour écrire le brouillon, mais ne lui faites jamais confiance pour prendre les décisions finales."

C'est comme utiliser un GPS pour conduire : le GPS est génial pour vous dire le chemin et éviter les embouteillages (la partie descriptive), mais si le GPS vous dit de traverser un ravin parce qu'il a mal calculé (la partie statistique), c'est à vous, le conducteur humain, de freiner et de prendre le contrôle.

L'avenir de la recherche médicale ne sera pas "l'IA contre les humains", mais "l'IA + les humains", où la machine fait le gros œuvre et l'humain garde le cap sur la qualité et la sécurité.

Résumé technique

1. Problématique et Contexte

Les Plans d'Analyse Statistique (SAP) sont des documents critiques pour la crédibilité et la transparence des essais cliniques randomisés. Ils opérationnalisent les objectifs scientifiques d'un protocole en une stratégie d'analyse pré-spécifiée et reproductible. Cependant, leur rédaction est un processus intense en ressources et cognitivement exigeant, soumis à des délais opérationnels stricts (avant le déblindage des données).

Bien que les Modèles de Langage à Grande Échelle (LLM) aient montré des promesses pour la rédaction de protocoles et l'extraction de données, leur capacité à générer des SAP de haute qualité, conformes aux directives méthodologiques actuelles, n'avait pas été rigoureusement validée. Il existe un risque que l'adoption de l'IA dans la recherche clinique entraîne une prolifération de documents « AI slop » (contenu de mauvaise qualité généré par l'IA), compromettant l'intégrité scientifique. L'objectif de cette étude était de développer et de valider un pipeline basé sur l'IA pour la rédaction automatique de SAP à partir de protocoles d'essais cliniques réels.

2. Méthodologie

Développement du Pipeline (SAPAI) :
Les auteurs ont développé une approche de prompting structuré et modulaire, alignée sur le cadre de contenu minimum des SAP décrit par Gamble et al. (2020).

• Approche itérative : Après une phase de test avec un « prompting vanilla » (générant des textes incomplets et mal structurés), l'équipe a opté pour une bibliothèque de prompts section par section.
• Structure des prompts : Chaque section du SAP (ex: randomisation, taille de l'échantillon, analyses primaires) reçoit un prompt spécifique incluant :
  • Un message système commun définissant le rôle de « statisticien expert en essais cliniques ».
  • Des règles de portée (ce qu'il faut inclure/exclure).
  • Des instructions de fidélité au protocole (interdiction d'halluciner des détails non présents).
  • Des exemples (few-shot prompting) pour clarifier le niveau de spécificité attendu.
• Modèles testés : Trois modèles de pointe ont été évalués : OpenAI GPT-5, Anthropic Claude Sonnet 4, et Google Gemini 2.5 Pro.

Validation et Évaluation :

• Données : Le pipeline a été appliqué à 9 protocoles d'essais cliniques réels, générant 27 SAP (3 modèles × 9 protocoles).
• Critères d'évaluation : Une liste de contrôle de 46 items a été dérivée des directives SAP publiées (excluant les éléments administratifs comme les signatures).
• Système de notation : Chaque item a été noté sur une échelle ordinaire de 0 à 3 par deux statisticiens indépendants (un associé au protocole, un indépendant) :
  • 0 : Item manquant.
  • 1 : Présent mais avec des omissions majeures ou des hallucinations compromettant l'intégrité scientifique.
  • 2 : Présent et globalement exact, avec de légères imperfections.
  • 3 : Exact, conforme au protocole, scientifiquement approprié et suffisamment détaillé.
• Analyse statistique : Une régression logistique à effets mixtes a été utilisée pour comparer la précision (score de 3 vs <3) entre les modèles et entre deux types d'items : descriptifs (extraction d'informations) et statistiques (raisonnement méthodologique, choix de modèles).

3. Résultats Clés

Performance Globale :
Les modèles ont produit des ébauches de SAP avec une précision globale élevée (77 % à 78 %). Il n'y avait aucune différence statistiquement significative entre les trois modèles (p = 0,79), suggérant que cette capacité est devenue une fonctionnalité généralisable des LLMs de pointe.

Disparité par Type de Contenu :
Une différence marquée a été observée selon la nature des items :

• Items Descriptifs : Performance excellente (81 % à 83 % de précision). Les modèles excellaient dans la reproduction des détails administratifs, de la conception de l'étude et des critères d'éligibilité.
• Items Statistiques : Performance nettement inférieure (67 % à 72 % de précision). Les modèles éprouvaient des difficultés avec le raisonnement statistique complexe, la spécification des modèles d'analyse et les analyses de sensibilité.

Types d'Erreurs Identifiés :

• Omissions et Hallucinations : Les modèles omettaient parfois des covariables cruciales ou proposaient des modèles d'analyse inappropriés (ex: régression linéaire simple pour des mesures répétées au lieu de modèles mixtes).
• Raisonnement Fallacieux : Dans les analyses de sensibilité, les modèles proposaient des analyses plausibles en apparence mais méthodologiquement inadaptées (ex: analyses par protocole non justifiées), ce qui pourrait biaiser l'interprétation des résultats.
• Exemples positifs : Certains modèles ont réussi à décrire correctement des modèles complexes (ex: régression de Cox à effets de fragilité partagée) ou à résumer des recalculs de taille d'échantillon.

4. Contributions Principales

1. Première Validation Rigoureuse : Il s'agit de la première étude à valider un pipeline LLM spécifiquement conçu pour la rédaction de SAP contre des directives méthodologiques établies, avec un double-score par des experts indépendants.
2. Démystification des Modèles : L'étude démontre que la performance ne dépend pas d'un fournisseur spécifique (GPT, Claude ou Gemini), mais est une capacité intrinsèque des modèles actuels.
3. Identification des Limites Critiques : L'étude met en évidence la dichotomie entre la capacité des LLMs à agir comme des « rédacteurs techniques » efficaces pour le contenu descriptif et leur incapacité actuelle à agir comme des « architectes statistiques » autonomes pour les décisions méthodologiques complexes.
4. Outils Ouverts : Les auteurs ont rendu disponibles le pipeline SAPAI (application web), le code source et les données d'analyse sur GitHub, favorisant la reproductibilité.

5. Signification et Conclusion

Cette étude confirme que l'IA assistée par LLM est faisable et efficace pour accélérer la rédaction des SAP, offrant un potentiel d'économie de temps substantiel pour les unités d'essais cliniques. Cependant, les résultats soulignent un avertissement crucial : l'approche « humain dans la boucle » (human-in-the-loop) est impérative.

Les LLMs ne doivent pas être utilisés pour générer des SAP de manière autonome, car leurs erreurs dans le raisonnement statistique sont subtiles mais potentiellement dévastatrices pour l'intégrité de l'essai. Ils doivent être considérés comme des assistants de rédaction qui produisent une première ébauche, laquelle doit être rigoureusement validée par des statisticiens experts.

L'étude suggère que les développements futurs devraient se concentrer sur des architectures avancées, telles que la génération augmentée par la récupération (RAG) pour accéder à des ressources statistiques externes, ou des flux de travail d'agents où un agent critique les sorties d'un autre, afin d'améliorer la fiabilité du raisonnement statistique avant l'intervention humaine.