Biomedical Large Language Models and Prompt Engineering for Causality Assessment of Individual Case Safety Reports in Pharmacovigilance

Cette étude évalue l'efficacité de différents modèles de langage biomédicaux combinés à des techniques d'ingénierie de prompt pour l'évaluation de la causalité des rapports de pharmacovigilance, révélant que bien que les performances s'améliorent par rapport aux modèles généraux, les résultats restent insuffisants pour une application fiable sans supervision humaine.

L'essentiel

🩺 Le Grand Défi : Qui est le coupable ?

Imaginez que vous êtes un détective de la santé. Chaque jour, des milliers de personnes signalent qu'elles se sentent mal après avoir pris un médicament ou un vaccin. Votre travail ? Déterminer si c'est vraiment le médicament qui est le coupable, ou si c'est juste une coïncidence (comme avoir mal à la tête parce qu'on a mal dormi, pas à cause du café).

C'est ce qu'on appelle l'évaluation de la causalité. C'est un travail de détective très difficile, long et épuisant pour les humains.

🤖 L'Idée : Donner un cerveau numérique aux détectives

Les chercheurs de cette étude se sont demandé : "Et si on utilisait une intelligence artificielle (IA) spécialisée pour aider ces détectives ?"

Ils ont pris des modèles de langage biomédicaux (des IA qui ont lu des millions de livres de médecine, contrairement aux IA classiques qui lisent tout ce qu'elles trouvent sur Internet) et ils leur ont demandé de jouer au détective.

🧪 L'Expérience : Un concours de détectives

Pour tester ces IA, les chercheurs ont organisé un grand concours avec 150 dossiers de patients réels.

1. Les Joueurs : Ils ont utilisé 3 types d'IA biomédicales différentes (comme des étudiants en médecine avec des niveaux d'intelligence variables).
2. Les Règles du Jeu : Pour juger, ils ont utilisé deux méthodes officielles :
   • La méthode Naranjo : C'est comme un formulaire à cases à cocher (10 questions précises : "Le symptôme est-il listé ?", "Est-ce arrivé juste après ?"). C'est très structuré.
   • La méthode WHO-UMC : C'est plus comme écrire un roman ou un rapport complexe où il faut assembler des pièces de puzzle floues.
3. Les Stratégies : Ils ont demandé aux IA de réfléchir de deux façons :
   • Chaîne de pensée (CoT) : "Réfléchis étape par étape comme un humain."
   • Décomposition : "Découpe le problème en petits morceaux simples."
4. Les Juges : Deux experts humains (un pharmacien et un médecin) ont noté les dossiers en premier. C'est la référence absolue.

🏆 Les Résultats : Ce qui a fonctionné (et ce qui a échoué)

Voici ce que l'étude a révélé, avec des analogies simples :

1. Les IA spécialisées sont meilleures que les généralistes

Les IA qui ont lu des livres de médecine (les "spécialistes") ont fait beaucoup mieux que les IA classiques. C'est comme comparer un médecin généraliste à un spécialiste des allergies : pour ce travail précis, le spécialiste gagne. Elles ont doublé leur score par rapport aux études précédentes.

2. Le format du test compte énormément

C'est le résultat le plus surprenant !

• Avec la méthode Naranjo (le formulaire à cases), l'IA a été très bonne. Elle a atteint 64% d'accord avec les humains. C'est comme si l'IA suivait un manuel de cuisine : si les étapes sont claires, elle cuisine bien.
• Avec la méthode WHO-UMC (le rapport complexe), l'IA s'est perdue. Son accord est tombé à 23%. C'est comme si on demandait à l'IA d'écrire un roman policier sans guide : elle invente des histoires qui ne correspondent pas à la réalité.

3. Les faiblesses de l'IA : L'illusion de la certitude

Même quand l'IA a trouvé la bonne réponse, elle a souvent échoué à expliquer pourquoi.

• Le problème du "Miroir" : Parfois, l'IA répète juste les mots de la question sans vraiment réfléchir (elle fait du "par cœur" au lieu de comprendre).
• Le problème de l'incertitude : Si un dossier manque d'informations, un humain dira : "Je ne sais pas, il manque des infos". L'IA, elle, va souvent inventer une réponse très confiante, comme un élève qui devine la réponse d'un examen sans savoir la leçon. C'est dangereux !

4. La taille n'est pas tout

On pensait peut-être qu'une IA plus grosse (plus de "cerveau") ferait mieux. Pas forcément ! Ici, les modèles étaient de taille moyenne, mais leur entraînement sur des livres de médecine était la clé. Cependant, même les meilleurs modèles ont encore du mal avec des concepts subtils comme "l'alternative" (est-ce que c'est une autre maladie ?) ou "la preuve objective".

💡 La Conclusion : L'IA est un stagiaire prometteur, pas encore le patron

En résumé, cette étude nous dit :

• C'est encourageant : Les IA spécialisées en médecine commencent à comprendre le langage des médicaments et peuvent aider à trier les dossiers.
• Mais attention : Elles ne sont pas encore prêtes à prendre la décision finale seules. Elles manquent de "bon sens" clinique et d'explications fiables.

L'image finale : Imaginez l'IA comme un super-stagiaire très intelligent qui lit vite. Il peut remplir les cases d'un formulaire très bien (méthode Naranjo), mais il a encore besoin d'un médecin humain pour vérifier son travail, corriger ses erreurs d'interprétation et surtout, pour lui demander : "Pourquoi as-tu conclu ça ?".

Pour l'instant, dans le monde de la sécurité des médicaments, l'humain doit rester le chef d'orchestre, avec l'IA comme un assistant puissant mais à surveiller.

Résumé technique

Titre

Modèles de Langage Biomedical (LLM) et Ingénierie des Prompts pour l'Évaluation de la Causalité des Rapports Individuels de Pharmacovigilance

1. Problématique

L'évaluation de la causalité des rapports individuels de sécurité (ICSR) est un processus fondamental en pharmacovigilance, visant à déterminer le lien de causalité entre un médicament/vaccin et un événement indésirable. Cependant, l'augmentation du volume de rapports rend l'évaluation manuelle par des experts insoutenable. Bien que les Modèles de Langage (LLM) aient montré des promesses, les modèles à usage général (general-purpose) se sont révélés insuffisants pour cette tâche spécifique, souvent en raison de stratégies de prompts inadéquates et d'un manque de données d'entraînement spécifiques au domaine biomédical. Il existe un besoin critique d'évaluer si des LLMs entraînés sur la littérature biomédicale, combinés à des techniques avancées d'ingénierie des prompts, peuvent atteindre un niveau de fiabilité suffisant pour remplacer ou assister les experts humains dans l'évaluation de la causalité au niveau individuel.

2. Méthodologie

L'étude a adopté une approche comparative rigoureuse pour évaluer la performance de différentes configurations LLM par rapport à un standard de référence humain.

• Données : Un ensemble de 150 rapports ICSR a été analysé :
  • 140 rapports extraits du système FAERS (Food and Drug Administration Adverse Event Reporting System) des États-Unis, couvrant diverses classes thérapeutiques (nouveaux médicaments, thérapies géniques, médicaments courants, etc.).
  • 10 cas cliniquement confirmés de myocardite/péricardite post-vaccination issus de la base VAERS.
• Algorithmes de Causalité : Deux algorithmes standardisés ont été utilisés :
  • L'algorithme de Naranjo (échelle de probabilité à 10 questions).
  • L'algorithme OMS-Centre de Surveillance de l'Uppsala (WHO-UMC) (approche narrative en 4 étapes).
• Modèles Évalués : Trois LLMs biomédicaux open-source ont été sélectionnés selon leur performance sur des benchmarks (Open LLM Leaderboard) :
  • TinyLlama 1.1B
  • Medicine LLaMA-3 8B
  • MedLLaMA v20
• Stratégies de Prompting : Deux techniques d'ingénierie des prompts ont été testées :
  • Chain-of-Thought (CoT) : Incitation au raisonnement étape par étape.
  • Decomposition : Décomposition de la tâche en sous-questions.
• Évaluation :
  • Référence Or : Deux experts humains (un pharmacien et un médecin senior) ont évalué les cas manuellement.
  • Métriques : Accord inter-évaluateurs (Coefficient d'Accord de Gwet AC1, pourcentage d'accord), métriques de performance (précision, rappel, F1-score), et analyse qualitative des erreurs (hallucinations, manque de justification, boucles de dialogue, "prompt echoing").
  • Environnement : Déploiement local sur Windows 11 avec accélération GPU, utilisant des bibliothèques Python (transformers, llama-cpp-python).

3. Contributions Clés

• Évaluation Comparative : C'est l'une des premières études à comparer systématiquement des LLMs biomédicaux spécifiques contre des experts humains pour l'évaluation de la causalité ICSR, en utilisant à la fois des algorithmes structurés (Naranjo) et narratifs (WHO-UMC).
• Analyse des Erreurs : Identification détaillée des modes d'échec spécifiques aux LLMs dans ce contexte (ex: incapacité à gérer l'incertitude épistémique, tendance à l'auto-dialogue, manque de justification des scores).
• Impact de l'Algorithme : Démonstration que le choix de l'algorithme de causalité a un impact plus significatif sur la performance du LLM que le choix du modèle ou de la stratégie de prompt.
• Reproductibilité : Mise à disposition publique de tout le code, des prompts et des configurations d'hyperparamètres via un dépôt GitHub, respectant les principes FAIR.

4. Résultats

• Meilleure Performance : La combinaison Medicine LLaMA-3 8B + Prompt CoT + Algorithme Naranjo a obtenu les meilleurs résultats, avec un accord global de 64 % avec les experts humains (AC1 = 0,644). Cela représente une amélioration notable par rapport aux modèles à usage général précédemment testés (qui atteignaient ~34 %).
• Limites de l'Accord : Malgré l'amélioration, l'accord reste modéré. Les modèles ont eu des difficultés spécifiques sur des items critiques nécessitant un jugement clinique nuancé :
  • Identification des effets indésirables listés (Question 1 de Naranjo).
  • Plausibilité temporelle (Question 2).
  • Causes alternatives (Question 5).
  • Preuves objectives (Question 10).
• Performance des Algorithmes : L'algorithme Naranjo (structuré) a bien mieux fonctionné avec les LLMs que l'algorithme WHO-UMC (narratif). Pour WHO-UMC, l'accord global est tombé à ~23-24 %, indiquant que les LLMs peinent à suivre la logique narrative complexe de cet algorithme.
• Impact du Prompting : La différence entre les stratégies CoT et Decomposition était minime, suggérant que la structure de l'algorithme de causalité lui-même domine la performance plutôt que la technique de prompt.
• Types d'Erreurs : Les erreurs fréquentes incluaient le "prompt echoing" (répétition du prompt), l'absence de justification pour les scores attribués, et une tendance à générer des réponses catégorielles à haute certitude même en l'absence de preuves suffisantes (manque de sensibilité à l'incertitude).

5. Signification et Conclusion

Cette étude démontre que les LLMs biomédicaux, grâce à leur entraînement sur la littérature médicale, surpassent les modèles génériques pour l'évaluation de la causalité, doublant presque l'alignement avec les experts humains. Cependant, ils ne sont pas encore prêts pour une utilisation autonome dans des environnements réglementés stricts comme la pharmacovigilance européenne.

Les principaux obstacles restent :

1. L'explicabilité : L'incapacité des modèles à fournir des justifications cliniques robustes et traçables pour leurs scores.
2. La fiabilité : La variabilité dans l'interprétation de concepts critiques comme les "causes alternatives" ou les "preuves objectives".
3. L'adéquation algorithmique : La nécessité d'adapter les LLMs à des cadres de décision spécifiques (comme Naranjo) plutôt que d'essayer de les appliquer à des structures narratives complexes.

L'article conclut que l'intégration future de ces outils devra passer par une approche "Human-in-the-loop" (humain dans la boucle), où le LLM sert d'assistant pour le pré-traitement ou le tri, mais où la décision finale et la justification restent sous la responsabilité d'un expert humain. Des recherches futures devraient se concentrer sur l'optimisation des hyperparamètres, l'utilisation d'agents IA (Agentic AI) capables d'accéder à des bases de données externes (comme les RCP/SmPC en temps réel), et l'amélioration de la capacité des modèles à exprimer l'incertitude.