Healthy LLMs? Benchmarking LLM Knowledge of UK Government Public Health Information

Cette étude présente PubHealthBench, un nouveau benchmark de plus de 8000 questions évaluant la connaissance des modèles de langage (LLM) sur les informations de santé publique du Royaume-Uni, révélant que bien que les modèles propriétaires les plus récents surpassent les humains en questions à choix multiples, leurs performances en réponses libres nécessitent encore des garde-fous supplémentaires.

L'essentiel

🏥 Les IA sont-elles de bons médecins pour le grand public ?

Imaginez que vous avez un super-étudiant (une Intelligence Artificielle ou IA) qui a lu des millions de livres. On lui demande de répondre à des questions sur la santé publique au Royaume-Uni : comment se protéger d'une épidémie, quand se faire vacciner, ou comment gérer une intoxication alimentaire.

Les chercheurs de l'Agence de sécurité sanitaire du Royaume-Uni (UKHSA) se sont demandé : « Ce super-étudiant connaît-il vraiment ses leçons, ou est-ce qu'il invente des réponses pour faire joli ? »

Pour le savoir, ils ont créé un examen spécial appelé PubHealthBench.

1. La création de l'examen : Une usine à questions 🏭

Au lieu de demander à des humains de rédiger 8 000 questions (ce qui prendrait des années), les chercheurs ont construit une usine automatique.

• La matière première : Ils ont pris 687 documents officiels du gouvernement britannique (des guides PDF et HTML).
• Le processus : Une IA a lu ces documents, a découpé les informations importantes et a généré automatiquement des milliers de questions à choix multiples (comme un QCM) et des questions ouvertes.
• Le contrôle qualité : Comme une usine qui produit des pièces, ils ont inspecté un échantillon pour s'assurer que les questions étaient claires et justes.

2. Le grand test : Qui réussit l'examen ? 🎓

Ils ont fait passer cet examen à 24 différents modèles d'IA (les plus récents et les plus puissants du marché) et les ont comparés à des humains moyens (qui avaient le droit d'utiliser Google, mais pas d'IA).

Voici ce qu'ils ont découvert, avec une analogie simple :

🅰️ Le QCM (Le test à choix multiples) : L'IA est un champion !
Imaginez un jeu où l'on vous donne la question et 4 ou 5 réponses possibles, dont une seule est vraie.

• Résultat : Les IA les plus avancées (comme GPT-4.5) ont obtenu plus de 90 % de bonnes réponses.
• Comparaison : Elles ont battu les humains qui utilisaient Google ! C'est comme si l'IA avait une mémoire photographique parfaite des règles du jeu. Elle sait exactement quelle case cocher.

🅱️ La réponse libre (Le test oral) : L'IA commence à bégayer.
Maintenant, imaginez qu'on enlève les choix de réponses. On demande à l'IA : « Expliquez-moi comment agir en cas de fièvre. »

• Résultat : Les performances chutent drastiquement. Aucune IA n'a dépassé 75 % de réussite.
• Le problème : C'est ici que l'IA commence à halluciner.
  • Parfois, elle oublie une étape importante (comme si un médecin oubliait de vous dire de boire de l'eau).
  • Parfois, elle ajoute des conseils qui ne sont pas dans le guide officiel (comme si elle inventait un remède maison).
  • Parfois, elle se contredit elle-même.

3. Les découvertes surprenantes 🕵️‍♀️

• Le paradoxe du "Petit vs Grand" : Les IA les plus grosses et les plus chères (les "Propriétaires") sont très bonnes, mais les modèles plus petits et gratuits (les "Open-Weight") font beaucoup plus d'erreurs, surtout quand ils doivent parler librement. C'est comme comparer un expert médical à un étudiant en première année : l'étudiant connaît les bases, mais peut se tromper sur les détails vitaux.
• Le public vs Les pros : Les IA sont meilleures quand elles parlent au grand public (conseils simples) que quand elles doivent donner des conseils médicaux complexes aux professionnels. C'est rassurant pour nous, les citoyens, car c'est nous qui utilisons le plus ces chatbots.
• L'illusion de la perfection : Même les meilleures IA ne sont pas parfaites. Dans le mode "réponse libre", elles peuvent donner un conseil qui semble logique mais qui est techniquement faux par rapport au guide officiel.

4. La conclusion : Faut-il avoir confiance ? ⚖️

Les chercheurs disent : « Oui, mais avec des lunettes de sécurité. »

• C'est prometteur : Les IA modernes connaissent énormément de choses sur la santé publique. Elles sont souvent plus rapides et précises qu'un humain qui cherche sur Google.
• Mais attention : Si vous demandez à une IA de vous donner un conseil de santé en mode "conversation libre", elle risque de s'inventer des choses ou d'oublier des détails cruciaux.

L'analogie finale :
Pensez à l'IA comme à un bibliothécaire très rapide.

• Si vous lui demandez : « Dans quel rayon se trouve le livre sur le vaccin ? » (QCM), il vous répondra instantanément et correctement.
• Si vous lui demandez : « Expliquez-moi tout ce qu'il faut savoir sur ce vaccin pour ma famille » (Réponse libre), il risque de mélanger deux livres, d'oublier une page importante ou d'inventer une anecdote qui n'existe pas.

Le message clé : L'IA est un outil formidable pour trouver de l'information, mais pour la santé, il faut toujours vérifier ses réponses avec un professionnel humain ou un document officiel. Ne la laissez pas conduire l'ambulance toute seule ! 🚑🤖

Résumé technique

Titre : HEALTHY LLMS ? ÉVALUATION DES CONNAISSANCES DES LLM SUR LES INFORMATIONS DE SANTÉ PUBLIQUE DU GOUVERNEMENT UK

Auteurs : Joshua Harris et al. (UK Health Security Agency - UKHSA)
Date : Mars 2026 (Prépublication)

---

1. Problématique et Contexte

L'adoption croissante des Grands Modèles de Langage (LLM) et des chatbots dans le domaine de la santé publique pose des défis critiques. Bien que des benchmarks existent pour le domaine médical clinique (ex: USMLE), il existe un vide important concernant l'évaluation des connaissances des LLM sur les guides de santé publique du gouvernement britannique (UK Government guidance).

Les risques principaux identifiés sont :

• Hallucinations et informations incomplètes : Les LLM pourraient générer des conseils erronés ou obsolètes, impactant directement la prise de décision des citoyens et des professionnels.
• Dynamisme des données : Les guides de santé publique sont régulièrement révisés, ce qui rend la mise à jour des connaissances des modèles difficile.
• Absence de benchmarks spécifiques : Aucun ensemble de données complet n'existait pour évaluer la capacité des LLM à répondre aux questions basées sur les documents officiels du gouvernement UK (gov.uk).

L'objectif de cette étude est de combler ce vide en introduisant un nouveau benchmark et en évaluant la performance de 24 modèles d'état de l'art (SOTA).

---

2. Méthodologie : Le Benchmark PubHealthBench

Les auteurs ont développé une pipeline automatisée pour créer PubHealthBench, un ensemble de données massif et ancré (grounded) dans les sources officielles.

A. Collecte et Prétraitement des Données

• Source : Extraction de texte libre à partir de 687 documents de guidance du gouvernement UK (PDF et HTML) provenant du site gov.uk.
• Traitement : Conversion en Markdown, extraction de texte (y compris via vision pour les PDF complexes), et découpage (chunking) en 20 488 sections basées sur la hiérarchie des en-têtes.
• Filtrage : Un LLM a classé les sections pour ne retenir que celles contenant des recommandations de santé publique pertinentes, réduisant le corpus à 7 946 chunks sources.

B. Génération de Questions (MCQA)

• Génération : Utilisation de Llama-3.3-70B-Instruct pour générer deux questions à choix multiples (MCQA) par chunk.
• Format : Une question, une réponse correcte et six distracteurs (mauvaises réponses) plausibles.
• Contrôle de qualité automatisé : Un pipeline de détection d'erreurs (utilisant Llama-3-70B) a filtré les questions ambiguës ou invalides, réduisant le nombre de questions candidates de 15 666 à 8 090 questions finales.
• Validation humaine : Un échantillon aléatoire de 800 questions (10 %) a été revu par des experts humains. Le taux d'ambiguïté estimé est d'environ 5,5 %.

C. Évaluation des Modèles

L'étude a testé 24 modèles (propriétaires et open-weight) sur trois sous-ensembles :

1. PubHealthBench-Full : L'ensemble complet de 8 090 questions MCQA.
2. PubHealthBench-Reviewed : Un sous-ensemble de 760 questions validées par des humains (utilisé pour les modèles coûteux).
3. PubHealthBench-FreeForm : Le même sous-ensemble validé, mais sans options de réponse multiples. Les modèles doivent générer une réponse libre, évaluée par un LLM-Judge (GPT-4o-Mini) ancré sur le texte source pour vérifier la cohérence.

Conditions expérimentales :

• Prompting Zero-shot (sans exemples en contexte).
• Aucune utilisation d'outils externes (recherche web) pour simuler un déploiement à haut risque.
• Comparaison avec une baseline humaine (5 non-experts utilisant un moteur de recherche, sans IA).

---

3. Résultats Clés

A. Performance en Format MCQA (Choix Multiples)

• Modèles Propriétaires SOTA : Les modèles les plus récents (GPT-4.5, GPT-4.1, o1) excellent, atteignant plus de 90 % de précision (GPT-4.5 : 92,5 %). Ils surpassent la baseline humaine (88 %).
• Modèles Open-Weight : Les modèles de taille intermédiaire (5-15B paramètres) obtiennent des scores raisonnables (>75 %), mais les plus petits (<4B) peinent.
• Modèles de Raisonnement (Reasoning) : Les modèles comme o1 et o3-Mini ne montrent pas d'avantage significatif par rapport aux modèles non-raisonneurs dans ce format MCQA, suggérant que la tâche repose davantage sur la récupération de connaissances que sur le raisonnement complexe.
• Corrélation : Il existe une corrélation très forte (>0,99) entre les résultats sur l'ensemble complet et le sous-ensemble validé.

B. Performance en Format Réponse Libre (Free Form)

• Chute drastique des performances : Tous les modèles voient leur précision chuter considérablement (jusqu'à -60 points de pourcentage) par rapport au format MCQA.
• Meilleur score : Le modèle o1 obtient le meilleur score en réponse libre avec 74 %, mais cela reste inférieur à ses performances en MCQA.
• Causes des erreurs : L'analyse qualitative révèle que les erreurs proviennent principalement de :
  1. L'omission de points clés de la guidance.
  2. La contradiction avec le texte source.
  3. L'ajout d'informations extrêmes ou non recommandées (hallucinations contextuelles).

C. Analyse par Thème et Public Cible

• Public vs Clinique : Les LLM démontrent de meilleures connaissances sur les guides destinés au grand public (ex: 96 % pour GPT-4.5) que sur les guides cliniques ou professionnels.
• Sujets : Les performances sont élevées sur le climat et la santé, mais plus faibles sur la toxicologie et les produits chimiques.
• Écart de taille : L'écart de performance entre les grands modèles propriétaires et les petits modèles open-weight (1-15B) s'élargit considérablement en mode réponse libre (plus de 35 points de pourcentage), indiquant un risque accru d'hallucinations pour les petits modèles.

---

4. Contributions Principales

1. PubHealthBench : Création du premier benchmark complet et ancré pour évaluer les connaissances des LLM sur la santé publique UK, couvrant 10 domaines thématiques et 352 zones de guidance.
2. Pipeline Automatisé : Développement d'un pipeline robuste de génération de questions MCQA et de validation à partir de documents gouvernementaux non structurés.
3. Évaluation Multi-Format : Comparaison rigoureuse entre les capacités de récupération de connaissances (MCQA) et de génération de réponses réalistes (Free Form), mettant en lumière la divergence de performance.
4. Baseline Humaine : Établissement d'une référence humaine (88 % en MCQA avec recherche) pour contextualiser les capacités des IA par rapport à un utilisateur non-expert.

---

5. Signification et Implications

• Potentiel et Limites : Les résultats sont encourageants pour l'utilisation des LLM SOTA comme sources d'information de santé publique, car ils surpassent souvent les humains en recherche rapide. Cependant, la dégradation des performances en mode "réponse libre" indique que des garde-fous supplémentaires sont nécessaires avant un déploiement grand public.
• Risque d'Hallucination : La capacité des modèles à inventer des recommandations ou à omettre des détails critiques en mode libre pose un risque significatif pour la sécurité publique.
• Recommandations : L'étude suggère que pour les applications critiques, les systèmes devraient privilégier le format MCQA ou être couplés à des mécanismes de vérification stricte (RAG avec validation rigoureuse) plutôt que de laisser le modèle générer du texte libre.
• Futur de la Recherche : Ce benchmark ouvre la voie à des évaluations plus poussées, notamment sur l'interaction multi-tours, l'analyse d'images, et l'extension à d'autres pays et langues.

En conclusion, bien que les LLM les plus avancés démontrent une compréhension remarquable des directives de santé publique britanniques, leur fiabilité en mode conversationnel libre n'est pas encore suffisante pour un usage autonome sans supervision humaine ou outils de vérification.