💬 NLP

Healthier LLMs: Retrieval-Augmented Generation for Public Health Question Answering

Cet article étend le benchmark PubHealthBench à un cadre de recherche augmentée par la récupération, démontrant que la recherche hybride et une sélection minutieuse du contexte améliorent considérablement la précision et la fiabilité du questionnement en santé publique en permettant à des modèles plus petits de surpasser des modèles plus grands, tout en introduisant un cadre validé de « LLM-as-a-judge » pour évaluer les réponses sous forme libre.

Auteurs originaux : Felix Feldman, Joshua Harris, Timothy Laurence, Leo Loman, Ollie Higgins, Fan Grayson, Poonam Soma, Bethany Pace-Bonello, Michael Borowitz, Toby Nonnenmacher

Publié 2026-07-09

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Felix Feldman, Joshua Harris, Timothy Laurence, Leo Loman, Ollie Higgins, Fan Grayson, Poonam Soma, Bethany Pace-Bonello, Michael Borowitz, Toby Nonnenmacher

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un bibliothécaire brillant mais légèrement distrait nommé « LLM ». Ce bibliothécaire a lu des millions de livres et peut répondre à presque n'importe quelle question instantanément. Cependant, il y a deux gros problèmes :

Le problème de l'« Hallucination » : Parfois, quand le bibliothécaire ne connaît pas la réponse, il en invente une avec assurance.
Le problème de l'« Obsolescence » : La mémoire du bibliothécaire est figée dans le temps. Si une nouvelle règle de santé sort aujourd'hui, le bibliothécaire ne la connaîtra pas avant d'être réentraîné des années plus tard.

Ce document traite de l'attribution de ce système de fiches indexées magiques (appelé Génération Augmentée par Récupération, ou RAG) pour permettre au bibliothécaire de consulter les règles exactes et actuelles avant de répondre à une question. Les auteurs ont testé ce système en utilisant une vaste bibliothèque de guides de santé publique du gouvernement britannique.

Voici le compte rendu de leurs conclusions, en utilisant des analogies simples :

1. La stratégie de recherche : Comment trouver la bonne page

Les chercheurs ont testé différentes manières pour le bibliothécaire de trouver la bonne page dans la bibliothèque.

La recherche par « Mots-clés » (Sparse/Creuse) : Comme chercher un livre en cherchant des mots spécifiques (ex: « grippe », « masque »). C'est efficace, mais cela manque parfois la nuance si vous utilisez des mots différents.
La recherche « Sémantique » (Dense) : Comme demander au bibliothécaire : « J'ai besoin d'informations sur la protection contre les virus », et qu'il comprenne le sens derrière les mots. C'est généralement meilleur.
La recherche « Hybride » : C'était le gagnant. C'est comme avoir un bibliothécaire super intelligent qui vérifie à la fois les mots-clés spécifiques et le sens de votre question en même temps.
- Le Résultat : Mélanger ces deux méthodes permettait de trouver l'information pertinente de manière plus constante qu'en utilisant une seule méthode. C'était si efficace qu'un bibliothécaire plus petit et moins cher (un modèle d'IA plus petit) utilisant cette recherche hybride pouvait surpasser un bibliothécaire géant et coûteux qui devait deviner sans rien consulter.

2. La taille des « Chunks » : Quelle doit être la taille de la page ?

Les livres de la bibliothèque ont été découpés en morceaux plus petits (chunks) pour faciliter la recherche. Les chercheurs ont découvert que la taille compte.

Trop petit : Vous risquez de manquer le contexte.
Trop grand : Si un morceau est un chapitre entier, c'est comme essayer de trouver une aiguille dans une botte de foin. Le bibliothécaire est confus par trop de texte supplémentaire.
Le juste milieu : Ils ont découvert que des morceaux de taille moyenne fonctionnaient le mieux. Curieusement, ils ont essayé de résumer les longs morceaux en notes courtes pour aider la recherche. Bien que cela ait aidé un peu, cela n'a pas réglé le problème entièrement. La meilleure approche consistait à garder les morceaux à une taille gérable et à utiliser la méthode de recherche « Hybride ».

3. Le test à choix multiples vs La vraie conversation

Les chercheurs ont testé les bibliothécaires de deux manières :

Choix multiples (MCQA) : Comme un quiz où le bibliothécaire choisit parmi les options A, B, C ou D.
- Résultat : Lorsque le bibliothécaire pouvait d'abord consulter la réponse, même les petits modèles bon marché obtenaient des scores presque parfaits (environ 99 %). Ils battaient les modèles géants qui n'avaient pas le droit de consulter de documents.
Réponses libres : Comme une vraie conversation où le bibliothécaire doit rédiger un paragraphe complet.
- Résultat : C'était plus difficile. Bien que les bibliothécaires puissent trouver la bonne information, ils devenaient parfois « bavards ». Ils incluaient des conseils supplémentaires qui n'étaient pas strictement nécessaires ou mélangeaient des détails provenant d'autres parties du livre.
- Le problème de la « Fidélité » : Le plus gros problème n'était pas de trouver la mauvaise information, mais plutôt que le bibliothécaire en ajoutait trop. Si la bonne réponse se trouvait à la page 50, mais que le bibliothécaire avait aussi lu les pages 1 à 49, il pouvait accidentellement mélanger des conseils de la page 10 qui ne s'appliquaient pas à la question spécifique. Plus la bonne réponse était située bas dans la liste, plus le bibliothécaire était susceptible de se « tromper » et d'ajouter des détails supplémentaires potentiellement trompeurs.

4. Le problème du « Juge » : Qui évalue les réponses ?

Pour voir si les bibliothécaires faisaient du bon travail, les chercheurs ont utilisé un « Juge » (une autre IA) pour noter les réponses. Ils ont également demandé à des experts humains de noter les mêmes réponses pour vérifier si le Juge IA était équitable.

Ce que le Juge a réussi : Le Juge IA était très bon pour détecter si le bibliothécaire respectait le script (Fidélité) et s'il couvrait tous les points principaux (Complétude).
Ce avec quoi le Juge a eu du mal : Le Juge IA n'était pas très bon pour détecter si le bibliothécaire était clair (Clarté) ou si les faits étaient parfaitement exacts (Cohérence Factuelle). Même les experts humains n'étaient pas toujours d'accord sur ces points.
La Leçon : Vous pouvez faire confiance au Juge IA pour vous dire si le bibliothécaire est resté sur le sujet, mais vous ne pouvez pas totalement lui faire confiance pour dire si une réponse est parfaitement claire ou factuellement irréprochable.

L'essentiel

L'article conclut que pour les questions de santé publique, la manière dont vous recherchez l'information est plus importante que la taille du modèle d'IA.

Petit + Recherche intelligente > Grand + Pas de recherche : Un petit modèle d'IA abordable doté d'un excellent système de recherche « Hybride » est plus sûr et plus précis qu'un modèle d'IA géant et coûteux qui repose uniquement sur sa mémoire.
Restez concentré : Pour obtenir les meilleurs résultats, vous devez fournir à l'IA juste la bonne quantité d'informations (ni trop peu, ni trop) et vous assurer que l'information la plus pertinente se trouve tout en haut de la liste.
La sécurité d'abord : En ancrant l'IA dans des documents gouvernementaux officiels et à jour, nous pouvons empêcher qu'elle n'invente des choses ou ne donne des conseils obsolètes, ce qui est crucial pour la santé publique.

En bref : Ne vous contentez pas de rendre le bibliothécaire plus intelligent ; donnez-lui un système de fiches indexées plus organisé et plus efficace.

Résumé technique : Des LLM plus sains : La génération augmentée par la récupération pour le questionnement en santé publique

Énoncé du problème

Les grands modèles de langage (LLM) démontrent un potentiel prometteur pour le questionnement médical, mais font face à des limites critiques dans les applications de santé publique : les hallucinations et l'incapacité à suivre le rythme de l'évolution rapide des directives officielles. Contraなる au support à la décision clinique, qui cible souvent le patient individuel, les directives de santé publique sont de niveau populationnel, prudentielles et fréquemment mises à jour. Se fier uniquement à la mémoire paramétrique risque de diffuser des conseils obsolètes ou inexacts, ce qui peut conduire à une prise de décision individuelle préjudiciable ou à des comportements de population dangereux. Bien que la génération augmentée par la récupération (RAG) offre une solution en ancrant les réponses dans un corpus externe, sa performance de bout en bout en santé publique dépend fortement de configurations de récupération spécifiques et de méthodes d'évaluation qui vont au-delà des formats de choix multiples standards.

Méthodologie

Les auteurs étendent PubHealthBench, un benchmark de 7 929 questions à choix multiples (MCQA) et 760 questions à réponse libre dérivées des directives de santé publique du gouvernement britannique, dans un cadre augmenté par la récupération.

1. Jeu de données et corpus

Source : 687 documents de directives de santé publique du gouvernement britannique couvrant 10 domaines thématiques.
Construction du corpus : Les documents ont été convertis en Markdown et découpés en segments (chunks) basés sur la hiérarchie des en-têtes, résultant en 5 358 segments.
Variantes du corpus :
- CF (Corpus complet) : Segments originaux.
- CS (Résumé uniquement) : Segments résumés par GPT-4o-mini pour la récupération.
- CR (Corpus réduit) : Segments de plus de 512 tokens remplacés par des résumés pour s'adapter aux limites de contexte des modèles d'embedding.

2. Stratégies de récupération

L'étude a évalué systématiquement cinq configurations de récupération à travers plusieurs modèles d'embedding (ex. : NV-Embed-v2, Multilingual-E5, ModernBERT) et des indices creux (BM25, TF-IDF) :

Dense uniquement : Similitude cosinus utilisant des embeddings denses.
Creux uniquement : Chevauchement de mots-clés (BM25/TF-IDF).
Hybride : Fusion de classement réciproque pondérée (RRF) des résultats denses et creux.
Hybride basé sur le résumé : Récupération hybride effectuée sur des résumés, avec les segments complets transmis au générateur.
Hybride à corpus réduit : Récupération hybride sur un corpus où les longs segments sont résumés.

3. Génération et évaluation

Modèles : 11 LLM allant de 1B à 70B de paramètres (ex. : Llama 3.3, Phi-4, Gemma-3, MedGemma).
Évaluation MCQA : Mesure de la précision sur PubHealthBench-Full avec des nombres variables de segments de contexte ( $k \in \{1, 3, 5, 10\}$ ).
Évaluation de la forme libre : Introduction d'un jugement par LLM basé sur une grille (GPT-OSS-120B) pour évaluer les réponses selon quatre critères : Fidélité (absence de nouvelles affirmations), Complétude (tous les points clés présents), Cohérence factuelle (exactitude par rapport aux directives) et Clarté.
Validation : Le juge LLM a été validé par rapport à une double annotation par des experts humains sur un échantillon de 100 réponses en utilisant le $\kappa$ de Cohen et le macro-F1.

Résultats clés

Performance de la récupération

Supériorité de l'hybride : La récupération hybride a systématiquement surpassé les méthodes de type dense uniquement et creux uniquement sur tous les indicateurs (Recall@k, MRR, nDCG@10).
Sensibilité des modèles : Bien que NV-Embed-v2 soit le modèle dense le plus performant, la récupération hybride a considérablement réduit l'écart de performance entre les grands et les petits modèles d'embedding (améliorant par exemple les petits encodeurs de 5 à 10 points de pourcentage).
Impact de la longueur des segments : La qualité du classement (Précision@1, MRR) se dégrade brusquement lorsque la longueur cible du segment dépasse 700–800 mots. La récupération basée sur les résumés a partiellement atténué cela, mais n'a pas éliminé le problème.
Variance thématique : Bien que le rappel soit largement indépendant du sujet, la qualité du classement montre des écarts systématiques selon les thèmes (ex. : Tuberculose vs Sécurité du sang), suggérant que le langage ou la structure spécifiques à un sujet affectent la performance de l'embedding.

Performance de la génération (MCQA)

Impact de la récupération : Fournir un contexte récupéré a considérablement augmenté la précision des MCQA. Les petits modèles à poids ouverts (ex. : Phi-4-14B, Gemma-3-12B) dotés d'une récupération de haute qualité ont égalé ou dépassé les performances de modèles plus grands (ex. : GPT-4.5) fonctionnant sans récupération.
Contexte optimal : La précision maximale était typiquement atteinte avec $k=3$ à $k=5$ segments. Augmenter $k$ à 10 introduisait du bruit avec des rendements décroissants.
Sensibilité au rang : Récupérer le segment correct au rang 1 offrait les gains les plus importants. Les petits modèles étaient plus sensibles à la position du rang que les grands modèles, qui pouvaient extraire des informations pertinentes de contextes plus bruités.

Évaluation de la forme libre et validation du juge

Fiabilité du juge : Le juge LLM a montré un fort accord avec les humains sur la Fidélité ( $\kappa \approx 0,64$ ) et la Complétude ( $\kappa \approx 0,59$ ). L'accord était faible pour la Cohérence factuelle ( $\kappa \approx 0,06$ ) et la Clarté, indiquant que ces dimensions sont difficiles à automatiser de manière fiable.
Comportement des modèles : Les modèles moyens et grands ont atteint une complétude et une clarté élevées mais ont eu des difficultés avec la Fidélité ; même les meilleurs modèles n'ont respecté le critère de fidélité que dans environ 64 % des cas, incorporant souvent des directives superflues.
Effet du rang sur la fidélité : La fidélité a chuté brutalement à mesure que le rang du segment cible augmentait, confirmant que les modèles dépendent fortement du contexte initial et hallucinent lorsque l'évidence la plus pertinente est enfouie.

Signification et affirmations

L'article affirme que la configuration de la récupération est un levier primaire pour un questionnement fiable en santé publique, souvent plus impactant que la taille du modèle seule.

Le RAG comme stabilisateur : Ancrer les LLM dans un corpus explicitement maintenu de directives officielles atténue les hallucinations et les conseils obsolètes, permettant aux systèmes de rester alignés sur l'évolution des politiques de santé publique sans réentraînement du modèle.
Efficacité via le RAG : Une pile de récupération bien conçue permet à de plus petits modèles à poids ouverts de surpasser de plus grands modèles fermés qui reposent uniquement sur la mémoire paramétrique. Cela offre une voie pratique pour les institutions de santé publique ayant des contraintes budgétaires et d'infrastructure.
Nuance de l'évaluation : L'étude souligne que les benchmarks MCQA standards peuvent surestimer les capacités en raison des indices présents dans les options de réponse. L'évaluation de la forme libre est nécessaire mais nécessite une conception de grille rigoureuse ; actuellement, l'évaluation automatisée de la "cohérence factuelle" reste peu fiable, nécessant une supervision humaine ou le développement de nouvelles méthodes.
Conseils pratiques : Pour le déploiement, les auteurs recommandent la récupération hybride, un découpage (chunking) soigneux (en évitant des longueurs excessives) et la limitation du contexte aux 3 à 5 meilleurs segments pour un ratio performance-coût optimal.

L'étude conclut que bien que le RAG améliore considérablement la fiabilité, les futurs benchmarks devront aborder le support multi-preuves et les requêtes hors-corpus pour tester pleinement la robustesse des systèmes dans des scénarios de santé publique réels.