BM25 and Dense Retrieval Are Complementary for Portuguese Clinical Text: An Empirical Study of Hybrid RAG Across 500 Clinical Queries

Dans le monde de la médecine à enjeux élevés, les médecins s'appuient sur de vastes bibliothèques de connaissances pour prendre des décisions instantanées qui affectent des vies humaines. Pendant des décennies, ces bibliothèques étaient des livres et des revues physiques, mais aujourd'hui, elles sont numériques. Une nouvelle technologie appelée génération augmentée par récupération agit comme un bibliothécaire numérique pour l'intelligence artificielle. Lorsqu'un médecin pose une question, ce système ne se contente pas de deviner une réponse basée sur ce que l'ordinateur a mémorisé ; au lieu de cela, il recherche d'abord dans une base de données spécifique de documents médicaux de confiance, trouve les pages les plus pertinentes, puis utilise ces pages pour construire une réponse précise et fondée sur des preuves. Le défi critique réside dans la recherche elle-même : comment l'ordinateur sait-il quels documents sont les bons ? Pendant des années, l'hypothèse dans la médecine anglophone a été que la meilleure façon de trouver des réponses est de comprendre le sens profond et le contexte d'une question, tout comme un lecteur humain le fait. Cette approche, connue sous le nom de recherche dense, utilise des mathématiques complexes pour cartographier la « vibe » ou la connexion sémantique entre les mots. Cependant, une méthode plus simple et plus ancienne appelée correspondance par mots-clés, qui recherche des chevauchements de mots exacts, est longtemps restée la norme pour de nombreux systèmes. La question qui se pose aux chercheurs est de savoir si la recherche sophistiquée, basée sur le sens, est réellement supérieure pour chaque langue, ou si la méthode plus simple conserve encore un terrain vital, en particulier dans les régions où la terminologie médicale est hautement standardisée et spécifique.

Cette question est devenue le point central d'une étude rigoureuse menée par un chercheur indépendant enquêtant sur la manière dont ces bibliothèques numériques fonctionnent pour les médecins lusophones au Brésil. Bien que les outils d'intelligence artificielle pour la santé progressent rapidement en Amérique latine, la majeure partie de la recherche guidant leur conception a été réalisée en utilisant du texte anglais. Le chercheur s'est proposé de tester si la sagesse prédominante — selon laquelle la recherche sémantique profonde est toujours meilleure — était vraie pour le langage spécifique et structuré des protocoles cliniques brésiliens. Pour ce faire, l'équipe a construit un environnement de test en utilisant une vaste collection curatée de documents médicaux réels, incluant des guides de médicaments, des protocoles d'urgence et des directives nationales de traitement. Ils ont ensuite généré cinq cents questions cliniques distinctes qu'un médecin pourrait poser, couvrant six spécialités médicales allant de la pharmacologie aux soins d'urgence. L'objectif était de voir quelle stratégie de recherche réussirait à trouver les documents corrects pour répondre à ces questions.

Les chercheurs ont comparé trois approches principales. La première reposait entièrement sur la méthode simple de correspondance par mots-clés. La deuxième utilisait uniquement la recherche complexe basée sur le sens. La troisième était un système hybride qui combinait les deux méthodes, fusionnant leurs résultats pour voir s'ils pouvaient couvrir plus de terrain ensemble. Les conclusions ont remis en question la croyance commune selon laquelle la recherche sophistiquée, basée sur le sens, est la solution ultime. Lorsque les chercheurs ont testé la recherche complexe basée sur le sens seule, elle n'a pas réussi à trouver les documents corrects pour plus de vingt-deux pour cent des questions cliniques, même lorsque le système était configuré pour être très permissif dans ce qu'il acceptait comme correspondance. En revanche, la méthode simple par mots-clés était remarquablement efficace, trouvant les documents appropriés pour quatre-vingt-dix-neuf pour cent des requêtes. Ce taux de réussite élevé pour la méthode simple est probablement dû à la nature de l'écriture médicale brésilienne, où les médecins et les protocoles utilisent souvent les mêmes termes standardisés exacts pour les médicaments et les pathologies, rendant la correspondance mot à mot hautement efficace.

Cependant, l'étude n'a pas déclaré la méthode simple comme l'unique gagnante. En fait, la découverte la plus significative est que les deux méthodes ne sont pas redondantes ; elles sont complémentaires. Lorsque les chercheurs ont comparé les documents trouvés par la méthode par mots-clés par rapport aux documents trouvés par le système hybride, ils ont constaté que les deux approches puisaient dans des réservoirs d'informations largement différents. Le système hybride a découvert des centaines de documents uniques que la méthode par mots-clés avait manqués, tandis que la méthode par mots-clés a trouvé des centaines de documents uniques que le système hybride avait négligés. Cela signifie que s'appuyer sur une seule stratégie laisse le médecin avec une image incomplète. L'approche hybride, qui combine la précision de la correspondance par mots-clés avec la compréhension contextuelle de la recherche sémantique, a fourni la couverture la plus complète, garantissant qu'aucune pièce critique d'information ne soit laissée de côté.

L'étude a également examiné comment le système gère l'autorité des sources qu'il trouve. En médecine, une directive gouvernementale nationale est souvent considérée comme plus faisant autorité qu'une étude de recherche isolée. Les chercheurs ont testé si le renforcement du classement de ces documents à haute autorité améliorait la capacité du système à trouver la bonne information. Ils ont découvert que bien que cette pondération ait modifié l'ordre dans lequel les documents apparaissaient, en poussant les sources les plus fiables en tête, elle n'a pas réellement augmenté le nombre total de documents corrects trouvés. Cette distinction est cruciale pour les concepteurs de systèmes : si l'objectif est de s'assurer que l'information la plus fiable est vue en premier, les ajustements de classement fonctionnent, mais si l'objectif est de trouver chaque document pertinent possible, ces ajustements n'aident pas.

Enfin, les chercheurs ont abordé un obstacle majeur dans le test de ces systèmes : qui décide si une réponse est réellement bonne ? Traditionnellement, cela nécessite de recruter des médecins occupés pour lire et juger des milliers de résultats, un processus lent et coûteux. L'étude a testé si une intelligence artificielle pouvait agir comme un juge pour évaluer la qualité des résultats de recherche. Deux systèmes d'IA indépendants ont été invités à évaluer la pertinence des documents pour chaque requête. Les deux IA étaient d'accord entre elles sur presque chaque jugement, atteignant un niveau de cohérence considéré comme presque parfait. Cela suggère que pour le texte médical en portugais, l'évaluation automatisée est un moyen fiable et évolutif d'améliorer ces systèmes sans nécessiter une supervision humaine constante. De plus, l'étude a démontré qu'en utilisant une méthode programmatique stricte pour lier les réponses à leurs documents sources, le système pouvait éliminer complètement le problème des « hallucinations », où une IA invente de fausses citations. Alors qu'une approche standard entraînait des centaines de citations incorrectes, la méthode stricte garantissait que chaque citation pointait vers un document réel que le système avait réellement récupéré.

Les implications de ces découvertes sont claires pour l'avenir de l'IA médicale dans les régions lusophones. L'hypothèse selon laquelle une seule méthode de recherche sophistiquée est suffisante pour toutes les requêtes médicales est incorrecte. Au contraire, les systèmes les plus robustes seront probablement ceux qui mélangent la fiabilité de la simple correspondance par mots-clés avec la profondeur contextuelle de la recherche sémantique. Cette approche hybride garantit que le système capture à la fois la terminologie exacte des protocoles standardisés et les connexions plus larges et nuancées entre les concepts médicaux. En validant le fait que des juges automatisés peuvent évaluer de manière fiable ces systèmes, l'étude ouvre également la voie à des améliorations plus rapides et continues des outils d'aide à la décision clinique, aidant finalement les médecins à accéder plus rapidement et plus sûrement à l'information pertinente.