💻 computer science

Same Question, Different Source, Different Answer: Auditing Source-Dependence in Medical Multi-Source RAG

Cet article présente un nouveau cadre d'évaluation pour les systèmes de génération augmentée par la récupération (RAG) multi-sources qui déplace l'accent de la justesse de la réponse vers l'audit de la dépendance aux sources, démontrant, grâce à une évaluation sur l'éducation des patients transplantés, que les désaccords institutionnels sont bien plus répandus que prévu et proposant des outils tels que HERO-QA et un juge structuré pour mesurer et gérer systématiquement ces relations inter-sources.

Auteurs originaux : Yubo Li, Rema Padman, Ramayya Krishnan

Publié 2026-05-29

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yubo Li, Rema Padman, Ramayya Krishnan

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes un patient venant de subir une greffe cardiaque. Vous vous posez une question : « Quand pourrai-je à nouveau voyager à l'international ? » Vous saisissez cette question dans un chatbot médical intelligent.

Dans l'ancienne méthode de conception de ces chatbots, le système trouvait une réponse « parfaite » et vous la fournissait avec une confiance totale. Mais cet article soutient que, dans le monde réel, il n'existe pas de réponse unique parfaite. Au contraire, la réponse que vous obtenez dépend entièrement du manuel de règles de quel hôpital le chatbot a eu la chance de s'approprier.

Si le bot s'approprie le manuel de l'hôpital A, il pourrait dire : « Attendez 3 mois. » S'il s'approprie le manuel de l'hôpital B, il pourrait dire : « Attendez 12 mois. » Les deux réponses sont rédigées avec assurance, les deux sont correctement citées, mais elles se contredisent. L'ancienne méthode de test de ces bots ne pouvait pas voir ce problème car elle ne cherchait qu'une seule réponse « de référence ».

Cet article introduit une nouvelle méthode pour auditer ces systèmes, en utilisant un système d'éducation des patients transplantés comme cas d'essai. Voici comment ils ont procédé, expliqué simplement :

1. La collection de « Livres de recettes » (TransplantQA)

Les chercheurs ont rassemblé 102 manuels patients différents provenant de 23 grands centres de transplantation à travers les États-Unis. Imaginez ces manuels comme 102 livres de recettes différents pour le même plat (les soins post-transplantation). Certains chefs (hôpitaux) disent « ajoutez du sel », d'autres disent « pas de sel », et certains ne mentionnent pas le sel du tout.

Ils ont également collecté 1 115 questions réelles posées par de vrais patients sur des forums. Ils ne les ont pas inventées ; ce sont de véritables inquiétudes de personnes réelles.

2. Le « Bibliothécaire intelligent » (HERO-QA)

Pour tester le système, ils ont construit un moteur de récupération spécial appelé HERO-QA. Imaginez un bibliothécaire qui essaie de trouver la bonne page dans une immense bibliothèque.

Si le livre est court, le bibliothécait lit l'intégralité du livre pour s'assurer de ne rien manquer.
Si le livre est énorme, le bibliothécaire utilise une carte intelligente pour trouver le chapitre spécifique, puis le paragraphe spécifique, et vérifie même les paragraphes voisins pour obtenir le contexte complet.

Ce bibliothécaire demande ensuite à une IA puissante (le « Générateur ») de rédiger une réponse basée uniquement sur les pages qu'il a trouvées. Ils ont fait cela pour chaque question unique face à chaque manuel unique. Cela a abouti à plus de 48 000 réponses différentes aux mêmes questions.

3. Le « Juge sévère » (Sortie structurée)

Vient maintenant la partie la plus importante. Ils avaient besoin d'un moyen de comparer ces 48 000 réponses pour voir comment elles différaient. Ils ne se sont pas contentés de demander : « Sont-elles identiques ou différentes ? » Ils ont utilisé une IA spécialisée « Juge » qui agit comme un éditeur strict.

Au lieu de simplement donner un score, ce Juge rédige un court rapport pour chaque paire de réponses qu'il compare. Il les classe dans cinq catégories :

Absente : Un livre ne parlait même pas du sujet.
Cohérente : Les deux livres disent exactement la même chose.
Complémentaire : Ils s'accordent sur le point principal mais ajoutent des détails différents (par exemple, l'un dit « mangez sainement » et l'autre ajoute « et faites de l'exercice »).
Divergente : Ils donnent des conseils différents (par exemple, « attendez 6 semaines » contre « attendez 12 semaines »).
Contradictoire : Ils disent le contraire (par exemple, « Vous pouvez faire cela » contre « Ne faites jamais cela »).

Crucialement, le Juge explique aussi pourquoi ils diffèrent et quelle est la gravité de la différence.

4. La grande découverte

Lorsqu'ils ont analysé les chiffres, ils ont découvert quelque chose de surprenant.

Le problème du « Manquant » : Dans environ 79 % des cas, l'un des manuels ne contenait aucune réponse. L'ancienne méthode de test a manqué cela car elle supposait que chaque livre contenait une réponse.
Le désaccord « caché » : Lorsqu'ils ont corrigé le système de récupération (rendant le bibliothécaire plus intelligent), ils ont trouvé plus de désaccords, et non moins.
- L'analogie : Imaginez que vous cherchez un mot spécifique dans un dictionnaire. Si vous ne regardez que la première page, vous pourriez penser que tout le monde s'accorde sur la définition. Mais si vous lisez tout le dictionnaire, vous réalisez que différentes éditions le définissent différemment.
- L'article a révélé que les estimations précédentes sous-estimaient la fréquence à laquelle les hôpitaux étaient en désaccord. Ce n'était pas que le désaccord était plus fort ; c'est que les anciens systèmes étaient simplement aveugles au fait que de nombreux hôpitaux ne possédaient aucune réponse du tout, masquant ainsi la véritable ampleur des différences.

5. Pourquoi cela compte au-delà de la médecine

Les auteurs affirment que cela ne concerne pas uniquement les greffes cardiaques. Ils soutiennent que tout système qui extrait des réponses de multiples sources (comme les systèmes juridiques où les lois varient selon les États, ou les écoles où les normes curriculaires varient selon les districts) présente ce même angle mort.

Si un élève pose une question à un chatbot sur l'histoire, la réponse pourrait changer selon que le bot lit un manuel scolaire de New York ou du Texas. Cet article fournit une boîte à outils pour mesurer cette « dépendance à la source » afin que nous cessions de prétendre qu'il existe toujours une seule réponse correcte.

En résumé : L'article a construit un test massif pour montrer que lorsque l'IA répond à des questions basées sur plusieurs sources, la réponse dépend souvent de quelle source elle a choisie. Ils ont créé une nouvelle méthode pour mesurer ces différences, prouvant que nous devons cesser de chercher une seule réponse « correcte » et commencer à auditer la manière dont différentes sources se rapportent les unes aux autres.

Résumé Technique : Audit de la Dépendance aux Sources dans les RAG Médicaux Multi-Sources

Énoncé du Problème
Les paradigmes actuels d'évaluation des systèmes de Génération Augmentée par Récupération (RAG), en particulier dans le domaine médical, reposent sur une hypothèse de « réponse unique de référence ». Des benchmarks comme MedQA et PubMedQA traitent les questions comme ayant une seule réponse correcte, échouant ainsi à diagnostiquer un mode de défaillance critique dans les systèmes multi-sources déployés : la dépendance aux sources. Dans des contextes institutionnels (par exemple, les hôpitaux), les guides d'éducation des patients contiennent souvent des protocoles, des délais ou des recommandations contradictoires, basés sur la gestion des risques locaux et des choix éditoriaux. Lorsqu'un système RAG récupère des informations à partir de différentes sources, il peut générer des réponses également fluides et confiantes, mais mutuellement exclusives ou divergentes. Le cadre d'évaluation dominant ne peut pas détecter cette hétérogénéité car il manque d'un axe pour mesurer la relation entre des réponses ancrées dans différents documents.

Méthodologie
Les auteurs proposent un cadre visant à déplacer l'unité d'évaluation de la « justesse de la réponse » vers la « relation inter-sources ». Cela est opérationnalisé à travers trois composantes principales :

Benchmark TransplantQA :
- Corpus : 102 guides d'éducation des patients provenant de 23 centres américains de transplantation d'organes solides (couvrant le cœur, les poumons, les reins, le foie et le pancréas). Les documents sont traités comme des unités distinctes basées sur la phase de soins (pré-transplantation, post-transplantation ou combinée).
- Questions : 1 115 questions réelles de patients extraites de forums en ligne et d'organisations de défense des droits, anonymisées et reformulées.
- Structure : Le jeu de données est divisé en un sous-ensemble « général » (applicable à tous les guides) et un sous-ensemble « spécifique à l'organe ». Cela permet des comparaisons par paires à la fois sur l'ensemble du corpus et stratifiées.
Pipeline HERO-QA (Récupération et Orchestration Hiérarchique des Preuves) :
- Architecture : Un processus en trois étapes exécuté sur des LLM à poids ouverts (Qwen3-32B).
- Étape 1 (Extraction) : Conversion des PDF bruts en JSON structuré avec des métadonnées de section et de page.
- Étape 2 (Récupération) : Un système de récupération multi-couches privilégiant le rappel. Les guides courts (<80k caractères) contournent la récupération pour utiliser le contexte du document complet. Les guides plus longs subissent une récupération hiérarchique (document → sections → fragments) utilisant quatre récupérateurs parallèles (FAISS dense, BM25 épars, navigation par corps de section, navigation par titre), suivis d'une Fusion des Rangs Réciproques (RRF) et d'un reclassage par cross-encodeur. Les meilleurs fragments sont étendus aux sections parentes pour un contexte cohérent.
- Étape 3 (Jugement) : Un juge à sortie structurée évalue les relations par paires entre les réponses générées à partir de différents guides.
Juge à Sortie Structurée :
- Au lieu d'une étiquette binaire, le juge produit un enregistrement JSON structuré contenant :
  - Classification : L'une des cinq étiquettes suivantes : ABSENTE (aucune information), CONSISTANTE (même recommandation), COMPLÉMENTAIRE (compatible mais détails différents), DIVERGENTE (différence substantielle) ou CONTRADICTOIRE (guidance opposée).
  - Métadonnées Narratives : sujet_de_divergence (lieu du désaccord) et signification_clinique (faible/moyenne/élevée).
- Validation : Le juge a été validé contre des annotateurs cliniques humains sur un échantillon stratifié, atteignant un $\kappa$ de Cohen de 0,842 par rapport à la majorité humaine. Des études d'ablation ont confirmé qu'une sortie structurée en appel unique est nécessaire pour préserver la discrimination entre les classes COMPLÉMENTAIRE et DIVERGENTE, que les juges basés uniquement sur des étiquettes échouent à capturer.

Résultats Clés
Le cadre a été appliqué à une production générant 48 056 réponses ancrées et 5 730 465 comparaisons par paires.

Prévalence du Désaccord : Les estimations antérieures sous-estimaient considérablement la prévalence du désaccord. Alors que les cas explicites CONTRADICTOIRES étaient rares (<0,1 %), les modes dominants de désaccord étaient COMPLÉMENTAIRES (75,4 % des paires non absentes) et DIVERGENTS (12,9 %).
L'Absence comme Facteur de Masquage : Dans le sous-ensemble général, 78,9 % des paires étaient ABSENTES (au moins un guide manquait l'information). En comparant une exécution précédente d'un modèle 14B à l'exécution actuelle 32B, une meilleure récupération a réduit le « taux d'absence des guides » de 13,6 points de pourcentage. Crucial, le taux de divergence par paire est resté stable, mais la prévalence des questions montrant une divergence quelconque a augmenté d'environ 16 %. Cela indique que des pipelines de récupération plus performants révèlent un désaccord latent plutôt que de le fabriquer ; les bases de référence précédentes manquaient le désaccord simplement parce que les sources pertinentes n'étaient pas récupérées.
Hétérogénéité : Les taux d'absence variaient considérablement entre les guides (0,45 à 0,99), et les taux de divergence variaient selon le type d'organe, le pancréas et les questions générales montrant les taux de divergence les plus élevés.

Signification et Revendications
L'article soutient que mesurer la dépendance aux sources est une responsabilité fondamentale pour tout système NLP multi-sources déployé, et pas seulement en médecine.

Changement de Paradigme d'Évaluation : Les auteurs affirment que le paradigme de la réponse unique de référence est insuffisant pour les corpus institutionnels multi-auteurs. Le domaine doit évaluer la relation inter-sources pour diagnostiquer si la réponse d'un utilisateur est contingente au document spécifique récupéré.
Agnosticisme Domainal : Bien qu'instancié dans l'éducation à la transplantation, le cadre (benchmark multi-sources, taxonomie inter-sources, juge à sortie structurée) est conçu pour être transféré au RAG juridique (où les précédents fédéraux/étatiques peuvent entrer en conflit) et au RAG éducatif (où les normes de curriculum spécifiques aux États diffèrent).
Nécessité Méthodologique : L'article affirme que le jugement structuré en appel unique est une exigence de conception, et non une commodité. L'extraction a posteriori de métadonnées à partir d'un juge basé uniquement sur des étiquettes échoue à retrouver la nuance entre les relations COMPLÉMENTAIRES et DIVERGENTES et perd la gradation de la sévérité.

Les auteurs concluent que leur travail fournit le premier instrument à grande échelle pour auditer l'hétérogénéité inter-sources, révélant que le désaccord dans les RAG institutionnels est beaucoup plus prévalent que précédemment compris, bien que son intensité reste constante à travers différentes forces de récupération.