Show Your Work: Verbatim Evidence Requirements and Automated Assessment for Large Language Models in Biomedical Text Processing

Cette étude démontre que l'exigence de citations textuelles vérifiables pour les modèles de langage dans le traitement de textes biomédicaux améliore la traçabilité et la confiance sélective des prédictions, mais introduit de nouveaux modes d'échec et un compromis entre la couverture et la vérifiabilité qui varie selon le modèle utilisé.

L'essentiel

🧐 Le Problème : Les "Super-Intelligences" qui ont parfois la tête dans les nuages

Imaginez que vous avez engagé trois super-intelligences artificielles (des modèles de langage comme GPT, Gemini ou Claude) pour trier des milliers de dossiers médicaux. Leur tâche est simple : lire le résumé d'une étude sur un cancer et dire si l'étude accepte des patients dont la maladie est localisée (juste à un endroit) ou métastatique (qui s'est propagée).

Le problème, c'est que ces intelligences sont comme des élèves très brillants mais un peu trop confiants. Ils peuvent vous donner la bonne réponse, mais parfois, ils inventent leur raisonnement ou se trompent sans que vous puissiez le savoir. C'est ce qu'on appelle une "hallucination". Dans le domaine médical, c'est dangereux : on ne peut pas se fier à une réponse si on ne sait pas pourquoi elle a été donnée.

🕵️‍♂️ L'Expérience : "Montre-moi ton travail !"

Les chercheurs ont eu une idée géniale, un peu comme un professeur qui dit à un élève : "Je ne veux pas seulement la réponse, je veux que tu me montres ton brouillon avec les passages exacts du livre qui t'ont aidé."

Ils ont demandé aux trois IA de faire deux choses :

1. Mode "Réponse seule" : Donner juste la réponse (Localisée ou Métastatique).
2. Mode "Preuve obligatoire" : Donner la réponse ET copier-coller une phrase exacte du texte original qui prouve cette réponse.

C'est comme si l'IA devait dire : "Je pense que c'est A, et voici la phrase du document qui le prouve : [copie exacte]."

📊 Ce qu'ils ont découvert (Les résultats)

Voici ce qui s'est passé, avec quelques images pour mieux comprendre :

1. La preuve rend les IA plus prudentes (et parfois plus lentes)
Quand on a exigé la preuve, les IA ont moins répondu. C'est comme un détective qui, au lieu de deviner rapidement, dit : "Attendez, je ne suis pas sûr à 100 %, je ne peux pas conclure sans trouver la preuve exacte."

• Résultat : Le nombre de réponses a légèrement baissé (c'est ce qu'on appelle la "couverture"), mais les réponses données étaient souvent plus fiables.

2. La preuve n'est pas toujours une vraie preuve
C'est le point le plus surprenant. Même quand l'IA fournissait une phrase exacte du texte, cette phrase ne justifiait pas toujours la réponse.

• L'analogie : Imaginez un élève qui répond "La capitale de la France est Paris" et cite le texte : "Il fait beau à Paris." La phrase est bien dans le texte (c'est une preuve mécanique), mais elle ne prouve pas que Paris est la capitale (c'est une preuve sémantique faible).
• Résultat : Environ la moitié à trois quarts des "preuves" fournies étaient en réalité des justifications faibles ou trompeuses. L'IA avait trouvé la phrase, mais elle ne l'avait pas vraiment comprise.

3. Chaque IA est différente

• GPT et Gemini sont devenus un peu plus précis quand on leur a demandé de prouver leur travail.
• Claude, lui, a eu plus de mal : sa précision a baissé. C'est comme si un élève très rapide, une fois obligé de justifier chaque étape, commençait à se tromper plus souvent dans son calcul.

4. Le "Juge" en plus
Les chercheurs ont ajouté une quatrième IA pour jouer le rôle de "juge". Cette IA regardait la réponse et la preuve, et disait : "Oui, cette phrase prouve bien la réponse" ou "Non, c'est hors sujet".

• Le résultat magique : Quand on ne garde que les réponses validées par ce juge, la précision devient excellente (presque parfaite), mais on perd encore plus de réponses (beaucoup de cas sont rejetés car la preuve n'est pas assez solide).

💡 La Leçon à retenir

Cette étude nous dit quelque chose de très important pour l'avenir de la médecine assistée par IA :

1. Demander la preuve est une bonne idée : Cela force l'IA à être plus honnête et permet aux humains de vérifier le travail. C'est comme avoir un "fil d'Ariane" pour ne pas se perdre dans les décisions de la machine.
2. Mais attention aux apparences : Juste parce que l'IA cite un texte, ça ne veut pas dire qu'elle a raison. Il faut toujours vérifier si la citation a du sens.
3. Le compromis : On peut avoir une IA ultra-fiable, mais elle sera plus lente et refusera de répondre sur certains cas complexes. C'est un bon compromis si on veut éviter les erreurs médicales graves. On accepte de traiter moins de dossiers pour être sûr que ceux qu'on traite sont justes.

En résumé : Cette recherche propose de transformer les IA de "boules de cristal" (qui donnent des réponses mystérieuses) en "étudiants sérieux" (qui doivent montrer leurs sources). C'est une étape cruciale pour faire confiance à l'IA dans les hôpitaux, à condition de garder un œil humain pour vérifier que les "sources" présentées sont vraiment pertinentes.

Résumé technique

Titre de l'étude

"Show Your Work" : Preuves textuelles littérales, exigences de vérification et évaluation automatisée pour les grands modèles de langage (LLM) dans le traitement de textes biomédicaux.

---

1. Problématique

L'utilisation croissante des Grands Modèles de Langage (LLM) pour le traitement de textes biomédicaux (sélection de patients pour des essais cliniques, synthèse de preuves) soulève un problème majeur de transparence et d'auditabilité. Bien que les évaluations se concentrent souvent sur la précision finale (l'étiquette de sortie), elles négligent fréquemment la traçabilité des décisions individuelles.

Les LLMs peuvent générer des réponses fluides et convaincantes qui ne sont pas étayées par le texte source, voire qui contiennent des hallucinations ou des références bibliographiques fictives. Dans des contextes à haut risque comme l'oncologie, il est crucial de savoir si une décision d'éligibilité est fondée sur des preuves extraites du texte ou si c'est une affirmation non étayée. L'étude cherche à déterminer si l'imposition d'une contrainte mécanique de « montrer son travail » (fournir une citation littérale) améliore la fiabilité, la stabilité et l'auditabilité des LLMs sans compromettre excessivement leur performance.

2. Méthodologie

Données et Tâche :

• Corpus : 200 essais contrôlés randomisés (ECR) en oncologie publiés entre 2005 et 2023, issus de six journaux majeurs (ex: The Lancet, NEJM).
• Entrée : Uniquement le titre et le résumé (abstract) de l'essai.
• Tâche : Classification de la portée de l'éligibilité des patients : LOCALISÉ (maladie localisée), MÉTASTATIQUE, LES DEUX, ou NI L'UN NI L'AUTRE (ou INCERTAIN).
• Référence de vérité (Ground Truth) : Déterminée par une annotation humaine approfondie incluant la lecture du texte intégral, même si le modèle ne voit que le résumé.

Modèles Évalués :
Trois modèles phares (flagships) accessibles via API, configurés par défaut (sans ajustement de température ni prompt engineering complexe) :

1. GPT-5.2 (OpenAI)
2. Gemini 3 Flash (Google)
3. Claude Opus 4.5 (Anthropic)

Conditions Expérimentales :
Chaque essai a été soumis à trois répétitions par modèle sous deux conditions :

1. Condition de base (Label-only) : Le modèle doit uniquement prédire l'étiquette.
2. Condition « Preuve requise » (Evidence-required) : Le modèle doit prédire l'étiquette ET fournir une citation textuelle exacte (verbatim) tirée du résumé pour justifier la décision.

Validation et Métriques :

• Validation Mécanique : Vérification stricte que la citation fournie est un sous-chaîne exacte du texte original (après normalisation des espaces).
• Validation Sémantique (Juge LLM) : Un deuxième LLM (jouant le rôle de juge) évalue si la citation fournie soutient sémantiquement l'étiquette attribuée.
• Stabilité : Mesurée par le coefficient kappa de Fleiss sur trois répétitions et la similarité de Jaccard des citations choisies.
• Performance : Précision, Macro-F1, taux de couverture (taux de prédictions non « INCERTAIN ») et taux d'abstention.

3. Contributions Clés

1. Cadre d'évaluation « Show Your Work » : Introduction d'une contrainte de citation littérale vérifiable mécaniquement (sous-chaîne exacte) pour les tâches de classification biomédicale, évitant ainsi les hallucinations de références bibliographiques.
2. Analyse de la stabilité des preuves : Démontre que la stabilité des étiquettes ne garantit pas la stabilité des preuves (citations) fournies par les modèles.
3. Distinction Validité Mécanique vs Sémantique : Mise en évidence que le fait qu'une citation soit techniquement extraite du texte (validité mécanique) ne garantit pas qu'elle soit une preuve suffisante pour la décision (validité sémantique).
4. Mécanisme de sélection par filtrage : Proposition d'utiliser un « juge » LLM pour filtrer les prédictions, créant un sous-ensemble de prédictions à haute confiance (plus précises) au prix d'une couverture réduite.

4. Résultats Principaux

Couverture et Validité :

• L'exigence de preuve a légèrement réduit la couverture (taux de prédictions valides) pour tous les modèles (ex: GPT-5.2 de 86,2 % à 84,3 %).
• Gemini 3 Flash a montré une augmentation significative des sorties invalides (de 1,5 % à 5,0 %) sous la contrainte de preuve.
• Les taux d'abstention (réponse « INCERTAIN ») ont augmenté, ce qui est considéré comme un comportement souhaitable face à l'ambiguïté.

Performance (Macro-F1) :

• GPT-5.2 et Gemini 3 Flash : La précision (Macro-F1) a légèrement augmenté ou est restée stable avec la contrainte de preuve.
• Claude Opus 4.5 : Une baisse statistiquement significative de la précision a été observée (de 0,785 à 0,725), suggérant que la contrainte a perturbé son processus de décision.

Stabilité et Citations :

• Les étiquettes étaient très stables (Kappa de Fleiss > 0,82).
• En revanche, la stabilité des citations variait : Gemini montrait une faible stabilité dans le choix des extraits (Similarité Jaccard 0,664), tandis que GPT et Claude étaient plus cohérents (> 0,89).
• Validité Mécanique : 83,3 % à 91,2 % des citations étaient des sous-chaînes exactes valides.

Validation Sémantique (Juge) :

• Seule une fraction des citations valides mécaniquement a été jugée sémantiquement suffisante par le juge LLM (entre 48 % et 78,8 %, selon le couple modèle/juge).
• Filtrage par le juge : En ne conservant que les prédictions jugées « sémantiquement fondées », le Macro-F1 a augmenté (parfois significativement), mais au prix d'une réduction drastique du nombre de cas traités (couverture).

5. Signification et Implications

• Auditabilité Automatisée : L'exigence de citations littérales vérifiables offre une piste d'audit automatisée, permettant de détecter les erreurs de format et les citations fantômes sans intervention humaine immédiate.
• Compromis Couverture vs Confiance : L'étude confirme que l'ajout de contraintes de preuve crée un compromis : on obtient un sous-ensemble de prédictions plus fiables (haute confiance) mais moins nombreuses. Cela est particulièrement pertinent pour les workflows cliniques où la revue manuelle des cas « incertains » ou « non fondés » est possible.
• Limites de la Validité Mécanique : Le simple fait qu'un modèle puisse extraire un texte exact ne prouve pas qu'il a compris le contexte. La validation sémantique (via un juge ou des règles métier) reste nécessaire pour garantir la pertinence de la preuve.
• Recommandations Futures : Les évaluations des LLMs en biomédecine devraient inclure la stabilité des preuves (pas seulement des étiquettes) et adopter des approches de prédiction sélective (abstention ou filtrage) pour gérer les risques d'erreur dans des applications à haut risque.

En conclusion, bien que l'exigence de « montrer son travail » n'améliore pas systématiquement la précision brute de tous les modèles, elle transforme le système en un outil plus transparent et permet de construire des pipelines de classification où la confiance est calibrée par la vérifiabilité des preuves fournies.