PSEBench: A Controllable and Verifiable Benchmark for Evaluating LLMs in Patient Safety Event Triage

Résumé Technique : PSEBench

Énoncé du Problème
Le triage des événements liés à la sécurité des patients (PSE - Patient Safety Event) consiste à déterminer si un incident clinique est signalable selon des politiques juridictionnelles spécifiques (par exemple, les 29 événements indésirables signalables du Minnesota, MN29). Il s'agit d'une tâche à enjeux élevés qui exige que les experts fondent leurs décisions sur une politique juridique, identifient les faits critiques manquants et s'abstiennent de prendre une décision binaire lorsque la politique est ambiguë. Bien que les grands modèles de langage (LLM) offrent un potentiel d'automatisation, les benchmarks existants ne parviennent pas à les évaluer de manière adéquate. Les travaux antérieurs se concentrent sur la classification descriptive isolée (ex. : type d'événement, sévérité) plutôt que sur le raisonnement complexe fondé sur une politique, requis pour le triage. De plus, la génération de benchmarks fiables dans ce domaine est difficile en raison de la nécessité d'une stricte fidélité à la politique, de l'exigence d'une recherche d'informations multi-tours et de la nécessité de gérer des cas irrédûctiblement ambigus sans recours à une annotation humaine post-hoc coûteuse.

Méthodologie
Les auteurs proposent PSEBench, un benchmark contrôlable et vérifiable construit via une méthodologie fondée sur la politique et centrée sur des fiches de clauses (clause cards).

1. Construction des Fiches de Clauses :

   • L'innovation centrale est la « fiche de clause », une spécification de décision structurée qui factorise le texte réglementaire en variables auditables : type d'événement ($s$), conditions limites ($B$), éléments de l'événement ($E$), une application $\rho$ des conditions aux éléments, le verdict escompté ($y$), la base juridique ($G$), et les contraintes d'instanciation ($\Phi$).
   • Ces fiches sont créées via un protocole assisté par LLM avec intervention humaine. Les LLM effectuent une « extraction loyale » du texte de la politique et une « rédaction structurée » de fiches candidates, qui sont ensuite rigoureusement auditées par des experts humains pour garantir que les conditions limites sont nécessaires et conjointement suffisantes pour le verdict.

2. Pipeline de Génération Contrôlable et Vérifiable :

   • Instanciation Pilotée par Ancre : Des rapports d'incidents réels anonymisés (provenant du Japan Council for Quality Health Care) servent de « matériaux ancres » pour injecter du réalisme clinique et de la diversité.
   • Phase I (Instanciation Factuelle) : Un LLM instancie les éléments de l'événement ($E$) à partir du matériau ancre dans un enregistrement factuel structuré. Un vérificateur automatisé contrôle si ces faits satisfont les conditions limites ($B$) et les contraintes ($\Phi$) de la fiche de clause.
   • Phase II (Verbalisation Narrative) : Un second LLM convertit les faits vérifiés en un récit clinique en texte libre.
   • Vérification en Boucle Fermée : Un Extracteur analyse le récit généré pour récupérer les faits sous-jacents, qui sont ensuite recoupés avec l'enregistrement structuré original par un Vérificateur de Récit. Cela garantit que le récit encode fidèlement les faits prévus sans « dérive silencieuse de l'étiquette » (hallucinations changeant le verdict).

3. Variantes du Benchmark :

   • Cas Complets : Tous les faits critiques pour la décision sont présents.
   • Cas d'Informations Manquantes : Un sous-ensemble de faits critiques ($E'$) est retenu dans le récit, obligeant l'agent à les demander proactivement. La vérité de terrain suit explicitement quels champs sont manquants.
   • Cas d'Incertitude (Zone Grise) : Tous les faits sont connus, mais la politique est silencieuse ou contradictoire, exigeant que l'agent escalade plutôt que de forcer un verdict binaire.

4. Environnement d'Évaluation Agentique :

   • L'évaluation simule une interaction multi-tours entre un LLM évalué ($A_{eval}$) et un Fournisseur d'Informations automatisé ($A_{info}$).
   • $A_{info}$ agit comme un oracle sans état détenant les faits canoniques, répondant uniquement aux requêtes alignées avec les faits connus et déclarant « inconnu » autrement.
   • $A_{eval}$ doit décider quand poser des questions (ASK) et quand rendre un verdict (ANSWER).

Contributions Clés

• Jeu de Données PSEBench : Un ensemble de 5 074 cas (3 455 complets, 1 362 avec informations manquantes, 257 incertains) fondé sur la politique MN29. Chaque cas inclut une vérité de terrain multidimensionnelle (verdict, clause, base juridique, conditions limites et champs retenus) dérivée par construction, éliminant le besoin d'annotation manuelle.
• Cadre Méthodologique : Un pipeline de construction évolable et fondé sur la politique, utilisant des fiches de clauses et une vérification en boucle fermée pour générer des benchmarks de haute fidélité et auditables pour le triage réglementaire.
• Évaluation Agentique : Un environnement à deux rôles spécifiquement conçu pour évaluer la recherche proactive d'informations et l'abstention fondée sur des principes face à l'incertitude, allant au-delà des métriques de classification statiques.

Résultats
Les auteurs ont évalué 15 LLM représentatifs (modèles frontières fermés, frontières ouverts, petits modèles et modèles spécialisés en médecine).

• Précision du Verdict vs Préparation Agentique : Bien que les modèles fermés de premier rang (ex. : GPT-5.5, Gemini 3.1 Pro) aient atteint une précision de verdict élevée (>90 %) sur les cas complets, des écarts de performance significatifs sont apparus dans les comportements interactifs.
• Recherche d'Informations : Les modèles ont montré des comportements divergents. Certains (ex. : GPT-5.5) ont activement identifié les faits manquants et posé des questions ciblées. D'autres (ex. : Llama-3.1-8B) ont posé des questions de manière indiscriminée, et les modèles spécialisés en médecine (ex. : HuatuoGPT-o1) n'ont presque jamais posé de questions, optant par défaut pour le « engagement sans question ».
• Gestion de l'Incertitude : La capacité à escalader correctement les cas ambigus a été la capacité la plus polarisée. Seuls les modèles les plus puissants (GPT-5.5, Gemini 3.1 Pro) ont démontré une réelle conscience de l'incertitude. La plupart des modèles, y compris les modèles médicaux, ont montré un biais de « sur-signalement », forçant un verdict de « Signalable » sur des cas incertains (ex. : MedGemma a dirigé 98,4 % des cas incertains vers le statut Signalable).
• Ancrage des Preuves : Une haute précision du verdict masquait souvent des échecs d'ancrage des preuves ; les modèles ont fréquemment deviné le bon verdict pour de mauvaises raisons ou pour des raisons hallucinées, comme en témoignent les scores plus faibles dans la citation de preuves et les taux de succès des conditions limites.

Signification et Revendications
L'article affirme que PSEBench constitue le premier benchmark complet pour le triage des PSE fondé sur une politique, évaluant conjointement les verdicts, l'ancrage des preuves juridiques, la recherche d'informations ciblée et la reconnaissance de l'incertitude. Les résultats suggèrent que les LLM actuels, même les modèles frontières, ne sont pas encore prêts pour un déploiement autonome dans le triage réel de la sécurité des patients. L'écart entre la performance de classification statique et les exigences rigoureuses du raisonnement interactif aligné sur la politique — particulièrement dans la gestion des informations manquantes et de l'ambiguïté de la politique — reste substantiel. Les auteurs positionnent PSEBench comme un banc d'essai évolable et vérifiable pour guider le développement d'applications de LLM plus sûres et mieux alignées sur les politiques pour les flux de travail de la sécurité clinique.

Limites Reconnues
Les auteurs notent que bien que les matériaux ancres améliorent le réalisme, les récits sont générés synthétiquement et pourraient ne pas capturer pleinement le désordre structurel des notes brutes des dossiers de santé électroniques (EHR). De plus, l'évaluation abstrait la recherche d'informations en un protocole conversationnel, ce qui ne teste pas la capacité d'un agent à naviguer dans des systèmes EHR vivants et non structurés. Enfin, le benchmark est actuellement fondé sur la politique MN29, bien que la méthodologie de construction soit revendiquée comme généralisable à d'autres cadres réglementaires.