CARE-Bench: Benchmarking Patient-Facing LLM Triage

Résumé technique de CARE-BENCH : Évaluation de la performance du triage par les LLM orientés vers le patient

Définition du problème
Les modèles de langage de grande taille (LLM) et les agents médicaux destinés aux patients sont de plus en plus déployés pour répondre aux questions sur les symptômes avant que les patients ne contactent des cliniciens. Dans ce contexte, le principal défi de sécurité n'est pas simplement l'exactitude du diagnostic ou la qualité de la réponse, mais la détermination de la prochaine action correcte que l'utilisateur doit entreprendre. Les benchmarks d'évaluation actuels reposent souvent sur des vignettes cliniques statiques ou des tâches de questions-réponses de santé généralistes, ce qui ne parvient pas à capturer la nature dynamique du triage face au patient. Dans les interactions réelles, l'action appropriée (par exemple, demander une clarification, recommander l'auto-soin ou une escalade vers des soins d'urgence) dépend des informations divulguées à chaque tour de parole. Des conseils prématurés peuvent conduire à un sous-triage (retard de soins nécessaires) ou à un sur-triage (demande inutile), tandis que des réponses ambiguës peuvent confondre les utilisateurs ayant une faible littératie en santé. Des études existantes indiquent que les modèles actuels peinent avec le calibrage, sous-trijant souvent les urgences et sur-trijant les cas non urgents, ou fournissant des signaux d'action mixtes qui obscurcissent l'étape immédiate suivante.

Méthodologie
Les auteurs introduisent CARE-BENCH, un benchmark ancré dans des sources, conçu pour évaluer le triage séquentiel face au patient en tant que tâche d'action actuelle par tour de parole.

• Formulation de la tâche : Le benchmark traite le triage comme un problème de classification où le système reçoit un « préfixe de divulgation du patient » (le texte cumulé du patient jusqu'au tour actuel) et doit produire une réponse. Cette réponse est associée à l'une des quatre étiquettes d'action :
  1. INFONEEDED (Information requise) : Une clarification ciblée est nécessaire avant de pouvoir choisir un niveau de soin.
  2. SELFCARE/MONITOR (Auto-soin/Surveillance) : Les informations actuelles soutiennent l'auto-soin, la surveillance ou une mise en garde liée à l'évolution future.
  3. NONURGENTCARE (Soins non urgents) : Une évaluation clinique est justifiée sans langage urgent.
  4. URGENTCARE (Soins urgents) : Des soins le jour même, d'urgence ou en cas de danger lié à un délai sont justifiés.
• Construction du jeu de données : Le jeu de données comprend 500 cas et 1 059 tours évalués, reconstitués à partir de sources de dialogues médicaux, de consultations et de questions de suivi (MedDialog/OpenMed, ChatDoctor, PriMock57 et Followup-Q). Un flux de travail itératif impliquant GPT-5.5 et des examinateurs humains (incluant un candidat au doctorat en santé publique et un interne en médecine) abstrait les faits sources en divulgations séquentielles de patients. Chaque tour est étiqueté avec l'action actuelle justifiée selon l'état de l'information à ce tour spécifique.
• Protocole d'évaluation : Les auteurs ont évalué 11 modèles (couvrant des modèles fermés, des modèles généraux à poids ouverts et des modèles de santé ouverts) sous deux protocoles :
  1. Non sollicité (Unprompted) : Le modèle reçoit uniquement le texte du patient, simulant une requête d'utilisateur générale sans instructions spécifiques.
  2. Sollicité (Prompted) : Une instruction minimale est ajoutée pour être « bref, sûr et orienté vers l'action », sans fournir d'exemples ou de noms d'étiquettes.
• Scoring : Les réponses sont mappées vers l'espace des quatre étiquettes à l'aide d'un mappeur gpt-5.5 fixe. La métrique principale est le F1 macro, complété par l'exactitude, le sur-triage/sous-triage ordonné, et les taux d'erreur spécifiques aux seuils (soins manqués, soins inutiles, faux négatifs urgents et fausse escalade d'urgence).

Contributions clés

1. Opérationnalisation du triage : L'article opérationnalise le triage face au patient comme une tâche d'évaluation de l'action actuelle par tour sur des préfixes de divulgation de patients contrôlés, allant au-delà de la simple classification de vignettes statiques.
2. Benchmark ancré dans des sources : Il publie un jeu de données de 500 cas et 1 059 tours avec un ancrage source auditable, couvrant les divisions de développement, de validation et de test indépendant.
3. Évaluation empirique : Il fournit une évaluation complète de 11 LLM, révélant des échecs persistants dans le timing des actions et le calibrage qui ne sont pas résolus par un simple prompting.

Résultats

• Performance : Les scores F1 macro non sollicités étaient faibles, allant de 31,2 % à 50,4 %. Le prompting a amélioré la performance pour 10 des 11 modèles, avec des F1 macro allant de 46,9 % à 63,4 %, mais des erreurs de seuil substantielles subsistaient.
• Échec de clarification : Un mode d'erreur dominant est l'incapacité à reconnaître une information insuffisante. Lorsque l'action correcte était INFONEEDED, seulement 19,0 % des sorties non sollicitées et 33,5 % des sorties sollicitées respectaient l'étape de demande de clarification ; la majorité (81,0 % des non sollicités et 66,5 % des sollicités) recommandait prématurément des soins.
• Compromis de seuil : Le prompting déplace souvent le comportement du modèle vers la recommandation de soins professionnels. Bien que cela réduise les soins professionnels manqués (faux négatifs), cela augmente fréquemment les soins inutiles (faux positifs) et le sur-triage. Par exemple, GPT-5.5 a obtenu un faible taux de faux négatifs urgents (9,8 %) mais un taux élevé de soins inutiles (56,9 %).
• Analyse de sensibilité : La performance s'est améliorée lorsque toutes les divulgations de patients étaient disponibles en même temps (préfixe terminal), suggérant que les modèles peuvent faire de meilleures recommandations finales mais peinent avec le timing des actions pendant la phase de collecte d'informations. La correspondance exacte de la trajectoire (action correcte à chaque tour) est restée faible (22,0 % non sollicité, 34,9 % sollicité).
• Variabilité des modèles : Aucun modèle unique n'est apparu comme un leader clair sur toutes les dimensions de sécurité. Les modèles de santé ouverts n'ont pas systématiquement surpassé les modèles généraux ; par exemple, HuatuoGPT-o1 a montré des taux élevés de faux négatifs urgents malgré son entraînement médical.

Signification et affirmations
L'article conclut que le triage face au patient n'est pas un simple problème de prompting. La persistance des erreurs — spécifiquement l'incapacité de retarder le conseil de soins jusqu'à ce que suffisamment d'informations soient recueillies — suggère que les modèles actuels manquent de la capacité de temporiser leurs actions de manière appropriée en fonction de l'évolution des états d'information.

Les auteurs affirment que CARE-BENCH fournit une ressource contrôlée pour étudier si les LLM médicaux face au patient communiquent les conseils de recherche de soins avec un timing et un calibrage appropriés. Ils précisent explicitement que le benchmark évalue l'action actuelle communiquée à un patient, et non la prise de décision clinique au sein d'un système de soins. Les résultats soutiennent l'affirmation selon laquelle les modèles actuels présentent des erreurs de seuil substantielles, particulièrement lorsque la clarification est nécessaire avant de donner des conseils de soins. L'article souligne que ces conclusions soutiennent la nécessité d'une évaluation explicite du timing des actions avant le déploiement, plutôt que de se fier uniquement à l'exactitude globale ou à des benchmarks de questions-réponses de santé larges. Les auteurs avertissent que le benchmark ne certifie pas la sécurité clinique, l'exactitude du diagnostic ou l'aptitude au routage autonome.