Performance evaluation and benchmarking across 16 large language models on a comprehensive real-world emergency department triage data set

Résumé technique : Évaluation des performances et étalonnage de modèles de langage de grande taille (LLM) sur des données réelles de triage en service d'urgences

Problématique
Le triage aux urgences est un processus à enjeux élevés qui détermine la priorisation des patients et l'allocation des ressources sous pression temporelle. Bien que les modèles de langage de grande taille (LLM) aient été proposés comme outils d'aide à la décision pour le triage, les évaluations existantes reposent principalement sur des scénarios simulés ou des ensembles de données organisés (ex. : MIMIC-IV, NEJM Healer). Il existe un manque critique de preuves concernant la performance, l'étalonnage et la reproductibilité des LLM contemporains lorsqu'ils sont appliqués à des données cliniques réelles et non organisées. De plus, l'impact des stratégies de prompting par rapport à l'architecture du modèle sur la précision du triage reste incertain.

Méthodologie
Cette étude de benchmarking transversale rétrospective a été menée dans un centre universitaire tertiaire en Allemagne doté d'un point d'évaluation centralisé (CPA) intégré.

• Données : L'étude a utilisé 16 107 rencontres consécutives d'adultes sans rendez-vous (octobre 2023 – février 2024). Les données ont été extraites d'un système d'aide à la décision clinique (CDSS) structuré capturant les motifs de consultation (CEDIS-PCL), les signes vitaux (cadre ABCDE) et les décisions de triage finales prises par le personnel infirmier spécialisé. Les données étaient entièrement anonymisées.
• Modèles évalués : L'étude a évalué 16 configurations, comprenant 14 LLM individuels (propriétaires et open-source, variant en taille et en capacités de raisonnement), une stratégie d'ensemble (« Conseil de Modèles ») et une approche de prompting par étapes spécifique.
• Protocole d'évaluation :
  • Entrées : Les modèles ont reçu des variables cliniques structurées pour chaque rencontre.
  • Sorties : Les modèles devaient prédire le niveau d'ESI (Emergency Severity Index) (1–5), l'allocation sectorielle (Urgences vs Cabinet de soins non programmés/UCP) et un niveau de confiance verbalisé auto-déclaré (0–100 %).
  • Stratégies :
    • Prompting standard : Classification directe basée sur les données disponibles.
    • Conseil de Modèles : Agrégation des prédictions de neuf modèles, avec un modèle « président » déterminant l'ESI final.
    • ESI par étapes : Une approche structurée, de type arbre de décision, guidant le modèle séquentiellement à travers l'algorithme ESI (besoin d'intervention vitale, signes de risque élevé, constantes dans la zone de danger, estimation des ressources).
  • Reproductibilité : Un sous-ensemble de 100 patients a été interrogé 100 fois chacun (10 000 classifications au total) en utilisant des entrées identiques pour mesurer la variabilité stochastique.
• Mesures : Les résultats primaires comprenaient l'accord mesuré par le kappa de Cohen pondéré par les carrés ($\kappa_{qw}$), les schémas de mauvaise classification (sur-triage/sous-triage), l'erreur d'étalonnage attendue (ECE) et la reproductibilité des sorties.

Résultats clés

• Précision du triage (Classification ESI) :
  • La performance était très hétérogène selon les modèles. Les valeurs de kappa pondéré par les carrés ($\kappa_{qw}$) variaient de 0,18 (GPT 5 Nano) à 0,75.
  • Seule l'approche ESI par étapes a atteint un accord « substantiel » ($\kappa_{qw} = 0,747$), approchant la limite inférieure de la fiabilité inter-juges humaine rapportée.
  • La plupart des autres modèles présentaient un accord seulement « modéré » à « faible » ($\kappa_{qw}$ entre 0,18 et 0,52).
  • Les erreurs les plus fréquentes se produisaient entre des niveaux adjacents, particulièrement entre l'ESI 3 et l'ESI 4.
• Allocation sectorielle (Urgences vs UCP) :
  • L'accord sur l'affectation sectorielle était uniformément bas pour tous les modèles ($\kappa \leq 0,30$).
  • Les erreurs d'affectation étaient fréquentes ; par exemple, certains modèles ont mal affecté jusqu'à 75 % des patients destinés aux urgences vers l'UCP, ou inversement.
• Biais et étalonnage :
  • Surconfiance : Les 14 modèles évalués individuellement étaient systématiquement en situation de surconfiance. Les indices de surconfiance variaient de +5,2 à +33,7 points de pourcentage (confiance verbalisée moyenne moins la précision réelle).
  • Étalonnage : L'erreur d'étalonnage attendue (ECE) était élevée (0,099–0,355). La confiance verbalisée ne présentait aucune association significative avec les bonnes réponses (Précision de la Confiance $\approx$ 0), indiquant que les modèles ne peuvent pas signaler de manière fiable leur propre incertitude.
  • Biais directionnel : 13 des 16 modèles présentaient un sur-triage net (attribuant une acuité plus élevée que les infirmiers), tandis que l'approche ESI par étapes et les variantes GPT 5 Nano présentaient un sous-triage significatif.
• Reproductibilité :
  • La sortie était non déterministe pour une minorité substantielle de cas. Dans l'expérience de reproductibilité, 23 % des patients ont reçu leur classification ESI la plus fréquente en moins de 70 passages sur 100.
  • Le vote majoritaire sur 100 passages n'a pas amélioré significativement la précision, suggérant que la variabilité provient d'une véritable incertitude des frontières de décision plutôt que d'un simple bruit d'échantillonnage.

Contributions clés

1. Benchmarking en conditions réelles : Cette étude est la première à évaluer systématiquement plus d'une douzaine de LLM contemporains sur un ensemble de données réelles complet et non organisé provenant d'un service d'urgence actif, dépassant les vignettes fictives ou les archives organisées.
2. Prompting vs Architecture : L'étude démontre que la stratégie de prompting est plus influente que la taille ou l'architecture du modèle. Une approche par étapes structurée et guidée par un algorithme a nettement surpassé les modèles à haut niveau de raisonnement utilisant des prompts non structurés, suggérant que l'encodage de la logique clinique dans le prompt est crucial pour la performance.
3. Analyse de la sécurité et de la fiabilité : Le document fournit une quantification empirique de la variabilité des sorties des LLM en milieu clinique, révélant qu'une partie importante des cas produit des classifications incohérentes même avec des entrées identiques. Il souligne également la vulnérabilité critique de la sécurité liée aux scores de confiance verbalisés non étalonnés.

Signification et affirmations
Les auteurs concluent que les modèles de langage de grande taille actuels démontrent des performances hétérogènes et généralement limitées dans les tâches de triage d'urgence réelles. Bien que les LLM présentent un potentiel en tant qu'outils de soutien, leurs caractéristiques actuelles — spécifiquement le manque d'étalonnage, les sorties non déterministes pour un sous-ensemble de patients et la faible précision de l'allocation sectorielle — ne permettent pas un déploiement autonome ou critique pour la sécurité dans les environnements de triage clinique.

L'étude souligne que l'amélioration de l'étalonnage, de la fiabilité et de l'intégration au flux de travail est un prérequis à l'implémentation clinique. Elle suggère que le développement futur devrait donner la priorité au prompting structuré guidé par algorithme et à la validation conforme à la réglementation dans des contextes prospectifs, plutôt qu'au simple choix de modèles plus larges ou plus complexes. Les conclusions soulignent la nécessité de mécanismes d'étalonnage externes et mettent en garde contre la présentation des scores de confiance auto-déclarés aux cliniciens comme des estimations de probabilité.