Performance evaluation and benchmarking across 16 large language models on a comprehensive real-world emergency department triage data set

Resumen Técnico: Evaluación del Rendimiento y Benchmarking de Modelos de Lenguaje de Gran Escala en Datos Reales de Triaje de Departamentos de Emergencias

Planteamiento del Problema
El triaje en los Departamentos de Emergencia (DE) es un proceso de alto riesgo que determina la priorización de los pacientes y la asignación de recursos bajo presión de tiempo. Aunque se ha propuesto el uso de Modelos de Lenguaje de Gran Escala (LLM) como herramientas de apoyo a la decisión en el triaje, las evaluaciones existentes dependen predominantemente de escenarios simulados o conjuntos de datos curados (p. ej., MIMIC-IV, NEJM Healer). Existe una falta crítica de evidencia sobre el rendimiento, la calibración y la reproducibilidad de los LLM contemporáneos cuando se aplican a datos clínicos reales integrales y no curados. Además, sigue sin estar claro el impacto de las estrategias de prompting frente a la arquitectura del modelo en la precisión del triaje.

Metodología
Este estudio de benchmarking transversal retrospectivo se llevó a cabo en un centro de emergencias académico terciario en Alemania que cuenta con un Punto Central de Evaluación (CPA) integrado.

• Conjunto de Datos: El estudio utilizó 16,107 encuentros de adultos ambulatorios consecutivos (octubre de 2023 – febrero de 2024). Los datos fueron extraídos de un sistema de soporte de decisiones clínicas (CDSS) estructurado que captura las quejas de presentación (CEDIS-PCL), signos vitales (marco ABCDE) y las decisiones finales de triaje realizadas por personal de enfermería especializado. Los datos fueron totalmente anonimizados.
• Modelos Evaluados: El estudio evaluó 16 configuraciones, incluyendo 14 LLM individuales (propietarios y de código abierto, con variaciones en tamaño y capacidad de razonamiento), una estrategia de ensamble ("Council of Models") y un enfoque de prompting paso a paso específico.
• Protocolo de Evaluación:
  • Entradas: Los modelos recibieron variables clínicas estructuradas para cada encuentro.
  • Salidas: Se encomendó a los modelos la tarea de predecir el nivel del Índice de Severidad de Emergencia (ESI) (1–5), la asignación sectorial (DE vs. Consulta de Cuidados Urgentes/UCP) y un nivel de confianza verbalizado auto-reportado (0–100%).
  • Estrategias:
    • Prompting Estándar: Clasificación directa basada en los datos disponibles.
    • Council of Models: Agregación de predicciones de nueve modelos, con un "presidente" (chairman) que determina el ESI final.
    • ESI Stepwise: Un enfoque de árbol de decisión estructurado que guía al modelo secuencialmente a través del algoritmo ESI (necesidad de intervención de soporte vital, características de alto riesgo, signos vitales en zona de peligro, estimación de recursos).
  • Reproducibilidad: Un subconjunto de 100 pacientes fue consultado 100 veces cada uno (10,000 clasificaciones en total) utilizando entradas idénticas para medir la variabilidad estocástica.
• Métricas: Los resultados primarios incluyeron la concordancia medida mediante el kappa de Cohen ponderado cuadráticamente ($\kappa_{qw}$), patrones de clasificación errónea (sobre-triaje/bajo-triaje), el Error de Calibración Esperada (ECE) y la reproducibilidad de la salida.

Resultos Clave

• Precisión de Triaje (Clasificación ESI):
  • El rendimiento fue altamente heterogéneo entre los modelos. Los valores de kappa cuadrático-ponderado ($\kappa_{qw}$) oscilaron entre 0.18 (GPT 5 Nano) y 0.75.
  • Solo el enfoque ESI Stepwise logró una concordancia "sustancial" ($\kappa_{qw} = 0.747$), acercándose al límite inferior de la fiabilidad inter-evaluador humana reportada.
  • La mayoría de los otros modelos demostraron una concordancia solo "moderada" a "regular" ($\kappa_{qw}$ 0.18–0.52).
  • Los errores más comunes ocurrieron entre niveles adyacentes, particularmente entre ESI 3 y ESI 4.
• Asignación Sectorial (DE vs. UCP):
  • La concordancia en la asignación sectorial fue uniformemente baja en todos los modelos ($\kappa \leq 0.30$).
  • Las asignaciones erróneas fueron frecuentes; por ejemplo, algunos modelos asignaron erróneamente hasta el 75% de los pacientes destinados a la DE a la UCP, o viceversa.
• Sesgo y Calibración:
  • Exceso de Confianza: Los 14 modelos evaluados individualmente fueron sistemáticamente excesivamente confiados. Los índices de exceso de confianza oscilaron entre +5.2 y +33.7 puntos porcentuales (confianza verbalizada media menos la precisión real).
  • Calibración: El Error de Calibración Esperada (ECE) fue alto (0.099–0.355). La confianza verbalizada no mostró una asociación significativa con las respuestas correctas (Confianza-Precisión $\approx$ 0), lo que indica que los modelos no pueden señalar su propia incertidumbre de manera fiable.
  • Sesgo Direccional: 13 de los 16 modelos exhibieron un sobre-triaje neto (asignando una mayor gravedad que los enfermeros), mientras que el enfoque ESI Stepwise y las variantes de GPT 5 Nano mostraron un bajo-triaje significativo.
• Reproducibilidad:
  • La salida fue no determinista para una minoría sustancial de casos. En el experimento de reproducibilidad, el 23% de los pacientes recibió su clasificación ESI más común en menos de 70 de 100 ejecuciones.
  • El voto mayoritario sobre 100 ejecuciones no mejoró significativamente la precisión, lo que sugiere que la variabilidad proviene de una incertidumbre genuina en los límites de decisión más que de un simple ruido de muestreo.

Contribuciones Clave

1. Benchmarking en el Mundo Real: Este es el primer estudio que evalúa sistemáticamente más de una docena de LLM contemporáneos en un conjunto de datos real, integral y no curado de un departamento de emergencias activo, yendo más allá de las viñetas ficticias o archivos curados.
2. Prompting vs. Arquitectura: El estudio demuestra que la estrategia de prompting es más influyente que el tamaño o la arquitectura del modelo. Un enfoque paso a paso estructurado y guiado por algoritmos superó significativamente a los modelos de alto razonamiento que utilizaban prompts no estructurados, lo que sugiere que codificar la lógica clínica en el prompt es crítico para el rendimiento.
3. Análisis de Seguridad y Fiabilidad: El documento proporciona una cuantificación empírica de la variabilidad de la salida de los LLM en un entorno clínico, revelando que una parte significativa de los casos genera clasificaciones inconsistentes incluso con entradas idénticas. También destaca la vulnerabilidad crítica de seguridad de las puntuaciones de confianza verbalizadas no calibradas.

Significancia y Reivindicaciones
Los autores concluyen que los modelos de lenguaje de gran escala actuales demuestran un rendimiento heterogéneo y generalmente limitado en tareas de triaje de emergencias del mundo real. Si bien los LLM poseen potencial como herramientas de apoyo, sus características actuales —específicamente la falta de calibración, las salidas no deterministas para un subconjunto de pacientes y la baja precisión en la asignación sectorial— no respaldan su despliegue autónomo o de seguridad crítica en entornos de triaje clínico.

El estudio enfatiza que las mejoras en la calibración, la fiabilidad y la integración en el flujo de trabajo son prerrequisitos para la implementación clínica. Sugiere que el desarrollo futuro debe priorizar el prompting estructurado guiado por algoritmos y la validación conforme a la regulación en entornos prospectivos, por encima de la simple selección de modelos más grandes o complejos. Los hallazgos subrayan la necesidad de mecanismos de calibración externos y advierten contra la presentación de las puntuaciones de confianza auto-reportadas a los clínicos como estimaciones de probabilidad.