Concordance of a ChatGPT-4o–based triage model with emergency physician categorization in the emergency department: a prospective observational comparison with emergency medical technicians

Resumen Técnico: Concordancia de un modelo de triaje basado en ChatGPT-4o con la categorización de un médico de urgencias

Planteamiento del problema
El triaje en el departamento de urgencias (DU) es crítico para la seguridad del paciente y la asignación de recursos, pero depende del juicio subjetivo humano, lo que genera variabilidad entre evaluadores influenciada por la experiencia, la fatiga y el sesgo cognitivo. Aunque los modelos de lenguaje de gran tamaño (LLM), como ChatGPT, han mostrado potencial en tareas clínicas, la evidencia existente sobre su desempeño en el triaje es heterogénea. Muchos estudios enmarcan la evaluación de los LLM como "exactitud diagnóstica" frente a una etiqueta de un clínico tratada como un estándar de oro objetivo, un fallo metodológico dado que la agudeza del triaje carece de una verdad única verificable. Además, estudios previos suelen utilizar entradas de texto libre, sistemas de triaje de cinco niveles (por ejemplo, el Sistema de Triaje de Manchester) o diseños retrospectivos, lo que limita su aplicabilidad a entornos de triaje estructurados de tres zonas comunes en Turquía, donde los Técnicos en Emergencias Médicas (TEM) suelen realizar las evaluaciones iniciales. Existe una falta de evidencia prospectiva que cuantifique qué tan estrechamente un LLM reproduce la categorización de un médico en un entorno estandarizado de tres zonas (Rojo/alto, Amarillo/moderado, Verde/bajo) en comparación con los evaluadores humanos al pie de la cama.

Metodología
Este estudio observacional prospectivo se llevó a cabo en un hospital universitario de tercer nivel en Denizli, Turquía, entre junio y noviembre de 2024.

• Participantes: 788 pacientes adultos (≥18 años) que acudieron al DU. Los criterios de exclusión incluyeron alteración del estado mental, trastornos psiquiátricos agudos, barreras lingüísticas, intoxicación aguda, necesidad de RCP o visitas repetidas en un plazo de 72 horas.
• Sistema de Triaje: Se utilizó un sistema de tres zonas (Rojo/alto, Amarillo/moderado, Verde/bajo) basado en las directrices del Ministerio de Salud de Turquía.
• Evaluadores: Se obtuvieron tres categorizaciones independientes para cada paciente:
  1. Médico de Referencia: Un único médico especialista en medicina de emergencias certificado, asignado a la categoría de referencia basándose en un formulario de datos estructurados estandarizados.
  2. Modelo de IA: Un modelo ChatGPT-4o (API, temperatura 0) recibió el mismo formulario estructurado (en turco) y emitió una única categoría de triaje.
  3. TEM: Los TEM de rutina realizaron el triaje al pie de la cama como parte del flujo de trabajo estándar, sin conocimiento del estudio.
• Entrada de Datos: El médico y la IA compartieron entradas estructuradas idénticas (demografía, signos vitales donde estuvieran disponibles, motivo de consulta, antecedentes). Los TEM evaluaron a los pacientes en persona. Los signos vitales se registraron de forma incompleta para los pacientes de menor agudeza, reflejando la práctica rutinaria.
• Análisis Estadístico: La concordancia se midió mediante el kappa de Cohen no ponderado, el kappa ponderado lineal y el kappa ponderado cuadrático, con intervalos de confianza del 95% derivados mediante bootstrap de percentiles (B=5000). La comparación principal fue IA vs. Médico; la secundaria fue TEM vs. Médico. Los análisis de subgrupos (edad, sexo, modo de llegada) se ajustaron mediante la corrección de Holm. El desempeño por nivel de categoría se evaluó mediante la sensibilidad (recall) de referencia y el valor predictivo.

Resultos Clave

• Concordancia General: El modelo de IA demostró una alta concordancia con el médico de referencia (kappa de Cohen = 0,842; IC 95% 0,806–0,875; kappa ponderado cuadrático = 0,901). Esto superó significativamente la concordancia entre los TEM y el médico (κ = 0,629; IC 95% 0,580–0,676). La diferencia en la concordancia (Δκ) favoreció a la IA por 0,213 (p < 0,001).
• Acuerdo Bruto: La IA logró un 90,74% de acuerdo bruto con el médico, en comparación con el 78,68% de los TEM.
• Desempeño en Alta Agudeza (Rojo):
  • Sensibilidad (Recall): La IA identificó correctamente el 92,41% de los pacientes designados como rojos por el médico, mientras que los TEM identificaron solo el 43,04%. Los TEM degradaron el 57,0% de los pacientes rojos a amarillo; la IA degradó solo el 7,6%.
  • Valor Predictivo (Sobre-triaje): La alta sensibilidad de la IA tuvo como costo el sobre-triaje. Solo el 72,28% de los pacientes que la IA etiquetó como "rojos" fueron confirmados como rojos por el médico (28 eran en realidad amarillos). En contraste, los TEM tuvieron un mayor valor predictivo para el rojo (87,18%), aunque pasaron por alto más casos críticos.
• Subgrupos: La ventaja de la IA sobre los TEM fue consistente en los grupos de sexo y edad. Sin embargo, en el subgrupo de llegada en ambulancia (n=67), la diferencia no fue estadísticamente significativa tras la corrección, probablemente debido al pequeño tamaño de la muestra y al enriquecimiento de alta agudeza.
• Signos Vitales: El registro incompleto de los signos vitales no afectó materialmente la concordancia médico-IA en los análisis de sensibilidad restringidos a pacientes con signos vitales registrados.

Significancia y Reivindicaciones
Los autores posicionan este estudio como una demostración de prueba de concepto en lugar de una validación de exactitud diagnóstica.

• Concordancia vs. Exactitud: El estudio establece explícitamente que, dado que la referencia es el juicio subjetivo de un solo médico y no se evaluaron los resultados de los pacientes, los resultados reflejan el acuerdo entre evaluadores, no la validez diagnóstica. El modelo reproduce las tendencias de categorización del médico, pero no puede afirmarse que sea "más exacto" que un humano.
• Potencial de Red de Seguridad: La capacidad del modelo para identificar pacientes de alta agudeza (rojos) de manera más consistente que los TEM (92,41% vs. 43,04% de sensibilidad) sugiere una utilidad potencial como red de seguridad para reducir el sub-triaje, un factor de riesgo conocido para resultados adversos.
• Compromisos (Trade-offs): El estudio destaca un compromiso crítico: el modelo logra una mayor sensibilidad para casos críticos, pero a costa de un sobre-triaje significativo (reduciendo la eficiencia de los recursos).
• Limitaciones y Trabajo Futuro: Los autores reconocen que la entrada estructurada compartida entre la IA y el médico probablemente infla su acuerdo en comparación con los TEM, lo que hace que la diferencia IA-TEM sea un "límite superior" del potencial de ventaja. Concluyen que, antes de su despliegue clínico, se requiere una validación multicéntrica con referencias independientes ancladas a resultados para determinar si el modelo puede reducir el sub-triaje sin imponer una carga inaceptable de sobre-triaje.

En resumen, el artículo demuestra que un modelo ChatGPT-4o puede imitar estrechamente la categorización de triaje de un médico en un entorno estructurado de tres zonas, superando a los TEM en la identificación de casos críticos, pero introduciendo una mayor tasa de sobre-triaje. Estos hallazgos respaldan el potencial del modelo como herramienta de apoyo a la decisión, pero enfatizan la necesidad de una validación rigurosa basada en resultados antes de su implementación clínica.