Performance of Large Language Model on Real-World Patient Histories for Imaging Appropriateness.

Resumen Técnico: Rendimiento de un Modelo de Lenguaje de Gran Escala en Historias Clínicas Reales para la Adecuación de Imágenes

Planteamiento del Problema
El dolor lumbar (LBP, por sus siglas en inglés) es una queja musculoesquelética prevalente a nivel mundial, lo que genera solicitudes frecuentes de resonancia magnética (RM) de la columna lumbosacra. Las revisiones sistemáticas indican que aproximadamente entre el 29 % y el 34 % de estas solicitudes de imagen son inapropiadas, a menudo al carecer de "banderas rojas" como infección, malignidad o trauma. Las RM innecesarias aumentan los costes sanitarios, la ansiedad del paciente y el riesgo de sobrediagnóstico. Aunque existen herramientas de apoyo a la decisión clínica y guías de práctica, su implementación en el mundo real se ve obstaculizada por los desafíos de integración en el flujo de trabajo y la fatiga por alertas. Si bien los Modelos de Lenguaje de Gran Escala (LLM) han surgido como una alternativa escalable para reducir la utilización innecesaria, estudios previos se han basado mayoritariamente en escenarios clínicos hipotéticos en lugar de historias clínicas reales, han utilizado un estándar de referencia de un solo radiólogo y se han centrado en versiones anteriores de modelos (p. ej., GPT-4) sin evaluar sistemáticamente el vínculo entre la calidad del razonamiento y la fiabilidad de la decisión.

Metodología
Este estudio transversal evaluó la precisión diagnóstica de GPT-5.2 para clasificar la adecuación de las RM de la columna lumbosacra utilizando historias clínicas del mundo real y los criterios del American College of Radiology (ACR).

• Recolección de Datos: Los datos se recolectaron retrospectivamente de 160 pacientes adultos (edad media 48 ± 15 años; 58 % hombres) que se sometieron a una RM lumbosacra entre septiembre y noviembre de 2025. Se excluyeron pacientes con historial insuficiente, cirugía espinal previa, sospecha de infección o trauma agudo. Se utilizó un cuestionario estructurado, validado por cinco especialistas, para recopilar los antecedentes clínicos previos a la imagen.
• Prompting del Modelo: Las historias de los pacientes se introdujeron en GPT-5.2 mediante prompts estructurados que asignaban al modelo el rol de radiólogo y le exigían clasificar las indicaciones de la RM como "Usualmente Apropiada" (UA), "Puede Ser Apropiada" (MBA), "Usualmente No Apropiada" (UNA) o "Información Clínica Insuficiente" (ICI) basándose en las guías del ACR, incluyendo un razonamiento explícito.
• Estándar de Referencia: Dos radiólogos independientes (con 5 y 10 años de experiencia) sirvieron como estándar de referencia.
  • Fase 1: Los radiólogos evaluaron la adecuación utilizando los mismos prompts proporcionados al LLM, sin conocer la salida del modelo.
  • Fase 2: Los radiólogos evaluaron la precisión de las recomendaciones del LLM y la calidad de su razonamiento clínico mediante una escala de Likert de 5 puntos (1–5), cegados entre sí en sus calificaciones.
• Análisis Estadístico: El acuerdo se midió mediante el kappa de Cohen ponderado ($\kappa_w$) y la prueba de asimetría de Bowker. Para el análisis binario, UA y MBA se agruparon como "Apropiado", y UNA como "Inapropiado". Las métricas de rendimiento incluyeron Sensibilidad, Especificidad, VPP, VPN y Área Bajo la Curva (AUC). Se realizaron análisis de subgrupos basados en la calidad del razonamiento calificada por el radiólogo (Alta: $\ge$4 vs. Baja: <4).

Resultados Clave

• Acuerdo: GPT-5.2 demostró un acuerdo moderado con ambos radiólogos ($\kappa_w = 0.58$ frente al Radiólogo 1; $\kappa_w = 0.50$ frente al Radiólogo 2). Este nivel de acuerdo fue comparable al acuerdo inter-radiólogo ($\kappa_w = 0.575$).
• Clasificación Binaria: El modelo mostró una alta sensibilidad (~85 % contra ambos radiólogos) pero una especificidad variable (92.9 % frente al Radiólogo 1; 61.7 % frente al Radiólogo 2). El Valor Predictivo Negativo (VPN) fue moderado (57.8 % frente al R1; 64.4 % frente al R2), lo que indica una tendencia hacia un uso de la RM conservador (restrictivo).
• Poder Discriminatorio: El análisis ROC mostró una discriminación de buena a excelente contra el Radiólogo 1 (AUC 0.891) y de regular a buena contra el Radiólogo 2 (AUC 0.751).
• Correlación de la Calidad del Razonamiento: Un hallazgo crítico fue la fuerte asociación entre la calidad del razonamiento y la fiabilidad de la decisión. Cuando los radiólogos calificaron el razonamiento del modelo como alto ($\ge$4), el acuerdo exacto sobre la adecuación fue alto (83.3 % frente al R1; 90.4 % frente al R2), y la discordancia opuesta (el tipo de error más peligroso) fue baja (2.3–4.7 %). Por el contrario, cuando el razonamiento fue calificado como bajo (<4), el acuerdo exacto cayó a 0–7.1%, y la discordancia opuesta aumentó drásticamente a 71.4–92.8%.
• Evaluación de Expertos: Los radiólogos calificaron la calidad de la salida del modelo de forma alta, con puntuaciones medianas de Likert de 5 (máximo) tanto para la adecuación como para el razonamiento.

Significancia y Afirmaciones
Los autores afirman que GPT-5.2 se desempeña dentro del rango de la variabilidad inter-radiólogo al clasificar la adecuación de la RM lumbosacra utilizando historias clínicas reales. El estudio destaca que la calidad del razonamiento del modelo es un predictor robusto de la fiabilidad de su decisión. Específicamente, las salidas de razonamiento de alta calidad se correlacionan con una alta concordancia con el juicio experto, mientras que el razonamiento de baja calidad se correlaciona con una discordancia significativa.

El artículo postula que los LLM como GPT-5.2 tienen el potencial de servir como herramientas de apoyo de pre-cribado para reducir las solicitudes de imagen innecesarias. Sin embargo, los autores enfatizan que este potencial depende de la calidad del razonamiento del modelo, sugiriendo un flujo de trabajo híbrido donde las salidas de bajo razonamiento se escalen para la revisión de un experto. El estudio concluye que, si bien el modelo es prometedor, la integración clínica segura requiere una supervisión humana continua, validación multicéntrica prospectiva y el establecimiento de estándares de referencia de consenso para abordar la variabilidad inter-observador en casos ambiguos.