Comparison of the Diagnostic Reliability of ChatGPT in Letournel–Judet Acetabulum Fracture Classification Based on Judet Radiographs According to Orthopaedic Residents

Resumen Técnico: Fiabilidad Diagnóstica de ChatGPT-4o en la Clasificación de Fracturas Acetabulares de Letournel–Judet

Planteamiento del Problema
Las fracturas acetabulares representan lesiones ortopédicas complejas que requieren una evaluación radiográfica precisa para la planificación quirúrgica. El sistema de clasificación de Letournel–Judet es el marco estándar para estas lesiones; sin embargo, es conocido por su moderada variabilidad interobservador incluso entre cirujanos de trauma experimentados. Si bien la Inteligencia Artificial (IA) y los Modelos de Lenguaje Extensos (LLM) han demostrado éxito en la detección de fracturas simples y características radiográficas básicas, su eficacia para navegar la sofisticada integración espacial de múltiples pasos requerida para la clasificación de fracturas acetabulares complejas sigue sin explorarse. Este estudio aborda la brecha en la literatura sobre si los modelos de IA multimodales actuales pueden servir de manera fiable como herramientas de apoyo a la decisión para esta tarea específica de alta complejidad.

Metodología
Este estudio observacional retrospectivo evaluó 184 casos anonimizados de fracturas acetabulares tratados quirúrgicamente entre mayo de 2022 y diciembre de 2026 en el Hospital Ankara Bilkent City.

• Fuente de Datos: Se recolectaron radiografías de Judet estándar (vistas anteroposterior, oblicua ilíaca y oblicua obturadora). Se excluyeron los casos con fracturas no acetabulares, imágenes incompletas o cirugía pélvica previa.
• Evaluación de la IA: Se utilizó ChatGPT-4o como el modelo de IA principal. Se empleó una estrategia de prompting estructurada, cargando al modelo un artículo de lista de verificación radiográfica sistemática (Brandser y Marsh). Se instruyó al modelo para responder siete preguntas binarias específicas sobre hitos radiográficos (por ejemplo, la interrupción de la línea ilioisquiática, la presencia del signo de la espuela, la fractura de la pared posterior) de forma individual antes de sintetizar una clasificación final de Letournel–Judet.
• Evaluación Humana: Dos residentes de ortopedia de cuarto año clasificaron de forma independiente las mismas radiografías sin acceso a tomografías computarizadas (TC) ni datos intraoperatorios.
• Estándar de Referencia: Un cirujano de trauma experimentado con más de una década de experiencia en trauma pélvico sirvió como el estándar de referencia. Crucialmente, el estándar de referencia tuvo acceso a TC multiplanares y registros intraoperatorios, mientras que la IA y los residentes estaban cegados a estos datos avanzados.
• Análisis Estadico: La precisión diagnóstica se calculó frente al estándar de referencia. La concordancia interobservador se midió mediante el coeficiente kappa de Cohen, y las diferencias de rendimiento se analizaron mediante la prueba de McNemar.

Resultos Clave
El estudio arrojó contrastes marcados entre el rendimiento humano y el modelo de IA:

• Precisión Diagnóstica Global: ChatGPT-4o logró una precisión de clasificación final de solo un 17.9% (33/184 casos). En comparación, los dos residentes de ortopedia lograron precisiones del 88.6% y 91.8%, respectivamente.
• Métricas de Concordancia:
  • Los residentes mostraron una concordancia "casi perfecta" con el estándar de referencia (Kappa = 0.860 y 0.900).
  • ChatGPT-4o demostró una concordancia "despreciable" con el estándar de referencia (Kappa = -0.014) y solo una concordancia "ligera" con los residentes (Kappa = 0.095–0.112).
  • La diferencia de rendimiento entre los residentes y la IA fue estadísticamente significativa (p < 0.001).
• Identificación de Hitos vs. Síntesis: Aunque ChatGPT-4o mostró una precisión moderada en la identificación de hitos aislados (por ejemplo, fractura del ala ilíaca al 82.1%, signo de la espuela al 86.4%), su precisión general de la lista de verificación fue del 67.9%. El modelo tuvo dificultades significativas con las tareas de integración compleja, como determinar si una fractura dividía el acetábulo en mitades superior/inferior o anterior/posterior (56.0% de precisión) y la detección de fracturas de la pared posterior (52.7% de precisión).
• Patrones de Error: El análisis de la matriz de confusión reveló un sesgo sistemático donde ChatGPT-4o clasificó erróneamente frecuentemente varios tipos de fracturas (incluyendo fracturas de pared posterior, columna posterior y tipo T) como fracturas de "ambas columnas". Notablemente, el modelo no logró clasificar correctamente ninguna fractura verdadera de columna posterior o de pared anterior-columna.

Significancia y Reivindicaciones
El artículo sostiene que los modelos de IA multimodales actuales, específicamente ChatGPT-4o, son fundamentalmente inadecuados para clasificar fracturas acetabulares complejas utilizando el sistema de Letournel–Judet. Los autores afirman que el fallo del modelo no es meramente una falta de reconocimiento visual de hitos individuales, sino un fallo en la "síntesis de decisión jerárquica": la incapacidad de integrar datos binarios adquiridos secuencialmente en un patrón de fractura global coherente.

El estudio concluye que el uso de este modelo de IA como herramienta diagnóstica o de apoyo a la decisión en la práctica clínica para el trauma pélvico definitivamente no se recomienda debido a su inaceptablemente baja precisión e incapacidad para integrar de manera fiable múltiples hitos radiográficos en comparación con los residentes clínicos. Los autores sugieren que, si bien estas herramientas muestran potencial para aplicaciones futuras, particularmente en la formación, actualmente carecen de las capacidades de síntesis espacial y anatómica requeridas para la clasificación de traumas complejos. El artículo enfatiza que hasta que estos sistemas evolucionen para dominar tales tareas de múltiples pasos, la supervisión clínica experta sigue siendo el único estándar fiable.