High Overall Performance but Limited Multidisciplinary Depth: A Cross- Sectional Evaluation of ChatGPT in Pathological Fractures of Plasma Cell Tumors

Resumen Técnico: Evaluación Transversal de ChatGPT en Fracturas Patológicas de Tumores de Células Plasmáticas

Planteamiento del Problema
Los modelos de lenguaje extensos (LLM) son utilizados cada vez más por los pacientes para acceder a información médica; sin embargo, su desempeño en escenarios oncológicos multidisciplinarios complejos sigue siendo subevaluado. Mientras que estudios previos han evaluado la IA en marcos de una sola especialidad, existe una brecha en la comprensión de cómo estos modelos manejan la toma de decisiones coordinada requerida para las fracturas patológicas asociadas con tumores de células plasmáticas (por ejemplo, el plasmocitoma solitario y el mieloma múltiple). Estas condiciones requieren una colaboración intrincada entre cirujanos ortopédicos y oncólogos de radiación con respecto a la estabilización quirúrgica, la cronología de la radioterapia y la secuenciación del tratamiento. El estudio aborda la necesidad de determinar si las respuestas generadas por la IA pueden abordar de manera precisa y consistente las preguntas orientadas al paciente a través de estos dominios clínicos divergentes.

Metodología
Este estudio transversal evaluó el desempeño de ChatGPT-5.1 (OpenAI) utilizando un marco estructurado:

• Generación de Preguntas: Un panel multidisciplinario de cuatro especialistas sénior (dos cirujanos ortopédicos y dos oncólogos de radiación, cada uno con >20 años de experiencia) desarrolló 25 preguntas orientadas al paciente. Estas se derivaron de encuentros reales en consultas externas y discusiones de comités de tumores, categorizadas en cinco dominios: (1) Diagnóstico y Comprensión, (2) Estabilización Quirúrgica, (3) Radioterapia, (4) Secuenciación del Tratamiento y (5) Recuperación y Seguimiento.
• Generación de Respuestas: Las preguntas se enviaron individualmente a la IA a través de un prompt neutral estandarizado ("Por favor, responda a la siguiente pregunta de una manera que el paciente pueda entender fácilmente") en sesiones de chat temporales separadas para minimizar los efectos de memoria. Solo se registró la primera respuesta generada.
• Evaluación: Cuatro médicos expertos (el mismo panel) evaluaron independientemente las respuestas utilizando una escala Likert de 5 puntos a través de cinco criterios: Exactitud Científica, Suficiencia de la Información, Comprensibilidad para el Paciente, Relevancia Clínica y Actualidad de la Información. Los evaluadores fueron cegados a las evaluaciones de los demás.
• Análisis Estadístico: La confiabilidad inter-evaluador se evaluó mediante Coeficientes de Correlación Intraclase (ICC) basados en un modelo de efectos aleatorios de dos vías. Las diferencias entre evaluadores y criterios se analizaron mediante la prueba de Friedman. La legibilidad se evaluó utilizando métricas de Flesch–Kincaid.

Resultados Clave

• Desempeño General: La IA logró una alta puntuación media general de 21.90 ± 0.83 sobre 25, lo que indica un desempeño generalmente alto en precisión y claridad.
• Variabilidad de Dominios: El desempeño fue más alto en "Diagnóstico y Comprensión" (22.55 ± 0.62) y "Radioterapia" (22.15 ± 0.74). Se observaron puntuaciones ligeramente más bajas en los dominios multidisciplinarios que requieren razonamiento complejo, específicamente en "Estabilización Quirúrgica" (21.60 ± 0.72) y "Secuenciación del Tratamiento" (21.65 ± 0.42).
• Criterios de Evaluación: La "Comprensibilidad para el Paciente" recibió consistentemente las puntuaciones más altas (hasta 4.80 ± 0.21), mientras que la "Suficiencia de la Información" fue el criterio con la calificación más baja de forma constante (media ≈ 3.95), particularmente en contextos quirúrgicos y de secuenciación. Esto sugiere que las respuestas son claras pero pueden carecer de profundidad técnica.
• Confiabilidad Inter-evaluador: El acuerdo entre los expertos evaluadores fue bajo en general, con valores de ICC que variaron de negativos a moderados. Notablemente, se observaron valores de ICC negativos en "Estabilización Quirúrgica" y "Secuenciación del Tratamiento", lo que indica que los juicios de los evaluadores divergieron significativamente, superando a menudo las expectativas del azar.
• Legibilidad: El nivel de grado de Flesch–Kincaid se calculó en 8.05, lo que corresponde a un nivel de lectura de 10.º a 12.º grado.

Contribuciones Clave

1. Marco Multidisciplinario: A diferencia de las evaluaciones previas de una sola especialidad, este estudio probó explícitamente el desempeño de la IA a través de la interfaz de la cirugía ortopédica y la oncología de radiación, resaltando cómo las expectativas de cada disciplina influyen en la evaluación del producto de la IA.
2. Identificación de la Variabilidad como una Característica: El estudio replantea la baja confiabilidad inter-evaluador observada no meramente como un error estadístico, sino como un reflejo de la complejidad inherente y la dependencia del contexto del juicio clínico multidisciplinario. La divergencia en la puntuación subraya que la "adecuación clínica" es interpretada de manera diferente por distintas especialidades.
3. Diferenciación de Capacidades: La investigación delinea una distincción clara entre la capacidad de la IA para sintetizar información general y amigable para el paciente y su relativa debilidad para proporcionar la profundidad matizada y accionable requerida para la secuenciación compleja de tratamientos y la toma de decisiones quirúrgicas.

Significancia y Afirmaciones
El artículo concluye que, si bien ChatGPT genera respuestas claras, generalmente precisas y amigables para el paciente, adecuadas para la educación general y la explicación conceptual, actualmente funciona como un "explicador generalista" en lugar de una "herramienta de decisión de nivel especialista". Los autores afirman que, en el contexto de fracturas patológicas en tumores de células plasmáticas, la IA debe verse como una herramienta informativa complementaria para apoyar la alfabetización del paciente, pero es insuficiente para reemplazar el juicio clínico experto en escenarios multidisciplinarios complejos. El estudio enfatiza que la variabilidad en la evaluación de los expertos refleja la complejidad del mundo real del cuidado multidisciplinario, sugiriendo que la futura integración de la IA debe tener en cuenta estos matices específicos de cada especialidad en lugar de depender de una única puntuación compuesta de desempeño.