Assessing the Quality, Safety, and Readability of Large Language Model Responses from ChatGPT and Gemini for Knee Osteoarthritis Patient Education

Resumen Técnico: Evaluación de la Calidad, Seguridad y Legibilidad de las Respuestas de Modelos de Lenguaje de Gran Escala para la Educación de Pacientes con Osteoartritis de Rodilla

Planteamiento del Problema
La osteoartritis (OA) de rodilla es una de las principales causas de dolor crónico y discapacidad, lo que requiere un manejo propio complejo y a largo plazo que involucra ejercicio, control de peso, farmacología y posibles intervenciones quirúrgicas. Si bien las guías clínicas enfatizan la educación del paciente, las consultas limitadas por el tiempo suelen dejar vacíos que los pacientes llenan mediante búsquedas en línea. Los Modelos de Lenguaje de Gran Escala (LLM, por sus siglas en inglés) como ChatGPT y Gemini se utilizan cada vez más con este propósito, pero su idoneidad para condiciones densas en guías y específicas de la enfermedad, como la OA de rodilla, aún no ha sido verificada. Las evaluaciones existentes suelen centrarse en la medicina general o en dimensiones de calidad únicas, omitiendo frecuentemente las consultas de medicina integrativa (por ejemplo, el tratamiento Unani) comunes en los entornos clínicos del sur de Asia y fallando al no evaluar múltiples dominios de calidad simultáneamente. Este estudio aborda la brecha de evidencia sobre la precisión, seguridad y legibilidad de la educación generada por IA para la OA de rodilla.

Metodología
El estudio empleó un diseño transversal comparativo para evaluar las respuestas de ChatGPT (GPT-4o) y Gemini (Gemini 1.5 Pro) accedidos en mayo de 2025.

• Desarrollo de Preguntas: Se curó un banco de 36 preguntas relevantes para el paciente a partir de siete fuentes principales (incluyendo AAOS, ACR, NHS y CDC) y se complementó con consultas derivadas de clínicos específicas para los contextos del sur de Asia, tales como el tratamiento Unani, la oración a nivel del suelo y el uso de inodoros de estilo indio. Las preguntas se categorizaron en diez dominios: comprensión general, síntomas, causas, estilo de vida, ejercicio, farmacología, cirugía, pronóstico, medicina integrativa y recursos.
• Generación de Respuestas: Cada pregunta se introdujo individualmente en ambas plataformas en sesiones nuevas sin instrucciones de sistema o de prompting adicionales para simular una interacción típica de un paciente.
• Evaluación de la Calidad: Cinco clínicos (todos con >10 años de experiencia musculoesquelética) calificaron de forma independiente las respuestas en una escala Likert de 5 puntos a través de cinco dominios: precisión, completitud, claridad, seguridad y confiabilidad. Los evaluadores fueron cegados a la identidad de la plataforma.
• Criterios de Seguridad: La seguridad se definió mediante cuatro criterios específicos: sugerir la demora de la consulta, fomentar cambios de medicación sin supervisión, recomendar terapias sin evidencia o causar ansiedad desproporcionada.
• Análisis de Legibilidad: Se aplicaron diez índices de legibilidad validados (incluyendo Flesch Reading Ease, Flesch-Kincaid Grade Level y Fry Readability Formula) a todas las respuestas.
• Análisis Estadístico: Se utilizaron pruebas de Mann–Whitney U no paramétricas para las comparaciones de grupo. Se aplicó una corrección de Bonferroni para 15 comparaciones simultáneas (5 dominios de calidad + 10 índices de legibilidad), estableciendo el umbral de significancia en p < 0.0033. La confiabilidad inter-evaluador se evaluó utilizando coeficientes de correlación intraclase de medida única [ICC(A,1)] y de medida promedio [ICC(A,k)].

Result Resultados Clave

• Dominios de Calidad: ChatGPT demostró una superioridad estadísticamente significativa sobre Gemini en precisión (19.69 ± 1.69 vs. 17.83 ± 2.14; p = 0.0001, r = 0.45) y completitud (18.08 ± 1.76 vs. 16.19 ± 2.52; p = 0.0004, r = 0.41). Estas diferencias sobrevivieron a la corrección de Bonferroni y representaron tamaños de efecto de medianos a grandes.
• Seguridad y Confianza: No se encontraron diferencias significativas entre las plataformas respecto a la claridad, seguridad o confiabilidad. Sin embargo, el estudio señala que la confiabilidad inter-evaluador para estos dominios específicos fue pobre, lo que sugiere que los resultados nulos pueden reflejar limitaciones de medición más que una verdadera equivalencia.
• Legibilidad: Las respuestas de ChatGPT tuvieron puntuaciones significativamente más altas en la Fórmula de Legibilidad de Fry (11.90 vs. 10.70; p = 0.003), lo que indica una mayor complejidad textual. El índice Coleman–Liau también favoreció a Gemini, pero no sobrevivió a la corrección. Crucialmente, ambas plataformas produjeron texto en un nivel de lectura de grado 11 a 13, muy por encima del nivel recomendado de grado 6 a 8 para la educación del paciente.
• Confiabilidad Inter-evaluador: El acuerdo de medida única (ICC(A,1)) fue pobre en todos los dominios (0.002–0.208). La confiabilidad de medida promedio (ICC(A,k)) mejoró, alcanzando niveles moderados para la completitud (0.567) y acercándose a niveles moderados para la precisión (0.421), lo que respalda la robustez de los hallazgos agregados a pesar de la varianza individual de los evaluadores.

Significancia y Reivindicaciones
El artículo sostiene que, para la educación del paciente con osteoartritis de rodilla, ChatGPT ofrece actualmente una precisión y completitud calificadas por clínicos superiores a Gemini, mientras que Gemini posee una modesta ventaja de legibilidad. El estudio enfatiza que ninguna de las plataformas produce contenido en un nivel de lectura apropiado para la población general de pacientes sin modificaciones.

Los autores afirman que sus hallazgos son específicos de las versiones actuales de los modelos y del marco de evaluación definido. Advierten que la falta de diferencias significativas en seguridad y claridad no debe interpretarse como prueba de equivalencia debido a la baja confiabilidad inter-evaluador en esos dominios. La inclusión de consultas sobre la medicina Unani se destaca como una contribución distintiva, abordando la especificidad cultural de las poblaciones del sur de Asia que a menudo son ignoradas en las evaluaciones de IA con enfoque occidental.

Limitaciones y Alcance
El estudio reconoce explícitamente las siguientes limitaciones:

1. Confiabilidad: La pobre confiabilidad de medida única sugiere que las calificaciones individuales de los clínicos varían significamente; los hallazgos son robustos solo a nivel agregado.
2. Especificidad Temporal: Los resultados están ligados a las versiones específicas de los modelos (GPT-4o y Gemini 1.5 Pro) a partir de mayo de 2025; las actualizaciones continuas de los modelos pueden alterar el desempeño.
3. Resultados del Paciente: El estudio evalúa la calidad del contenido según el juicio de expertos, no la comprensión, el recuerdo o la adherencia real del paciente.
4. Generalizabilidad: La evaluación se limitó a respuestas en idioma inglés, dos plataformas y un conjunto específico de 36 preguntas.

Conclusión
El artículo concluye que, si bien ChatGPT supera a Gemini en precisión y completitud para la educación de la OA de rodilla, ambos modelos requieren la revisión de profesionales de la salud calificados antes de su uso en materiales dirigidos a los pacientes. Los autores recomiendan que las investigaciones futuras se centren en la validación prospectiva basada en pacientes y en el desarrollo de protocolos de calibración estandarizados para la confiabilidad del evaluador.