Blinded Expert Evaluation of Large Language Models for Osteoporosis Case Management in Older Adults: Impact of Direct Guideline Integration

Resumen Técnico: Evaluación de Expertos Ciegos de Modelos de Lenguaje de Gran Tamaño para el Manejo de Casos de Osteoporosis en Adultos Mayores

Planteamiento del Problema
El manejo de la osteoporosis en adultos mayores (≥65 años) requiere una toma de decisiones compleja e individualizada que integre el riesgo de fractura, las opciones farmacológicas, la función renal, la polifarmacia, el riesgo de caídas y las contraindicaciones. Si bien los Modelos de Lenguaje de Gran Tamaño (LLM, por sus siglas en inglés) ofrecen un potencial para el apoyo a la decisión clínica, su fiabilidad, seguridad y adherencia a las guías en escenarios geriátricos siguen siendo inciertas. Específicamente, existe una falta de evidencia sobre si la integración directa de las guías clínicas en los LLM mejora su rendimiento en comparación con los modelos base. Además, la literatura existente suele carecer de protocolos de evaluación ciega y se centra en el conocimiento general en lugar del razonamiento geriátrico complejo basado en casos.

Metodología
Este estudio metodológico transversal empleó un protocolo de evaluación de expertos independientes y ciegos para comparar cuatro enfoques de IA a través de 25 escenarios hipotéticos de osteoporosis. Los casos fueron desarrollados por especialistas en geriatría y categorizados en cinco dominios: osteoporosis posmenopáusica clásica, desafíos geriátricos (polifarmacia, caídas), manejo de fármacos, osteoporosis secundaria/comorbilidades y complicaciones/errores.

Los cuatro paneles de IA evaluados fueron:

1. ChatGPT 4.5 (Base): Sin carga de guías externas.
2. Gemini 3 (Base): Sin carga de guías externas.
3. ChatGPT 4.5 + Guía: Se cargó el texto completo de las Guías de Osteoporosis 2025 de la Sociedad Turca de Endocrinología y Metabolismo (TES).
4. NotebookLM + Guía: Se cargó el texto completo de las Guías TES 2025.

Proceso de Evaluación:

• Evaluación Ciega: Dos especialistas en geriatría evaluaron independientemente las 100 respuestas (25 casos × 4 paneles) sin conocimiento del modelo generador.
• Calificación: Las respuestas fueron calificadas mediante una escala Likert de 5 puntos en cinco dimensiones: Exactitud Científica, Adherencia a la Guía, Claridad, Enfoque Geriátrico Holístico y Conciencia de Seguridad/Contraindicaciones. Las puntuaciones totales oscilaron entre 5 y 25.
• Detección de Alucinaciones: Definida como declaraciones clínicas factualmente incorrectas, fabricadas o no sustentadas según las Guías TES.
• Análisis Estadístico: La concordancia entre evaluadores se analizó mediante ICC(2,1) y el kappa de Cohen ponderado. Las comparaciones de los paneles utilizaron la prueba de Friedman con pruebas de rangos con signo de Wilcoxon con corrección de Bonferroni para comparaciones por pares.

Resultos Clave

• Rendimiento General: El modelo base ChatGPT 4.5 logró la puntuación media total más alta (22.76/25), superando significativamente a Gemini 3 (21.80), NotebookLM + Guía (21.56) y ChatGPT 4.5 + Guía (21.42).
• Impacto de la Integración de Guías: Contrario a las expectativas, la carga directa de documentos de guías no mejoró el rendimiento. De hecho, el modelo base ChatGPT 4.5 obtuvo puntuaciones significativamente más altas en "Exactitud Científica" y "Adherencia a la Guía" que el mismo modelo con las guías cargadas.
• Hallazgos por Dominio:
  • Se encontraron diferencias significativas entre los paneles solo en Exactitud Científica ($p=0.0006$) y Adherencia a la Guía ($p<0.0001$).
  • No se observaron diferencias significativas en Claridad, Enfoque Geriátrico Holístico o Conciencia de Seguridad/Contraindicaciones.
  • La "Conciencia de Seguridad/Contraindicaciones" fue el criterio peor calificado en todos los modelos base.
• Alucinaciones: Se detectaron alucinaciones en un solo caso (4%) dentro del modelo base Gemini 3; no se encontraron alucinaciones en los otros tres paneles.
• Fiabilidad Inter-evaluador: La concordancia fue excelente para la Exactitud Científica en el modelo base ChatGPT 4.5 ($\kappa=0.834$), pero varió de pobre a baja para criterios subjetivos como "Enfoque Geriátrico Holístico" y "Conciencia de Seguridad" en todos los paneles.

Contribuciones Clave

1. Protocolo de Evaluación Ciega: El estudio aborda una brecha metodológica mediante la implementación de una evaluación experta independiente y ciega, reduciendo el sesgo de marca que suele presentarse en las comparaciones de IA.
2. Eficacia de la Integración de Guías: Proporciona evidencia empírica de que la carga directa y no estructurada de documentos de guías no mejora el rendimiento de los LLM en el manejo de la osteoporosis geriátrica e incluso puede degradar las puntuaciones de adherencia a la guía en comparación con los modelos base.
3. Limitaciones de Seguridad: La investigación destaca que, si bien los LLM pueden sobresalir en la generación de conocimientos, comparten limitaciones significativas en el razonamiento clínico sensible al contexto, específicamente en cuanto a la seguridad, la conciencia de contraindicaciones y los enfoques geriátricos holísticos.

Significancia y Reivindicaciones
Los autores concluyen que, si bien los LLM pueden apoyar la toma de decisiones en la osteoporosis geriátrica, no pueden reemplazar la supervisión experta. El estudio demuestra que:

• Los modelos base actuales (específicamente ChatGPT 4.5) pueden superar a las versiones aumentadas con cargas de guías no estructuradas.
• El reconocimiento de la seguridad y las contraindicaciones sigue siendo una debilidad crítica que requiere supervisión humana.
• La falta de beneficio de la carga directa de guías sugiere que la presentación no estructurada es inadecuada para la integración; los sistemas futuros probablemente requerirán Generación Aumentada por Recuperación (RAG) estructurada, grafos de conocimiento o módulos de evaluación geriátrica específicos para ser efectivos.
• La supervisión clínica es necesaria para garantizar la seguridad, particularmente en poblaciones de edad avanzada vulnerables con multimorbilidad y polifarmacia.

El documento establece explícitamente que estos hallazgos se basan en modelos a fecha de febrero de 2026 y en una única guía nacional, y hace un llamado a futuros estudios para evaluar sistemas supervisados por médicos en entornos clínicos del mundo real.