Resumen Técnico: Evaluación de Competencias Clínicas de Modelos de Lenguaje Grandes con un Estándar de Medicina General

Enunciado del Problema

Aunque los Modelos de Lenguaje Grandes (LLM) han demostrado un potencial significativo en el ámbito de la salud, particularmente en tareas especializadas y en la recuperación de conocimientos médicos, su capacidad para funcionar como Médicos de Familia (MF) autónomos sigue sin estar demostrada. Los marcos de evaluación existentes dependen predominantemente de preguntas de opción múltiple (POM) estilo examen o de formatos simplificados de pregunta-respuesta. Estos estándares no logran capturar la naturaleza holística, abierta y continua de la práctica real de la medicina general, la cual requiere diagnóstico diferencial orientado a síntomas, manejo de multimorbilidad, triaje bajo incertidumbre y la aplicación del modelo biopsicosocial. En consecuencia, existe una falta de estructuras basadas en competencias alineadas con las funciones reales de los MF, dejando la fiabilidad de los LLM en la práctica clínica general incierta.

Metodología

Para abordar esta brecha, los autores proponen GPBench, un nuevo marco de evaluación y conjunto de datos diseñado para evaluar los LLM a través de la lente de la competencia en medicina general.

1. Modelo de Competencias

Derivado de la práctica clínica real y marcos establecidos (WONCA, ACGME, Modelo del Iceberg, Modelo de la Cebolla) mediante un consenso de expertos Delphi, el modelo define seis indicadores primarios y catorce indicadores secundarios:

• Conocimiento Médico Básico (10%)
• Diagnóstico (40%): Incluyendo diagnóstico diferencial, toma de historia clínica, identificación de complicaciones, reconocimiento de condiciones agudas/críticas y toma de decisiones de derivación.
• Toma de Decisiones (30%): Incluyendo formulación de planes de tratamiento, manejo de reacciones adversas a medicamentos, conciencia de contraindicaciones y selección de terapias alternativas.
• Gestión de la Salud (10%): Incluyendo educación para la salud y prevención terciaria.
• Economía de la Salud (5%): Coordinación de cuidados costo-efectivos.
• Ética Médica y Humanidades (5%): Competencia en atención humanista.

2. Conjunto de Datos de Evaluación

El conjunto de datos comprende tres conjuntos de prueba distintos, todos construidos utilizando registros ambulatorios reales anonimizados de hospitales de grado Terciario A en China y datos de código abierto, con todas las interacciones realizadas en chino:

• Conjunto de Prueba POM: 3.661 preguntas que evalúan conocimientos fundamentales y comprensión teórica.
• Conjunto de Prueba de Casos Clínicos: 70 casos abiertos que cubren 8 enfermedades crónicas mayores y 10 síntomas comunes. Los LLM deben generar planes sistemáticos de diagnóstico y tratamiento basados en registros médicos.
• Conjunto de Prueba de Paciente IA: 70 simulaciones interactivas donde un LLM actúa como médico entrevistando a un paciente generado por IA para recopilar la historia clínica.

3. Protocolo de Evaluación

• Modelos Evaluados: Diez LLM de última generación, incluyendo modelos de propósito general (p. ej., GPT-4o, Claude-3.5-Sonnet), modelos optimizados para razonamiento (p. ej., o1-preview, DeepSeek-R1) y modelos especialistas médicos (p. ej., HuatuoGPT-o1-7B).
• Puntuación:
  • POM: Precisión calculada mediante votación mayoritaria sobre cinco ejecuciones de inferencia.
  • Casos Clínicos y Paciente IA: Un panel de tres MF licenciados (con 10–15 años de experiencia) puntuó las respuestas basándose en criterios detallados y anotados por expertos.
• Estándar Humano: Seis MF estratificados por experiencia (<5, 5–10, >10 años) fueron evaluados en los mismos conjuntos de datos para proporcionar una línea base de rendimiento.

Resultados Clave

La evaluación de diez LLM arrojó los siguientes hallazgos:

1. Rendimiento vs. Médicos Humanos

• Conocimiento vs. Razonamiento: Los LLM generalmente superaron a los médicos humanos en el conjunto de prueba POM (recuerdo factual). Sin embargo, en los conjuntos de prueba de Casos Clínicos y Paciente IA (razonamiento e interacción), los LLM tuvieron un rendimiento significativamente inferior en comparación incluso con los MF humanos menos experimentados (Grupo C).
• Mejor Rendimiento: DeepSeek-R1 obtuvo las puntuaciones más altas entre los LLM, alcanzando un nivel de competencia comparable al de los médicos humanos del Grupo C en casos clínicos, pero aún rezagado en la toma de historia clínica.

2. Deficiencias Específicas de Competencia

• Razonamiento Diagnóstico: La mayoría de los modelos no lograron construir cadenas completas de razonamiento diagnóstico. En el conjunto de Casos Clínicos, 7 de 10 modelos obtuvieron una puntuación inferior a 70 en diagnóstico diferencial.
• Toma de Historia Clínica: Los LLM exhibieron deficiencias graves en el conjunto de prueba de Paciente IA. Incluso el mejor modelo (o1-preview) obtuvo solo 55.20, fallando en explorar sistemáticamente síntomas críticos (p. ej., características del dolor, síntomas asociados) o recopilar historias personales/familiares integrales.
• Planificación del Tratamiento: Los modelos tuvieron dificultades para formular planes de tratamiento óptimos. Solo DeepSeek-R1 obtuvo una puntuación superior a 70. Los fallos comunes incluyeron:
  • Falta de Objetivos de Tratamiento: Incapacidad para especificar objetivos para enfermedades crónicas (p. ej., control de presión arterial/glucosa).
  • Riesgos Farmacoterapéuticos: Omisión de medicamentos esenciales, negligencia de interacciones/contraindicaciones medicamentosas y dosis incorrectas.
  • Alucinaciones: Clasificación y estadificación arbitraria de enfermedades sin evidencia clínica (p. ej., "Grado 0" de apendicitis).
  • Puntos Ciegos: Fallo en identificar comorbilidades y complicaciones, particularmente en contextos metabólicos y cardiovasculares.
• Gestión de la Salud: Aunque los LLM se desempeñaron bien en la estructuración de la educación para la salud, sus consejos a menudo se mantuvieron en un nivel amplio y de principios, careciendo de orientación específica y accionable (p. ej., fallando en especificar límites de sodio).

3. Comparaciones de Modelos

• Modelos de Razonamiento: Los modelos optimizados para razonamiento (DeepSeek-R1, o1-preview) generalmente superaron a los modelos de propósito general en tareas de diagnóstico y tratamiento.
• Escala de Parámetros: Los modelos con mayor escala de parámetros (p. ej., Qwen2.5-72B) superaron consistentemente a sus contrapartes más pequeñas (Qwen2.5-7B).
• Modelos Especialistas: Los modelos especialistas médicos (HuatuoGPT-o1-7B) mostraron un rendimiento sólido en áreas específicas como economía de la salud y ética, pero no superaron a los modelos generales optimizados para razonamiento en el razonamiento diagnóstico central.

Significado y Afirmaciones

El artículo afirma que los LLM actuales no son adecuados para su despliegue autónomo en la práctica clínica general. El estudio destaca que, aunque los LLM sobresalen en la recuperación de conocimientos estáticos, carecen de la competencia práctica, el razonamiento interactivo y la comprensión holística requeridos para las funciones reales de un MF.

Las contribuciones clave incluyen:

1. Marco GPBench: Un modelo de evaluación basado en competencias que va más allá de las pruebas estilo examen para evaluar el espectro completo de responsabilidades del MF.
2. Análisis Granular de Deficiencias: Identificación de modos de fallo específicos, como alucinaciones en la estadificación de enfermedades, omisión de medicamentos esenciales e incapacidad para realizar una toma de historia sistemática.
3. Estandarización Realista: El uso de registros clínicos reales y simulaciones interactivas proporciona una evaluación más rigurosa de la preparación de los LLM para la integración clínica que los estándares anteriores.

Los autores concluyen que la supervisión humana continua es obligatoria para cualquier aplicación realista de los LLM en medicina general. Recomiendan que la investigación futura se centre en mejorar el conocimiento médico sistemático, integrar datos de flujos de trabajo clínicos estructurados para reducir las alucinaciones y mejorar el modelado de la fisiología humana y la progresión de enfermedades. El conjunto de datos se pone a disposición del público para apoyar el desarrollo y la optimización adicionales de sistemas de apoyo a la decisión clínica.