What Does Neuro Mean to Cardio? Investigating the Role of Clinical Specialty Data in Medical LLMs

Resumen Técnico: ¿Qué significa Neuro para Cardio? Investigación del papel de los datos de especialidad clínica en los LLM médicos

Declaración del Problema
Aunque los conjuntos de datos de preguntas y respuestas (QA) de opción múltiple son un estándar para evaluar los Modelos de Lenguaje de Gran Escala (LLM) en medicina, los recursos existentes (por ejemplo, MedQA, MedMCQA) carecen de anotaciones detalladas por especialidad clínica. Esta limitación dificulta la evaluación de los LLM en entornos hospitalarios especializados donde el rendimiento dentro de dominios específicos (por ejemplo, cardiología frente a neurología) es crítico. Además, no está claro si el ajuste fino (fine-tuning) de los LLM médicos con datos de especialidades específicas inyecta nuevo conocimiento de dominio o simplemente desplaza la distribución del modelo hacia el dominio médico.

Metodología
Los autores presentan S-MedQA, un nuevo conjunto de datos de QA médica en inglés diseñado para abordar la falta de granularidad a nivel de especialidad. El proceso de construcción y evaluación involucra tres etapas principales:

1. Construcción del Conjunto de Datos (S-MedQA):

   • Fuente: Derivado de MedQA y MedMCQA, cubriendo 15 especialidades clínicas (por ejemplo, Cardiología, Neurología, Oncología) con más de 24,000 pares de QA.
   • Estrategia de Anotación: Un enfoque híbrido que combina verificación por máquina y por expertos.
     • Etiquetado de Especialidad Única: GPT-3.5 genera predicciones utilizando cinco prompts distintos. Un mecanismo de votación por mayoría (que requiere 3 o más acuerdos) asigna una especialidad primaria. La validación humana en un conjunto de control confirma una precisión de entre el 90.8% y el 97.8%.
     • Etiquetado de Multi-Especialidad: Para manejar preguntas transdisciplinarias, los autores emplean un procedimiento de predicción conforme (conformal prediction). Este método calibra un LLM para predecir múltiples etiquetas con garantías de cobertura, logrando una precisión de conjunto de 0.69 y una recuperación (recall) de 0.52 frente a las anotaciones de expertos.
   • Validación: El acuerdo entre anotadores (alfa de Krippendorff) entre médicos expertos y estudiantes alcanzó el 83.6%.

2. Configuración Experimental:

   • Modelos: Se evaluaron ocho LLM de código abierto, incluyendo Llama-2, Llama-3, Mistral, Bio-Medical-LLaMA y OLMo.
   • Ajuste Fino (Fine-tuning): Los modelos fueron ajustados mediante LoRA utilizando datos de entrenamiento de especialidades individuales (y un conjunto de datos combinado).
   • Evaluación: Para mitigar el sesgo de posición, las opciones de respuesta se permutaron cinco veces por muestra. Se utilizó un clasificador post-hoc (entrenado en Mistral-v0.2) para emparejar las salidas del modelo con las opciones, logrando una precisión del 96.5%, en lugar de depender de las probabilidades del primer token o de una simple coincidencia de cadenas.

3. Técnicas de Análisis:

   • Evaluación de Especialidad Cruzada: Los modelos ajustados en una especialidad fueron probados en todas las demás para medir la transferencia de conocimiento.
   • Análisis de Solapamiento de Términos: Utilizando SNOMED-CT y HPO, los autores cuantificaron el solapamiento de términos clínicamente relevantes (trastornos, hallazgos, procedimientos) entre los conjuntos de entrenamiento y de prueba dentro y entre especialidades.
   • Análisis de Probabilidad de Tokens: El estudio midió los cambios en las log-probabilidades de los tokens clínicamente relevantes antes y después del ajuste fino para distinguir entre el desplazamiento de dominio y la inyección de conocimiento.

Resultados Clave

• Patrones de Transferencia Contraintuitivos: Contrario a la expectativa de que el ajuste fino en una especialidad específica produzca el mejor rendimiento en esa misma especialidad, los resultados mostraron que los modelos ajustados en especialidades no relacionadas a menudo funcionaron mejor. Por ejemplo, un modelo ajustado con datos de Neurología alcanzó la mayor precisión en el conjunto de prueba de Cardiología. Ningún modelo alcanzó su máximo rendimiento en la "diagonal" (entrenamiento y prueba en la misma especialidad).
• Solapamiento de Terminología Limitado: El análisis reveló que, si bien los conjuntos de entrenamiento cubren aproximadamente el 63.4% de la terminología clínica encontrada en sus correspondientes conjuntos de prueba, el solapamiento entre diferentes especialidades es de solo ~32.8%. Esto confirma que las evaluaciones de especialidad cruzada no sufren de una "filtración de conocimiento" significativa debido al léxico compartido.
• Desplazamiento de Dominio vs. Inyección de Conocimiento: El análisis de la probabilidad de tokens mostró que el ajuste fino en datos médicos aumentó consistentemente las log-probabilidades de los términos clínicamente relevantes en todas las especialidades, independientemente de la especialidad de entrenamiento específica. Crucialmente, el ajuste fino en datos no médicos (ciencias sociales de MMLU) resultó en una caída significativa de estas probabilidades. Esto sugiere que las ganancias de rendimiento son impulsadas principalmente por el desplazamiento de dominio (alinear el modelo de lo general a lo médico) en lugar de la inyección de conocimiento clínico específico y detallado.

Significado y Contribuciones
El artículo realiza cuatro contribuciones primarias:

1. Lanzamiento de S-MedQA: La introducción del primer conjunto de datos de QA médica en inglés con anotaciones de especialidad única y múltiple de alta calidad y validadas por humanos, permitiendo una evaluación detallada.
2. Rigor Metodológico: El establecimiento de un marco de evaluación robusto que tiene en cuenta las preguntas transdisciplinarias y mitiga los sesgos de evaluación (por ejemplo, el orden de las respuestas y la selección de sesgo de probabilidad de tokens).
3. Evidencia Empírica sobre el Ajuste Fino: El estudio proporciona evidencia que desafía la suposición de que el ajuste fino inyecta conocimiento específico de la especialidad. En su lugar, apoya la hipótesis (alineada con Zhou et al., 2024) de que las mejoras en las tareas de QA médica se derivan principalmente del desplazamiento de dominio.
4. Recurso para la Comunidad: La liberación del conjunto de datos y de todo el código de reproducción para facilitar la investigación adicional en PLN clínico.

Conclusión
Los autores concluyen que, si bien las especialidades clínicas poseen terminologías distintas, las ganancias de rendimiento observadas en los LLM médicos no se deben necesariamente a la adquisición de nuevos hechos específicos de cada especialidad durante el ajuste fino. Más bien, el proceso parece funcionar como un desplazamiento de dominio, recalibrando la distribución de probabilidad del modelo hacia el contexto médico. El artículo hace un llamado a repensar el papel de los datos de ajuste fino en el dominio médico y sugiere que la investigación futura debería investigar el impacto específico de la complejidad y la dificultad de las QA sobre estos patrones de transferencia.