Resumen Técnico: Cuando los Modelos de Lenguaje de Gran Escala Fallan en el Ámbito de la Salud

Declaración del Problema

Los Modelos de Lenguaje de Gran Escala (LLM, por sus siglas en inglés) se están implementando cada vez más en la atención médica para tareas críticas como la resolución de preguntas clínicas, el apoyo al diagnóstico y la síntesis de informes. Sin embargo, estos modelos exhiben una sensibilidad significativa a las perturbaciones sutiles en los prompts, tanto léxicas (a nivel de palabra) como sintácticas (a nivel de estructura). En entornos clínicos donde la seguridad es crítica, incluso las variaciones menores en el fraseo —como la sustitución de sinónimos, el reordenamiento de síntomas o ligeros cambios sintácticos— pueden conducir a salidas inconsistentes, errores diagnósticos o consejos perjudiciales. El problema central abordado es la falta de robustez intrínseca tanto en los modelos de propósito general (p. ej., GPT-3.5, Llama3) como en los modelos médicos específicos (p. ej., ClinicalBERT, BioLlama3, BioBERT). Esta imprevisibilidad plantea riesgos inaceptables para la confianza clínica, ya que los modelos pueden alterar diagnósticos o recomendar dosis incorrectas basándose únicamente en entradas refraseadas.

Metodología

El estudio emplea un marco de análisis de sensibilidad sistemático utilizando el benchmark MedMCQA, un conjunto de datos a gran escala que contiene más de 194,000 preguntas de opción múltiple médicas. La evaluación cubre cinco modelos: GPT-3.5, Llama3, ClinicalBERT, BioLlama3 y BioBERT.

Estrategia de Perturbación

Los autores categorizan las perturbaciones en dos tipos:

1. Perturbaciones Léxicas: Implican sustituciones a nivel de token, como reemplazar términos médicos con sinónimos clínicamente precisos (p. ej., de "falta de aire" a "disnea") o introducir errores ortográficos menores. Estas se generan mediante BioSyn y se validan a través de embeddings de BioBERT y SciBERT para asegurar la equivalencia médica.
2. Perturbaciones Sintácticas: Implican cambios estructurales, como el reordenamiento de cláusulas, el cambio de voz activa a pasiva o la alteración del enfoque de la oración (p. ej., el uso de estructuras de relieve o clefting), preservando el significado clínico subyacente.

Marco de Evaluación

El flujo de trabajo involucra:

1. Generar prompts perturbados ($P'$) a partir de los prompts originales ($P$).
2. Validar la equivalencia semántica utilizando el Universal Sentence Encoder (USE) y BioSyn para asegurar que la entrada perturbada retenga la intención clínica original.
3. Seleccionar los top-$K$ prompts sintácticamente alineados basados en puntuaciones de similitud de coseno.
4. Ejecutar estos prompts a través de los LLM objetivo y comparar las salidas contra la verdad de campo (ground truth).

Métricas

El rendimiento se cuantifica mediante:

• BERTScore: Mide la similitud sintáctica y semántica entre la respuesta del modelo y la verdad de campo.
• Puntuación del Universal Sentence Encoder (USE): Evalúa la similitud de los embeddings a nivel de oración para evaluar la preservación del significado clínico.
• Tasa de Respuesta (RR): La proporción de respuestas válidas generadas.
• Tasa de Instrucción de Seguimiento (FIR): El grado en que el modelo se adhiere a restricciones de formato o estructura específicas (p. ej., salida en JSON) dentro de las respuestas válidas.

La estabilidad se categoriza por umbrales de puntuación: 0.9–1.0 (Muy Estable), 0.7–0.9 (Moderadamente Estable), 0.5–0.7 (Sensibilidad Leve) y <0.5 (Alta Sensibilidad).

Contribuciones Clave

1. Definición y Categorización Formal: El artículo define y categoriza formalmente las perturbaciones de los prompts en variaciones léxicas y sintácticas, evaluando sistemáticamente su impacto en el rendimiento de los LLM en tareas de salud.
2. Análisis Comparativo: Proporciona una comparación exhaustiva entre modelos de propósito general y modelos médicos específicos, revelando que ninguna categoría es intrínsecamente inmune a la sensibilidad.
3. Identificación de Vulnerabilidades: El estudio identifica modos de falla críticos, incluyendo la "deriva de instrucción" (donde los modelos fallan en las restricciones de formato a pesar de tener una lógica médica correcta) y la "interpretación estructural errónea" (donde los cambios sintácticos conducen a diagnósticos falsos).
4. Evidencia de Benchmarking: Los autores consolidan la evidencia sobre la robustez de los LLM en dominios de salud, detallando los efectos observados de tipos específicos de perturbación en la consistencia y precisión del modelo.

Resultados

• Sensibilidad General: Todos los modelos evaluados, incluidos los médicos específicos, mostraron una reducción en el rendimiento bajo perturbación. La precisión cayó de aproximadamente un 98–99% en entornos no perturbados a un 94–95% bajo cambios sintácticos.
• Impacto Léxico vs. Sintáctico: Los modelos demostraron una relativa resiliencia a las sustituciones léxicas simples (p. ej., sinónimos), pero mostraron una fragilidad significativa bajo el reordenamiento sintáctico y las pistas contextuales engañosas.
• Deriva de Instrucción: Las variaciones léxicas a menudo causaron que los modelos priorizaran el flujo del lenguaje natural sobre las instrucciones de formato estrictas (p. ej., la estructura JSON), provocando una caída en las puntuaciones de FIR incluso cuando el diagnóstico médico era correcto.
• Colapso Estructural: Las perturbaciones sintácticas ocasionalmente causaron un fallo sistémico total, donde el modelo ponderó incorrectamente los signos clínicos (p. ej., confundiendo "aumento de esputo" con "Edema Pulmonar" en lugar de "EPOC"), resultando en diagnósticos falsos (fallo de RR).
• Rendimiento del Modelo: BioLlama3 demostró la mayor robustez entre los modelos probados, mientras que BioBERT y ClinicalBERT exhibieron una mayor sensibilidad, particularmente a las variaciones sintácticas. Los modelos de propósito general como GPT-3.5 mostraron una estabilidad competitiva pero no superior a la de los modelos especializados.

Significado y Reivindicaciones

El artículo afirma que los LLM médicos no son intrínsecamente seguros. Los hallazgos desafían la suposición de que el ajuste fino (fine-tuning) de dominio garantiza la fiabilidad en entornos clínicos. Los autores enfatizan que:

• La Imprevisibilidad es Inaceptable: En la atención médica de alto riesgo, los modelos que cambian diagnósticos debido a entradas refraseadas o que alucinan medicamentos bajo un ligero cambio de redacción no pueden ser confiables para los clínicos.
• Necesidad de Robustez: Los benchmarks actuales que se centran únicamente en la precisión sobre datos limpios son insuficientes. Existe una necesidad urgente de una evaluación de robustez sistemática que considere las variaciones léxicas y sintácticas.
• Direcciones Futuras: Los autores hacen un llamado hacia métricas estandarizadas, pruebas de perturbación controladas (similares a marcos como MedFuzz y RAmBLA) y el desarrollo de modelos que sean o bien demostrablemente resilientes, o bien transparentemente limitados en su despliegue para garantizar la seguridad del paciente.

El estudio concluye que, si bien los LLM poseen un potencial significativo para la salud, su fragilidad actual ante las perturbaciones de los prompts requiere un diseño de prompts cuidadoso y una mayor investigación sobre la robustez adversarial antes de que su adopción clínica generalizada pueda considerarse segura.