Resumen Técnico: Evaluación de la Estabilidad Semántica en LLMs Clínicos

Declaración del Problema

Los Modelos de Lenguaje de Gran Escala (LLMs) se están implementando cada vez más en entornos clínicos para tareas como el apoyo al diagnóstico y la generación de resúmenes. Sin embargo, estos modelos exhiben una sensibilidad significativa ante variaciones lingüísticas menores en los prompts de entrada (por ejemplo, el parafraseo, la sustitución de sinónimos o el reordenamiento sintáctico). En entornos de atención médica donde la seguridad es crítica, las entradas semánticamente equivalentes deberían producir predicciones consistentes; no obstante, la evidencia empírica sugiere que el rendimiento puede desviarse entre un 8% y un 50% bajo tales variaciones.

Un desafío metodológico primario para evaluar esta inestabilidad es la falta de una verificación semántica fiable. Los enfoques existentes que dependen de métricas de similitud basadas en embeddings (por ejemplo, la similitud de coseno) a menudo no logran capturar distinciones clínicamente críticas relacionadas con la negación, la temporalidad o la severidad. Por ejemplo, "el paciente tiene dolor torácico" y "el paciente niega dolor torácico" pueden recibir puntuaciones de similitud altas a pesar de tener significados clínicos opuestos. Sin una verificación rigurosa de que las variaciones del prompt preservan realmente el significado clínico, es imposible distinguir la inestabilidad genuina del modelo de las respuestas legítimas ante un contenido alterado.

Metodología

Los autores proponen un marco sistemático para evaluar la estabilidad semántica utilizando un benchmark rigurosamente verificado y tres métricas novedosas.

1. Marco de Verificación Semántica

Para asegurar que las variaciones de los prompts preservan el significado clínico, los autores desarrollaron un pipeline de verificación de múltiples etapas:

• Generación de Variaciones: Partiendo de 200 prompts base (100 de MedQA-USMLE y 100 de DiagnosisQA), se generaron 10 variaciones de preservación de significado por cada prompt utilizando GPT-4o-mini. Las variaciones incluyeron expansión/compresión de abreviaturas, conversión de lenguaje clínico a lenguaje coloquial, reordenamiento sintáctico y transformación de voz. Se establecieron restricciones estrictas para prohibir la alteración de hechos clínicos, la negación, la temporalidad o la severidad.
• Filtrado Basado en NLI: Las variaciones generadas fueron filtradas mediante tres modelos de Inferencia de Lenguaje Natural (NLI) preentrenados (PubMedBERT-MNLI-MedNLI, roberta-large-mnli y deberta-large-mnli). Una variación solo se conservaba si cumplía con la implicación bidireccional (implicación mutua) con el prompt original en al menos dos de los tres modelos.
• Auditoría Híbrida Humano-LLM: Se aplicó un proceso de verificación de dos rondas:
  • Ronda 1: Las muestras verificadas por NLI fueron revisadas por un LLM-as-a-Judge (usando GPT-5.2 y MedLLaMA3) y un experto clínico con licencia.
  • Ronda 2: Las muestras rechazadas por los jueces LLM fueron reevaluadas por el experto clínico para recuperar las reformulaciones válidas que fueron filtradas de forma conservadora por la automatización.
  • El benchmark final consta de 1,761 variaciones verificadas que preservan el significado.

2. Métricas de Evaluación

El estudio introduce tres métricas para cuantificar la sensibilidad del modelo:

• Sensibilidad a la Variación de Preservación de Significado (MVS): La proporción de variaciones verificadas que resultan en un cambio en la salida predicha del modelo en relación con el prompt base.
• Variación de Confianza ($\Delta$C): El cambio absoluto promedio en la probabilidad máxima predicha (confianza) del modelo a través de las variaciones, incluso cuando la salida predicha permanece sin cambios.
• Inestabilidad del Peor Caso (WCI): Una métrica por muestra que indica si cualquier variación verificada causa que el modelo cambie de una predicción correcta a una incorrecta (o viceversa).

3. Configuración Experimental

El marco evaluó 16 LLMs de código abierto (8 de Propósito General [GP] y 8 de Dominio Específico [DS]) en familias y escalas de parámetros coincidentes (de 1.5B a 8B). Los modelos fueron probados bajo cuantización NF4 de 4 bits con inferencia de media precisión. Las predicciones se derivaron de forma determinista de las probabilidades de los tokens para aislar la sensibilidad semántica del ruido de muestreo.

Resultados Clave

1. La Especialización de Dominio No Garantiza la Robustez

Contrario a la suposición de que el ajuste fino médico asegura la estabilidad, los resultados muestran que la robustez depende altamente del modelo y no estrictamente del dominio.

• Desempeño Mixto: Varios modelos DS se posicionaron entre los más robustos, pero bases GP fuertes (ej. LLaMA3.1-8B, Qwen2.5-7B) fueron igualmente o más competitivas.
• Sin Ventaja Universal: El análisis estadístico (pruebas de permutación emparejadas) no reveló evidencia consistente de que la especialización de dominio mejore la robustez. En algunos casos (ej. MedQwen2.5-7B en MedQA), los modelos DS fueron significativamente menos robustos que sus contrapartes GP.
• Olvido Catastrófico: Algunos modelos DS (ej. MediChat-LLaMA3-8B) tuvieron un desempeño inferior a sus contrapartes GP, lo que sugiere que las estrategias de adaptación pueden degradar las capacidades de razonamiento general.

2. La Dificultad de la Tarea Amplifica la Inestabilidad

Los modelos exhibieron mayor sensibilidad (mayor MVS y WCI) en el conjunto de datos más complejo, MedQA, en comparación con DiagnosisQA. Esto indica que la estabilidad semántica se degrada a medida que aumentan las demandas de razonamiento. Transformaciones lingüísticas específicas, como el Reencuadre de Preguntas y la conversión de Lenguaje Clínico a Coloquial, resultaron ser las más disruptivas, mientras que las ediciones superficiales (ej. expansión de abreviaturas) tuvieron un impacto mínimo.

3. Débil Alineación entre Confianza y Estabilidad

• Confianza vs. Predicción: Existe una asociación débil entre la inestabilidad de la predicción (MVS) y la variación de confianza ($\Delta$C). Los modelos a menudo mantienen una alta confianza incluso cuando sus predicciones cambian bajo reformulaciones semánticamente equivalentes.
• Exceso de Confianza: Muchos modelos permanecieron excesivamente confiados a pesar de una reducción en la robustez o la precisión. Por ejemplo, Qwen2.5-3B logró solo un 40% de precisión en MedQA reportando una confianza de 0.90.
• Problemas de Calibración: La correlación entre la confianza y la precisión fue modesta en DiagnosisQA ($r=0.41$) y débil en MedQA ($r=0.18$), indicando que las puntuaciones de confianza no son indicadores fiables de la corrección o la robustez en el QA médico.

4. Impacto de la Cuantización

El estudio encontró que la cuantización NF4 de 4 bits tuvo un impacto insignificante en las métricas de estabilidad para la mayoría de los modelos, observándose solo variaciones menores dependientes del conjunto de datos en el WCI.

Significancia y Reivindicaciones

El artículo argumenta que el ajuste fino médico por sí solo no garantiza de manera fiable un comportamiento estable bajo variaciones naturales de los prompts. Los autores afirman que:

1. La robustez no es inherente a la especialización de dominio: Desplegar un modelo con ajuste fino médico no asegura automáticamente la invarianza semántica; la robustez depende más de la arquitectura, la escala y la calidad del entrenamiento que de la presencia de datos médicos.
2. La evaluación actual es insuficiente: La precisión en los benchmarks estándar es una medida inadecuada de la preparación clínica. Los modelos pueden parecer competentes en prompts estáticos mientras fallan catastróficamente ante refraseos menores que preservan el significado.
3. La confianza es engañosa: La alta confianza del modelo no debe interpretarse como una señal de estabilidad o corrección, ya que los modelos a menudo expresan una fuerte certeza incluso cuando sus salidas son frágiles.
4. Necesidad de una Evaluación de Robustez Explícita: Antes del despliegue clínico, los LLMs deben someterse a una evaluación de robustez explícita utilizando variaciones de preservación de significado verificadas mediante métodos semánticos de principios (como la NLI) en lugar de simples métricas de similitud.

El estudio concluye que la estabilidad semántica debe tratarse como un requisito central para la IA en salud, lo que requiere un cambio de las evaluaciones de precisión de un solo prompt hacia un análisis de sensibilidad sistemático.