Resumen Técnico: Mind the Gap – Evaluación Comparativa de la Incertidumbre y la Calibración de LLM en QA Clínica

Planteamiento del Problema

El despliegue de Modelos de Lenguaje de Gran Escala (LLMs) en dominios clínicos de alto riesgo, como la respuesta a preguntas clínicas (QA), se ve obstaculizado por la tendencia de los modelos hacia la sobreconfianza. Una Cuantificación de la Incertidumbre (UQ) fiable es crítica para un despliegue seguro, lo que requiere no solo discriminación (la capacidad de distinguir entre predicciones correctas e incorrectas) sino también calibración (la alineación entre la confianza predicha y la precisión real).

La literatura existente a menudo no aborda la UQ en entornos clínicos de manera exhaustiva. Los estudios previos suelen estar limitados a:

• Conjuntos estrechos de modelos desactualizados, excluyendo modelos recientes orientados al razonamiento y específicos del dominio.
• Métricas agregadas que oscurecen las variaciones de rendimiento a través de especialidades médicas y tipos de preguntas específicos.
• Una falta de comparación sistemática entre diferentes paradigmas de UQ (basados en puntuación vs. basados en conjuntos) y arquitecturas de modelos (de propósito general vs. biomédicos vs. de razonamiento).
• Un enfoque en tareas de clasificación, dejando los desafíos de la incertidumbre en la generación de lenguaje natural (NLG) en gran medida inexplorados en contextos clínicos.

Metodología

Los autores realizaron una evaluación comparativa integral a través de 10 LLMs de código abierto (incluyendo modelos de propósito general, biomédicos y enfocados en el razonamiento) y modelos propietarios representativos. La evaluación utilizó dos conjuntos de datos principales: S-MedQA (que cubre 6 especialidades médicas comunes) y MedExQA (que cubre 5 especialidades menos frecuentes), sumando un total de 1,810 preguntas.

Anotación de Datos

Se introdujo un esquema de anotación novedoso para mapear los pares de QA en 6 tipos de preguntas distintos: Diagnóstico, Tratamiento, Prueba Diagnóstica, Definición, Procedimiento/Operación y Otros. Esto permite un análisis granular de cómo la dificultad de la tarea y los perfiles de incertidumbre cambian a través de los contextos clínicos.

Métodos de Estimación de la Incertidumbre

El estudio evaluó cuatro categorías de enfoques de UQ:

1. Basados en puntuación (pasada única):
   • Basados en logits: Promedio de la probabilidad a nivel de token (decodificación greedy) y G-NLL (log-verosimilitud negativa de la salida decodificada de forma greedy).
   • Confianza lingüística: Un enfoque de dos pasos donde el modelo genera una respuesta y luego asigna una puntuación de certeza escalar.
2. Basados en consistencia (basados en muestreo):
   • Entropía Semántica: Genera múltiples respuestas (10 por pregunta), agrupa las respuestas por la opción seleccionada y calcula la entropía de la distribución resultante.
3. Basados en conjuntos:
   • Predicción Conforme (Conformal Prediction): Construye conjuntos de predicción muestreando respuestas para lograr una cobertura marginal objetivo (90%).
4. Rasgos de Comportamiento (Caso de Estudio Novedoso):
   • Un método ligero de pasada única que extrae señales lingüísticas de las trazas de razonamiento de modelos orientados al razonamiento (ej. DeepSeek-R1, s1.1). Los rasgos incluyen el número de tokens de razonamiento, preguntas auto-formuladas y ocurrencias del token "Wait" (Esperar). Estos rasgos se introducen en un modelo de regresión de calibración supervisado para predecir la incertidumbre.

Métricas de Evaluación

El rendimiento se evaluó mediante:

• Discriminación: Área Bajo la Curva de Característica Operativa del Receptor (AUROC).
• Calibración: Error de Calibración Esperado (ECE) y Puntuación de Brier.
• Métricas de conjuntos: Cobertura empírica y tamaño promedio del conjunto.

Resultados Clave

1. Heterogeneidad entre Especialidades y Tipos de Preguntas

La fiabilidad de la incertidumbre no es una propiedad monolítica. Se observaron variaciones significativas:

• Especialidad: El rendimiento fluctúa drásticamente a través de las 11 especialidades clínicas. Por ejemplo, todos los modelos se desempeñaron cerca de los niveles del azar en preguntas de Patología del Habla y el Lenguaje, mientras que los modelos de razonamiento destacaron en Pediatría y Enfermedades Infecciosas.
• Tipo de Pregunta: Las preguntas de "Procedimiento/Operación" resultaron ser las más desafiantes, con todos los modelos con un rendimiento inferior. Por el contrario, las preguntas de "Definición" fueron las más fáciles.
• Desacoplamiento: Una alta precisión no garantiza una buena calibración o discriminación. Por ejemplo, el modelo más pequeño (Llama-3.2-3B) logró el AUROC más alto en algunas especialidades a pesar de su baja precisión, mientras que los modelos más grandes a veces exhibieron sobreconfianza (alta precisión pero mala calibración).

2. Rendimiento de los Métodos de UQ

• Entropía Semántica: Proporcionó consistentemente el mejor rendimiento general tanto en calibración como en discriminación a través de los modelos, aunque requiere múltiples generaciones (muestreo).
• Métodos de pasada única: La mayoría de los métodos de pasada única (ej. Avg Token LogProb, G-NLL) no lograron lograr simultáneamente una buena calibración y una buena discriminación. El G-NLL tuvo un rendimiento inferior a pesar de su éxito previo en el QA no clínico.
• Rasgos de Comportamiento: El método novedoso utilizando claves de comportamiento de las trazas de razonamiento (ej. tokens "Wait") logró un rendimiento cercano a la Entropía Semántica pero con una única pasada hacia adelante. Esto ofrece una alternativa ligera e interpretable para aplicaciones sensibles a la latencia.
• Tipos de Modelo: Los modelos orientados al razonamiento (DeepSeek-R1, s1.1) generalmente demostraron una precisión y calibración superiores. Los modelos biomédicos mostraron ventajas en escalas pequeñas (8B) pero no superaron consistentemente a los modelos de propósito general en escalas mayores (70B).

3. Predicción Conforme (Conformal Prediction)

Los métodos basados en conjuntos revelaron que una alta precisión no se traduce automáticamente en una cobertura de conjunto fiable.

• DeepSeek-R1-70B logró el mejor equilibrio, alcanzando un 93.8% de cobertura con conjuntos compactos.
• Llama-3.1-70B no alcanzó el objetivo de cobertura del 90% (85.5%), indicando sobreconfianza y una mala generalización de las métricas basadas en puntuación a la fiabilidad basada en conjuntos.
• Llama3-OpenBioLLM-70B logró una alta cobertura (90.1%) pero con tamaños de conjunto más grandes, indicando conservadurismo, y no cumplió los objetivos en categorías específicas como Enfermedades Infecciosas.

Contribuciones Clave

1. Evaluación Comparativa Granular: La primera evaluación a gran escala de los métodos de UQ a través de 11 especialidades clínicas y 6 tipos de preguntas, revelando que las métricas agregadas oscurecen diferencias críticas de fiabilidad.
2. Comparación Exhaustiva de Modelos: Una comparación sistemática de LLMs de propósito general, biomédicos y enfocados en el razonamiento, destacando que el ajuste específico del dominio no garantiza una estimación de la incertidumbre superior.
3. Proxy de Comportamiento Novedoso: Introducción de un método de estimación de la incertidumbre ligero de pasada única basado en trazas de razonamiento, que aproxima el rendimiento de los métodos de muestreo de alto costo de recursos.
4. Comparación de Paradigmas: Demostración del desalineamiento entre las estimaciones de incertidumbre basadas en puntuación y las basadas en conjuntos, enfatizando la necesidad de una evaluación multifacética.

Significado y Afirmaciones

El artículo argumenta que la fiabilidad de la incertidumbre depende del contexto, variando significativamente según la especialidad clínica y el tipo de pregunta. Los autores afirman que las evaluaciones de "talla única" son insuficientes y potencialmente engañosas para el despliegue clínico de alto riesgo.

La contribución principal es una perspectiva cautelosa pero constructiva:

• Cautela: Las métricas agregadas pueden ocultar una sobreconfianza peligrosa en subdominios específicos.
• Construcción: El método de rasgos de comportamiento propuesto ofrece un camino práctico e interpretable para la toma de decisiones clínicas en el mundo real donde el muestreo es inviable.

Los autores posicionan este trabajo como un primer paso hacia el desarrollo de LLMs que sean tanto precisos como confiables en el uso clínico, abogando por evaluaciones que tengan en cuenta contextos clínicos específicos en lugar de depender de promedios globales. Enfatizan que el trabajo futuro debe involucrar a clínicos para validar qué señales de incertidumbre indican mejor la necesidad de supervisión humana.