Just how sure are you? Improving Verbalized Uncertainty Calibration in Medical VQA

Resumen Técnico: Mejora de la Calibración de la Incertidumbre Verbalizada en VQA Médica

Planteamiento del Problema
Los Modelos de Lenguaje de Gran Escala Multimodales (MLLM) aplicados al Razonamiento Visual de Preguntas y Respuestas (VQA) Médicas exhiben frecuentemente un exceso de confianza, generando salidas de alta confianza independientemente de su exactitud real. Esta falta de autoevaluación calibrada limita su fiabilidad en entornos clínicos, donde los médicos deben verificar manualmente el razonamiento en lugar de confiar en la confiabilidad del modelo. Los métodos existentes para la calibración de la confianza verbalizada están diseñados principalmente para LLMs de solo texto y no logran considerar la naturaleza multimodal de la comprensión de imágenes médicas. Además, los enfoques actuales suelen entrenarse en condiciones de entrada únicas, fallando al enseñar al modelo cómo su confianza debería cambiar cuando la evidencia visual o la integridad textual se ven perturbadas.

Metodología
Los autores proponen un marco basado en el entrenamiento que ajusta finamente (fine-tuning) los MLLM para producir puntuaciones de confianza verbalizada mejor calibradas. El enfoque se basa en tres componentes principales:

1. Diseño de Perturbación Factorial 2 × 2:
   Para enseñar al modelo a fundamentar la confianza en la utilización de la evidencia, los autores introducen un esquema de perturbación que cruza dos ejes:

• Disponibilidad de la Imagen: Imagen original frente a una imagen en negro (eliminando la evidencia visual sin distorsionar las características mediante ruido).
• Integridad del Texto: Opciones originales frente a opciones perturbadas (reordenando el orden y reemplazando los distractores con opciones de preguntas similares para destruir patrones memorizados).
  Esto genera cuatro condiciones por pregunta. El modelo genera múltiples respuestas ($G=10$) para cada condición para calcular la exactitud fraccional, la cual sirve como el objetivo de verdad de terreno (ground truth) para la calibración.

2. Función de Pérdida de Calibración Compuesta:
   El marco optimiza una pérdida compuesta que consta de cuatro términos:

• Pérdida de Brier: Impulsa la distribución de confianza predicha hacia la exactitud fraccional empírica derivada de las condiciones de perturbación.
• Regularizador de Anclaje: Evita que el modelo colapse en valores de confianza extremos (0 o 1) penalizando las desviaciones de un punto medio ($c_{mid} = 0.5$) para muestras inciertas. Esto actúa como un prior conservador, requiriendo evidencia sólida para desplazar la confianza lejos de la incertidumbre máxima.
• Pérdida de Alineación: Un término contrastivo que asegura que los cambios en la confianza a través de las condiciones de perturbación sigan los cambios correspondientes en la exactitud empírica. Esto obliga al modelo a ajustar su confianza basándose en la contribución de información de fuentes de evidencia específicas (visual vs. textual).
• Regularizador de Divergencia KL Top-k: Aplicado a las posiciones de los tokens de respuesta (excluyendo el token de confianza) contra una copia congelada del modelo base. Esto preserva la capacidad de respuesta original del modelo y sus capacidades de seguimiento de instrucciones durante el ajuste fino, evitando el colapaje de la exactitud.

3. Objetivo de Entrenamiento:
   La pérdida total es una suma ponderada de estos componentes. El modelo se ajusta finamente utilizando adaptadores LoRA, generando un rastro de razonamiento, una respuesta y un token de confianza verbalizada (en una escala de enteros discretos normalizada en [0, 1]) en un orden de primero la respuesta y segundo la confianza.

Contribuciones Clave

• Primera Calibración Basada en Entrenamiento para VQA Médica: A diferencia de trabajos previos restringidos a modelos de solo texto o ingeniería de prompts, este es el primer método que aplica calibración basada en entrenamiento específicamente a modelos médicos multimodales.
• Perturbación Consciente de la Evidencia: El novedoso diseño factorial 2 × 2 sondea y enseña explícitamente al modelo a distinguir entre la dependencia de la evidencia visual frente a los sesgos lingüísticos (language priors).
• Arquitectura de Pérdida Compuesta: La integración de la calibración de Brier, un regularizador de anclaje, alineación contrastiva y un regularizador KL crea una señal de entrenamiento robusta que mejora simultáneamente la calibración y la discriminación sin sacrificar la exactitud predictiva.

Resultados
El método fue evaluado en tres benchmarks de VQA Médica (OmniMedVQA, PMC-VQA, MedXpertQA) que cubren regímenes de alta, media y baja exactitud, utilizando dos arquitecturas (MedGemma-4B-IT y Qwen2-VL-7B-Instruct).

• Calibración y Discriminación: El método propuesto redujo el error de calibración (ECE) en un 60% o más y mejoró la discriminación (AUROC) en un 26% o más en comparación con los enfoques de referencia, incluyendo los basados en prompting (Top-K Sampling, SteerConf) y los basados en entrenamiento (ConfTuner).
• Robustez: El método mantuvo un rendimiento constante a través de diferentes regímenes de dificultad, mientras que el ECE de los modelos de referencia se degradó significativamente a medida que aumentaba la dificultad de la tarea.
• Preservación de la Exactitud: El regularizador KL top-k preservó con éxito la exactitud predictiva, con cambios de exactitud fuera de la distribución (OOD) dentro de ±0.8 puntos porcentuales.
• Estudios de Ablación: Eliminar el término de alineación causó una caída brusca en el AUROC (discriminación), mientras que eliminar el regularizador KL provocó un colapso significativo de la exactitud y una pérdida de las capacidades de seguimiento de instrucciones (por ejemplo, fallo al generar la confianza en el formato correcto).

Significancia y Reivindicaciones
El artículo afirma que los MLLM pueden aprender una confianza verbalizada significativa mediante un ajuste fino dirigido que modela explícitamente la relación entre las fuentes de evidencia y la exactitud de la predicción. Los autores sostienen que su método logra una mejora simultánea tanto en la calibración (la confianza declarada coincide con la exactitud empírica) como en la discriminación (las predicciones correctas reciben una mayor confianza que las incorrectas), un compromiso que se observa a menudo en trabajos previos.

Los autores mantienen una postura modesta respecto a las limitaciones:

• Límites de Discriminación: En el benchmark más desafiante (MedXpertQA, ~20% de exactitud base), ningún método logró una discriminación significativa, lo que sugiere que la confianza verbalizada aún no puede distinguir entre predicciones correctas e incorrectas en tareas que requieren un razonamiento clínico complejo de múltiples pasos.
• Alcance: El trabajo está limitado a VQA de opción múltiple y modelos de pequeña escala (4B y 7B de parámetros). Los autores señalan que extender estas ganancias a VQA de respuesta abierta y modelos más grandes sigue siendo una pregunta abierta.
• Despliegue Clínico: Aunque el método mejora la fiabilidad, los autores enfatizan que la confianza calibrada está destinada a apoyar, no a reemplazar, el juicio humano, y se requiere una validación adicional en condiciones clínicas reales antes de su despliegue.