Multi-Agent Reasoning with Consistency Verification Improves Uncertainty Calibration in Medical MCQA

Título: Razonamiento Multi-Agente con Verificación de Consistencia para Mejorar la Calibración de la Incertidumbre en Preguntas Médicas de Opción Múltiple (MARC)

1. El Problema

La implementación de Inteligencia Artificial (IA) en entornos clínicos enfrenta un obstáculo práctico crítico: la mala calibración de las puntuaciones de confianza. Los Grandes Modelos de Lenguaje (LLM) actuales tienden a ser sistemáticamente sobreconfiados, generando puntuaciones de alta confianza incluso cuando sus respuestas son incorrectas.

• Consecuencia: Un modelo que siempre está sobreconfiado no ofrece ninguna señal útil para que el profesional médico decida cuándo "deferir" (remitir) la decisión a un experto humano.
• Contexto: En benchmarks médicos intensivos en conocimiento (como MedQA y MedMCQA), esta descalibración es especialmente pronunciada. Los métodos existentes de recalibración (como el escalado de temperatura o ensembles bayesianos) requieren datos etiquetados adicionales o múltiples copias del modelo, lo que limita su viabilidad en despliegues reales con datos escasos.

2. Metodología: El Marco MARC

El autor propone MARC (Multi-Agent Reasoning with Consistency Verification), un marco de tres componentes diseñado para mejorar tanto la calibración como la discriminación sin necesidad de datos etiquetados durante la inferencia.

• Componente 1: Agentes Especialistas Multi-Dominio

  • Se instancian cuatro agentes especializados (Respiratorio, Cardiología, Neurología, Gastroenterología).
  • Cada agente utiliza un modelo Qwen2.5-7B-Instruct con un prompt específico de su especialidad y un protocolo de pensamiento en cadena (CoT) de cinco pasos para generar una respuesta, un razonamiento y una confianza inicial ($C^{(0)}$).

• Componente 2: Verificación de Consistencia en Dos Fases (Two-Phase Verification)

  • Basado en el trabajo de Wu et al. (2024), este proceso evalúa la coherencia interna de cada agente sin usar etiquetas de oro.
  • Fase 1: El agente genera la respuesta y el razonamiento.
  • Fase 2: Se extraen afirmaciones fácticas del razonamiento. El modelo responde a estas afirmaciones de dos maneras: (a) independientemente (sin contexto) y (b) con el contexto del razonamiento original.
  • Cálculo de Inconsistencia ($I_k$): Se mide la discrepancia entre las respuestas independientes y las referenciadas usando similitud de Jaccard.
  • Puntuación de Confianza del Especialista (S-score): Se calcula como $S_k = C^{(0)}_k \cdot (1 - I_k)$. Esto penaliza la confianza inicial proporcionalmente a la inconsistencia interna detectada.

• Componente 3: Fusión Ponderada por S-Score

  • Se agregan las votaciones de los cuatro agentes. La puntuación final de una respuesta candidata es el producto del conteo de votos y la media de los S-scores de los agentes que la apoyan.
  • La confianza final calibrada ($\hat{C}$) se deriva de la fracción de votos y la distribución de los S-scores, reduciendo la confianza si hay un consenso débil o inconsistente.

3. Contribuciones Clave

1. Arquitectura MARC: Integración exitosa de agentes especialistas con verificación de consistencia auto-generada para crear un sistema de confianza robusto.
2. Señal de Incertidumbre Libre de Etiquetas: Demostración de que la verificación de consistencia interna puede generar señales de incertidumbre fiables sin necesidad de datos de calibración etiquetados.
3. Análisis de Descomposición (Ablación): Identificación clara de roles distintos:
   • La Verificación en Dos Fases es el motor principal de la calibración (reducción del error).
   • El Razonamiento Multi-Agente es el motor principal de la precisión (acumulación de conocimiento).
4. Caracterización Empírica: Estudio de la brecha entre la "recuperación de conocimiento" (MedMCQA) y el "razonamiento clínico" (MedQA), mostrando cómo la calibración basada en consistencia funciona incluso cuando la precisión absoluta está limitada por la falta de conocimiento factual en modelos pequeños (7B).

4. Resultados Experimentales

El sistema se evaluó en cuatro configuraciones experimentales (subconjuntos de alta discrepancia de MedQA-USMLE y MedMCQA, con 100 y 250 preguntas).

• Mejora en Calibración (ECE - Error de Calibración Esperado):

  • El sistema completo (Configuración 4) redujo el ECE entre un 49% y un 74% en todos los conjuntos de datos en comparación con la línea base de un solo especialista.
  • En MedQA-250, el ECE bajó a 0.091 (una reducción del 74.4%).
  • En MedMCQA-250, a pesar de la menor precisión absoluta, la reducción de ECE fue del 63%, demostrando que el sistema aprende a expresar incertidumbre incluso cuando no sabe la respuesta.

• Precisión y Discriminación (AUROC):

  • La precisión aumentó significativamente en los conjuntos MedQA (hasta +7.0 puntos porcentuales).
  • El AUROC (capacidad de distinguir respuestas correctas de incorrectas) mejoró en la mayoría de los casos, alcanzando 0.630 en MedQA-250.
  • Nota importante: La verificación sola (sin multi-agente) a veces redujo ligeramente el AUROC, ya que comprime las puntuaciones de confianza hacia la precisión real, pero la fusión multi-agente restauró la capacidad de discriminación al alinear los S-scores más altos con las respuestas correctas.

• Eficiencia: El sistema completo requiere aproximadamente 7-16 veces más llamadas al modelo que un agente único, lo que implica un costo computacional significativo (ej. 833 minutos vs 116 minutos en GPU RTX 5090 para MedQA-250).

5. Significado e Impacto

• Seguridad Clínica: El hallazgo más relevante es que un modelo con limitaciones de conocimiento (7B parámetros) puede ser "forzado" a expresar una incertidumbre calibrada adecuada. Esto proporciona a los clínicos una señal confiable sobre cuándo no confiar en la IA y buscar una segunda opinión, incluso si el modelo no puede responder correctamente.
• Viabilidad de Despliegue: Al operar sin datos etiquetados adicionales y utilizando solo la salida del modelo, MARC es una solución práctica para entornos donde los datos de validación son escasos.
• Limitaciones y Futuro: El estudio reconoce que la consistencia interna no garantiza la verdad fáctica (un modelo puede razonar coherentemente sobre un hecho falso). El trabajo futuro se dirige hacia la augmentación por recuperación (RAG), conectando la fase de verificación con bases de conocimiento médico externas (como PubMed) para penalizar afirmaciones que contradigan la evidencia médica establecida, no solo la coherencia interna.

En resumen, el artículo establece que combinar el razonamiento de múltiples especialistas con la verificación de consistencia auto-evaluada es una estrategia efectiva para mitigar el riesgo de sobreconfianza en la IA médica, mejorando la seguridad operativa sin sacrificar necesariamente la capacidad de discriminación.