Synergistic Perception-Reasoning Governance: Grounding Medical MLLMs with Verifiable Anatomical Evidence

Resumen Técnico: Gobernanza de Percepción-Razonamiento Sinérgica (SPRG)

Planteamiento del Problema
Los Modelos de Lenguaje de Gran Escala Multimodales (MLLM) demuestran un potencial significativo para la Respuesta Visual a Preguntas (VQA) clínica y la generación de informes radiológicos. Sin embargo, su despliegue en entornos médicos de alto riesgo se ve obstaculizado por las "alucinaciones", específicamente las interpretaciones visuales erróneas donde los modelos generan conclusiones fluidas que contradicen o carecen de apoyo de la evidencia de imagen. Las estrategias de mitigación existentes suelen depender de entrenamientos adicionales, bases de conocimiento externas o una compleja verificación post-hoc de múltiples etapas. Estos enfoques aumentan los costos computacionales, la complejidad del flujo de trabajo y a menudo no logran generalizarse a través de diferentes modelos y tareas clínicas. Además, muchos métodos actuales dependen de la calibración estadística interna sin un anclaje anatómico explícito, lo que limita su robustez.

Metodología
Los autores proponen la Gobernanza de Percepción-Razonamiento Sinérgica (SPRG), un marco holístico y libre de entrenamiento diseñado para mitigar las alucinaciones en el tiempo de inferencia mediante la inyección de evidencia de doble vía. El marco opera sobre tres componentes principales:

1. Extracción de Evidencia Anatómica:
   El sistema utiliza MedSAM (un modelo Segment Anything adaptado para imágenes médicas) para extraer evidencia anatómica verificable. Dada una serie de cajas delimitadoras candidatas, MedSAM genera máscaras de segmentación. Estas se procesan en un conjunto de prioris de Región de Interés (ROI) determinista, $\mathcal{R}$, que consiste en máscaras de segmentación, cajas delimitadoras y etiquetas semánticas anatómicas derivadas del contexto clínico.

2. Mecanismo de Intervención de Percepción-Razonamiento:
   El marco interviene tanto en las trayectorias visuales como en las textuales del MLLM:

   • Inyección de Evidencia en el Lado Textual: Los prioris de ROI se convierten en descriptores de región estructurados (etiquetas anatómicas, coordenadas y dimensiones) y se serializan en tokens semánticos discretos. Estos tokens se inyectan directamente en el prompt textual ($\tilde{q}$) antes de que el modelo genere una respuesta. Esto ancla la trayectoria de razonamiento textual con una memoria externa verificable.
   • Recalibración de Activación en el Lado Visual: El sistema computa la densidad de cobertura espacial de las máscaras de ROI sobre los tokens de parches visuales. Se aplica una máscara suave a las características visuales ($\tilde{V}$) para modular las activaciones. Las características correspondientes a áreas fuera de la ROI se atenúan (mediante un factor $\beta$), mientras que las características alineadas con la ROI se preservan o mejoran (mediante un factor $\alpha$). Esto suprime el ruido de fondo y el colapso estructural fuera de la distribución, "escindiendo" efectivamente las vías visuales espurias.
   • Modulación Conjunta: Ambas estrategias pueden aplicarse simultáneamente para imponer una regularización complementaria.

3. Enrutador Dinámico Sensible a la Tarea:
   Reconociendo que diferentes tareas clínicas tienen distintas sensibilidades hacia las restricciones visuales frente a las textuales, los autores introducen un enrutador ligero y de costo de ejecución cero. Basándose en una clasificación de disparo cero (zero-shot) de la pregunta de entrada en cuatro categorías—Anatomía (CA), Medición (CM), Síntoma (CS) y Características de Radiología (CR)—el enrutador selecciona dinámicamente la intervención óptima:

   • Anatomía: Recalibración del lado visual (localización espacial).
   • Medición/Síntoma: Inyección en el lado textual (anclaje semántico preciso).
   • Características de Radiología: Estrategia conjunta (razonamiento cruzado complejo).

Contribuciones Clave

1. Marco Novedoso: Introducción de un marco libre de entrenamiento que mitiga las alucinaciones mediante la inyección de evidencia anatómica verificable de doble vía, tendiendo un puente entre la percepción visual bruta y el razonamiento clínico.
2. Mecanismo de Intervención: Desarrollo de un mecanismo que recalibra la percepción visual mediante la modulación de activación guiada por ROI y ancla el razonamiento textual mediante tokens semánticos discretos derivados de coordenadas anatómicas.
3. Enrutamiento Dinámico: Propuesta de un enrutador sensible a la tarea que ajusta las estrategias de intervención basadas en la semántica de la tarea, equilibrando el anclaje perceptivo y la fluidez lingüística.
4. Evaluación Exhaustiva: Establecimiento de una evaluación rigurosa entre modelos y tareas que involucra 2 tareas, 5 conjuntos de datos y 6 MLLMs (incluyendo LLaVA-1.5, LLaVA-Med, Qwen3-VL e InternVL-3.5).

Resultados
Experimentos extensos en los conjuntos de datos MM-VisHal (SLAKE, VQA-RAD) y CXR-VisHal (IU-Xray, MIMIC-CXR) demuestran la eficacia del marco:

• Tareas de Respuesta Cerrada: El marco supera consistentemente a las líneas base en todos los MLLM probados. La estrategia de enrutamiento dinámico logró las mayores mejoras de precisión general, con ganancias de +3.2% en MM-VisHal y +2.4% en CXR-VisHal. Estrategias específicas mostraron fortalezas específicas de dominio: la inyección en el lado textual dominó la precisión general, las restricciones del lado visual sobresalieron en preguntas relacionadas con la anatomía, y la estrategia conjunta funcionó mejor para las características de radiología.
• Tareas de Respuesta Abierta: En la tarea de generación de informes de MIMIC-CXR, la intervención del lado visual logró la tasa de alucinación más baja (puntuación CHAIR de 12.76%), reduciendo significativamente las interpretaciones visuales erróneas. La intervención del lado textual mantuvo una alta recuperación y mejoró la calidad narrativa (RaTEScore). La estrategia conjunta ofreció un equilibrio sólido entre la supresión de alucinaciones y la completitud del informe.
• Estudios de Ablación: Los resultados confirmaron que las mejoras dependen del anclaje espacial específico de las coordenadas de la ROI (las cajas delimitadoras aleatorias degradaron el rendimiento) y que la configuración óptima de ponderación visual es $(\alpha=1.0, \beta=0.1)$.

Significancia
El artículo afirma que SPRG proporciona un camino práctico y libre de entrenamiento hacia una generación controlada y visualmente anclada en los flujos de trabajo clínicos. Al aprovechar la evidencia anatómica verificable extraída mediante MedSAM, el método aborda la barrera crítica de los resultados inconsistentes con la evidencia sin requerir el reentrenamiento del modelo o sistemas complejos de recuperación externa. Los autores enfatizan que su enfoque ofrece una robustez superior sobre las líneas base existentes, mejorando la precisión del razonamiento de respuesta cerrada hasta en un ~6% y reduciendo las alucinaciones de respuesta abierta en un ~35%, aumentando así la confiabilidad de los MLLM en la toma de decisiones médicas de alto riesgo.