Resumen Técnico: VIHD - Detección de Alucinaciones Basada en Intervención Visual

Declaración del Problema

Los Modelos de Lenguaje Multimodal Grandes (MLLM) médicos han demostrado un potencial significativo para asistir en el diagnóstico clínico mediante la Respuesta a Preguntas Visuales (VQA) y la generación automatizada de informes. Sin embargo, persiste una limitación crítica: estos modelos generan frecuentemente respuestas alucinadas—salidas que son lingüísticamente coherentes pero contradicen la evidencia visual proporcionada. Tales errores plantean riesgos sustanciales para la toma de decisiones clínicas.

Los métodos existentes de detección de alucinaciones generalmente se dividen en tres categorías:

1. Detección Supervisada: Requiere conjuntos de datos anotados laboriosos y lucha por generalizarse a nuevos dominios o arquitecturas.
2. Verificación Externa: Depende de modelos auxiliares o bases de conocimiento, introduciendo una sobrecarga computacional significativa y dependencia de herramientas externas.
3. Detección Introspectiva: Métodos autónomos que estiman la incertidumbre o la consistencia lógica sin entrenamiento adicional. Aunque eficientes, los enfoques introspectivos actuales a menudo dependen de perturbaciones externas heurísticas y ajenas al contexto. Tratan a los MLLM como cajas negras, fallando en sondear las dependencias causales internas entre los tokens generados y la evidencia visual específica durante el proceso de decodificación.

Metodología: Marco VIHD

Los autores proponen VIHD (Detección de Alucinaciones Basada en Intervención Visual), un marco libre de entrenamiento diseñado para sondear la fidelidad del razonamiento multimodal mediante intervenciones visuales dirigidas y de granularidad fina. El método opera en tres etapas distintas:

1. Sondeo de Dependencia Visual (VDP)

Para identificar dónde el modelo depende más pesadamente de la evidencia visual, VIHD analiza los mecanismos de atención dentro del decodificador del LLM.

• Mecanismo: Calcula los pesos de atención entre los tokens generados y los tokens visuales de entrada a través de todas las capas del decodificador y las cabezas de atención.
• Localización: Agrega estos pesos para cuantificar la dependencia visual por capa ($s^{(l)}$). El método identifica luego una ventana contigua de $w$ capas $[l^*, l^*+w-1]$ que exhibe la dependencia visual acumulada más fuerte. Esto asegura que las intervenciones se apliquen donde la atención multimodal es más prominente.

2. Decodificación por Intervención Visual (VID)

Una vez identificadas las capas visualmente dominantes, VIHD realiza una intervención dirigida para observar cómo cambia la salida del modelo cuando se suprime evidencia visual específica.

• Mecanismo: Durante el proceso de decodificación dentro de la ventana identificada, el algoritmo enmascara la fracción superior-$\rho$ de los tokens visuales que tienen los pesos de atención más altos en relación con el token generado actual.
• Resultado: Esto produce una "respuesta intervenida" ($r'$) condicionada a una representación visual perturbada. Al comparar la respuesta original ($r$) con la respuesta intervenida ($r'$), el método revela la dependencia del modelo sobre tokens visuales específicos.

3. Entropía Semántica Calibrada (CSE)

Para cuantificar la severidad de la alucinación, VIHD calcula una métrica basada en la distribución semántica de las respuestas.

• Muestreo: El modelo realiza $M$ ejecuciones de muestreo independientes para generar dos conjuntos de respuestas: respuestas normales $\{r^{(i)}\}$ y respuestas intervenidas visualmente $\{r'^{(i)}\}$.
• Agrupamiento: Estas respuestas se agrupan en clases de equivalencia semántica utilizando un modelo preentrenado (DeBERTa-Large-MNLI), obteniendo una distribución semántica normal $P(s)$ y una distribución intervenida $P(s')$.
• Fusión Adaptativa: Reconociendo que el impacto de la intervención varía según la granularidad de la consulta, VIHD emplea una estrategia de fusión adaptativa:
  • Si las distribuciones coinciden estrechamente (similitud coseno $\ge \tau$), utiliza fusión complementaria para reforzar las semánticas compartidas.
  • Si divergen, utiliza fusión contrastiva para suprimir las alucinaciones inducidas por el enmascaramiento.
• Métrica: La Entropía Semántica Calibrada (CSE) final se calcula a partir de esta distribución fusionada. Una CSE más alta indica una dispersión semántica significativa entre las salidas originales e intervenidas, sirviendo como una señal robusta de alucinación.

Contribuciones Clave

1. Marco VIHD: Introducción de un método libre de entrenamiento que utiliza intervenciones visuales de granularidad fina para sondear dependencias causales internas, superando las perturbaciones heurísticas de caja negra.
2. Pipeline Adaptativo: Diseño de un pipeline de tres etapas que comprende Sondeo de Dependencia Visual (para ubicar capas críticas), Decodificación por Intervención Visual (para enmascarar tokens de alta atención) y Entropía Semántica Calibrada (para cuantificar la severidad mediante fusión adaptativa de distribuciones).
3. Superioridad Empírica: Validación extensa que demuestra que VIHD supera consistentemente a los métodos introspectivos más avanzados en diversos puntos de referencia de VQA médica y arquitecturas de modelos.

Resultados Experimentales

Los autores evaluaron VIHD en tres puntos de referencia de VQA médica (VQA-RAD, SLAKE y VQA-Med-2019) utilizando dos MLLM médicos (Hulu-4B y Lingshu-7B). Las etiquetas de alucinación se generaron utilizando el modelo GREEN, y el rendimiento se midió mediante AUC (Área bajo la Curva ROC) y AUG (Área bajo la Curva GREEN).

• Mejoras de Rendimiento: VIHD superó consistentemente a siete métodos competidores (incluyendo incertidumbre de tokens, basados en consistencia y líneas base de incertidumbre semántica).
  • En Hulu-4B, VIHD mejoró el AUC promedio en un 8.57% en todas las preguntas y logró un aumento sustancial del 12% en AUC en el conjunto de datos VQA-RAD.
  • En Lingshu-7B, mantuvo una ventaja con una mejora promedio de AUC del 3.22% en general.
• Eficiencia: El tiempo de inferencia para VIHD fue de aproximadamente 11.59 segundos por muestra, comparable a la línea base líder VASE (11.55s/muestra), lo que indica que las mejoras de rendimiento se lograron sin costos computacionales adicionales.
• Estudios de Ablación:
  • La eliminación de cualquier componente (VDP, VID o CSE) resultó en una degradación del rendimiento, validando la necesidad del pipeline completo.
  • Se encontró que el enmascaramiento de alta atención es superior al enmascaramiento aleatorio o de baja atención, confirmando que dirigirse a tokens visuales salientes es crucial para una calibración efectiva.
  • Se identificaron un ancho de ventana deslizante de $w = L/2$ y una relación de enmascaramiento de $\rho = 10\%$ como hiperparámetros óptimos.

Significado y Afirmaciones

El artículo afirma que VIHD subraya la importancia de la dependencia visual de granularidad fina para la detección de alucinaciones. Al pasar de perturbaciones externas heurísticas a intervenciones internas dirigidas basadas en los propios mecanismos de atención del modelo, VIHD proporciona una señal más fiable para detectar cuándo un modelo está alucinando.

Los autores posicionan a VIHD como una solución apta para el despliegue y libre de entrenamiento que no requiere conjuntos de datos de alucinación anotados ni herramientas de verificación externas. Las mejoras consistentes a través de diferentes capacidades de modelos y características de conjuntos de datos sugieren que el método aborda efectivamente el problema central de los MLLM generando afirmaciones médicas lingüísticamente plausibles pero sin apoyo visual. El código se pone a disposición para facilitar investigaciones futuras en este dominio.