Structure Causal Models and LLMs Integration in Medical Visual Question Answering

Título del Trabajo

Integración de Modelos Causales Estructurales y LLMs en la Respuesta a Preguntas Visuales Médicas (MedVQA)

1. El Problema

La Respuesta a Preguntas Visuales Médicas (MedVQA) busca responder preguntas clínicas basándose en imágenes médicas. A pesar de los avances, este campo enfrenta dos desafíos críticos:

• Sesgo de Datos y Confusores Ocultos: Los conjuntos de datos médicos suelen estar desequilibrados, lo que introduce sesgos. Esto genera confusores (variables no observadas) que crean correlaciones espurias entre las imágenes, las preguntas y las respuestas. Por ejemplo, un modelo puede aprender a asociar "infiltración" con "pulmón derecho" simplemente porque esos datos aparecen juntos con frecuencia en el entrenamiento, en lugar de entender la relación causal real. Esto lleva a inferencias incorrectas cuando la pregunta cambia (relatividad de los confusores).
• Limitaciones de los LLMs: Aunque los Modelos de Lenguaje Grande (LLMs) tienen gran potencial, tienden a generar respuestas irrelevantes o no estandarizadas si no se les guía adecuadamente. Además, dependen de asociaciones estadísticas superficiales en lugar de razonamiento causal profundo, lo que reduce su fiabilidad en aplicaciones clínicas.

2. Metodología Propuesta

Los autores proponen un Marco de Inferencia Causal (CIF) que integra modelos de causalidad estructural con LLMs. La solución se basa en tres componentes principales:

A. Análisis Causal y Ajuste Front-Door

• Grafo Causal: Se modela la tarea como un grafo acíclico dirigido donde las imágenes ($I$) y preguntas ($Q$) influyen en la respuesta ($A$) a través de características fusionadas ($F$). Sin embargo, existen caminos de "retroceso" (backdoor paths) causados por confusores ($C$) que distorsionan la inferencia.
• Ajuste Front-Door (Front-Door Adjustment): Dado que los confusores son a menudo no observables, el método utiliza el ajuste front-door. Introduce dos mediadores:
  • $M_i$: Mediador visual.
  • $M_q$: Mediador textual.
• Resampling Multivariable: Se emplea un método de resampling multivariable para estimar estos mediadores. Esto permite "cortar" el camino de confusión y estimar la probabilidad causal $P(A|do(I, Q))$, eliminando el efecto de las correlaciones espurias.
• Mecanismo de Atención: Se utilizan redes de desconfusión (visual y textual) basadas en mecanismos de atención (MHA) y MLP para extraer características causales puras ($F'_i, F'_q$) que son independientes de los sesgos de los datos.

B. Módulo de Prompt (PM)

• Para mejorar la capacidad de los LLMs, se introduce un Módulo de Prompt que genera un conjunto de pares pregunta-respuesta (QA) sintéticos basados en la imagen original.
• Estos pares actúan como ejemplos (few-shot) e instrucciones estructuradas para guiar al LLM hacia respuestas médicas precisas y estandarizadas, alineando el contexto textual con las características causales extraídas.

C. Estrategia de Entrenamiento

• Se utilizan funciones de pérdida combinadas: pérdida de entropía cruzada para preguntas cerradas, pérdida de generación de secuencia para preguntas abiertas, y una pérdida de divergencia KL ($L_{cau}$) para asegurar que las características causales ajustadas mantengan consistencia con las características originales, reforzando el efecto causal real.

3. Contribuciones Clave

1. Marco de Inferencia Causal (CIF) Novel: Es el primer trabajo que introduce una estructura de grafo causal que captura explícitamente la interacción entre elementos visuales y textuales, abordando la relatividad de los confusores (donde un confusor para una pregunta puede ser la causa real para otra).
2. Ajuste Front-Door Multivariable: Propone un método de resampling para eliminar confusores relativos en datos multimodales, alineando las características basándose en su relevancia causal real en lugar de asociaciones estadísticas.
3. Estrategia de Prompt Híbrida: Integra un módulo de prompt que combina instrucciones y ejemplos generados dinámicamente para guiar a los LLMs, mejorando la precisión y la utilidad práctica de las respuestas médicas.
4. Validación Exhaustiva: Demostración de la robustez del método en cinco conjuntos de datos médicos diversos (VQA-RAD, SLAKE, PathVQA, PMC-VQA, ProbMed).

4. Resultados Experimentales

El modelo fue evaluado en cinco conjuntos de datos públicos, utilizando backbones visuales (CLIP ViT-B/16) y de lenguaje (LLaMA-7B y LLaMA-13B).

• Rendimiento General: El método propuesto superó a los métodos más avanzados (SOTA) en todos los conjuntos de datos.
  • En VQA-RAD, logró una mejora del 1.5% en precisión general sobre el SOTA.
  • En SLAKE, alcanzó el 91.0% de precisión general (con LLaMA-13B), superando al segundo mejor método por un margen significativo.
  • En PathVQA, mostró ventajas notables en preguntas abiertas, donde la capacidad de razonamiento y generación creativa es crucial.
• Estudio de Ablación:
  • El uso exclusivo de CIF mejoró la precisión hasta en un 13.3% en el conjunto de datos ProbMed, demostrando su eficacia para mitigar correlaciones espurias.
  • El Módulo de Prompt (PM) mejoró la comprensión de preguntas complejas, especialmente en datasets con diversidad de tipos de preguntas.
  • La combinación de CIF + PM obtuvo los mejores resultados, confirmando su efecto complementario.
• Análisis Cualitativo: Las visualizaciones de atención muestran que, sin CIF, el modelo se distrae con regiones irrelevantes (confusores). Con CIF, la atención se centra correctamente en las áreas causales relevantes (ej. localizar correctamente una efusión pleural en el pulmón izquierdo en lugar del derecho).

5. Significado e Impacto

Este trabajo representa un avance significativo en la intersección de la inteligencia artificial médica y la inferencia causal.

• Fiabilidad Clínica: Al eliminar las correlaciones espurias y centrarse en relaciones causales verdaderas, el modelo reduce el riesgo de diagnósticos erróneos basados en sesgos de datos, aumentando la confianza en aplicaciones clínicas.
• Generalización: La capacidad de manejar la "relatividad de los confusores" permite que el modelo se adapte mejor a escenarios clínicos complejos y diversos donde las relaciones entre síntomas y patologías no son estáticas.
• Eficiencia de LLMs: Demuestra cómo integrar técnicas de causalidad con LLMs preentrenados puede mejorar su rendimiento en tareas de nicho (como la medicina) sin necesidad de un entrenamiento masivo desde cero, reduciendo costos de despliegue.

En resumen, la propuesta transforma el enfoque de MedVQA de uno puramente estadístico a uno causal, logrando respuestas más precisas, interpretables y clínicamente relevantes.