Structure Causal Models and LLMs Integration in Medical Visual Question Answering

Probleemstelling

Medische Visuele Vraag-Antwoordtaken (MedVQA) hebben als doel medische vragen te beantwoorden op basis van medische beelden. Hoewel dit veld groeit door de opkomst van Large Language Models (LLMs), kampt het met fundamentele uitdagingen:

1. Data-bias en Confounders: Medische datasets zijn vaak onbalans (bijv. veel meer gevallen van longinfiltratie dan van pleurale effusie). Dit leidt tot confounders (verstorende variabelen) die onzichtbaar zijn. Modellen leren hierdoor vaak schijnrelaties (spurious correlations) in plaats van echte causale relaties. Bijvoorbeeld, een model kan een antwoord geven op basis van de frequentie van een ziekte in de trainingsdata in plaats van op de daadwerkelijke visuele kenmerken in de afbeelding.
2. Relativiteit van Confounders: Een gebied in een afbeelding dat de oorzaak is voor het antwoord op vraag A, kan fungeren als een verstorende factor (confounder) voor vraag B. Bestaande methoden negeren vaak deze relatieve aard van confounders.
3. LLM-uitdagingen: Zonder adequate sturing genereren LLMs vaak irrelevante of niet-standaard antwoorden, wat de praktische bruikbaarheid in de kliniek beperkt.

Methodologie

De auteurs stellen een nieuw raamwerk voor: de Causal Inference Framework (CIF), geïntegreerd met een Prompt Module (PM).

1. Causale Analyse en Front-Door Adjustment

Het artikel gebruikt Structurele Causale Modellen (SCM) om de relaties tussen het medische beeld ($I$), de vraag ($Q$) en het antwoord ($A$) te modelleren.

• Probleem: Er bestaan "backdoor-paden" ($I, Q \leftarrow C \rightarrow A$) waarbij $C$ de onwaarneembare confounders vertegenwoordigt.
• Oplossing: Omdat $C$ niet direct geobserveerd kan worden, gebruiken de auteurs de Front-Door Adjustment. Ze introduceren twee mediators:
  • $M_i$: Visuele mediator.
  • $M_q$: Tekstuele mediator.
• Implementatie:
  • Mutual Information: Wordt gebruikt om de correlatie tussen beeld en tekst te kwantificeren en te zorgen dat de steekproeven van de mediators gebaseerd zijn op echte causale relaties.
  • Multi-variable Resampling: Een methode om de mediators dynamisch te herschikken per vraag, zodat de specifieke confounder voor elke vraag wordt geïdentificeerd en geëlimineerd.
  • Netwerkarchitectuur: Het model gebruikt een "Visual De-confounding Network" en een "Textual De-confounding Network". Deze gebruiken attention-mechanismen om de mediators ($M_i, M_q$) te integreren met de originele features ($F_i, F_q$), waardoor de schijnrelaties worden doorbroken en alleen de causale effecten overblijven.

2. Prompt Module (PM)

Om de LLM's (zoals LLaMA) beter te sturen en de interpretatie van complexe medische data te verbeteren:

• Er wordt een prompt-strategie ontwikkeld die instructies, de oorspronkelijke vraag en een reeks gegenereerde voorbeeld-vraag-antwoordparen (QA-pairs) combineert.
• Deze gegenereerde QA-pairs fungeren als "in-context learning" voorbeelden die de LLM helpen zich te concentreren op causale patronen in plaats van alleen tekstuele aanwijzingen.
• De prompts worden gegenereerd door het model zelf op basis van de afbeelding, wat de context verrijkt.

3. Trainingsstrategie

Voor gesloten vragen (multiple choice) en open vragen wordt een aangepaste verliesfunctie gebruikt die een KL-divergentie bevat ($L_{cau}$). Deze loss zorgt ervoor dat de voorspellingen van het oorspronkelijke model consistent blijven met die van het causale model, waardoor de echte causale effecten worden benadrukt.

Belangrijkste Bijdragen

1. Nieuw Causaal Raamwerk (CIF): Het eerste raamwerk dat expliciet rekening houdt met de relativiteit van confounders in MedVQA. Het introduceert een multi-variabele herschikking met front-door adjustment om verstorende factoren in zowel beeld als tekst te elimineren.
2. Prompt Strategie: Een innovatieve module die de LLM's leidt tot gestructureerde en nauwkeurige antwoorden door gebruik te maken van gegenereerde voorbeelden en instructies, wat de interpretatie van complexe medische data verbetert.
3. Uitgebreide Validatie: De methode is getest op vijf verschillende MedVQA-datasets (VQA-RAD, SLAKE, PathVQA, PMC-VQA, ProbMed) en toont aan dat het zowel de nauwkeurigheid als de causaliteit van de inferentie verbetert.

Resultaten

De experimenten tonen aanzienlijke verbeteringen ten opzichte van State-of-the-Art (SOTA) methoden:

• Nauwkeurigheid: Op de SLAKE-dataset bereikte het model (met LLaMA-13B) een totale nauwkeurigheid van 91.0%, een verbetering van 2.3% ten opzichte van de beste bestaande methode. Op VQA-RAD werd een totale nauwkeurigheid van 83.1% bereikt.
• Ablatie Studies:
  • Het gebruik van alleen CIF verbeterde de nauwkeurigheid op PathVQA met 9.0% en op ProbMed met 13.3%.
  • De combinatie van CIF en PM leverde de beste resultaten, wat aantoont dat ze complementair werken: CIF elimineert ruis (confounders) en PM optimaliseert de interpretatie door de LLM.
• Kwalitatieve Analyse: Visualisaties van de aandacht (attention maps) tonen aan dat het model zonder CIF vaak kijkt naar verkeerde gebieden (bijv. de rechterlong in plaats van de linkerlong bij pleurale effusie). Met CIF richt het model zich correct op de causale gebieden in de afbeelding.
• Robuustheid: De methode presteert consistent goed over verschillende vraagtypes (open en gesloten) en verschillende medische modaliteiten (röntgen, CT, MRI).

Betekenis

Dit werk is significant omdat het een brug slaat tussen causale inferentie en multimodale LLM's in de medische domein.

• Het lost het probleem van "spurious correlations" op, wat cruciaal is voor de betrouwbaarheid van AI in de kliniek.
• Het toont aan dat het elimineren van bias niet alleen statistisch, maar causaal moet gebeuren om echte medische inzichten te verkrijgen.
• De methode biedt een schaalbare aanpak die de interpretatie van complexe medische data verbetert zonder de noodzaak om de onderliggende grote taalmodellen volledig opnieuw te trainen (ze blijven "frozen"), wat de implementatiekosten verlaagt.

Kortom, de auteurs bewijzen dat het integreren van causale redenering en prompt-engineering essentieel is om MedVQA-systemen te maken die niet alleen statistisch correct zijn, maar medisch en causaal valide.