Noise-Aware Visual Representation Learning for Medical Visual Question Answering

Technische Samenvatting: Ruisbewuste Visuele Representatie-lering voor Medische Visuele Vraag-Antwoord Systemen

Probleemstelling
Medische Visuele Vraag-Antwoord systemen (Med-VQA) beogen AI-systemen in staat te stellen medische beelden te interpreteren en klinische vragen te beantwoorden, wat aanzienlijk potentieel biedt voor besluitvormingsondersteuning. De huidige state-of-the-art benaderingen koppelen doorgaans bevroren, kant-en-klare visuele encoders (bijv. CLIP) aan Large Language Models (LLMs) via lichtgewicht mapping-netwerken (zoals MLPs of query-gebaseerde transformers) om de computationele kosten te verlagen. Deze methoden negeren echter vaak de robuustheid van visuele representaties tegen ruis. Medische beelden bevatten frequent ruis en irrelevante variaties die zijn geïntroduceerd tijdens acquisitie en transmissie. Wanneer standaard projectie-gebaseerde adapters deze ruizige visuele embeddings direct naar de inputruimte van het taalmodel mappen, propageren ze zowel klinisch relevante informatie als ruis, wat de diagnose en downstream-analyse potentieel kan verslechteren. Bestaand Med-VQA-onderzoek heeft de verfijning van visuele embeddings vóór hun projectie in het taalmodel relatief onderbelicht gelaten.

Methodologie
De auteurs stellen een ruisbewust Med-VQA-framework voor dat een Denoising Autoencoder (DAE) incorporeert vóór de visuele mapping-fase. Het framework volgt een tweetraps trainingsparadigma:

1. Fase 1: Denoising Representatie-lering

   • Input: Visuele embeddings ($v$) worden geëxtraheerd uit een bevroren CLIP-visuele encoder.
   • Corruptie: Tijdens de pretraining wordt Gaussische ruis ($\epsilon \sim \mathcal{N}(0, \sigma^2I)$) toegevoegd aan de schone embeddings om gecorrumpeerde inputs te creëren ($\tilde{v} = v + \epsilon$). De studie evalueert ruisniveaus van $\sigma \in \{0.1, 0.5, 1.0\}$.
   • Architectuur: Een denoising autoencoder, bestaande uit een encoder en een decoder met een dimensionale bottleneck (die 512 dimensies comprimeert naar 128 via een 256-dimensionale verborgen laag), wordt getraind om de oorspronkelijke schone embeddings te reconstrueren uit de gecorrumpeerde inputs.
   • Doel: Het model wordt geoptimaliseerd met een Smooth L1-reconstructieverlies. Het doel is om de encoder te dwingen robuuste latente representaties ($z$) te leren die stabiele onderliggende structuren vastleggen terwijl ze ruis-gerelateerde variaties onderdrukken.
   • Resultaat: Na de pretraining wordt de decoder weggegooid en wordt alleen de encoder behouden voor de volgende fase.

2. Fase 2: Generatieve Med-VQA Training

   • Mapping: De robuuste latente representaties ($z$) geproduceerd door de bevroren DAE-encoder worden geprojecteerd in de embeddingruimte van de LLM met behulp van een 3-laagse Multi-Layer Perceptron (MLP). Deze worden gehervormd tot "visuele prefix tokens" ($P_v$).
   • Integratie: Deze visuele prefix tokens worden geconcateneerd met tekstuele embeddings (vraag en context) om de inputsequentie voor een vooraf getrainde LLM (GPT-2 XL) te vormen.
   • Fine-tuning: Het framework maakt gebruik van Low-Rank Adaptation (LoRA) voor parameterefficiënte fine-tuning. Dit stelt de LLM in staat om zich aan te passen aan het medische domein en de visuele prefix tokens door alleen een kleine subset van de aandachtsparameters bij te werken, terwijl de backbone LLM en de DAE-encoder bevroren blijven.
   • Doel: Het model wordt getraind met een standaard taalmodellering-doel (cross-entropy) om antwoorden autoregressief te genereren.

Belangrijkste Bijdragen

• Tweetraps Ruisbewuste Lering: Het artikel introduceert een ontkoppeld trainingsparadigma waarbij denoising representatie-lering gescheiden is van generatieve alignment. Dit stelt het model in staat om expliciet robuustheid tegen irrelevante perturbaties te leren voordat het deelneemt aan cross-modale alignment.
• Gestructureerde Robuustheids Evaluatie: De auteurs stellen een systematische evaluatiemethode voor waarbij ruis in visuele embeddings wordt geïnjecteerd tijdens de inferentie om de veerkracht van verschillende architecturen (Baseline, Autoencoder en Denoising Autoencoder) onder zowel schone als gecorrumpeerde condities te beoordelen.
• Empirische Validatie: De methode wordt geëvalueerd op twee diverse benchmarks: SLAKE (radiologiebeelden) en PathVQA (histopathologiebeelden), die zowel open-ended als Yes/No vraagtypen dekken.

Experimentele Resultaten
Het voorgestelde DAE-framework vertoont een superieure robuustheid vergeleken met baselines die visuele embeddings direct projecteren en standaard Autoencoder (AE) varianten zonder ruisinjectie:

• Winst in Robuustheid: Op de SLAKE dataset verbeterde de DAE-aanpak de gemiddelde nauwkeurigheid onder ruizige evaluatie-instellingen van 0.642 (Baseline LoRA) naar 0.735 en van 0.473 (Baseline Frozen) naar 0.713. Op PathVQA werden verbeteringen waargenomen van 0.514 naar 0.568 (LoRA) en van 0.348 naar 0.518 (Frozen).
• Schone Prestaties: Hoewel het DAE-framework concurrerende of state-of-the-art prestaties behaalde op schone benchmarks (bijv. het evenaren van de hoogste nauwkeurigheid van 0.756 op SLAKE met LoRA), werd het primaire voordeel waargenomen onder ruizige condities. Het DAE-model behield een hogere nauwkeurigheid naarmate de ruisniveaus toenamen, terwijl baseline en standaard AE-modellen significante prestatiedalingen lieten zien.
• Optimaal Corruptieniveau: Experimenten gaven aan dat matige ruiscorruptie tijdens de Stage 1 training ($\sigma = 0.5$) de beste afweging bood tussen schone nauwkeurigheid en robuustheid tegen ruis tijdens de inferentie.

Betekenis en Claims
Het artikel claimt dat het leren van robuuste visuele representaties door middel van embedding-niveau denoising een veelbelovende strategie is voor het verbeteren van Med-VQA systemen, met name de systemen die getraind zijn op relatief kleine medische datasets. De bevindingen suggereren dat het expliciet adresseren van ruis en irrelevante variaties in visuele embeddings, vóórdat deze in de LLM embeddingruimte worden gemapt, de stabiliteit en effectiviteit van de antwoordgeneratie aanzienlijk kan verbeteren. De auteurs merken op dat hoewel hun aanpak Gaussische ruis gebruikt als een gecontroleerde proxy voor corruptie, toekomstig werk meer realistische medische beeldvormingsartefacten kan verkennen. De studie concludeert dat denoising-gebaseerde representatie-lering een levensvatbaar pad biedt voor meer veerkrachtige medische AI zonder de noodzaak van volledige hertraining van grote backbone-modellen.