DREAM: Dynamic Retinal Enhancement with Adaptive Multi-modal Fusion for Expert Precision Medical Report Generation

Probleemstelling

Het automatiseren van medische rapporten voor retinale afbeeldingen vereist een complexe combinatie van visuele patroonherkenning en diepgaande klinische kennis. Bestaande Large Vision-Language Models (LVLMs) hebben moeite in gespecialiseerde medische domeinen waar data schaars is. Dit leidt vaak tot overfitting en het missen van subtiele maar kritieke pathologieën.
De huidige uitdagingen zijn:

1. Staticiteit: Bestaande methoden gebruiken statische fusiestrategieën die visuele en tekstuele kenmerken combineren zonder dynamisch te kunnen schakelen tussen modaliteiten afhankelijk van de context (bijv. meer vertrouwen op klinische sleutelwoorden bij ambiguïteit).
2. Computational Cost: Generalistische LVLMs (zoals LLaVA-Med) zijn vaak te zwaar voor klinische implementatie en vereisen enorme rekenkracht.
3. Factuele Hallucinaties: Zonder expliciete domeinkennis neigen modellen ertoe onjuiste diagnoses te genereren, wat in de oogheelkunde klinisch gevaarlijk kan zijn.

Methodologie: Het DREAM Framework

DREAM (Dynamic Retinal Enhancement with Adaptive Multi-modal Fusion) is een nieuw framework dat een twee-traps dynamisch fusieproces introduceert om rapporten te genereren op basis van retinale afbeeldingen en door oogartsen gecureerde klinische sleutelwoorden.

1. Representatieleren (Representation Learning)

• Visueel: Een vooraf getrainde EfficientNetV2B0 (ConvBase) extraheren initiële feature maps, die vervolgens worden verfijnd door een Guided Context Attention (GCA) module. Dit verhoogt de gevoeligheid voor laesie-specifieke details.
• Taal: Een Transformer-encoder verwerkt de klinische sleutelwoorden om contextuele embeddings te genereren die de nuances tussen de termen vastleggen.

2. Abstractor Module (Dynamische Retinale Versterking)
Deze module voert een bidirectionele cross-attention uit tussen de visuele features en de taal-embeddings.

• Het projecteert beide modaliteiten naar een gedeelde ruimte.
• Visuele features worden "gequeryd" door de linguïstische context en vice versa.
• Doel: Het selectief benadrukken van visuele aanwijzingen die relevant zijn voor de pathologie en het onderdrukken van sleutelwoorden die geen visuele ondersteuning hebben, waardoor hallucinaties worden verminderd.

3. Adaptor Module (Adaptieve Multi-modale Fusie)
Deze module voert de daadwerkelijke adaptieve fusie uit.

• Het introduceert een leerbare modality indicator (een soft gate) die dynamisch bepaalt hoe belangrijk visuele versus linguïstische features zijn voor een specifieke input.
• Het gebruikt een ontkoppelde cross-modale attention-mechanisme: de query-projectie is gedeeld, maar de key- en value-projecties zijn modaliteitsspecifiek.
• Doel: Het behoud van de unieke statistieken van elke modaliteit (dichte pixel-data vs. schaarse categorische woorden) terwijl ze effectief worden geïntegreerd.

4. Taalmodel met Contrastieve Uitlijning

• Een Contrastive Alignment module gebruikt een InfoNCE-verlies om de gefuseerde representatie uit te lijnen met de globale semantiek van het grondwaarheid-rapport. Dit zorgt ervoor dat de latente ruimte semantisch correct is.
• De uiteindelijke rapportgeneratie gebeurt door LLaMA-X, een compacte aanpassing van LLaMA, die gebruikmaakt van efficiënte technieken zoals Grouped Query Attention (GQA) en SwiGLU.

Belangrijkste Bijdragen

1. Abstractor Module: Een bidirectionele cross-attention mechanisme dat visuele cues verrijkt met klinische kennis en hallucinaties onderdrukt.
2. Adaptor Module: Een adaptieve fusie met een leerbare modality indicator en ontkoppelde attention, wat zorgt voor per-sample aanpassing in plaats van statische concatenatie.
3. Contrastive Alignment: Een doelstelling die de gefuseerde representatie grondt in de globale semantiek van medische rapporten, wat factuele fouten minimaliseert.
4. Efficiëntie: Het model is lichtgewicht en kan draaien op standaard hardware, in tegenstelling tot de zware LVLM-baselines.

Resultaten

Het model is getest op de DeepEyeNet dataset (15.710 retinale afbeeldingen) en getransfereerd naar de ROCOv2 dataset voor generalisatie.

• Prestaties op DeepEyeNet: DREAM bereikt een nieuwe state-of-the-art met een BLEU-4 score van 0,241 en een CIDEr score van 0,576. Dit is een significante verbetering ten opzichte van de beste bestaande modellen (zoals GCS-M3VLT en mPLUG-Owl2).
• Semantische Kwaliteit: De BERT-F1 score van 0,91 bevestigt dat de gegenereerde rapporten niet alleen grammaticaal correct zijn, maar ook klinisch en contextueel rijk.
• Efficiëntie: DREAM gebruikt slechts ongeveer 0,36 miljard parameters en vereist 5 GFLOPs voor inferentie, vergeleken met baselines die vaak 7-8 miljard parameters en 25-30 GFLOPs nodig hebben.
• Generalisatie: Op de ROCOv2 dataset (radiologie) behaalde het model sterke resultaten (BLEU-4: 0,228), wat aantoont dat de architectuur niet beperkt is tot oogheelkunde.
• Kwalitatieve Analyse: Visuele aandachtskarten tonen aan dat DREAM zich precies richt op de pathologische laesies, terwijl concurrenten vaak hallucineren of onjuiste details inventeren.

Betekenis en Conclusie

DREAM overbrugt de kloof tussen gespecialiseerde, maar starre retinale modellen en generalistische, maar zware LVLMs. Door expertkennis (sleutelwoorden) te integreren via een dynamisch, adaptief fusieproces, levert het rapporten op die zowel nauwkeurig als betrouwbaar zijn.
De belangrijkste implicatie is dat dit systeem klinisch inzetbaar is: het is lichtgewicht genoeg voor ziekenhuisinfrastructuur, maar robuust genoeg om subtiele pathologieën te diagnosticeren zonder hallucinaties. Dit vormt een belangrijke stap naar het automatiseren van medische documentatie en het verbeteren van de toegang tot gespecialiseerde zorg, vooral in onderbelaste regio's.