MammoWise: Multi-Model Local RAG Pipeline for Mammography Report Generation

Het artikel introduceert MammoWise, een lokaal, reproduceerbaar en uitbreidbaar framework dat open-source Vision Language Models combineert met Retrieval Augmented Generation (RAG) en parameter-efficiënte fine-tuning om nauwkeurige mammografie-rapporten en classificaties te genereren zonder afhankelijkheid van gesloten cloudsystemen.

De kern

Stel je voor dat een mammografie (een röntgenfoto van de borst) een heel ingewikkeld raadsel is. Een radioloog moet naar deze foto's kijken, kleine details zien die het menselijk oog soms mist, en vervolgens een verslag schrijven. Dit verslag moet niet alleen vertellen wat er te zien is, maar ook een officiële code geven (BI-RADS) die bepaalt of er actie nodig is, zoals een biopsie.

Dit proces is zwaar, tijdrovend en elke arts schrijft het verslag net iets anders. Soms zijn er foutjes, soms duurt het te lang.

MammoWise is een nieuwe, slimme computerhulp die dit proces lokaal (op de eigen computer, zonder de cloud) kan overnemen. Het is alsof je een persoonlijke, digitale assistent krijgt die net zo goed is als een ervaren radioloog, maar die nooit moe wordt.

Hier is hoe het werkt, vertaald in alledaagse termen:

1. De Basis: Een "Leesmachine" die nog moet leren

Stel je voor dat je een nieuwe, zeer intelligente robot hebt (een zogenaamd Vision Language Model). Deze robot kan foto's zien en tekst schrijven. Maar als je hem zo'n robot direct een mammografie geeft, zegt hij misschien: "Ik zie een witte vlek, misschien is het een tumor, misschien is het een knoop." Hij is te onzeker en maakt fouten.

In de paper proberen ze drie verschillende soorten robots:

• MedGemma: Een robot die specifiek is getraind op medische teksten.
• LLaVA-Med: Een robot die is getraind op biomedische data.
• Qwen2.5-VL: Een krachtige robot die goed is in het begrijpen van beelden en tekst, maar niet specifiek medisch getraind.

2. De Drie Manieren om de Robot te helpen

De onderzoekers hebben drie manieren bedacht om deze robots slimmer te maken voor dit specifieke werk:

A. De "Voorbeeldjes"-methode (Prompting)

Stel je voor dat je de robot een briefje geeft met de instructie: "Je bent een expert. Kijk naar de foto en schrijf een verslag."

• Zero-shot: Je geeft alleen de opdracht. De robot probeert het, maar maakt nog veel fouten.
• Few-shot: Je geeft de robot 5 voorbeeldverslagen van echte artsen. "Kijk, zo ziet een goed verslag eruit." Dit helpt de robot enorm om de juiste toon en structuur te krijgen.
• Chain-of-Thought: Je zegt tegen de robot: "Denk eerst na over de dichtheid van het weefsel, zoek dan naar bultjes, en pas daarna geef je een oordeel." Dit dwingt de robot om stap voor stap te redeneren, net als een mens.

B. De "Bibliotheek"-methode (RAG - Retrieval Augmented Generation)

Stel je voor dat de robot niet alleen naar de foto kijkt, maar ook direct naar een digitale bibliotheek kan grijpen.

• De robot zoekt in zijn bibliotheek naar eerdere gevallen die lijken op de huidige patiënt.
• Hij pakt die oude verslagen erbij en zegt: "Kijk, bij deze soort foto was het een goedaardige cyste. Laten we dat als voorbeeld nemen."
• Dit helpt de robot om minder te "hallucineren" (dingen verzinnen die er niet zijn) en meer te vertrouwen op feiten uit het verleden.

C. De "Opleidingsmethode" (Fine-Tuning / QLoRA)

Soms is voorbeelden geven niet genoeg. De robot moet echt leren.

• Maar een hele robot herschrijven is duur en zwaar voor de computer.
• Daarom gebruiken ze een slimme truc genaamd QLoRA. Het is alsof je de robot niet volledig opnieuw opvoedt, maar alleen een paar specifieke "brilglazen" op zijn ogen zet die zijn aangepast aan mammografie.
• Hierdoor wordt de robot extreem goed in het herkennen van specifieke details (zoals verkalkingen of bultjes) zonder dat je een supercomputer nodig hebt.

3. Wat hebben ze ontdekt?

De onderzoekers hebben dit getest op duizenden echte mammografie-foto's. Hier zijn de belangrijkste resultaten, vertaald:

• Verslagen schrijven: De robots kunnen al heel goed verslagen schrijven die lijken op die van echte artsen, vooral als je ze wat voorbeelden geeft (Few-shot) of als ze naar hun bibliotheek kunnen kijken (RAG).
• Diagnoses stellen: Alleen maar vragen ("Wat zie je hier?") werkt niet altijd goed voor het geven van een officiële code (BI-RADS). De robots maken dan nog te veel fouten.
• De oplossing: Als je de robot even "opleidt" met de slimme brilglazen (Fine-tuning), schiet de nauwkeurigheid omhoog. Ze werden bijvoorbeeld 75% nauwkeurig in het bepalen van de BI-RADS-code, terwijl ze zonder training veel lager zaten.

4. Waarom is dit belangrijk?

• Privacy: Alles gebeurt op de eigen computer. De gevoelige foto's van patiënten hoeven nooit naar een grote cloudserver in het buitenland te gaan.
• Kosten: Je hebt geen dure abonnementen nodig voor gesloten systemen.
• Flexibiliteit: MammoWise is als een bouwdoos. Je kunt verschillende robots proberen, verschillende methodes testen en zien wat het beste werkt, zonder dat je alles opnieuw hoeft te bouwen.

Kortom:
MammoWise is een gereedschapskist die maakt dat open-source computersystemen veilig, goedkoop en zeer nauwkeurig kunnen helpen bij het lezen van mammografie-foto's. Het combineert slimme vragen, het raadplegen van oude dossiers en een beetje extra training om een assistent te maken die artsen echt kan ontlasten, zonder dat de privacy van de patiënt in gevaar komt.

Technische samenvatting

Titel: MammoWise: Multi-Model Local RAG Pipeline voor Mammografie-rapportage

Auteurs: Raiyan Jahangir, Nafiz Imtiaz Khan, Amritanand Sudheerkumar, Vladimir Filkov (University of California, Davis)

---

1. Het Probleem

Mammografie-scherming is een proces met een hoog volume dat tijdgevoelig is en zwaar leunt op documentatie. Radiologen moeten subtiele visuele bevindingen vertalen naar gestructureerde BI-RADS-beoordelingen, borstdichtheidscategorieën en narratieve rapporten. Hoewel recente Vision-Language Models (VLMs) de mogelijkheid bieden om van afbeelding naar tekst te gaan, zijn er twee belangrijke beperkingen in de huidige praktijk:

1. Privacy en Kosten: De sterkste demonstraties maken vaak gebruik van gesloten, cloud-gehoste systemen. Dit creëert barrières voor klinische implementatie vanwege zorgen over de privacy van patiëntengegevens (PHI), operationele kosten en reproduceerbaarheid.
2. Aanpassingsvermogen: Open-source VLMs die lokaal draaien, zijn vaak niet gespecialiseerd in mammografie. Zonder zorgvuldige begeleiding kunnen ze klinisch onwaarschijnlijke details genereren ("hallucinaties"). Bestaande oplossingen zijn vaak te specifiek opgezet (gespecialiseerde architecturen) of afhankelijk van prompt-engineering, wat onbetrouwbaar is voor fijne classificatie.

Er is een behoefte aan een lokaal, reproduceerbaar en uitbreidbaar raamwerk dat open-source VLMs kan omzetten in betrouwbare tools voor zowel rapportgeneratie als multi-task classificatie.

2. Methodologie: MammoWise

MammoWise is een modulaire, lokaal draaiende pipeline die open-source VLMs transformeert in klinisch gestyleerde rapportgeneratoren. Het systeem is ontworpen als een "one-stop shop" vergelijkbaar met middleware, dat verschillende aanpassingsstrategieën ondersteunt binnen één workflow.

Kerncomponenten:

• Model-onafhankelijkheid: De pipeline accepteert elke VLM die via Ollama lokaal wordt gehost. In het onderzoek werden drie modellen getest: MedGemma (medisch gespecialiseerd), LLaVA-Med en Qwen2.5-VL.
• Dataverwerking:
  • Gebruik van twee datasets: VinDr-Mammo (20.000 beelden, 5.000 patiënten) en DMID (510 beelden).
  • Beelden worden samengevoegd tot één compositie (4 beelden per patiënt: CC en MLO van links en rechts) om de radiologische workflow te simuleren.
  • Data wordt opgesplitst in train/test sets en omgezet in multimodale embeddings voor RAG.
• Aanpassingsstrategieën:
  1. Prompting: Ondersteuning voor Zero-shot, Few-shot en Chain-of-Thought (CoT) prompting.
  2. Retrieval-Augmented Generation (RAG): Een optionele modus die een multimodale vectordatabase (ChromaDB) gebruikt om contextueel relevante voorbeelden (beeld-tekst paren) op te halen en deze als "few-shot" voorbeelden in de prompt te injecteren. Dit verhoogt de context en reduceert hallucinaties.
  3. Parameter-Efficient Fine-Tuning (PEFT): Voor betere classificatieprestaties werd MedGemma gefinetuned met QLoRA (Quantized Low-Rank Adaptation) op een uitgebalanceerde subset van de VinDr-Mammo dataset.

Evaluatiemetrics:

• Klassificatie: BI-RADS (5 classes), Borstdichtheid (ACR A-D), en aanwezigheid van afwijkingen (massa, verkalking, asymmetrie, verdenking). Gemeten via nauwkeurigheid, precisie, recall, F1-score en specificiteit.
• Generatie: Kwaliteit van het rapport gemeten via BERTScore en ROUGE-L voor semantische gelijkenis met menselijke rapporten.

3. Belangrijkste Bijdragen

1. Lokale Multi-Model Pipeline: MammoWise biedt een uniek, reproduceerbaar framework om open-source VLMs lokaal in te zetten voor mammografie, zonder afhankelijkheid van cloud-API's.
2. Multimodale RAG-workflow: Implementatie van een systeem dat specifieke casus-context ophaalt uit een vectordatabase om de rapportage en classificatie te versterken.
3. Systematische Vergelijking: Een uitgebreide evaluatie van prompting, RAG en QLoRA-finetuning over meerdere modellen en datasets, met focus op zowel narratieve kwaliteit als klinische labels.
4. Validatie van Finetuning: Het leveren van bewijs dat parameter-efficiënt finetuning (QLoRA) de betrouwbaarheid van classificatie aanzienlijk verbetert ten opzichte van prompting alleen.

4. Resultaten

De resultaten tonen een duidelijk patroon van prestaties afhankelijk van de gekozen strategie:

• Rapportgeneratie:
  • Zelfs met alleen prompting (vooral Few-shot) genereren lokale VLMs sterke, klinisch gestileerde rapporten.
  • RAG verbetert over het algemeen de tekstuele gelijkenis (BERTScore/ROUGE-L) en helpt bij het "ankeren" van de inhoud, hoewel de effectiviteit afhangt van de dataset (bij DMID soms minder effectief door redundante context).
• Gestructureerde Klassificatie (Labels):
  • Prompting alleen: Prestaties zijn variabel en vaak onvoldoende voor betrouwbare klinische classificatie (bijv. BI-RADS nauwkeurigheid rond 0.29-0.30 zonder finetuning).
  • RAG: Biedt marginale verbeteringen in gestructureerde labels, maar is niet consistent genoeg voor hoge eisen.
  • QLoRA Finetuning: Toont de grootste winst. Door MedGemma te finetunen met QLoRA op VinDr-Mammo werden de volgende prestaties bereikt:
    • BI-RADS: Nauwkeurigheid van 0.7545 (Single-task).
    • Borstdichtheid: Nauwkeurigheid van 0.8840.
    • Verkalking: Nauwkeurigheid van 0.9341 (F1-score 0.9313).
    • Massa: Nauwkeurigheid van 0.8740.
  • Deze resultaten overtreffen of komen in de buurt van bestaande state-of-the-art (SOTA) gespecialiseerde modellen, terwijl het model lokaal draait.

Conclusie van de resultaten: Prompting en RAG zijn voldoende voor het opstellen van narratieve rapporten, maar voor betrouwbare gestructureerde classificatie is lightweight finetuning essentieel.

5. Betekenis en Impact

MammoWise biedt een praktische blauwdruk voor de implementatie van lokale VLMs in de borstkankerscreening. De studie demonstreert dat:

• Privacy: Klinische data niet naar de cloud hoeft te worden gestuurd, wat cruciaal is voor de naleving van privacywetgeving (zoals GDPR/HIPAA).
• Kosteneffectiviteit: Open-source modellen, gecombineerd met efficiënte finetuning (QLoRA), kunnen presteren op niveau met gespecialiseerde gesloten systemen, maar tegen een fractionele kostprijs.
• Flexibiliteit: Het modulaire ontwerp stelt onderzoekers en clinici in staat om snel nieuwe modellen, datasets of prompting-strategieën te testen zonder de hele infrastructuur opnieuw te moeten bouwen.

De studie bevestigt dat een combinatie van prompting, RAG en gerichte finetuning de kloof kan dichten tussen algemene multimodale modellen en de hoge eisen van de medische beeldvorming, waardoor lokale, veilige en reproduceerbare AI-assistenten voor mammografie mogelijk worden.