MammoWise: Multi-Model Local RAG Pipeline for Mammography Report Generation

Das Paper stellt MammoWise vor, ein lokales, mehrstufiges Pipeline-System, das Open-Source-Vision-Language-Modelle durch Techniken wie Few-Shot-Prompting und Retrieval-Augmented Generation (RAG) in der Lage versetzt, präzise Mammographie-Berichte zu generieren und klinische Klassifikationen wie BI-RADS sowie Brustdichte zuverlässig zu bestimmen.

Das Wesentliche

Das große Problem: Der müde Radiologe

Stell dir vor, ein Radiologe ist wie ein Detektiv, der jeden Tag hunderte von Röntgenbildern der Brust (Mammografien) untersucht. Seine Aufgabe ist es, winzige Details zu finden – wie kleine Kalkablagerungen oder verdächtige Schatten – und diese in einen langen, präzisen medizinischen Bericht zu verwandeln.

Das ist harte Arbeit. Es kostet Zeit, ist stressig und passiert oft unter Zeitdruck. Wenn der Radiologe müde ist, kann er Fehler machen oder den Bericht ungenau formulieren. Bisherige Computerprogramme, die helfen sollen, waren oft wie „Blackboxen": Sie liefen in der Cloud (auf fremden Servern), waren teuer, und man wusste nicht genau, wie sie zu ihren Ergebnissen kamen. Außerdem waren sie oft so spezialisiert, dass sie nur eine einzige Aufgabe gut konnten, aber nicht flexibel waren.

Die Lösung: MammoWise – Der „Schweizer Taschenmesser"-Assistent

Die Forscher haben MammoWise entwickelt. Stell dir MammoWise nicht als einen einzelnen, starren Roboter vor, sondern als ein flexibles Werkstatt-Set (ein „Pipeline"), das man auf dem eigenen Computer betreiben kann.

Hier ist, wie es funktioniert, mit ein paar lustigen Vergleichen:

1. Der lokale Werkstatt-Betrieb (Datenschutz & Kosten)

Früher musste man die Bilder oft in die Cloud schicken (wie einen Brief an einen entfernten Experten). Das ist teuer und wirft Datenschutzfragen auf.
MammoWise läuft dagegen direkt auf dem Computer der Klinik (lokal). Es ist wie ein eigener, privater Assistent, der die sensiblen Patientendaten niemals das Haus verlässt. Das ist sicher, günstig und transparent.

2. Der intelligente Lesehelfer (RAG – Retrieval Augmented Generation)

Stell dir vor, du musst einen schwierigen medizinischen Fall lösen. Du könntest raten (das ist riskant), oder du könntest in deinem Archiv nachschauen, wie ähnliche Fälle in der Vergangenheit gelöst wurden.
MammoWise nutzt eine Technik namens RAG. Das ist wie ein super-schneller Bibliothekar:

• Bevor der Assistent einen Bericht schreibt, sucht er in einer Datenbank nach ähnlichen Bildern und den dazugehörigen, bereits von Experten geprüften Berichten.
• Er legt diese Beispiele neben das neue Bild und sagt: „Schau mal, bei diesem ähnlichen Fall war es so und so."
• Das hilft dem Computer, sich nicht zu „verirren" (Halluzinationen zu vermeiden) und den Bericht präziser zu formulieren.

3. Die Lernkurve (Feinabstimmung / Fine-Tuning)

Manchmal reicht es nicht, nur Beispiele zu zeigen. Der Assistent muss selbst lernen.
Die Forscher haben einen der Modelle (MedGemma) wie einen Azubi behandelt, der extra für diesen Job trainiert wurde. Sie haben ihm tausende von Beispielen gezeigt, damit er lernt, genau zu unterscheiden: „Ist das ein harmloser Schatten oder ein verdächtiger Tumor?"
Das Ergebnis: Der Azubi wird zum Meister. Er erkennt verdächtige Kalkablagerungen oder Dichte-Veränderungen viel sicherer als wenn er nur „Raten" müsste.

Was hat das gebracht? (Die Ergebnisse)

Die Forscher haben MammoWise an echten Daten getestet und drei Dinge festgestellt:

1. Berichte schreiben: Wenn der Assistent einfach nur Anweisungen bekommt (Prompting), schreibt er schon ganz gute Berichte. Mit dem „Bibliothekar" (RAG) werden die Berichte noch besser und klingen mehr wie echte Arztberichte.
2. Klassifizieren (Ja/Nein-Entscheidungen): Hier war reines Raten oder nur Beispiele zeigen nicht immer zuverlässig genug. Aber sobald der „Azubi" (das feinabgestimmte Modell) extra trainiert wurde, wurde er extrem gut. Er traf bei der Einschätzung von Brustdichte und Kalkablagerungen fast immer richtig.
3. Flexibilität: Das System ist wie ein Baukasten. Man kann verschiedene „Gehirne" (verschiedene KI-Modelle) einstecken, verschiedene Lernmethoden ausprobieren und alles auf einem Gerät laufen lassen.

Das Fazit in einem Satz

MammoWise ist ein privater, intelligenter Assistent für Radiologen, der nicht nur Bilder sieht, sondern aus Erfahrung lernt, um schnell, sicher und datenschutzkonform medizinische Berichte zu schreiben und verdächtige Befunde zu erkennen – ganz ohne teure Cloud-Dienste.

Es ist der Schritt weg von „teuren, starren Blackboxen" hin zu einem flexiblen, lernfähigen Werkzeug, das Ärzte im Alltag wirklich entlastet.

Technische Zusammenfassung

1. Problemstellung

Die Screening-Mammographie ist ein hochvolumiges, zeitkritisches und dokumentationsintensives Verfahren. Radiologen müssen subtile visuelle Befunde in konsistente BI-RADS-Einstufungen, Brustdichtekategorien und narrative Berichte übersetzen. Obwohl Vision-Language-Modelle (VLMs) vielversprechend sind, bestehen in der klinischen Praxis erhebliche Hürden:

• Datenschutz und Kosten: Viele leistungsstarke Modelle sind geschlossene, cloudbasierte Systeme, was Datenschutzbedenken (Übertragung von Patientendaten) und hohe Betriebskosten mit sich bringt.
• Mangelnde Anpassbarkeit: Open-Source-Modelle sind oft nicht spezifisch für die Mammographie trainiert und liefern ohne sorgfältige Anleitung klinisch unplausible Ergebnisse.
• Fragmentierte Lösungen: Bestehende Systeme sind oft stark auf spezifische Aufgaben (z. B. nur Klassifikation oder nur Berichtserstellung) zugeschnitten und lassen sich schwer über verschiedene Modelle, Datensätze und Workflows hinweg anpassen.

Das Ziel ist es, eine lokale, reproduzierbare und erweiterbare Lösung zu schaffen, die Open-Source-VLMs für die Erstellung klinisch stilisierter Mammographieberichte und die Mehrfachklassifizierung nutzbar macht, ohne dabei die Privatsphäre zu gefährden.

2. Methodik (MammoWise Pipeline)

MammoWise ist ein modulares, lokal ausführbares Pipeline-System, das als „Middleware" fungiert. Es verbindet beliebige, über Ollama gehostete VLMs mit Mammographie-Datensätzen.

Kernkomponenten:

• Datenvorbereitung:
  • Verwendung der Datensätze VinDr-Mammo (20.000 Bilder, 5.000 Patienten) und DMID (510 Bilder).
  • Bilder werden auf 512x512 Pixel skaliert. Bei VinDr-Mammo werden die vier Ansichten (CC und MLO beider Brüste) pro Patient zu einem einzigen kompositen Bild zusammengefügt, um die radiologische Arbeitsweise nachzuahmen.
  • Die Daten werden in JSON-Format strukturiert (Dichte, BI-RADS, Befunde, Verdachtsgrad).
• Modellauswahl: Drei Open-Source-VLMs wurden getestet: MedGemma (medizinisch vortrainiert), LLaVA-Med (biomedizinisch feinabgestimmt) und Qwen2.5-VL.
• Strategien zur Anpassung (Adaptation):
  1. Prompting: Zero-Shot, Few-Shot (mit Beispielen) und Chain-of-Thought (CoT), bei dem das Modell schrittweise wie ein Radiologe denkt.
  2. Retrieval-Augmented Generation (RAG): Ein optionaler Modus, der multimodale Vektordatenbanken (ChromaDB) nutzt. Ähnliche Bild-Text-Paare werden aus dem Trainingsdatensatz abgerufen und als Kontext in den Prompt eingefügt, um Halluzinationen zu reduzieren und den Kontext zu verbessern.
  3. Parameter-Effizientes Fine-Tuning (PEFT): Für die MedGemma-Modelle wurde QLoRA (Quantized Low-Rank Adaptation) auf dem VinDr-Mammo-Datensatz angewendet. Um Klassenungleichgewichte (Imbalance) zu beheben, wurden die Daten durch Downsampling der Mehrheitsklassen und Augmentation (Spiegeln, Skalieren) der Minderheitsklassen neu balanciert.

Evaluation:
Die Leistung wurde anhand von zwei Achsen gemessen:

• Klassifikation: BI-RADS (5 Klassen), Brustdichte (ACR A-D), Verdachtsgrad sowie das Vorhandensein von Massen, Verkalkungen und Asymmetrien (binär). Metriken: Genauigkeit, Präzision, Recall, F1-Score (macro-averaged).
• Berichtserstellung: Ähnlichkeit des generierten Textes mit menschlichen Berichten mittels BERTScore und ROUGE-L.

3. Wichtige Beiträge

1. MammoWise Pipeline: Ein lokales, multi-modulares Framework, das Open-Source-VLMs in klinische Berichtsgeneratoren und Klassifikatoren verwandelt.
2. Multimodaler RAG-Workflow: Ein System zur kontextspezifischen Few-Shot-Generierung mittels einer Bild-Text-Vektordatenbank.
3. Systematischer Vergleich: Eine umfassende Evaluation von Prompting, RAG und QLoRA-Fine-Tuning über verschiedene Modelle und Datensätze hinweg.
4. Evidenz für Fine-Tuning: Der Nachweis, dass parameter-effizientes Fine-Tuning die Klassifikationsleistung signifikant stabilisiert und verbessert, während Prompting/RAG für die Textgenerierung ausreicht.

4. Ergebnisse

Die Studie liefert klare Erkenntnisse zur Effektivität der verschiedenen Strategien:

• Berichtsgenerierung:
  • Die Generierung von narrativen Berichten ist bereits mit reinem Prompting (insbesondere Few-Shot) robust.
  • RAG verbessert die textuelle Ähnlichkeit (BERTScore, ROUGE-L) und die lexikalische Konsistenz, insbesondere bei klinisch relevanten Feldern wie BI-RADS-Beschreibungen. Auf dem DMID-Datensatz war der Effekt jedoch gemischt, da kurze, bereits gut gepaarte Berichte durch RAG manchmal durch irrelevante Kontexte „verrauscht" wurden.
• Strukturierte Klassifikation (ohne Fine-Tuning):
  • Reines Prompting (auch mit RAG) führt bei strukturierten Labels (BI-RADS, Dichte) zu sehr variablen Ergebnissen, die stark vom Modell-Prompt-Datensatz-Verhältnis abhängen.
  • RAG bietet hier nur marginale Verbesserungen (z. B. BI-RADS-Genauigkeit von ~0,29 auf ~0,32 auf VinDr-Mammo).
• Effekt von QLoRA Fine-Tuning:
  • Fine-Tuning zeigt den größten Leistungssprung. Auf VinDr-Mammo erreichte das feinabgestimmte MedGemma (Single-Task, 10 Epochen):
    • BI-RADS-Genauigkeit: 0,7545 (vs. ~0,25 bei reinem Prompting).
    • Brustdichte-Genauigkeit: 0,8840.
    • Verkalkungs-Genauigkeit: 0,9341.
  • Dies übertrifft viele bestehende State-of-the-Art (SOTA) Modelle in der Literatur (z. B. PubMedCLIP, LLaVA-Mammo).
  • Es wurde festgestellt, dass die optimale Anzahl der Epochen und das Format (Multi-Task vs. Single-Task) aufgabenabhängig sind.

5. Bedeutung und Fazit

MammoWise demonstriert, dass lokale, ressourcenschonende VLMs durch eine Kombination aus Prompting, RAG und leichtem Fine-Tuning als zuverlässige Assistenten für das Brustkrebs-Screening eingesetzt werden können.

• Praktische Implikation: Es entsteht eine klare Arbeitsteilung: Prompting und RAG sind ausreichend, um qualitativ hochwertige, klinisch stilisierte Berichte zu entwerfen. Für zuverlässige, strukturierte Klassifikationen (die für die Diagnoseentscheidung kritisch sind) ist jedoch ein leichtes Fine-Tuning (QLoRA) unerlässlich.
• Privatsphäre: Da das System lokal läuft, werden Patientendaten nicht an Cloud-Anbieter gesendet, was die Einhaltung von Datenschutzbestimmungen (wie HIPAA/GDPR) erleichtert.
• Reproduzierbarkeit: Die Pipeline bietet eine einheitliche Basis für zukünftige Forschung, um verschiedene Modelle und Anpassungsstrategien fair zu vergleichen, ohne auf proprietäre Systeme angewiesen zu sein.

Zusammenfassend bietet MammoWise einen praktischen Bauplan für den Einsatz von Open-Source-KI in der Radiologie, der die Lücke zwischen generischen Modellen und spezialisierten klinischen Anforderungen schließt.