Technische Samenvatting: Cross-modale Integratie van Klinische Kennis voor Mammografie Rapportagegeneratie

Probleemstelling

Borstkankerscreening via mammografie genereert een enorme hoeveelheid onderzoeken, wat een substantiële werklast voor radiologen creëert. Hoewel geautomatiseerde rapportagegeneratie geavanceerd is voor algemene radiologie (bijv. röntgenfoto's van de borstkas, CT), schieten bestaande methoden tekort bij het adresseren van de specifieke complexiteiten van mammografie. Huidige benaderingen vertrouwen primair op directe visuele-naar-tekst mapping, waarbij het gestructureerde klinische redeneproces dat in de praktijk vereist is, wordt genegeerd. Specifiek vereist mammografierapportage:

1. Multi-view Joint Reasoning: Nauwkeurige diagnose vereist het integreren van informatie uit vier gestandaardiseerde aanzichten (Rechts Craniocaudaal, Rechts Mediolateraal Obliquus, Links Craniocaudaal, Links Mediolateraal Obliquus) en bilaterale borstanalyse.
2. Klinische Consistentie: Rapporten moeten voldoen aan de richtlijnen van het Breast Imaging Reporting and Data System (BI-RADS), waarbij het maligniteitsrisico wordt beoordeeld en specifieke categorieën worden toegewezen die klinische beslissingen sturen.
3. Terminologische Precisie: Professionele mammografische termen zijn vaak gefragmenteerd door standaard tokenizers (bijv. WordPiece, BPE), wat leidt tot semantische ambiguïteit en suboptimale uitlijning tussen visuele kenmerken en diagnostische semantiek.

Bestaande algemene modellen, inclusief grote vision-language modellen (LVLM's), worstelen met het produceren van klinisch actiebare rapporten, waarbij ze vaak falen in het correct toewijzen van BI-RADS-categorieën of het vastleggen van fijnmazige bevindingen, ondanks een hoge linguïstische vloeiendheid. Bovendien ontbreekt het het vakgebied aan toegewijde instrumenten om de klinische effectiviteit van gegenereerde rapporten te evalueren buiten oppervlakkige tekstgelijkenis.

Methodologie: MammoRG

De auteurs stellen MammoRG voor, een tweestaps trainingsframework dat is ontworpen om de klinische rapportagestroom te simuleren door cross-modale klinische kennis te integreren en gebruik te maken van term-bewuste verfijning (fine-tuning).

1. Framework Architectuur

MammoRG maakt gebruik van een encoder-decoder architectuur. De input bestaat uit vier standaard mammografische aanzichten, die worden gecodeerd door een beeldencoder ($E_{img}$). Het systeem integreert klinisch relevante voorkennis uit een rapportendatabase en een mammografie-kennisgrafiek, en voegt deze kenmerken samen met de beeldgegevens voordat ze naar een tekstdecoder ($D_{txt}$) worden gevoerd om het uiteindelijke rapport te genereren.

2. Fase 1: Cross-modale Integratie van Klinische Kennis

Deze fase heeft als doel om klinisch relevante diagnostische semantiek te leren onder classificatiegebaseerde supervisie.

• Kennisbronnen: Het model maakt gebruik van een rapportendatabase (gecodeerd via BERT) en een mammografie-kennisgrafiek geconstrueerd uit een gespecialiseerde lexicon. De grafiek codeert semantische relaties zoals Located_at, Modified_by en Suggestive_of.
• Feature Fusie: Het framework maakt gebruik van cross-attention mechanismen op twee niveaus:
  • Patiëntniveau: Globale beeldrepresentaties attenderen op rapport-embeddings om de algehele klinische context te vangen.
    {% %}%
  • View-niveau: Specifieke view-kenmerken attenderen op de kennisgrafiek-embeddings om fijnmazige diagnostische semantiek te vangen.
• Trainingsdoel: Het model wordt geoptimaliseerd met behulp van classificatieverliezen (Cross-Entropy voor BI-RADS en borstcompositie; Binary Cross-Entropy voor bevindingen en relaties) om visuele kenmerken uit te lijnen met diagnostische semantische contexten.

3. Fase 2: Term-bewuste Supervised Fine-Tuning

Om de beperkingen van standaard tokenizers bij het afhandelen van domeinspecifieke terminologie aan te pakken, introduceren de auteurs een term-bewuste tokenizer.

• Atomische Semantische Eenheden: Termen uit het mammografie-lexicon worden behandeld als ondeelbare tokens in plaats van gefragmenteerde subwoorden. Dit bewaart de atomische semantische integriteit van klinische concepten.
• Initialisatie en Tuning: Nieuwe token-embeddings worden geïnitialiseerd via een data-gestuurde aanpak (gemiddelde van bestaande embeddings met perturbaties) en geoptimaliseerd tijdens de fine-tuning.
• Efficiëntie: Parameter-efficiënte tuning (LoRA) wordt toegepast op de tekstdecoder om het taalmodel aan te passen aan mammografie-specifieke conventies zonder de vooraf getrainde kennis te verstoren.

4. MammoRGTool: Evaluatie van Klinische Effectiviteit

Om een rigoureuze evaluatie te faciliteren, hebben de auteurs MammoRGTool ontwikkeld, een speciale rapport-parsing tool.

• Functie: Het extraheert gestructureerde klinische informatie uit vrije tekstrapporten, inclusief BI-RADS categorieën, weefselcompositie, abnormale bevindingen, anatomische locaties en relaties.
• Pipeline: De tool maakt gebruik van een regelgebaseerd opschoningsproces en een iteratieve zelf-verfijningsloop (aanvankelijk gebruikmakend van Qwen3-32B voor labelextractie) om een extractie met hoge precisie te bereiken. Het dient als de grondwaarheid (ground truth) voor Clinical Efficacy (CE) metrieken.

Belangrijkste Bijdragen

1. MammoRG Framework: Een tweestaps trainingsframework dat expliciet mammografie-specifieke klinische priors (BI-RADS richtlijnen, kennisgrafieken) en cross-modale semantische uitlijning incorporeert, wat zowel de linguïstische vloeiendheid als de diagnostische nauwkeurigheid aanzienlijk verbetert.
2. MammoRGTool: Een gespecialiseerde rapport-parsing tool die een macro-F1 score van meer dan 99% bereikt op externe validatiesets, waarmee een betrouwbare benchmark wordt gevestigd voor het evalueren van de klinische correctheid van mammografierapporten.
3. Term-bewuste Tokenisatie: Een nieuwe aanpak voor het afhandelen van medische terminologie die domeinspecifieke termen behandelt als atomische eenheden, waardoor semantische fragmentatie wordt verminderd en de prestaties van het model op klinisch relevante attributen worden verbeteren.
4. Uitgebreide Evaluatie: Uitgebreide experimenten op interne en externe datasets die state-of-the-art (SOTA) prestaties aantonen op zowel Natural Language Generation (NLG) als Clinical Efficacy (CE) metrieken.

Experimentele Resultaten

Het model werd geëvalueerd op een interne dataset (Yunnan Cancer Hospital) en drie externe datasets (Guangzhou First People's Hospital, Sun Yat-Sen University, en de publieke VinDr-Mammo dataset).

• Prestaties: MammoRG presteerde consequent beter dan bestaande methoden, inclusief hergetrainde baselines (LLaVA-Rad, R2Gen) en one-shot LVLM's (Qwen3-VL, InternVL3.5).
  • Interne Dataset: Behaalde de hoogste scores in alle metrieken, inclusief BLEU-1 (53.78%), ROUGE-L (62.70%) en kritieke CE-metrieken zoals BI-RADS F1 (26.67%) en Finding F1 (75.09%).
  • Externe Generalisatie: Toonde robuuste generalisatie, met name in de BI-RADS beoordeling. Op de VinDr-Mammo dataset behaalde het een BI-RADS F1 van 31.07%, waarmee het de op één na beste model met 4.96% versloeg.
• Ablatie Studies:
  • Feature Combinatie: Het integreren van beeld-, patiëntniveau- en view-niveau kenmerken leverde de beste resultaten op, wat de complementariteit van multi-granulairiteit kenmerken bevestigt.
  • Component Analyse: Zowel de term-bewuste tokenizer als de cross-modale integratie van kennis droegen significant bij aan de prestatiewinst, waarbij de laatste de meest substantiële verbetering in klinische consistentie bood.
  • Retrieval Vergelijking: De voorgestelde cross-modale integratie presteerde beter dan standaard beeld-tekst en beeld-gebaseerde retrieval strategieën, wat aangeeft dat semantische gelijkenis alleen onvoldoende is om klinisch cruciale diagnostische attributen te vangen.
• Foutanalyse: Het model vertoonde sterke prestaties op visueel prominente bevindingen (bijv. massa's, ligament verdikking), maar worstelde met subtiele bevindingen (bijv. asymmetrie, tepelretractie) en fijnmazige risicostratificatie (BI-RADS 4 subcategorieën), waarbij het vaak de beslissingen naar intermediaire categorieën toe "smoothde".

Betekenis en Beperkingen

Betekenis:
Het paper betoogt dat de klinische waarde van mammografierapporten meer afhangt van diagnostische correctheid dan van linguïstische vloeiendheid. Door het klinische redeneproces expliciet te modelleren en gestructureerde medische kennis te integreren, overbrugt MammoRG de kloof tussen generieke AI-modellen en klinisch nut. De introductie van MammoRGTool adresseert een kritiek gat in het veld door een gestandaardiseerde methode te bieden om de klinische effectiviteit te evalueren, waarmee men verder gaat dan eenvoudige tekstoverlap-metrieken.

Beperkingen:

• Taalafhankelijkheid: Het model is uitsluitend getraind op Chinese mammografierapporten; de generaliseerbaarheid naar andere talen en klinische omgevingen is niet geverifieerd.
• Modality Scope: Het framework is specifiek voor mammografie. Het uitbreiden naar andere beeldvormingsmodaliteiten zou nieuwe domeinspecifieke kennisrepresentaties en annotaties vereisen.
• Fijnmazige Sensitiviteit: Het model vertoont beperkingen in het detecteren van subtiele of ondervertegenwoordigde bevindingen (bijv. asymmetrie) en in het onderscheiden van fijnmazige BI-RADS subcategorieën, wat wijst op een behoefte aan verbeterde sensitiviteit voor patronen met lage saliëntie.