Longitudinal Multi-View Breast Cancer Risk Prediction

Technische Samenvatting: Longitudinale Multi-View Modellering voor Borstkankerrisicovoorspelling (LMV-Net)

Probleemstelling
Nauwkeurige voorspelling van het risico op borstkanker vanuit screening-mammografie is essentieel voor het mogelijk maken van gepersonaliseerde screeningsintervallen en vroege detectie. Hoewel recente deep learning-methoden de waarde van longitudinale data (het vergelijken van huidige en eerdere screenings) en expliciete temporele uitlijning hebben aangetoond, kampen bestaande benaderingen met aanzienlijke beperkingen. Huidige modellen voeren ofwel expliciete uitlijning uit met slechts één mammografisch aanzicht (bijv. CC of MLO), of modelleren meerdere aanzichten zonder expliciete longitudinale uitlijning. Als gevolg hiervan slagen deze methoden er niet in om de complementaire spatio-temporele informatie volledig te benutten die in de klinische praktijk wordt gebruikt, waarbij radiologen zowel Craniocaudale (CC) als Mediolaterale Oblique (MLO) aanzichten over de tijd heen vergelijken om subtiele weefselveranderingen te beoordelen.

Methodologie: LMV-Net
De auteurs stellen LMV-Net voor, een borst-specifiek longitudinaal multi-view risicovoorspellingsmodel dat ontworpen is om anatomisch complementaire CC- en MLO-aanzichten gezamenlijk te analyseren binnen een expliciet uitgelijnd longitudinaal kader. De architectuur bestaat uit zes opeenvolgende stadia:

1. Feature Extractie: Een gedeelde beeldencoder (gebaseerd op een ResNet-18 backbone, specifiek de Mirai-encoder) extraheert feature maps van huidige en eerdere mammogrammen voor zowel de CC- als de MLO-aanzichten.
2. Temporele Feature Uitlijning: Om niet-rigide borstdeformatie aan te pakken, lijnt het model longitudinale feature maps in de feature-ruimte expliciet uit. Het maakt gebruik van een vooraf getrainde, bevroren MammoRegNet om beeldgebaseerde deformatievelden te genereren die eerdere mammogrammen registreren op de huidige. Er worden afzonderlijke deformatievelden geschat voor elk aanzicht (CC en MLO), en een spatial transformer functie lijnt de eerdere feature maps uit met de huidige feature maps.
3. Temporele Subtractie: View-specifieke verschilfeatures worden berekend door de uitgelijnde eerdere features af te trekken van de huidige features ($f_{diff} = f_{cur} - f_{pri-align}$). Positional encoding wordt toegepast op deze verschilfeatures om rekening te houden met variabele tijdsintervallen tussen screenings.
4. Temporele Feature Concatenatie: Huidige features, uitgelijnde eerdere features en verschilfeatures worden langs de kanaaldimensie geconcateneerd om longitudinale feature-representaties ($f_{long}$) voor elk aanzicht te vormen, waarbij verschijning, context en temporele verandering worden geïntegreerd.
5. Dual Stream Attention: Een innovatieve Dual Stream Attention block verfijnt de longitudinale features. Deze module maakt gebruik van parallelle mechanismen:
   • Self-Attention: Modelleert langetermijn intra-view interacties om de spatiale coherentie binnen hetzelfde aanzicht te verbeteren.
   • Cross-Attention: Maakt gebruik van features uit het complementaire aanzicht (bijv. MLO-features als keys/values voor de CC-stream) om selectieve aandacht te vestigen op anatomisch relevante regio's over de aanzichten heen.
   • De outputs worden gefuseerd via elementgewijze sommatie, gevolgd door Layer Normalization, DropPath (stochastische diepte) en een Feed-Forward Network (FFN) met residuele verbindingen.
6. Finale Fusie en Risicovoorspelling: De verfijnde features van beide aanzichten worden gepooled en geconcateneerd tot een gefuseerde multi-view representatie. Dit gaat door een cumulatieve waarschijnlijkheidslaag bestaande uit fully connected lagen om hazards bij toekomstige tijdstappen (1–5 jaar) te voorspellen. Het model wordt getraind met een tijd-afhankelijke binary cross-entropy loss met masking voor gecensureerde patiënten, waarbij multilevel joint learning wordt toegepast om afhankelijkheden tussen aanzichten te vangen.

Belangrijkste Bijdragen

1. LMV-Net Architectuur: Een nieuw framework dat multi-view, multi-tijdstip integratie faciliteert via expliciete feature-ruimte uitlijning en cross-view temporele fusie, wat nauw aansluit bij de workflow van radiologen.
2. Dual Stream Attention Block: Een mechanisme dat de longitudinale features van elk aanzicht verfijnt met behulp van parallelle self- en cross-attention, waardoor zowel intra-view afhankelijkheden als inter-view complementaire informatie effectief worden gevangen.
3. Uitgebreide Validatie: Robuuste evaluatie op twee grote publieke datasets (EMBED en CSAW-CC), die consistente prestatieverbeteringen laten zien ten opzichte van state-of-the-art methoden.

Resultaten
Het model werd geëvalueerd op de EMBED en CSAW-CC datasets, waarbij de prestaties werden vergeleken met state-of-the-art baselines inclusief Mirai, VMRA-MaR, OA-BreaCR en ImgFeatAlign.

• Algehele Prestaties: LMV-Net presteerde consistent beter dan alle baselines in C-index en AUC over 1–5 jaar risico-horizonten op beide datasets. Op EMBED bereikte de gefinetunede LMV-Net een C-index van 81,4% (1 jaar) en 80,0% (5 jaar), wat een statistisch significante verbetering ($p < 0,05$) van ongeveer 6,7% vertegenwoordigt ten opzichte van de beste baseline. Op CSAW-CC bereikte het een C-index van 74,4% (1 jaar) en 73,5% (5 jaar), met een verbetering van 1,7% ten opzichte van de beste baseline.
• Subgroepanalyse: Het model vertoonde bijzondere robuustheid in uitdagende scenario's en behaalde de hoogste C-index in bijna alle borstdichtheidscategorieën (laag, medium, hoog) en kankertypes (invasief vs. anderen). De verbeteringen waren het meest uitgesproken in de medium- en hoog-densiteitsgroepen.
• Ablatie-studies: Het verwijderen van sleutelcomponenten (longitudinale uitlijning, multi-view modellering, dual-stream attention of encoder fine-tuning) leidde consistent tot verminderde prestaties, wat de noodzaak van elk architecturaal element bevestigt.
• Attention Analyse: Visualisatie van de attention maps toonde aan dat de Dual Stream Attention block een aanzienlijk hogere attention-dichtheid (8–10×) concentreert op tumorregio's vergeleken met omliggend weefsel, wat de capaciteit valideert om te focussen op klinisch relevante gebieden.

Betekenis en Claims
Het artikel claimt dat LMV-Net een kritiek gat in de voorspelling van borstkankerrisico dicht door succesvol expliciete longitudinale uitlijning met multi-view analyse te integreren. De auteurs stellen dat hun aanpak:

• Risicostratificatie Verbeterd: Door gebruik te maken van complementaire spatio-temporele cues, biedt het model betrouwbaardere risicobeoordelingen, met name voor vrouwen met dicht borstweefsel waar de traditionele sensitiviteit verminderd is.
• Klinische Workflow Nabootst: De expliciete uitlijning en dual-view verwerking weerspiegelen hoe radiologen eerdere en huidige onderzoeken vergelijken, wat leidt tot klinisch relevantere feature extractie.
• Gepersonaliseerde Screening Mogelijk Maakt: De verbeterde nauwkeurigheid bij het identificeren van hoog-risicopatiënten ondersteunt de ontwikkeling van gepersonaliseerde screeningsstrategieën en een efficiëntere toewijzing van screeningsbronnen.

De auteurs concluderen dat hoewel hun resultaten de waarde van gezamenlijke longitudinale multi-view modellering aantonen, toekomstig werk de integratie van meerdere eerdere examinaties voor een rijkere temporele context moet verkennen en aanvullende metrieken zoals Precision-Recall AUC moet evalueren om de klassenimbalans aan te pakken.