Evidential learning driven Breast Tumor Segmentation with Stage-divided Vision-Language Interaction

Probleemstelling

Borstkanker is een van de belangrijkste doodsoorzaken bij vrouwen wereldwijd. Magnetische Resonantie Imaging (MRI), en specifiek Dynamic Contrast-Enhanced MRI (DCE-MRI), is een cruciaal hulpmiddel voor detectie en diagnose vanwege zijn hoge gevoeligheid. Echter, bestaande diepe-leer methoden voor tumorsegmentatie kampen met twee belangrijke beperkingen:

1. Laag contrast en vage grenzen: Het is moeilijk om tumorcontouren nauwkeurig te lokaliseren vanwege het subtiele intensiteitsverschil tussen kankerweefsel en normaal weefsel, wat leidt tot onduidelijke randen.
2. Beperking van beeld-only modellen: Traditionele methoden vertrouwen uitsluitend op visuele data en missen de contextuele kennis die kan helpen bij het onderscheiden van twijfelachtige gebieden.

Methodologie: TextBCS

De auteurs stellen TextBCS voor, een tekst-gestuurd model voor borsttumorsegmentatie dat twee kerncomponenten integreert om de bovengenoemde uitdagingen aan te pakken:

1. Stage-divided Vision-Language Interaction (SVLI)

Deze module is ontworpen om de interactie tussen visuele en tekstuele kenmerken te maximaliseren tijdens het hele encoder-decoder proces.

• Bidirectionele Cross-Attention: In plaats van tekst alleen aan het begin of einde toe te voegen, vindt er een wisselende integratie plaats op elk niveau van down-sampling. Visuele kenmerken worden verrijkt met tekstuele context (via cross-attention) en omgekeerd.
• Stapsgewijze uitlijning: Een speciaal verlies (contrastive loss) wordt toegepast op elk niveau van de feature maps om ervoor te zorgen dat lage- en hoge-niveau kenmerken consistent zijn met de tekstuele prompts.
• Doel: Het model wordt geholpen om zich te focussen op specifieke laesiegebieden (bijv. "rechts", "irreguliere vorm") zelfs bij laag contrast.

2. Evidential Learning (EL) voor Onzekerheidsschatting

Om de onzekerheid bij vage grenzen te kwantificeren, wordt Evidential Learning ingezet in plaats van de standaard Softmax-functie.

• Dirichlet-verdeling: Het model voorspelt niet alleen kansen, maar leert ook "evidence" (bewijs) voor elke klasse. Deze evidence wordt gebruikt om een Dirichlet-verdeling te parameteriseren.
• Onzekerheidsmeting: De verdeling geeft een maatstaf voor onzekerheid. Bij vage grenzen waar het model weinig bewijs heeft, blijft de onzekerheid hoog, wat voorkomt dat het model overmoedige (overconfident) en onbetrouwbare voorspellingen doet.
• Verliesfunctie: Er wordt een combinatie gebruikt van cross-entropy, Kullback-Leibler (KL) divergentie en Dice loss om de parameters van de Dirichlet-verdeling te optimaliseren en de onzekerheid aan de randen te minimaliseren.

Belangrijkste Bijdragen

1. Eerste tekst-gestuurde methode: Dit is het eerste model dat tekstprompts gebruikt voor borsttumorsegmentatie in DCE-MRI, waardoor kenniscompensatie mogelijk is via tekstuele beschrijvingen.
2. SVLI-module: Een innovatieve module die visuele en tekstuele informatie naadloos fuseert op elk niveau van het netwerk, waardoor het model beter in staat is laesies te herkennen in moeilijke scenario's.
3. Evidential Learning integratie: Het expliciet schatten van onzekerheid via Dirichlet-verdelingen om de betrouwbaarheid van segmentaties te verbeteren, vooral bij onduidelijke tumorranden.
4. State-of-the-art prestaties: Het model presteert superieur op publieke datasets in vergelijking met bestaande netwerken.

Resultaten

De methode is getest op de Duke-Breast-Cancer-MRI dataset (3876 slices van 922 patiënten). De resultaten tonen aan:

• Prestatieverbetering: TextBCS bereikte een Dice-score van 85,33% en een mIoU van 76,08%. Dit is een significante verbetering ten opzichte van de suboptimale methoden zoals TransUNet (83,14% Dice) en MGCA (84,28% Dice).
• Ablatie-studies:
  • Het toevoegen van SVLI alleen verbeterde de Dice-score met 2,87%.
  • Het toevoegen van EL alleen verbeterde de score met 1,65%.
  • De combinatie van beide modules resulteerde in een totale verbetering van 3,79% ten opzichte van de baseline (UNet).
• Statistische significantie: Paired t-tests bevestigden dat de prestaties van TextBCS statistisch significant beter zijn dan die van alle vergeleken methoden (p-waarden < 0,05).
• Interpretatie: Saliency maps tonen aan dat het model met tekstprompts (UNet+SVLI) de tumorgebieden beter activeert en localiseert dan een standaard UNet, zelfs op diepere lagen van het netwerk.
• Robuustheid: Het model toonde stabiliteit bij variaties in de stijl van tekstprompts (bijv. verschillende zinsconstructies voor dezelfde laesie), hoewel zeer complexe of ambiguïteit bevattende prompts nog steeds uitdagingen kunnen vormen.

Significantie en Toekomstperspectief

Deze studie markeert een belangrijke stap in de medische beeldanalyse door de kracht van multimodale data (beeld + tekst) te benutten voor een specifiek en moeilijk probleem: borstkankersegmentatie.

• Klinische relevantie: Door onzekerheid te kwantificeren, kan het model artsen helpen bij het interpreteren van twijfelachtige randen, wat de diagnosekwaliteit kan verhogen.
• Implementatie: Hoewel de huidige studie handmatige prompts van radiologen gebruikt, suggereren de auteurs dat Large Language Models (LLMs) in de toekomst kunnen worden ingezet om automatisch gestructureerde prompts te genereren op basis van radiologische rapporten of beelden, waardoor de schaalbaarheid in de kliniek toeneemt.
• Privacy: Er wordt gewezen op de noodzaak van lokale implementatie van LLM's om patiëntprivacy te waarborgen bij het verwerken van medische data.

Kortom, TextBCS bewijst dat het combineren van visuele data met semantische tekstuele kennis, gecombineerd met een robuuste onzekerheidsmeting, leidt tot nauwkeurigere en betrouwbaardere tumorsegmentatie dan traditionele beeld-only benaderingen.