💻 computer science

Cross-Modal MRI Ovary Segmentation in Endometriosis Using Unpaired TVUS Prototype Priors

Dit artikel stelt een duaal vertakt framework voor dat TVUS-afgeleide prototype priors gebruikt om kenmerken over modaliteiten heen uit te lijnen, wat de uitdagende taak van cross-modale ovariumsegmentatie in endometriose-MRI aanzienlijk verbetert vergeleken met de huidige state-of-the-art methoden.

Oorspronkelijke auteurs: Xingjian Kang, Lina Felsner, Dominik Perrin, Daiqi Liu, Jasmin Arjomandi, Franziska Mathis-Ullrich, Alexandra Stoll, Katharina Breininger

Gepubliceerd 2026-08-20

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Xingjian Kang, Lina Felsner, Dominik Perrin, Daiqi Liu, Jasmin Arjomandi, Franziska Mathis-Ullrich, Alexandra Stoll, Katharina Breininger

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Endometriose is een pijnlijke, chronische aandoening waarbij weefsel dat lijkt op het baarmoederslijmvlies buiten de baarmoeder groeit, wat vaak leidt tot de vorming van cysten op de eierstokken. Om deze ziekte te diagnosticeren en te behandelen, vertrouwen artsen zwaar op twee verschillende soorten medische beeldvorming: transvaginale echografie, die geluidsgolven gebruikt om beelden van binnen het lichaam te maken, en magnetische resonantiebeeldvorming, of MRI, die krachtige magneten gebruikt om diep in het bekken te kijken. Hoewel echografie uitstekend is in het tonen van de specifieke textuur van ovariële cysten, biedt MRI een breder, duidelijker beeld van de omliggende anatomie. Een aanzienlijke uitdaging blijft echter: de eierstokken zijn klein en hun grenzen kunnen op een MRI-scan zeer lijken op de omliggende organen en weefsels. Dit maakt het voor computerprogramma's, ook wel kunstmatige intelligentie genoemd, moeilijk om automatisch en nauwkeurig een lijn rond de eierstok te trekken om de arts te helpen bij het meten ervan. Zonder deze precieze omtrek is het moeilijker om de ziekte te volgen of een operatie te plannen.

Onderzoekers hopen al lang dat het combineren van de sterke punten van zowel echografie als MRI dit probleem zou kunnen oplossen, maar een grote hindernis stond in de weg. In de echte wereld krijgt een patiënt zelden een echografie en een MRI van exact dezelfde eierstok op exact hetzelfde moment, wat betekent dat de twee beelden niet perfect op elkaar aansluiten. Dit gebrek aan gekoppelde paren heeft voorkomen dat computers hebben kunnen leren hoe ze de duidelijke kenmerken die in de echografie worden gezien, direct naar de MRI-beelden kunnen vertalen. Een nieuwe studie van een team wetenschappers in Duitsland stelt een slimme workaround voor. In plaats van te proberen individuele patiënten over beide machines heen te koppelen, leerden ze de computer een algemeen "idee" van hoe een eierstok eruitziet aan de hand van honderden echografiebeelden, en gebruikten ze die algemene kennis vervolgens om de computer te begeleiden wanneer deze naar MRI-scans keek.

Het team bouwde een systeem dat werkt als een tweebaans snelweg. Eén baan verwerkt echografiebeelden, en de andere baan verwerkt MRI-beelden. Ze begonnen met een krachtig, vooraf getraind computermodel ontworpen om medische beelden te begrijpen, dat ze aanpasten om zich specifiek op de eierstokken te richten. Eerst voedden ze het systeem met een grote collectie echografiebeelden waarbij de eierstokken al door menselijke experts waren gemarkeerd. De computer analyseerde deze beelden om een mentaal archief op te bouwen, of een "prototypebank", van hoe een normale eierstok en een met cysten gevulde eierstok er typisch uitzien in termen van vorm en textuur. Deze bibliotheek dient als een referentiegids, een standaard op populatieniveau van hoe een eierstok eruit zou moeten zien.

Zodra deze gids was vastgesteld, richtten de onderzoekers hun aandacht op de MRI-scans. Ze hadden de MRI-scans niet nodig om met specifieke echografiebeelden te koppelen. In plaats daarvan instrueerden ze de computer om een MRI-scan te bekijken en te proberen de eierstok te vinden. Terwijl de computer zijn gok maakte, vergeleek hij zijn bevindingen met de referentiegids die uit de echografiedata was opgebouwd. Als het begrip van de computer van de MRI-afbeelding afweek van de gevestigde vorm en kenmerken van een eierstok, trok het systeem de computer voorzichtig terug naar het juiste patroon. Dit proces stelde de computer in staat om de moeilijke taak van het opsporen van eierstokken op MRI te leren door de helderheid te lenen die het al van de echografie had geleerd, zonder dat de twee soorten scans tegelijkertijd bij dezelfde persoon genomen hoefden te worden.

De resultaten van deze aanpak waren significant. Wanneer het team hun nieuwe systeem testte op een dataset van MRI-scans van tweeëndertig patiënten met endometriose, presteerde het beter dan verschillende bestaande methoden. De meest gebruikelijke standaard voor het meten van hoe goed een computer een orgaan omlijnt, is een score genaand de Dice-coëfficiënt, die varieert van nul tot honderd procent, waarbij hogere getallen een betere nauwkeurigheid aangeven. De nieuwe methode behaalde een score van 61,0 procent, wat een substantiële verbetering is ten opzichte van andere geavanceerde technieken die rond de 28,9 procent of iets hoger scoorden met volledige training. De onderzoekers merkten op dat deze verbetering niet slechts een kleine statistische winst was; de omtrekken van de computer werden veel compacter en nauwkeuriger, waardoor het aantal keren verminderde dat het gezond weefsel onterecht als onderdeel van de eierstok identificeerde.

De studie onthulde echter ook de grenzen van deze vooruitgang. Hoewel de nieuwe methode de beste was van de geteste methoden, erkenden de onderzoekers dat een score van 61 procent betekent dat er nog ruimte is voor verbetering, en dat het systeem nog niet elke eierstok in elke afbeelding perfect omlijnt. Ze ontdekten dat de manier waarop ze het systeem trainden, een grote invloed had. Specifiek ontdekten ze dat de computer een korte periode van "opwarmtraining" op de echografiedata alleen nodig had voordat hij effectief kon leren van de MRI-data. Als ze probeerden beide banen van de snelweg vanaf het begin tegelijkertijd te trainen, of als ze de opwarmtraining volledig oversloegen, presteerde het systeem veel slechter. Dit suggereert dat het leggen van een solide fundament van wat een eierstok is via de duidelijkere echografiebeelden een cruciale eerste stap is voordat men probeert die kennis toe te passen op de meer ambigue MRI-scans.

Het team onderzocht ook hoe verschillende instellingen de prestaties van het systeem beïfelden. Ze ontdekten dat de balans tussen de standaard taak van beeldovereenkomst en de nieuwe "referentiegids"-taak delicaat was. Als het systeem te zwaar leunde op de echografiegids, leerde het de MRI-kenmerken niet goed genoeg; als het er te weinig op vertrouwde, faalde het in het corrigeren van zijn fouten. Door zorgvuldige tests identificeerden ze een specifieke instelling die het beste werkte, wat bewees dat de methode robuust is maar nauwkeurige afstemming vereist. De onderzoekers concludeerden dat hoewel hun aanpak erin slaagde de kloof tussen twee verschillende beeldwerelden te overbruggen zonder gekoppelde patiëntgegevens nodig te hebben, de huidige beperkingen van de beschikbare gegevens betekenen dat de technologie nog steeds in ontwikkeling is. Ze zijn van plan het systeem verder te verfijnen, met name door de computer beter te leren de specifieach kenmerken te herkennen van de weefsels die direct naast de eierstok liggen, wat de computer momenteel in verwarring brengt. Dit werk vormt een betekenisvolle stap voorwaarts in het gebruik van kunstmatige intelligentie om artsen te helpen de onzichtbare details van endometriose te zien, wat een pad biedt naar een preciezere diagnose en zorg.

Technische Samenvatting: Cross-modale MRI-ovariële segmentatie bij endometriose met ongepaarde TVUS-prototype priors

Probleemstelling

Nauwkeurige segmentatie van de eierstokken in Magnetic Resonance Imaging (MRI) is cruciaal voor het lokaliseren van laesies bij patiënten met endometriose, in het bijzonder ovariële endometriomen (chocoladecysten). Deze taak blijft echter zeer uitdagend vanwege de kleine omvang van de eierstokken en hun ambigue grenzen met omliggende bekkenstructuren. Hoewel Transvaginale Echografie (TVUS) vaak meer kenmerkende eierstokspecifieke eigenschappen vastlegt, is het verkrijgen van gepaarde TVUS–MRI-onderzoeken voor gesuperviseerd cross-modaal leren in de klinische praktijk moeilijk. Bestaande studies richten zich grotendeels op single-modality analyse of ziekteclassificatie, waardoor cross-modale ovariële segmentatie grotendeels onverkend blijft. Er is een tekort aan methoden die in staat zijn om anatomische kennis effectief van TVUS naar MRI te transfereren zonder dat gepaarde data vereist zijn.

Methodologie

De auteurs stellen een dual-branch framework voor, ontworpen om ongepaarde TVUS-eierstokmaskers te benutten om een populatie-niveau ovariële prior te leren, die vervolgens kan worden getransfereerd om de MRI-segmentatie van de eierstokken te verbeteren. De kerncomponenten van de methodologie zijn:

1. Dual-Branch Architectuur met MedSAM3 Backbone

Het framework maakt gebruik van MedSAM3, een promptable concept segmentatie foundation model, als backbone voor zowel de TVUS- als de MRI-branches.

Parameter-Efficient Fine-Tuning (PEFT): Beide branches maken gebruik van Low-rank Adaptation (LoRA) om het voorgetrainde MedSAM3-model aan te passen.
Branch Configuratie:
- TVUS Branch: De backbone en LoRA-modules worden bevroren na een warm-up fase. Een projectiekop wordt bijgewerkt via een Exponential Moving Average (EMA) van de MRI-branch.
- MRI Branch: De LoRA-modules en de projectiekop zijn trainbaar.
Feature Extractie: De Vision Transformer (ViT) backbone genereert multi-scale feature representaties via een Feature Pyramid Network (FPN). Deze features worden gemapt naar genormaliseerde embeddings met behulp van een lichtgewicht projectiekop (1×1 convolutie, GroupNorm, ReLU, L2 normalisatie).

2. Prototype Bank Constructie

Om anatomische kennis van TVUS in de MRI-branch te injecteren, construeren de auteurs een populatie-niveau ovariële foreground prior vanuit ongepaarde TVUS-eierstokmaskers.

Prototype Memory Bank: Deze bank slaat foreground ( $p_{fg}^{TVUS}$ ) en background ( $p_{bg}^{TVUS}$ ) prototypes op.
Extractie: Foreground en background features ( $q_{fg}, q_{bg}$ ) worden geëxtraheerd uit TVUS-inputs via masked average pooling.
Update Mechanisme: Prototypes worden bijgewerkt met een EMA-strategie:
$p_{fg}^{TVUS}(t) = \alpha p_{fg}^{TVUS}(t-1) + (1-\alpha) q_{fg}^{TVUS}(t)$
waarbij $\alpha$ de momentum coëfficiënt is. Dit zorgt voor een stabiele prototype prior die een populatie-niveau anatomie vertegenwoordigt in plaats van batch-specifieke ruis.

3. Prototype Contrastive Learning

Omdat de datasets ongepaard zijn, wordt ruimtelijke correspondentie niet afgedwongen. In plaats daarvan dwingt het framework cross-modale anatomische consistentie af in de feature space.

Doel: MRI eierstok foreground features ( $q_{fg}^{MRI}$ ) worden aangemoedigd om dichter bij de TVUS eierstok foreground prototypes ( $p_{fg}^{TVUS}$ ) te bewegen, terwijl ze worden weggeduwd van de TVUS background prototypes ( $p_{bg}^{TVUS}$ ) en MRI background features ( $q_{bg}^{MRI}$ ).
Loss Functie: Een InfoNCE contrastieve loss ( $\mathcal{L}_{proto}$ ) wordt toegepast:
$\mathcal{L}_{proto} = -\log \frac{\exp(\text{sim}(q_{fg}^{MRI}, p_{fg}^{TVUS})/\tau)}{\exp(\text{sim}(q_{fg}^{MRI}, p_{fg}^{TVUS})/\tau) + \sum_{z \in \{p_{bg}^{TVUS}, q_{bg}^{MRI}\}} \exp(\text{sim}(q_{fg}^{MRI}, z)/\tau)}$
Totale Loss: De contrastieve loss wordt gecombineerd met de standaard segmentatie loss ( $\mathcal{L}_{seg}$ ), gewogen door $\lambda$ :
$\mathcal{L}_{total} = \mathcal{L}_{seg} + \lambda \mathcal{L}_{proto}$

4. Trainingsstrategie

Warm-up Pretraining: De TVUS-branch wordt eerst onafhankelijk voor drie epochs voorgetraind om de feature space te stabiliseren en betrouwbare prototypes te extraheren.
Cross-Modal Training: De TVUS-modellen wordt vervolgens bevroren en de MRI-branch wordt getraind voor 10 epochs met behulp van de uit TVUS afgeleide prototypes.

Belangrijkste Bijdragen

Het artikel beschrijft drie primaire bijdragen:

Dual-Branch Framework: Een nieuwe architectuur voor MRI-eierstoksegmentatie gebouwd op MedSAM3, in staat om modus-specifieke features en cross-modale anatomische representaties te leren.
Populatie-niveau Ovariële Prior: De introductie van een prototype bank geconstrueerd uit ongepaarde TVUS-eierstokmaskers, wat anatomische sturing biedt voor MRI-representatie-leren zonder dat gepaarde data vereist zijn.
Prototype Contrastive Learning: Een strategie om cross-modale anatomische consistentie af te dwingen, waarbij MRI-feature representaties worden geregulariseerd richting anatomisch betekenisvolle eierstokfeatures afgeleid van TVUS.

Experimentele Resultaten

Het framework werd geëvalueerd op publieke endometriose-gerelateerde datasets: OTU-2D (TVUS) en UT-EndoMRI (MRI).

Kwantitatieve Prestaties: Het voorgestelde dual-branch framework bereikte een gemiddelde Dice coëfficiënt (mDICE) van 61,0% en een gemiddelde Average Precision (mAP) van 27,3%.
- Dit vertegenwoordigt een verbetering van meer dan 5 procentpunten in mDICE vergeleken met volledig gefinetuned MedSAM3 (54,6%) en presteert significant beter dan zero-shot MedSAM3 (14,9%) en 2D nnU-Net (28,9%).
Kwalitatieve Observaties: De methode produceerde compactere voorspellingen en verminderde false-positive reacties in de omliggende bekkenregio's vergeleken met de baselines. Terwijl zero-shot modellen moeite hadden met lokalisatie en nnU-Net faalde in het identificeren van de ovariële regio, verfijnde de voorgestelde methode de grensvoorspellingen.
Ablatie Studies:
- Prototype Bank: Het verwijderen van de prototype bank verminderde de mDICE van 61,02% naar 5 de 57,74%, wat de rol ervan bij het verbeteren van de segmentatiekwaliteit bevestigt.
- Warm-up: Een 3-epoch TVUS-only warm-up leverde de beste resultaten op. Gezamenlijke warm-up of geen warm-up leidde tot prestatievermindering.
- Parameters: Het framework toonde robuustheid tegen variaties in de contrastieve loss gewicht ( $\lambda$ ) en EMA momentum ( $\alpha$ ), met optimale prestaties bij $\lambda=0,015$ en $\alpha=0,95$ .

Betekenis en Claims

De auteurs beweren dat dit werk aantoont dat het gebruik van ongepaarde TVUS-data om een nuttige cross-modale prototype prior te construeren voor tekst-promptbare MRI-eierstoksegmentatie haalbaar is.

Bescheiden Prestatieclaims: Hoewel de methode state-of-the-art baselines overtreft, erkennen de auteurs dat de algehele prestatie op MRI-eierstoksegmentatie "bescheiden" blijft. Zij schrijven dit toe aan de beperkte beschikbaarheid van eierstokannotaties in de originele dataset en de uitdaging dat background prototypes gedomineerd worden door "makkelijke" pixels in plaats van anatomisch vergelijkbare structuren.
Methodologische Inzicht: De studie benadrukt dat directe transfer van foundation modellen (zero-shot) onvoldoende is voor deze specifieke taak, en dat target-domain adaptatie via ongepaarde cross-modale priors een levensvatbare strategie is.
Toekomstige Richtingen: De auteurs suggereren dat toekomstig werk zich moet richten op het construeren van "near-background" prototypes met behulp van gedilaatieve maskers, zelfgesuperviseerde pretraining voor betere feature alignment, en het uitbreiden van het framework naar 3D volumetrische segmentatie en andere modaliteiten (bijv. laparoscopische video).