Using Unsupervised Domain Adaptation Semantic Segmentation for Pulmonary Embolism Detection in Computed Tomography Pulmonary Angiogram (CTPA) Images

Deze paper presenteert een onbewaakte domeinadaptatie-framework met een Transformer-achtergrond en een Mean-Teacher-architectuur, dat door middel van prototype-uitlijning, contrastief leren en een op aandacht gebaseerde module de prestaties van semantische segmentatie voor longembolie-detectie in CTPA-beelden aanzienlijk verbetert door domeinverschuivingen te overbruggen zonder afhankelijkheid van doel-domeinlabels.

De kern

Stel je voor dat je een zeer ervaren detective bent die gespecialiseerd is in het vinden van kleine, dodelijke blokkades in longen (longembolieën) op CT-scanfoto's. Deze detective is getraind in Ziekenhuis A. Hij kent de foto's van daar perfect: de kleuren, de helderheid, de manier waarop de longen eruitzien.

Nu moet deze detective naar Ziekenhuis B verhuizen. Maar daar zijn de camera's anders, de patiënten hebben een andere bouw, en de foto's zien er net iets anders uit (lichter, donkerder, een andere tint). Als onze detective daar direct aan de slag gaat, raakt hij in de war. Hij ziet geen blokkades meer, of hij ziet er waar er geen zijn. Dit fenomeen heet in de tech-wereld "Domain Shift" (een verschuiving in de wereld).

Om dit op te lossen, hebben de auteurs van dit paper een slimme nieuwe methode bedacht. Ze noemen het een "Onzichtbare Leraar" die de detective helpt zich aan te passen zonder dat er nieuwe instructies nodig zijn. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. De Basis: Een Slimme Leraar en een Leerling

Stel je een school voor. Er is een Leraar (de "Teacher") en een Leerling (de "Student").

• De Leraar is heel slim, maar hij kan niet direct de nieuwe foto's van Ziekenhuis B beoordelen omdat hij daar nooit voor getraind is.
• De Leerling probeert het wel, maar maakt veel fouten.
• De truc: De Leraar kijkt naar de pogingen van de Leerling en zegt: "Ik denk dat dit een blokkade is." Hij maakt een gissing (een zogenaamde "pseudo-label").
• De Leerling kijkt naar die gissing, probeert het te begrijpen en leert ervan.
• Daarna wordt de Leraar een beetje slimmer door te kijken wat de Leerling heeft geleerd. Ze groeien samen. Dit heet een Mean-Teacher systeem.

2. Het Probleem: De Gissingen zijn vaak rommelig

Het probleem is dat de gissingen van de Leraar in het begin vaak verkeerd zijn, vooral omdat de blokkades (longembolieën) zo klein zijn als een speld in een hooiberg. Als de Leraar zegt "Hier is niets", terwijl er wel iets is, leert de Leerling het verkeerde.

Om dit op te lossen, hebben de auteurs drie speciale hulpmiddelen (modules) toegevoegd aan hun systeem:

Hulpmiddel A: De "Stempel" (Prototype Alignment)

Stel je voor dat je twee dozen met Lego-blokken hebt. In de ene doos zijn de rode blokken heel fel, in de andere wat donkerder.

• Wat het doet: Het systeem maakt een "gemiddeld plaatje" van hoe een longblokkade eruit moet zien in Ziekenhuis A en een plaatje voor Ziekenhuis B.
• De analogie: Het duwt deze twee plaatjes naar elkaar toe in de digitale wereld. Het zegt: "Kijk, een longblokkade is hier en daar eigenlijk hetzelfde, alleen de verlichting is anders." Hierdoor leert het systeem dat de vorm belangrijk is, niet de kleur.

Hulpmiddel B: De "Spiegel en de Globus" (Global & Local Contrastive Learning)

Dit is een beetje als het leren van een taal.

• De Globus (Global): Kijkt naar het hele plaatje. "Is dit een long? Is dit een hart?" Het leert de grote lijnen.
• De Spiegel (Local): Kijkt heel dichtbij. "Zie je die randjes? Zie je die kleine details?"
• De analogie: Het systeem zegt: "Als je hier een randje ziet, moet je dat ook zien als je de foto iets anders kleurt." Het zorgt ervoor dat de kleine details (zoals de rand van een blokkade) niet verdwijnen, zelfs als de foto er anders uitziet. Ze gebruiken een slimme "herinneringsbank" (een wachtrij) om te onthouden wat ze eerder hebben gezien, zodat ze niet alles tegelijk hoeven te onthouden (wat de computer te zwaar zou maken).

Hulpmiddel C: De "Magische Loupe" (Attention-based Auxiliary Local Prediction)

Dit is misschien wel het slimste stukje.

• Het oude probleem: Vroeger zochten computers willekeurig naar stukjes van de foto om te oefenen. Omdat longblokkades zo klein zijn, was de kans 99% dat ze een stukje "leeg" longweefsel pakten. Dat is als proberen een speld te vinden door willekeurig in een hooiberg te graven.
• De oplossing: Het systeem gebruikt de "Aandacht" van de computer. De computer kijkt naar de foto en zegt: "Waar heb ik het meest naar gekeken toen ik probeerde te begrijpen wat er aan de hand was?"
• De analogie: In plaats van willekeurig te graven, gebruikt de computer een magische loupe die automatisch precies op de plekken tikt waar de blokkades zitten. Het pakt alleen de interessante stukjes en negeert het saaie, lege achtergrondgedeelte. Hierdoor leert de computer veel sneller en beter.

3. Het Resultaat: Een Detective die overal werkt

De onderzoekers hebben dit systeem getest op echte ziekenhuisdata van twee verschillende centra (FUMPE en CAD-PE) en zelfs op een ander type scan (van CT naar MRI, alsof je van kleurenfoto's naar zwart-witfoto's gaat).

• Vóór de verbetering: De computer zag bijna niets (een score van ongeveer 0,11).
• Na de verbetering: De computer zag de blokkades bijna perfect (een score van ongeveer 0,41).

Waarom is dit belangrijk?

In de echte wereld hebben ziekenhuizen vaak geen tijd of geld om duizenden foto's handmatig te laten labelen door artsen. Dit systeem is slim omdat het zichzelf kan aanpassen aan nieuwe ziekenhuizen zonder dat er nieuwe artsen nodig zijn om te labelen.

Bovendien is het systeem niet te zwaar voor de computers. Veel andere slimme systemen hebben enorme, dure supercomputers nodig. Dit systeem werkt prima op een gewone krachtige gaming-kaart (een RTX 4090), wat betekent dat het in de toekomst misschien in elk ziekenhuis gebruikt kan worden om artsen te helpen sneller en accurater diagnoses te stellen.

Kortom: Ze hebben een slimme, zelflerende detective gebouwd die, met behulp van een magische loupe en een paar slimme trucs, leert om kleine blokkades te vinden, ongeacht welke camera of welk ziekenhuis de foto maakt.

Technische samenvatting

Technische Samenvatting: Ongecontroleerde Domeinadaptatie voor Longembolie-detectie in CTPA-beelden

1. Het Probleem
Hoewel diep leren veelbelovend is voor de computerondersteunde diagnose van longembolieën (PE) via Computertomografie Pulmonale Angiografie (CTPA), wordt de praktische implementatie gehinderd door twee hoofdproblemen:

• Domeinverschuiving (Domain Shift): Modellen getraind op data van één ziekenhuis (bron) presteren vaak slecht op data van een ander ziekenhuis (doel) vanwege verschillen in scanners, contrasttiming en patiëntpopulaties.
• Kosten van annotatie: Het verkrijgen van pixel-precieze annotaties door radiologen voor het doel-domein is te duur en tijdrovend, waardoor volledig toezicht (supervised learning) onpraktisch is.
• Specifieke uitdaging bij PE: Longembolie-lesies zijn vaak extreem klein (sub-segmentaal) en maken een zeer klein deel uit van het totale beeldvolume. Bestaande methoden voor ongecontroleerde domeinadaptatie (UDA) gebruiken vaak willekeurige "cropping" voor lokale context, wat in dit geval leidt tot het selecteren van achtergrondruis in plaats van de relevante laesies.

2. Methodologie
De auteurs stellen een Ongecontroleerde Domeinadaptatie (UDA) framework voor dat gebaseerd is op een Mean-Teacher architectuur met een Vision Transformer (MiT-B5) als backbone. Het doel is kennis over te dragen van een gelabeld bron-domein naar een ongelabeld doel-domein zonder extra annotaties.

Het framework omvat drie kernmodules die zijn ontworpen om de betrouwbaarheid van "pseudo-labels" (voorspellingen van het leermeester-model) te verbeteren:

• Prototype Alignment (PA):

  • Deze module reduceert discrepanties op categorie-niveau door de feature-centroïden (prototypen) van specifieke klassen (bijv. longvaten) tussen het bron- en doel-domein in de feature-ruimte op elkaar af te stemmen.
  • Het gebruikt een momentum-update strategie om stabiele prototypes te behouden, zelfs bij kleine batchgroottes, en sluit onbetrouwbare pixels (hoge entropie) uit van de berekening.

• Global and Local Contrastive Learning (GLCL):

  • Global Contrastive Learning (GCL): Gebruikt Momentum Contrast (MoCo) met een wachtrij (queue) om negatieve voorbeelden uit eerdere batches op te slaan. Dit dwingt het netwerk om globale structurele semantiek te leren die onafhankelijk is van stijlvariaties (bijv. CT vs. MRI).
  • Local Contrastive Learning (LCL): Richt zich op pixel-niveau topologische relaties om de contouren en details van kleine laesies te behouden.
  • Samen zorgen ze ervoor dat het model zowel de algemene anatomische lay-out als de fijne details begrijpt, ongeacht de domeinverschillen.

• Attention-based Auxiliary Local Prediction (AALP):

  • Dit is een cruciale innovatie ter vervanging van willekeurige cropping. In plaats van willekeurig een stukje beeld te kiezen, gebruikt deze module de self-attention maps van de Transformer om gebieden met hoge informatiewaarde (waar de laesies waarschijnlijk zitten) te identificeren.
  • Het cropt automatisch de meest relevante lokale patches en gebruikt deze voor een auxiliaire voorspelling. Dit zorgt ervoor dat het model gefocust blijft op de kleine, zeldzame longembolie-lesies in plaats van op de achtergrond.

3. Belangrijkste Bijdragen

1. Efficiënt Framework: Ontwikkeling van een computerefficiënt UDA-framework op basis van Transformers dat een balans vindt tussen prestaties en hardware-beperkingen (geen zware 3D-CNN's of VAE's nodig).
2. Geavanceerde Feature-Alignment: Integratie van PA, GLCL en AALP om actief de kwaliteit van pseudo-labels te verbeteren en het probleem van het detecteren van kleine objecten aan te pakken.
3. AALP-module: Een nieuwe methode die attention-mechanismen gebruikt om "lesion-rich" regio's te selecteren, wat een significant voordeel biedt ten opzichte van traditionele willekeurige cropping bij zeldzame ziektes.
4. Robuuste Validatie: Experimenten uitgevoerd onder strikte voorwaarden waarbij geen doel-domein labels worden gebruikt voor modelselectie, wat de klinische bruikbaarheid in de echte wereld simuleert.

4. Resultaten
De methode werd getest op cross-center CTPA-datasets (FUMPE en CAD-PE) en een cross-modale dataset (MMWHS: CT naar MRI).

• Cross-Center CTPA (Longembolie):

  • FUMPE → CAD-PE: De IoU (Intersection over Union) steeg van 0,1152 (zonder adaptatie) naar 0,4153.
  • CAD-PE → FUMPE: De IoU steeg van 0,1705 naar 0,4302.
  • Dit toont aan dat het model succesvol de domeinverschuiving tussen verschillende ziekenhuizen heeft overbrugd.

• Cross-Modaal (CT → MRI):

  • Op de MMWHS dataset bereikte het model een Dice-score van 69,9% zonder gebruik te maken van doel-domein labels voor validatie.
  • Dit is een enorme verbetering ten opzichte van de "source-only" baseline (19,4%) en is vergelijkbaar met of beter dan state-of-the-art methoden, maar dan met een veel lagere rekenkosten.

• Vergelijking met SOTA:

  • Hoewel sommige bestaande methoden (zoals MAPSeg) iets hogere scores halen, vereisen deze zware 3D-architecturen en enorme hardware (bijv. meerdere V100 GPU's). Het voorgestelde model presteert uitstekend op één RTX 4090 (24 GB VRAM) met een 2D-architectuur, wat het veel toegankelijker maakt voor klinische omgevingen.

5. Betekenis en Conclusie
Dit onderzoek biedt een robuuste en kosteneffectieve oplossing voor het probleem van domeinverschuiving in medische beeldvorming, specifiek voor de detectie van kleine pathologieën zoals longembolieën.

De belangrijkste doorbraak is de demonstratie dat het combineren van Transformer-architecturen met gerichte feature-space alignment (via PA, GLCL en AALP) leidt tot superieure generalisatie zonder de noodzaak van dure annotaties in het doel-domein. De AALP-module lost specifiek het probleem op van het missen van kleine laesies door slimme, attention-gestuurde selectie van beeldregio's. Dit maakt de technologie direct toepasbaar in diverse klinische omgevingen met beperkte rekenkracht, wat een belangrijke stap is naar de daadwerkelijke implementatie van AI in de dagelijkse radiologische praktijk.