Rethinking Pulmonary Embolism Segmentation: A Study of Current Approaches and Challenges with an Open Weight Model

1. Probleemstelling

Longembolie (PE) is een levensbedreigende cardiovasculaire aandoening waarbij tijdige detectie cruciaal is. Hoewel Computed Tomography Pulmonary Angiography (CTPA) de klinische gouden standaard is, blijft geautomatiseerde voxel-niveau segmentatie van PE uitdagend. De auteurs identificeren drie grote knelpunten die vooruitgang op dit gebied belemmeren:

• Data-beperkingen: Bestaande openbare datasets (FUMPE, CAD-PE, READ) zijn klein, missen consistentie in annotatiecriteria (bijvoorbeeld: sommige laten distale/sub-segmentale PEs weg, terwijl anderen artefacten annoteren als PEs) en kampen met data-lekproblemen in eerdere studies.
• Evaluatiefouten: Veel studies gebruiken ongeschikte metrieken (bijvoorbeeld slice-level ROC-AUC in plaats van volumetrische Dice) of rapporteren geen segmentatie-specifieke metrieken zoals Average Symmetric Surface Distance (ASSD).
• Reproduceerbaarheid: Er is een gebrek aan open-weight modellen en gestandaardiseerde baselines, wat het moeilijk maakt om nieuwe architecturen eerlijk te vergelijken.

2. Methodologie

Dataset Curation

De auteurs hebben een hoogwaardige, eigen dataset samengesteld bestaande uit 490 unieke CTPA-scans (430 voor training/validatie, 60 voor testen).

• Annotaties: Afgeleid van verslagen van door de raad erkende radiologen, met dekking van acute en chronische PE op alle anatomische niveaus (centraal, lobair, segmentaal en sub-segmentaal/distaal).
• Preprocessing: Scans zijn geconverteerd naar NIfTI-formaat. 2D-modellen gebruikten native axiale slices; 3D-modellen werden hersampled naar een consistente voxelafstand van $(0.7373, 0.7373, 1.0)$ mm.
• Augmentatie: Inclusief willekeurige affiene schaling, rotaties, uitsnijdingen en spiegelingen.

Experimenteel Ontwerp

Het onderzoek hanteerde drie kernexperimenten:

1. Architectuur Benchmarking: Negen representatieve segmentatie-architecturen (mix van CNN's en Vision Transformers, zowel 2D als 3D) werden getraind en geëvalueerd onder een uniek protocol.
2. Pretraining-analyse: Het beste 2D-model (Inception U-Net) werd getest met gewichten vooraf getraind op de RSNA-PE classificatiedataset (7.929 volumes) versus willekeurige initialisatie om te bepalen of classificatie-pretraining segmentatie helpt.
3. Generalisatiestudie: Het best presterende model werd geëvalueerd op drie openbare datasets (FUMPE, CAD-PE, READ) zonder fine-tuning om out-of-the-box generaliseerbaarheid te beoordelen.

Evaluatiemetrieken

• Primair: Mean Dice Similarity Coefficient (mDSC) en Average Symmetric Surface Distance (ASSD).
• Secundair: Embolus-level detectie-analyse met een strikte volumebewuste drempelwaarde (X% overlap) in plaats van eenvoudige pixel-overlap, om ware detectie te onderscheiden van toevallige overlappingen.

3. Belangrijkste Bijdragen

1. Open-Weight Model & Dataset: De auteurs hebben het eerste open-weight PE-segmentatiemodel vrijgegeven, getraind op een grote, dicht geannoteerde dataset van 490 unieke patiënten. De code en gewichten zijn publiek beschikbaar.
2. Systematische Benchmark: Een uitgebreide vergelijking van 9 state-of-the-art architecturen (waaronder nnUNet, MedNeXt, Swin-UNETR, SegFormer, enz.) vestigt een nieuwe baseline voor het vakgebied.
3. Kritische Analyse van Openbare Data: Het onderzoek blootlegt aanzienlijke inconsistenties in openbare datasets (bijvoorbeeld: CAD-PE dat vaatinterface's annoteert, FUMPE dat distale PEs mist), wat verklaart waarom modellen vaak falen bij generalisatie naar deze datasets.
4. Reproduceerbaarheidskader: Door het trainingsproces en de evaluatiemetrieken te standaardiseren, biedt het artikel een reproduceerbaar kader voor toekomstig PE-segmentatieonderzoek.

4. Belangrijkste Resultaten

Architecturale Prestaties

• 3D vs. 2D: 3D-modellen presteerden consequent beter dan 2D-modellen. Het beste model was nnUNet3D met ResNet-encoderblokken, met een mDSC van 0,713 en ASSD van 1,03 mm.
  • Redenering: 3D-context helpt modellen om dunne emboli loodrecht op het axiale vlak te onderscheiden en artefacten te filteren.
• CNN vs. ViT: Binnen dezelfde dimensionaliteit presteerden CNN-gebaseerde modellen beter dan Vision Transformers (ViTs).
  • Redenering: Transformers missen sterke inductieve bias voor kleine objecten wanneer de trainingsdata bescheiden is (n=430).
• Toppresteerders:
  • 3D: nnUNet3D-ResEncXL (mDSC 0,713)
  • 2D: Inception-UNet (mDSC 0,652)

Pretraining Bevindingen

• Classificatie-pretraining faalde: Pretraining op de RSNA-PE classificatie-dataset verbeterde de segmentatieprestaties niet in vergelijking met willekeurige initialisatie.
  • Inzicht: Kenmerken die zijn geleerd voor slice-level classificatie (afhankelijk van anatomische context) vertalen zich niet goed naar de voxel-level grensbepaling die voor segmentatie vereist is.

Foutanalyse & Generalisatie

• Consistente Foutpatronen: Ondanks verschillende architecturen vertoonden modellen sterk gecorreleerde prestatiespectra over patiënten heen. Als een model faalde bij een specifieke patiënt, deden anderen dit waarschijnlijk ook, wat wijst op intrinsieke datamoeilijkheid in plaats van architectonisch falen.
• Distale PE-uitdaging: De primaire bron van fouten (False Negatives en False Positives) waren kleine, distale emboli en artefacten. De mediaan grootte van foutfragmenten was een orde van grootte kleiner dan ware positieven.
• Discrepanties in Openbare Datasets:
  • FUMPE: Hoog False Positive-gehalte omdat het model correcte distale PEs identificeerde die door FUMPE-annotaties waren weggelaten.
  • CAD-PE: Hoog False Negative-gehalte door annotaties die vaatinterface's of artefacten omvatten in plaats van ware emboli.
  • READ: Hoog False Negative-gehalte voor zeer kleine fragmenten (<0,01 mL), waarschijnlijk door de hoge resolutie van READ-annotaties die details vastleggen die verloren gaan tijdens hersampling van het model.

5. Betekenis en Toekomstige Richtingen

• Paradigmaverschuiving: Het artikel betoogt dat toekomstige vooruitgang minder afhankelijk is van zoektochten naar nieuwe architecturen en meer van datakwaliteit en -hoeveelheid, met name gericht op moeilijke gevallen (distale PEs).
• Klinische Bruikbaarheid: Het onderzoek benadrukt dat zelfs ervaren radiologen moeite hebben met sub-segmentale PEs, wat suggereert dat de huidige "ground truth" imperfect is.
• Aanbevelingen:
  • Toekomstige datasets moeten uitgebreide, consistente annotaties voor distale PEs bevatten.
  • Evaluatie moet weg van slice-level metrieken naar volumetrische en detectie-gebaseerde metrieken.
  • Het vrijgegeven model en de gewichten dienen als een robuuste baseline voor de gemeenschap om op voort te bouwen, waardoor de focus verschuift van "nieuwe modellen uitvinden" naar "datatekorten en annotatieruis oplossen".

Concluderend biedt dit werk een kritische audit van het PE-segmentatielandschap, waarbij wordt aangetoond dat 3D CNN's (specifiek nnUNet) state-of-the-art blijven, maar dat de primaire beperking van het vakgebied data-inconsistentie is in plaats van algoritmische capaciteit. De open middelen van de auteurs hebben tot doel reproduceerbare en klinisch relevante doorbraken te stimuleren.