Technische Samenvatting: FUGC Benchmarking van Semi-Supervised Learning voor Cervicale Segmentatie

Probleemstelling

Nauwkeurige segmentatie van cervicale structuren in transvaginale echografie (TVS) is cruciaal voor het beoordelen van het risico op spontane vroeggeboorte (PTB). De ontwikkeling van gesuperviseerde deep learning-modellen wordt echter gehinderd door de schaarste aan gelabelde medische data, een uitdaging die wordt verergerd door privacybeperkingen, de zeldzaamheid van specifieke condities en de hoge kosten van expert-annotatie. Hoewel semi-supervised learning (SSL) een oplossing biedt door gebruik te maken van overvloedige ongelabelde data, is er een aanzienlijke kloof in publiekelijk beschikbare datasets en gestandaardiseerde evaluatiekaders specifiek voor SSL bij cervicale echografische segmentatie. Bestaande benchmarks vertrouwen uitsluitend op volledig gesuperviseerd leren, en cervicale segmentatie zelf presenteert unieke moeilijkheden, waaronder signaaluitval, artefacten, ontbrekende grenzen en anatomische variabiliteit.

Methodologie

Het artikel introduceert de Fetal Ultrasound Grand Challenge (FUGC), de eerste benchmark die is ontworpen om SSL-methoden voor cervicale segmentatie te evalueren.

Dataset

De FUGC-dataset bestaat uit 890 TVS-beelden verkregen met GE Voluson E10 en E8 systemen. De data is als volgt verdeeld:

• Training: 500 beelden (50 gelabeld, 450 ongelabeld).
• Validatie: 90 beelden.
• Test: 300 beelden.
  Annotaties voor de anterieure en posterieure cervicale lippen werden gegenereerd met behulp van een gefinetuned, op echografie aangepast SAM-model en vervolgens verfijnd door een ervaren obstetrisch echografist (>10 jaar ervaring). De dataset is publiekelijk beschikbaar onder een CC BY 4.0 licentie.

Evaluatiekader

De uitdaging volgde de richtlijnen van de Biomedical Image Analysis Challenges (BIAS). Prestaties werden geëvalueerd met drie metrieken:

1. Dice Similarity Coefficient (DSC): Gemeten voor de anterieure lip (DSC A), de posterieure lip (DSC P) en de totale cervix (DSC All).
2. Hausdorff Distance (HD): Gemeten voor dezelfde regio's (HD A, HD P, HD All).
3. Runtime (RT): Inferentietijd gemeten op specifieke hardware (Xeon Silver 4210R CPU, Quadro RTX 8000 GPU).

De uiteindelijke rangschikking maakte gebruik van een gewogen combinatie van deze metrieken: 0,4 voor mDSC (gemiddelde van DSC A en DSC P), 0,4 voor mHD (gemiddelde van HD A en HD P), en 0,2 voor RT. Er werd een drempelwaarde van 402 ms toegepast op de RT-scoring om ervoor te zorgen dat zeer nauwkeurige maar tragere methoden niet onredelijk werden gestraft.

Deelnemende oplossingen

De uitdaging trok 10 winnende teams aan (82 deelnemers). De best presterende methoden maakten gebruik van diverse strategieën, waaronder:

• Human-in-the-loop verfijning: Iteratieve correctie van pseudo-labels met behulp van annotatietools (Team T1).
• Mean Teacher Frameworks: Gebruik van exponential moving average (EMA) teachers en consistentie-regularisatie (Teams T2, T3, T5, T6, T7, T8, T9).
• Foundation Models: Integratie van Vision Transformers (ViT) zoals DINOv2 en DINOv2-S als encoders (Teams T3, T5, T9).
• Multi-stage Pipelines: Twee- of drie-staps benaderingen bestaande uit initiële pseudo-label generatie (vaak via nnUNet) gevolgd door verfijning en hertraining (Teams T1, T4, T7, T10).
• Data Augmentatie: Uitgebreid gebruik van geometrische transformaties, fotometrische aanpassingen en geavanceerde technieken zoals Copy-Paste, CutMix en Complementary Channel-Wise Dropout.

Belangrijkste Resultaten

• Algehele Prestaties: De best presterende methode (Team T1) behaalde een uiteindelijke gewogen score van 98,51%, waarbij een balans werd gevonden tussen hoge nauwkeurigheid en redelijke efficiëntie.
• Nauwkeurigheidsmetrieken:
  • mDSC: De hoogste mDSC was 90,26% (Team T4).
  • mHD: De laagste (beste) mHD was 38,88 (Team T4).
  • DSC All: Team T1 behaalde 0,9336, terwijl Team T4 0,9289 behaalde.
• Efficiëntiemetrieken:
  • Runtime: De snelste inferentietijd was 32,85 ms (Team T6), terwijl de langzaamste 652,38 ms was (Team T4).
• Trade-offs: Een Pareto front-analyse identificeerde Teams T1, T2 en T4 als niet-gedomineerde oplossingen, die optimale trade-offs bieden tussen segmentatienauwkeurigheid, grensprecisie en runtime. Team T1 behaalde de hoogste rang door effectief de nauwkeurigheid van T4 te balanceren met de efficiëntie van snellere modellen.

Belangrijkste Bijdragen

1. Eerste SSL Benchmark voor Cervicale Echografie: FUGC vestigt de eerste gestandaardiseerde, reproduceerbare benchmark specifiek voor semi-supervised learning bij transvaginale cervicale segmentatie, waarmee een kritieke kloof in de literatuur wordt gedicht.
2. Omvattende Datasetpublicatie: De release van 890 TVS-beelden met hoogwaardige, door experts verfijnde annotaties biedt een waardevolle bron voor de medische beeldvormingsgemeenschap.
3. Methodologische Inzichten: De uitdaging toont aan dat competitieve prestaties kunnen worden behaald met beperkte gelabelde data (50 beelden) door diverse SSL-strategieën, waaronder offline pseudo-label verfijning, online consistentie-regularisatie en de integratie van foundation models.
4. Open Science: Alle datasets, annotaties en broncodes van de top 10 teams zijn publiekelijk vrijgegeven om transparantie en verder onderzoek te bevorderen.

Betekenis en Claims

Het artikel beweert dat FUGC dient als een katalysator voor schaalbare, data-efficiënte cervicale segmentatiemodellen, wat bijdraagt aan de kwantitatieve studie van de uterusfysiologie en de ontwikkeling van AI-tools voor de moeder-foetale geneeskunde.

• Klinische Relevantie: De resultaten suggereren dat semi-supervised methoden de prestaties van state-of-the-art volledig gesuperviseerde algoritmen kunnen benaderen (het behalen van DSC-scores >93%), wat potentieel kan leiden tot nauwkeurigere cervicale lengtemetingen en een eerdere, preciezere screening voor PTB-risico.
• Haalbaarheid: De studie demonstreert dat goed ontworde SSL-pipelines de beperkingen van labeltekort kunnen mitigeren. Bovendien wijzen inferentietijden van slechts 32 ms erop dat deze methoden richting klinische real-time toepasbaarheid bewegen.
• Beperkingen: De auteurs merken bescheiden op dat de referentie-annotaties door een enkele expert zijn geleverd, wat de beoordeling van inter-waarnemer variabiliteit beperkt. Daarnaast is voor strikte real-time implementatie op edge-apparaten verdere optimalisatie vereist, en toekomstig werk zou diversere klinische cohorten moeten bevatten, met name voor vroeggeboortegestuurde gevallen.