💻 computer science

Beyond Benchmarks of IUGC: Rethinking Requirements of Deep Learning Methods for Intrapartum Ultrasound Biometry from Fetal Ultrasound Videos

Dit artikel presenteert een overzicht van de Intrapartum Ultrasound Grand Challenge (IUGC), inclusief het grootste tot nu toe beschikbare dataset voor intrapartum-echografie, een analyse van de inzendingen van acht teams en een kritische evaluatie van de huidige prestaties en uitdagingen voor de klinische implementatie van diepe leermethoden voor biometrie.

Oorspronkelijke auteurs: Jieyun Bai, Zihao Zhou, Yitong Tang, Jie Gan, Zhuonan Liang, Jianan Fan, Lisa B. Mcguire, Jillian L. Clarke, Weidong Cai, Jacaueline Spurway, Yubo Tang, Shiye Wang, Wenda Shen, Wangwang Yu, Yihao Li

Gepubliceerd 2026-02-16

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jieyun Bai, Zihao Zhou, Yitong Tang, Jie Gan, Zhuonan Liang, Jianan Fan, Lisa B. Mcguire, Jillian L. Clarke, Weidong Cai, Jacaueline Spurway, Yubo Tang, Shiye Wang, Wenda Shen, Wangwang Yu, Yihao Li, Philippe Zhang, Weili Jiang, Yongjie Li, Salem Muhsin Ali Binqahal Al Nasim, Arsen Abzhanov, Numan Saeed, Mohammad Yaqub, Zunhui Xian, Hongxing Lin, Libin Lan, Jayroop Ramesh, Valentin Bacher, Mark Eid, Hoda Kalabizadeh, Christian Rupprecht, Ana I. L. Namburete, Pak-Hei Yeung, Madeleine K. Wyburd, Nicola K. Dinsdale, Assanali Serikbey, Jiankai Li, Sung-Liang Chen, Zicheng Hu, Nana Liu, Yian Deng, Wei Hu, Cong Tan, Wenfeng Zhang, Mai Tuyet Nhi, Gregor Koehler, Rapheal Stock, Klaus Maier-Hein, Marawan Elbatel, Xiaomeng Li, Saad Slimani, Victor M. Campello, Benard Ohene-Botwe, Isaac Khobo, Yuxin Huang, Zhenyan Han, Hongying Hou, Di Qiu, Zheng Zheng, Gongning Luo, Dong Ni, Yaosheng Lu, Karim Lekadir, Shuo Li

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Titel: De Grote Ultrasone Geluidswedstrijd: Hoe AI helpt bij het zien van de geboorte

Stel je voor dat je een zwangere vrouw bent die op het punt staat te bevallen. De verloskundige moet precies weten hoe ver het hoofdje van de baby al is gekomen, om te beslissen of de bevalling soepel verloopt of dat er hulp nodig is. Vroeger deed de arts dit met de hand: een hand op de buik, een echo-apparaat erbij, en dan met de ogen en een liniaal proberen te meten. Dat is lastig, vermoeiend en soms onnauwkeurig, vooral als de baby beweegt of de echo-beelden wazig zijn.

Deze paper beschrijft een groot internationaal evenement (een "challenge") waar slimme computers (AI) werden getest om deze metingen automatisch en perfect te doen. Het is alsof we een olympische wedstrijd hebben georganiseerd voor robots om te kijken wie de beste "echoscopist" is.

Hier is hoe het werkt, vertaald in alledaags taal:

1. Het Probleem: Een naald in een hooiberg

Bij een bevalling is de echo niet altijd een kristalhelder plaatje. Het is meer als kijken door een bewogen raam met regen erop.

De uitdaging: De computer moet eerst het goede plaatje vinden (waar het hoofdje en het bekken goed te zien zijn). Dan moet hij de contouren van het hoofdje en het schaambeen (het botje in het bekken) precies tekenen. Tot slot moet hij twee dingen meten: de hoek (hoe schuin het hoofdje staat) en de afstand (hoe ver het hoofdje al is).
De moeilijkheid: De baby beweegt, de arts beweegt de echo-apparaat, en het beeld heeft vaak "ruis" (zoals statische op een oude tv).

2. De Wedstrijd: 126 teams, 8 winnaars

Organisatoren verzamelden 774 video's van echte bevallingen uit drie verschillende ziekenhuizen in China. Dit was hun "speelgoed" voor de robots.

De deelnemers: 126 teams uit 18 landen schreven zich in. Uiteindelijk deden 8 teams het zo goed dat ze hun methoden mochten presenteren.
De taken: De teams moesten een programma maken dat drie dingen tegelijk doet:
1. Kijken: "Is dit een goed beeld?" (Zoals een fotograaf die checkt of de foto scherp is).
2. Tekenen: "Teken precies de rand van het hoofdje en het botje." (Zoals een kleuter die een cirkel moet kleuren, maar dan met pixel-perfect precisie).
3. Meten: "Hoeveel graden is de hoek en hoe lang is de afstand?"

3. De Winnaars en hun Trucjes

Elk team had een eigen strategie, net als verschillende sporters die verschillende trainingen doen.

Team Ganjie (De Video-Meester): Zij keken niet naar losse plaatjes, maar naar de beweging in de video. Stel je voor dat je een film kijkt in plaats van een fotoalbum. Door te kijken hoe de beelden zich verplaatsen, konden ze de beweging van de baby beter begrijpen. Ze wonnen de prijs voor het beste "Kijken" (Classificatie).
Team ViCBiC (De Tekenaar): Zij waren de beste in het precies tekenen van de randen. Ze gebruikten een slimme techniek om de "ruis" in de echo te filteren, alsof ze een oude foto schoonmaken en dan de contouren natekenen. Ze wonnen de prijs voor het beste "Tekenen" (Segmentatie).
Team BioMedIA (De Rekenaar): Zij waren het meest nauwkeurig in het meten van de hoek en afstand. Ze gebruikten een trucje waarbij ze de computer leerden op "onzichtbare" beelden (beelden zonder labels) om slimmer te worden, net als een student die ook oefent met oude examens die hij niet kent.

4. Wat leerden we? (De Lessen)

Hoewel de robots goed deden, zijn ze nog niet perfect. De paper trekt een paar belangrijke conclusies:

De "Eerste Stap" is het lastigst: Het is voor de computer nog steeds heel moeilijk om te zeggen of een beeld "goed" of "slecht" is. Soms denkt de computer dat een wazig beeld goed is, terwijl het niet is. Dit is als een beginnende fotograaf die niet weet of een foto scherp is.
Geen "One Size Fits All": Een robot die goed werkt in Ziekenhuis A, werkt soms slecht in Ziekenhuis B, omdat de echo-apparaten anders zijn. Het is alsof een auto die perfect rijdt op een asfaltweg, vastloopt op een modderpad. De robots moeten leren om zich aan te passen aan verschillende apparaten.
Simpel is soms beter: Sommige teams probeerden de beelden eerst te "gladstrijken" (een wiskundige techniek om ronde vormen te maken), maar dit bleek soms juist fouten te maken. Soms is het beter om gewoon te kijken wat er echt op het scherm staat, zonder er een wiskundig model over te leggen.

5. De Toekomst: Waarom is dit belangrijk?

Dit onderzoek is een enorme stap voorwaarts.

Voor arme landen: In landen waar er weinig geschoolde artsen zijn, kan deze AI een levensredder zijn. Een arts met een tablet en een echo-apparaat kan dan precies zien of de bevalling veilig verloopt, zonder dat er een specialist bij hoeft te zijn.
Voor iedereen: Het helpt artsen om sneller en zekerder beslissingen te nemen, wat kan voorkomen dat onnodige keizersneden worden gedaan.

Kortom: Deze paper vertelt het verhaal van hoe een groep slimme mensen en computers samenwerken om de geboorte veiliger te maken. Het is nog niet klaar voor de "finale" (iedereen kan het nu nog niet overal gebruiken), maar het laat zien dat we op de goede weg zijn. De robots worden steeds slimmer, en dat is goed nieuws voor moeders en baby's over de hele wereld.

Titel en Context

Titel: Beyond Benchmarks of IUGC: Rethinking Requirements of Deep Learning Method for Intrapartum Ultrasound Biometry from Fetal Ultrasound Videos
Publicatie: Medical Image Analysis (2026), gepresenteerd als onderdeel van de Intrapartum Ultrasound Grand Challenge (IUGC) in samenwerking met MICCAI 2024.
Auteurs: Een internationaal consortium onder leiding van Jieyun Bai, Zheng Zheng, Yaosheng Lu, en anderen.

1. Het Probleem

Een aanzienlijk deel (45%) van de maternale en neonatale sterfgevallen en doodgeboortes vindt plaats tijdens de bevalling (intrapartum fase), vooral in landen met lage en middelhoge inkomens. Het monitoren van de voortgang van de bevalling is cruciaal, maar de routineuze inzet van echografie in beperkte middelen-omgevingen wordt gehinderd door een tekort aan opgeleide sonografen.

De huidige uitdagingen voor geautomatiseerde analyse van intrapartum-echografie zijn:

Complexiteit van de data: Ultrasound-beelden bevatten artefacten (schaduwen, ruis), bewegingsonduidelijkheid door de foetus en de moeder, en variatie in de positie van de sonde.
Anatomische dynamiek: Tijdens de bevalling veranderen de anatomische structuren (foetale kop en schaambeen) snel door weeën en beweging.
Meerdere taken: Een volledig automatisch systeem moet drie opeenvolgende taken uitvoeren:
1. Classificatie: Het identificeren van standaardbeelden (standard planes) uit een videostream.
2. Segmentatie: Het automatisch segmenteren van de foetale kop (FH) en het schaambeen (PS).
3. Biometrie: Het berekenen van klinisch relevante parameters, namelijk de Angle of Progression (AoP) en de Head-Symphysis Distance (HSD).
Gebrek aan benchmarks: Er waren tot nu toe weinig gestandaardiseerde, multi-centrische videodatasets beschikbaar voor het trainen en evalueren van end-to-end deep learning modellen voor deze specifieke toepassing.

2. Methodologie en Opzet van de Uitdaging

De auteurs hebben de Intrapartum Ultrasound Grand Challenge (IUGC) georganiseerd om deze problemen aan te pakken.

Dataset:

Omvang: 774 video's (totaal 68.106 beelden) verzameld van 774 zwangere vrouwen.
Bronnen: Data afkomstig van drie ziekenhuizen in China (JNU, SYSU, SMU) met verschillende echografieapparatuur (Esaote, GE Voluson, ObEye).
Verdeling:
- Training: 434 video's.
- Validatie: 40 video's.
- Testset: 300 video's (inclusief data van alle drie de bronnen om generalisatie te testen).
Labeling: Handmatige annotatie door drie experts (sonografen en obstetrici) voor standaardbeelden, segmentatie en meetpunten.

Deelnemers en Benaderingen:
Er namen 126 teams deel, waarvan 16 de competitie afrondden. De top 7 teams (T1-T7) plus een baseline (T0) werden geanalyseerd. De methoden varieerden van:

Tweestaps-pijplijnen: Eerst classificatie, dan segmentatie, gevolgd door meetberekening (meeste teams).
End-to-end video-verwerking: Directe verwerking van videoclips zonder tussenstappen (bijv. Team T1 met Video Swin Transformer).
Gebruik van Foundation Models: Integratie van modellen zoals SAM (Segment Anything Model) en pre-getrainde netwerken (ImageNet, nnUNet).
Data Augmentatie: Gebruik van synthetische data, pseudo-labeling, en diverse transformaties (rotatie, ruis, contrast).

Evaluatiemetrics:

Classificatie: Accuracy (ACC), F1-score, AUC, MCC.
Segmentatie: Dice Similarity Coefficient (DSC), Average Symmetric Surface Distance (ASSD), Hausdorff Distance (HD).
Biometrie: Absolute afwijking van de handmatige meting ( $\Delta$ AoP en $\Delta$ HSD).

3. Belangrijkste Resultaten

De resultaten tonen aan dat automatische systemen veelbelovend zijn, maar nog ruimte hebben voor verbetering voordat ze klinisch inzetbaar zijn.

Prestaties per Taak:

Classificatie (Standaardbeelden herkennen): Team T1 (Ganjie) behaalde de beste resultaten (ACC = 0.7441). Het was echter moeilijk om standaardbeelden met hoge zekerheid te onderscheiden van niet-standaardbeelden (alleen T1 en T3 haalden >60% ACC; de baseline bleef onder de 50%).
Segmentatie (FH en PS): Team T2 (ViCBiC) presteerde het beste (DSC = 0.8857). De segmentatie van het schaambeen (PS) was over het algemeen makkelijker dan die van de foetale kop (FH) vanwege de kleinere grootte en minder duidelijke grenzen van het schaambeen.
Biometrie (AoP en HSD): Team T3 (BioMedIA) behaalde de kleinste afwijking voor AoP ( $\Delta$ $Δ$ AoP = 9.16°), terwijl Team T2 het beste was voor HSD.
- Opmerking: De foutmarges zijn nog aanzienlijk hoger dan die van menselijke experts, wat de complexiteit van de taak benadrukt.

Kritieke Observaties:

Domain Shift: Modellen presteerden significant slechter op data van het ziekenhuis SMU (Esaote-apparatuur) vergeleken met JNU en SYSU, wat wijst op gevoeligheid voor apparaatverschillen.
Post-processing: Het toepassen van ellips-passing (elliptical fitting) op de segmentatieresultaten bleek niet altijd gunstig. Voor HSD-metingen leverde het gebruik van de ruwe contour (zonder fitting) vaak betere en stabielere resultaten op, omdat fitting ruis kan versterken.
Inter-annotator overeenkomst: De menselijke annotaties zelf vertoonden matige overeenkomst (ICC 0.4–0.6) voor biometrie, wat suggereert dat er een inherente onzekerheid zit in de "ground truth" die ook voor algoritmen een plafond vormt.
End-to-end vs. Tweestaps: Team T1, dat een end-to-end video-approach gebruikte, presteerde het beste in de totale rangschikking, wat suggereert dat het benutten van tijdsafhankelijke informatie (video) cruciaal is.

4. Kernbijdragen

Grootste Multi-Centrum Videodataset: De publicatie van de grootste tot nu toe bestaande dataset van intrapartum-echografievideo's (774 video's) met grondige annotaties voor classificatie, segmentatie en biometrie.
Uitgebreide Benchmark: Een gedetailleerde evaluatie van 8 top-methoden, inclusief een analyse van hun prestaties op verschillende databronnen en apparatuur.
Technische Inzichten:
- Het bewijs dat end-to-end video-modellen (zoals Video Swin Transformer) superieur kunnen zijn aan frame-voor-frame benaderingen voor deze dynamische taak.
- De ontdekking dat complexe post-processing (zoals ellips-passing) soms schadelijk kan zijn voor meetnauwkeurigheid in ruige klinische data.
- Een analyse van de beperkingen van huidige modellen, met name de lage nauwkeurigheid bij het detecteren van standaardbeelden (<80% vs. >86% voor experts).
Open Science: Alle code, datasets (onder licentie) en resultaten zijn openbaar gemaakt om verdere research te stimuleren.

5. Betekenis en Toekomstperspectief

De IUGC-challenge markeert een belangrijke stap in de automatisering van de bevallingszorg. Hoewel de resultaten veelbelovend zijn, concludeert het artikel dat de technologie zich nog in een vroeg stadium bevindt.

Belangrijkste conclusies voor de toekomst:

Robuustheid: Er is dringend behoefte aan modellen die beter generaliseren over verschillende apparaten en ziekenhuizen (domain generalization).
Semi-supervised learning: De dataset bevat veel ongelabelde data die nauwelijks is benut; toekomstige modellen moeten hier gebruik van maken.
Klinische implementatie: De huidige foutmarges en de complexiteit van de modellen (vaak te zwaar voor randapparatuur) vormen nog een barrière voor directe klinische toepassing.
End-to-end oplossingen: De trend naar end-to-end video-verwerking lijkt de meest veelbelovende richting om cumulatieve fouten in pijplijnen te verminderen.

Samenvattend biedt deze studie een solide basis voor verdere ontwikkeling van AI-gestuurde hulpmiddelen voor het monitoren van de bevalling, met als uiteindelijke doel het verbeteren van de moeder- en kindveiligheid wereldwijd.