Label Dropout: Improved Deep Learning Echocardiography Segmentation Using Multiple Datasets With Domain Shift and Partial Labelling

Probleemstelling

Diepe leermodellen voor het segmenteren van hartstructuren in echocardiografie (echo) zijn veelbelovend voor de automatisering van diagnostiek. Voor een succesvolle klinische implementatie moeten deze modellen echter robuust zijn tegen variaties in beeldkwaliteit, afkomst van scanners en expertise van de operator. Dit vereist training op diverse datasets.

Een groot obstakel bij het combineren van meerdere openbare datasets is partieel labelen: niet alle datasets bevatten grondwaarheid (ground truth) voor dezelfde anatomische structuren. Bijvoorbeeld, dataset A heeft labels voor de linkerboezem (LA), maar dataset B niet.

• Huidige aanpak: Bestaande methoden passen de verliesfunctie (loss function) aan (bijv. adaptive cross-entropy), waarbij ontbrekende labels worden genegeerd of als achtergrond worden behandeld.
• Het geconstateerde probleem: De auteurs tonen aan dat het naief trainen met deze aangepaste verliesfuncties op diverse datasets met domeinverschuiving (domain shift) leidt tot een vorm van shortcut learning. Het model leert dan een correlatie tussen de domeinspecifieke kenmerken van een afbeelding (bijv. de scanner of de operator) en de aanwezigheid van een label. Hierdoor leert het model dat als een bepaald label in de grondwaarheid ontbreekt (bijv. in dataset B), het die specifieke structuur ook niet hoeft te segmenteren, ongeacht of deze wel zichtbaar is. Dit resulteert in een drastische prestatiedaling voor structuren met ontbrekende labels in specifieke domeinen.

Methodologie

De auteurs hebben een nieuwe techniek ontwikkeld, genaamd Label Dropout, om dit probleem aan te pakken.

1. Datasets: Er zijn drie publieke 2D-echo-datasets gebruikt (CAMUS, Unity Imaging, EchoNet Dynamic) met verschillende labels voor de linkerventrikel (LV), linkerventrikel myocardium (LVM) en linkerboezem (LA).
2. Baseline Modellen:
   • Een standaard U-Net architectuur.
   • Training met twee verliesfuncties: standaard Categorical Cross Entropy (CCE) en Adaptive Cross Entropy (waarbij ontbrekende labels uit de verliesberekening worden verwijderd).
3. Label Dropout Schem:
   • Tijdens het trainen wordt een kans (probabiliteit) geïntroduceerd om een label dat partieel aanwezig is (d.w.z. ontbreekt in sommige datasets), tijdelijk te verwijderen uit de grondwaarheid-masker van een willekeurige trainingssample.
   • Het ontbrekende label wordt dan tijdelijk behandeld als achtergrond.
   • Doel: Dit breekt de link tussen de domeinkenmerken van de afbeelding en de aanwezigheid van een label. Het model wordt gedwongen om te leren dat een structuur (bijv. LA) wel degelijk aanwezig kan zijn, zelfs in datasets waar deze normaal gesproken niet gelabeld is.
   • Als meerdere labels ontbreken, wordt er willekeurig één geselecteerd om te "droppen".

Experimenten en Resultaten

De auteurs hebben vier experimenten uitgevoerd om het probleem en de oplossing te valideren:

• Experiment 1 (Noodzaak van diversiteit): Toonde aan dat modellen getraind op één dataset slecht presteren op andere datasets (lage generalisatie), wat trainen op gecombineerde datasets noodzakelijk maakt.
• Experiment 2 (Het probleem): Bij training op de gecombineerde datasets met de adaptive loss (zonder dropout) faalde het model volledig om structuren te segmenteren die ontbraken in bepaalde datasets (bijv. LVM en LA in EchoNet Dynamic). Het model voorspelde alleen labels die consistent aanwezig waren in de grondwaarheid van dat specifieke domein.
• Experiment 3 (Controle): Bij training op één dataset (CAMUS) met kunstmatig verwijderde labels, presteerde de adaptive loss goed. Dit bevestigde dat het falen in Experiment 2 specifiek werd veroorzaakt door de interactie tussen domeinverschuiving en labelafwezigheid (shortcut learning), en niet door de loss-functie zelf.
• Experiment 4 (Label Dropout Effect):
  • Bij toepassing van Label Dropout op de gecombineerde datasets verbeterde de prestatie aanzienlijk.
  • Zelfs een lage dropout-kans (10%) was effectief om de shortcut learning te doorbreken.
  • Kwantitatieve resultaten: Op de EchoNet Dynamic testset (getraind op alle drie de datasets) resulteerde Label Dropout in een Dice-score stijging van 62% voor het LVM (van 0.319 naar 0.518) en 25% voor de LA (van 0.553 naar 0.689) vergeleken met de adaptive loss zonder dropout. De prestatie voor de LV (die in alle datasets aanwezig was) bleef vergelijkbaar hoog.

Belangrijkste Bijdragen

1. Identificatie van Shortcut Learning: Voor het eerst wordt aangetoond dat geavanceerde methoden voor partieel gelabelde data (zoals adaptive loss) negatief beïnvloed kunnen worden door domeinverschuiving, wat leidt tot een model dat labelafwezigheid associeert met beeldkenmerken.
2. Label Dropout Techniek: Een nieuwe, eenvoudige maar effectieve methode om deze associatie te verbreken door labels tijdens het trainen willekeurig te verwijderen, waardoor het model robuuster wordt.

Significantie

Dit werk is cruciaal voor de klinische vertaling van AI in de cardiologie. Het stelt onderzoekers in staat om bestaande, diverse en deels onvolledig gelabelde datasets te combineren om meer generaliseerbare en robuuste segmentatiemodellen te trainen. Zonder deze techniek zouden modellen waarschijnlijk falen bij het verwerken van data van nieuwe bronnen waar bepaalde labels ontbreken. De methode is breed toepasbaar en kan verder worden onderzocht op andere netwerkarctitecturen (zoals Transformers) en andere beeldvormende modaliteiten.