Impact of Labeling Inaccuracy and Image Noise on Tooth Segmentation in Panoramic Radiographs using Federated, Centralized and Local Learning

Titel: Impact van Labeling-onnauwkeurigheid en Beeldruis op Tandsegmentatie in Panoramische Radiografie met Federated, Centralized en Local Learning

Auteurs: Johan Andreas Balle Rubak et al.
Publicatie: Preprint, 2025

---

1. Probleemstelling

Kunstmatige Intelligentie (AI) heeft het potentieel om de tandheelkundige diagnostiek te verbeteren, maar de implementatie in de klinische praktijk wordt belemmerd door uitdagingen rondom datadelen.

• Privacy en Regulering: Het centraliseren van patiëntdata (Centralized Learning - CL) voor modeltraining botst vaak met privacyregels zoals de AVG (GDPR) en ethische bezwaren.
• Data Heterogeniteit: Zelfs als data gedeeld kan worden, variëren de kwaliteit van de beelden en de consistentie van de annotaties (labels) tussen verschillende instellingen (klinieken/hospitals).
• Local Learning (LL) Beperkingen: Het trainen van modellen lokaal op data van één instelling leidt vaak tot modellen die slecht generaliseren naar andere populaties of apparatuur.

De kernvraag is of Federated Learning (FL) een oplossing biedt die privacy respecteert, terwijl het robuust blijft tegen onnauwkeurige labels en beeldruis, en presteert op gelijke hoogte met of beter dan CL en LL.

2. Methodologie

Dataset en Opzet:

• Data: Gebruik van een open-source dataset met 2066 panoramische radiografieën van drie ziekenhuizen en drie tandklinieken (China, Denemarken, Finland).
• Taken: Segmentatie van tanden (33 unieke labels volgens FDI-notatie) met een Attention U-Net architectuur.
• Leerparradigma's: De studie vergelijkt drie benaderingen:
  1. Local Learning (LL): Training alleen op lokale data van één client.
  2. Centralized Learning (CL): Alle data wordt samengevoegd op één server voor training.
  3. Federated Learning (FL): Clients trainen lokaal en delen alleen modelparameters (gewichten) met een centrale server, die deze middels Federated Averaging (FedAvg) aggregeert. Geen ruwe data verlaat de locatie.

Experimentele Configuraties:
Om de robuustheid te testen, werden vier scenario's doorgelopen:

1. Baseline: Onveranderde data.
2. Label Manipulatie: Voor één client werden de ground-truth labels bewust verstoord (dilatatie van maskers om onnauwkeurige randen na te bootsen, en willekeurige uitsluiting van 10% van de tandmaskers).
3. Beeldkwaliteit Manipulatie: Voor één client werd Gaussische ruis toegevoegd aan de beelden (simulatie van slechte beeldkwaliteit).
4. Uitsluiting van Defecte Client: De client met de corrupte data werd volledig uitgesloten van de training bij CL en FL.

Implementatie:

• Framework: Flower AI voor het simuleren van de FL-pijplijn.
• Hardware: NVIDIA RTX 6000 Ada GPU.
• Metrieken: Dice-score, Intersection over Union (IoU), Hausdorff Distance (HD, HD95) en Average Symmetric Surface Distance (ASSD).
• Statistiek: Niet-parametrische toetsing (Wilcoxon signed-rank test) met Bonferroni-correctie.

3. Belangrijkste Bijdragen

1. Systematische Vergelijking: Eerste studie die FL, CL en LL direct vergelijkt in de context van tandsegmentatie onder gecontroleerde scenario's van data-corruptie (labels en beeldruis).
2. Robuustheid van FL: Het aantonen dat FL niet alleen privacy biedt, maar ook prestatie-voordelen heeft ten opzichte van LL en vergelijkbaar is met CL, zelfs bij aanwezigheid van slechte data.
3. Anomalie-detectie via Loss-curves: Een nieuwe, praktische methode om "defecte" clients te identificeren. De studie toont aan dat clients met corrupte data een afwijkend hoog trainingsverlies (loss) vertonen tijdens de training, terwijl hun validatieverlies normaal blijft. Dit patroon kan dienen als een signaal om deze clients tijdelijk uit te sluiten van de federatie.
4. Privacy-Preserving Scalability: Validatie dat FL een haalbare route is voor schaalbare klinische AI zonder data uit te wisselen.

4. Resultaten

Prestaties (Baseline):

• FL behaalde de beste mediane Dice-score (0.94889), gevolgd door CL (0.94706) en LL (0.93557–0.94026).
• FL en CL presteerden statistisch gelijk op voor de meeste metrieken, maar FL was significant beter dan LL.

Invloed van Data Corruptie:

• Label Manipulatie: FL behield de hoogste prestatie (Dice: 0.94884) en was significant beter dan CL (0.94183) en LL. De client met de verkeerde labels (LL0) presteerde het slechtst.
• Beeldruis: FL leidde opnieuw (Dice: 0.94853), gevolgd door CL (0.94787). LL-modellen, vooral die getraind op de ruizige data, degradeerden sterk.
• Uitsluiting Defecte Client: Na het verwijderen van de client met corrupte data, verbeterde FL lichtjes (Dice: 0.94790) en bleef beter dan CL.

Anomalie-detectie:

• Clients met corrupte data vertoonden een significante stijging in trainingsverlies (loss) in vergelijking met de andere clients, wat duidelijk zichtbaar was in de loss-curves.
• Curiously, het validatieverlies van deze clients bleef stabiel (vergelijkbaar met de rest), wat suggereert dat het trainingsverlies een gevoeliger indicator is voor data-kwaliteitsproblemen in dit specifieke FL-ontwerp (mogelijk door Batch Normalization effecten).
• Het monitoren van deze loss-curves bleek een effectieve manier om de "verkeerde" client te detecteren en uit te sluiten, wat leidde tot een lichte prestatieverbetering van het globale model.

Visuele Analyse:

• FL en CL leverden visueel zeer vergelijkbare resultaten op.
• LL-modellen toonden vaak ernstige ondersegmentatie.
• Fouten bij FL waren soms ruimtelijk geclusterd (grote gebieden met fouten), terwijl CL-fouten meer verspreid waren, wat suggereert dat FL iets gevoeliger is voor uitschieters, maar de mediane prestatie hoger is.

5. Betekenis en Conclusie

De studie concludeert dat Federated Learning een krachtig alternatief is voor Centralized Learning in de tandheelkunde:

• Prestatie: FL presteert gelijk aan of beter dan CL en overtreft LL aanzienlijk, zelfs wanneer data van sommige clients van mindere kwaliteit is.
• Privacy: Het stelt instellingen in staat om samen te werken zonder patiëntdata te delen, wat cruciaal is voor naleving van de AVG.
• Robuustheid: FL is bestand tegen variaties in beeldkwaliteit en label-onnauwkeurigheid.
• Praktische Toepassing: Het monitoren van per-client trainingsverlies biedt een mechanisme voor automatische detectie en uitsluiting van "vergiftigde" clients, wat de betrouwbaarheid van het systeem verhoogt.

De auteurs bevelen aan om FL te adopteren voor schaalbare klinische AI, maar wijzen ook op de noodzaak van voldoende rekenkracht (GPU) bij elke deelnemende locatie en het belang van verdere research naar heterogene datasets en geavanceerde aggregatiestrategieën.