Unsupervised Semantic Segmentation in Synchrotron Computed Tomography with Self-Correcting Pseudo Labels

Deze paper introduceert een nieuw onbewaakt raamwerk voor semantische segmentatie van synchrotron CT-data dat handmatige annotatie elimineert door gebruik te maken van gepseudolabels die worden verfijnd via een zelfcorrigerende 'Unbiased Teacher'-benadering, wat leidt tot aanzienlijk betere segmentatie-resultaten.

De kern

Stel je voor dat je een gigantische, ingewikkelde puzzel hebt, maar dan niet van 1000 stukjes, maar van miljarden. En deze puzzel is niet van karton, maar van licht en materiaal. Dit is wat wetenschappers doen met Synchrotron CT-scans: ze nemen extreem gedetailleerde 3D-foto's van kleine objecten (zoals kristallen of zandkorrels) om te zien hoe ze van binnen zijn opgebouwd.

Het probleem? Deze foto's zijn zo groot en complex dat het jaren zou kosten om ze stuk voor stuk met de hand te bekijken en te markeren. Het is alsof je probeert een heel bos te beschrijven door elke boom afzonderlijk te tellen en te tekenen.

In dit paper presenteren de onderzoekers een slimme manier om dit probleem op te lossen zonder dat iemand de hele tijd met de hand hoeft te werken. Ze noemen hun methode een "Zelfcorrigerend Pseudo-label Systeem".

Hier is hoe het werkt, vertaald in een verhaal:

1. De Ruwe Schets (De "Pseudo-labels")

Stel je voor dat je een nieuwe student vraagt om een tekening te maken van een dier, maar je geeft hem geen foto, alleen een zak met verschillende kleuren verf.

• Wat de computer doet: De computer kijkt naar de "kleur" (in feite de dichtheid) van elk puntje in de 3D-afbeelding. Alles wat even donker is, krijgt dezelfde kleur. Alles wat even licht is, krijgt een andere kleur.
• Het resultaat: De computer maakt een ruwe schets. Het is niet perfect (soms zijn er vlekken of verkeerde lijnen), maar het geeft al een idee: "Hier is het materiaal, daar is de lucht, en hier is een barst." Dit noemen ze pseudo-labels. Het is alsof je een schets maakt met een potlood voordat je gaat schilderen.

2. De Eerste Les (Leren van de Schets)

Nu krijgt de computer een kunstenaar (een AI-model) die deze ruwe schets moet gebruiken om te leren.

• De AI kijkt naar de schets en zegt: "Oké, als dit donker is, dan is het materiaal. Als dit licht is, dan is het een gat."
• De AI leert de basisregels. Maar omdat de schets (de pseudo-labels) imperfect is, leert de AI ook de fouten mee. Het is alsof je een kind leert tekenen op basis van een slechte tekening van een volwassene; het kind leert de basis, maar houdt ook de rare lijntjes over.

3. De "Onbevooroordeelde Leraar" (De Zelfcorrectie)

Dit is het magische deel. In de echte wereld zou de AI nu vastlopen in zijn fouten. Maar de onderzoekers hebben een slimme truc bedacht, gebaseerd op het idee van een "Onbevooroordeelde Leraar".

Stel je voor dat je twee leerlingen hebt:

1. De Leerling: Die probeert de tekening te maken.
2. De Meester: Die de tekening bekijkt en corrigeert.

In deze methode werken ze samen:

• De Meester kijkt naar de ruwe schets en zegt: "Ik ben het hier 100% zeker van dat dit een barst is."
• De Leerling kijkt naar de schets, maar krijgt ook een "versterkte" versie (alsof je de tekening een beetje verwart of draait). De Leerling moet dan toch de juiste lijnen trekken, zelfs als de schets verward is.
• Als de Leerling het goed doet, wordt de Meester een beetje slimmer (de Meester leert van de Leerling).
• Als de Leerling het fout doet, kijkt de Meester alleen naar de plekken waar hij heel zeker van is. Hij negeert de twijfelachtige plekken.

De analogie: Het is alsof je een spiegel hebt die je eigen fouten laat zien, maar dan een spiegel die alleen de grote, duidelijke fouten corrigeert en de kleine ruis negeert. Door dit proces herhaaldelijk te doen, "ontdekt" de AI dat de ruwe schets fouten bevat en begint hij de echte vormen te zien, zelfs als ze er anders uitzien dan in de eerste schets.

Wat levert dit op?

• Geen menselijke handen nodig: Je hoeft niet urenlang te klikken en te tekenen. De computer doet het helemaal zelf.
• Beter dan de ruwe schets: De eindresultaten zijn veel scherper en accurater dan de eerste ruwe schets. De AI leert niet alleen naar de "kleur" te kijken, maar ook naar de vorm en de structuur.
• Werkt voor alles: Of het nu gaat om magnesiumkristallen, zandkorrels of keramiek; de methode werkt voor verschillende materialen.

De Grote Les

De onderzoekers ontdekten iets verrassends: de beste "kunstenaar" (het AI-model) was niet de meest ingewikkelde, maar een simpele versie die geen directe lijnen had tussen de boven- en onderkant van het netwerk (geen "skip connections").

• Waarom? Omdat als je de AI te veel "hulp" geeft (zoals directe lijnen van de ruwe schets), hij wordt lui en leert niet echt. Door de hulp weg te halen, wordt de AI gedwongen om echt na te denken over de vorm en structuur, zelfs als de ruwe schets verward is.

Kortom: Ze hebben een manier gevonden om computers te leren hun eigen fouten te zien en te corrigeren, zodat ze enorme, complexe 3D-afbeeldingen kunnen analyseren zonder dat mensen urenlang moeten sleutelen. Het is alsof je een robot geeft die eerst een ruwe schets maakt, en dan een slimme spiegel die hem leert die schets te verbeteren tot een meesterwerk.

Technische samenvatting

Probleemstelling

Synchrotron Computertomografie (SR-CT) is een krachtige beeldvormingstechniek die sub-micron resolutie en tijdsopgeloste experimenten mogelijk maakt, wat leidt tot datasets van enorme omvang (vaak meerdere terabytes). Een kritieke bottleneck in de analyse van deze data is de segmentatie van de voxelwaarden om verschillende materialen of structuren te identificeren.

• Handmatige annotatie: Traditioneel vereist dit handmatige labeling door domeinexperts, wat extreem tijdrovend is (bijv. 111 minuten voor één CT-scan) en onhaalbaar is voor de grote volumes die SR-CT genereert.
• Beperkingen van Deep Learning: Hoewel deep learning modellen (zoals U-Net) uitstekende prestaties leveren, vereisen ze grote hoeveelheden gelabelde trainingsdata.
• Uitdagingen bij semi-supervised learning: Bestaande methoden die gebruikmaken van pseudo-labels (zelf-training) lijden vaak onder "confirmation bias", waarbij het model overfit op onjuiste labels. Bovendien zijn SR-CT-datasets uniek qua experimentele instellingen en ruis, waardoor voorgeprogrammeerde modellen of modellen getraind op medische CT-data slecht generaliseren.

Methodologie

De auteurs stellen een nieuw, volledig onzelftoezichtend (unsupervised) raamwerk voor dat bestaat uit drie fasen. Het doel is om automatische segmentatie te realiseren zonder enige handmatige annotatie.

Fase 1: Generatie van Pseudo-labels
In plaats van een voorgeprogrammeerd model te gebruiken, worden pseudo-labels gegenereerd door te clusteren op basis van de voxelwaarden (de mate van röntgenabsorptie).

• Aannames: Structuren met vergelijkbare absorptiewaarden behoren waarschijnlijk tot dezelfde klasse.
• Algoritme: De auteurs gebruiken K-Means clustering op de uitgevlakte voxelwaarden van de 2D-slices. Dit levert een initiële semantische kaart op. Andere methoden zoals Multi-Otsu en Gaussian Mixture Models (GMM) werden ook getest, maar K-Means bleek het meest efficiënt.

Fase 2: Leren van Pseudo-labels
Een segmentatiemodel (in dit geval een U-Net-achtige architectuur) wordt getraind op de gegenereerde pseudo-labels.

• Doel: Het model leert de basisrelaties tussen absorptiewaarden en structuren.
• Architectuur: Interessant genoeg presteerde een eenvoudige U-Net zonder skip-connections (essentieel een autoencoder) het beste. Skip-connections werden verwijderd om te voorkomen dat het model te afhankelijk wordt van de ruwe, hoogfrequente informatie uit de encoder, wat de generalisatie in de volgende fase zou kunnen hinderen.

Fase 3: Zelf-correctie met de "Unbiased Teacher"
Om de ruis en artefacten in de initiële pseudo-labels te corrigeren, wordt het Unbiased Teacher-paradigma (oorspronkelijk voor semi-supervised object detection) aangepast voor semantische segmentatie.

• Student-Teacher Mechanisme: Een "Teacher"-model genereert pseudo-labels voor een "Student"-model.
• Data Augmentatie: De student krijgt sterke augmentaties (fotometrische veranderingen) en de teacher krijgt zwakke augmentaties.
• Zelf-correctie: De teacher update zijn gewichten via een Exponential Moving Average (EMA) van de student. De student leert alleen van de voorspellingen van de teacher die boven een betrouwbaarheidsdrempel ($\delta$) liggen (maskering van onzekere pixels).
• Verliesfunctie: Er wordt gebruik gemaakt van Cross-Entropy met Label Smoothing en Bootstrapping om overconfidentie te verminderen en het model robuuster te maken tegen ruis.

Belangrijkste Bijdragen

1. Volledig Onzelftoezichtend Raamwerk: Een methode die handmatige labels volledig elimineert voor SR-CT-segmentatie, wat cruciaal is voor de schaalbaarheid van deze technologie.
2. Driefasige Architectuur: Een gestructureerde aanpak van pseudo-label generatie, initiële training en zelf-correctie via een student-teacher mechanisme.
3. Aanpassing van Unbiased Teacher: De eerste toepassing van deze semi-supervised techniek op puur ongelabelde SR-CT-data, specifiek ontworpen om ruis en artefacten te filteren.
4. Interpreteerbaarheid: Het gebruik van Grad-CAM om aan te tonen dat het model in fase 3 een meer holistisch begrip van de data ontwikkelt (naast alleen contrast) vergeleken met de initiële fase.

Resultaten

De methode werd getest op drie real-world SR-CT datasets: een magnesiumkristal, silica-zand en een keramisch prisma.

• Kwalitatieve Verbetering: De zelf-correctie (Fase 3) elimineert ruis en artefacten die aanwezig waren in de initiële pseudo-labels en verbetert de samenhang van structuren (bijv. verbindingen tussen in-growth fasen in het magnesiumkristal).
• Kwantitatieve Prestaties (Magnesium Dataset):
  • Pixel Accuracy: Verbetering van 13,31% ten opzichte van de initiële pseudo-labels.
  • mIoU (mean Intersection over Union): Verbetering van 15,94%.
• Modelkeuze: Een eenvoudige U-Net zonder skip-connections presteerde beter dan geavanceerdere modellen (zoals DeepLabv3+ of SegFormer), omdat deze beter bestand was tegen de sterke augmentaties in de zelf-correctiefase.
• Robuustheid: Het raamwerk bleek robuust tegen een overschatting van het aantal klassen (bijv. 10 clusters in plaats van 4). Het model slaagde erin om redundante clusters in Fase 3 te samenvoegen tot semantisch coherente klassen.
• Generalisatie: De methode leverde aanzienlijk betere segmentaties op voor de silica-zand en keramische datasets, hoewel extreme class-imbalance (zoals een zeer dunne scheur in een groot materiaal) nog steeds een uitdaging blijft.

Significantie

Dit werk markeert een belangrijke stap in de automatisering van de analyse van synchrotron-CT-data. Door de noodzaak van handmatige labeling te verwijderen, maken de auteurs het mogelijk om grote, complexe datasets snel en accuraat te analyseren zonder menselijke tussenkomst. Dit is essentieel voor toepassingen in materiaalkunde, biologie en geowetenschappen waar SR-CT steeds vaker wordt ingezet. Het raamwerk biedt een schaalbare oplossing die niet afhankelijk is van voorgeprogrammeerde modellen die vaak falen bij de unieke ruispatronen van SR-CT-experimenten.