Chaos-SSL: An Attention-Based Self-Supervised Learning Framework with Chaotic Transformation for Medical Image Classification

Technische Samenvatting: Chaos-SSL

Probleemstelling
Diep leren heeft aanzienlijk succes geboekt in de analyse van medische beelden, maar de afhankelijkheid van grote, door experts geannoteerde datasets blijft een kritieke bottleneck. Hoewel Zelftoezichtend Leren (SSL) een oplossing biedt door gebruik te maken van niet-geannoteerde data, vertrouwen standaard contrastieve leermethoden vaak op eenvoudige geometrische en kleurveranderingen (bijvoorbeeld spiegelingen, uitsnijdingen, ruis). De auteurs betogen dat deze standaardveranderingen ontoereikend zijn voor medische beeldvorming, waarbij pathologische informatie vaak is gecodeerd in subtiele, fijnmazige textuurverschillen in plaats van in globale objectvormen of kleuren. Bestaande geavanceerde SSL-strategieën, zoals Jigsaw-puzzels of vervormbare veranderingen, hebben de complexe, niet-lineaire en semi-chaotische aard van biologische texturen nog niet volledig aangepakt.

Methodologie: Chaos-SSL Framework
Het artikel stelt Chaos-SSL voor, een nieuw tweestapsframework dat is ontworpen om robuuste, fijnmazige representaties te leren door een combinatie van chaotische data-augmentatie en op aandacht gebaseerde kenmerksfusie.

1. Fase 1: Chaotisch-Contrastief Vooropleiden

   • Chaotische Transformatie: De kerninnovatie is de ChaoticTransform, een aangepaste augmentatie die 1D-chaotische kaarten (Logistiek, Tent en Sinus) pixelgewijs toepast op een afbeelding. De invoerafbeelding wordt behandeld als een begintoestand $I(0)$ en $k$ keer geïtereerd (waarbij $k$ willekeurig wordt bemonsterd) met behulp van de kaartfunctie $f(x)$.
   • Contrastief Leren: Het framework adopteert een SimCLR-achtige architectuur. Voor elke afbeelding worden twee weergaven gegenereerd: een standaard versterkte weergave ($v_1$) en een chaotisch versterkte weergave ($v_{chaos}$). Deze worden doorgegeven aan een ConvNeXt-Tiny-encoder en een projector-MLP. Het model wordt getraind met NT-Xent-verlies om de representaties van deze positieve paren dichter bij elkaar te brengen, waardoor het netwerk wordt gedwongen kenmerken te leren die invariant zijn voor complexe, niet-lineaire textuurvervormingen.
   • Configuratie: De auteurs experimenteren met drie kaarten (Logistiek, Tent, Sinus) en trainingsduren van 15 en 30 epochen.

2. Fase 2: Toezichtgebaseerd Fijnafstemmen

   • Twee basismodellen worden voorbereid voor de doeltaak:
     • Model 1 (Generalist): Een ConvNeXt-Large-model vooraf getraind op ImageNet, fijn afgestemd voor 20 epochen.
     • Model 2 (Specialist): De ConvNeXt-Tiny-encoder uit Fase 1 (met gewichten opgeslagen na vooropleiding), gekoppeld aan een nieuwe lineaire classifier en fijn afgestemd voor 10 epochen.

3. Fase 3: Op Aandacht Gebaseerde Kenmerksfusie

   • Om de sterke punten van beide modellen te combineren, wordt een ensemblemodel geconstrueerd. Kenmerken van de ConvNeXt-Large ($f_1$) en de Chaos-SSL ConvNeXt-Tiny ($f_2$) worden samengevoegd.
   • Een Squeeze-and-Excite-aandachtsmechanisme berekent een belangvector om de samengevoegde kenmerken dynamisch opnieuw te wegen. Dit stelt het model in staat om te leren prioriteit te geven aan globale contextkenmerken (van het ImageNet-model) of fijnmazige textuurkenmerken (van het Chaos-SSL-model), afhankelijk van de invoer.
   • De gefuseerde kenmerken worden doorgegeven aan een definitieve classifier.

Belangrijkste Bijdragen

• Nieuwe Augmentatiestrategie: De eerste toepassing van 1D-chaotische kaarten (Logistiek, Tent, Sinus) als expliciete data-augmentatietechniek voor zelftoezichtend contrastief leren in medische beeldvorming.
• Implementatie: Het ontwerp van een ChaoticTransform-klasse die compatibel is met standaard deep learning-pijplijnen (bijvoorbeeld torchvision).
• Fusiearchitectuur: Een op aandacht gebaseerd ensemblemodel dat effectief algemene (ImageNet) kenmerken fuseert met specialistische (Chaos-SSL) kenmerken, en hiermee eenvoudige samenvoeging of middeling overtreft.
• Empirische Validatie: Een uitgebreide studie die aanzienlijke prestatieverbeteringen aantoont ten opzichte van state-of-the-art-methoden op twee uitdagende medische benchmarks.

Experimentele Resultaten
Het framework is gevalideerd op de ISIC 2018 (huidlaesieclassificatie) en APTOS 2019 (diabetische retinopathie) datasets.

• Prestaties: De beste resultaten werden behaald met de Tent-kaart en 30 epochen vooropleiding, gevolgd door aandachtsfusie.
  • ISIC 2018: Bereikte een nauwkeurigheid van 0,9261 en een Macro F1-score van 0,8706.
  • APTOS 2019: Bereikte een nauwkeurigheid van 0,8726 en een Macro F1-score van 0,7601.
• Vergelijking: Het Chaos-SSL-framework presteerde aanzienlijk beter dan recente state-of-the-art-methoden, waaronder FG-SSL (Park & Ryu, 2024).
  • Op ISIC 2018 verbeterde Chaos-SSL de nauwkeurigheid met 3,2% en de F1-score met 6,7% ten opzichte van FG-SSL.
  • Op APTOS 2019 verbeterde het de nauwkeurigheid met 1,7% en de F1-score met 5,6% ten opzichte van FG-SSL.
• Ablatie: De studie bevestigde dat het verhogen van de vooropleidingsepochen van 15 naar 30 over het algemeen de prestaties verbeterde, en dat de Tent-kaart superieur bleek aan de Logistieke en Sinus-kaarten in de configuratie van 30 epochen.

Betekenis en Beweringen
Het artikel beweert dat Chaos-SSL de bottleneck van "datatekort" in medische beeldvorming aanpakt door een krachtiger vooropleidingssignaal te bieden dan standaard geometrische augmentaties. De auteurs stellen dat chaotische transformaties "moeilijkere" positieve weergaven creëren die het netwerk dwingen textuur- en topologische invariantie te leren, wat cruciaal is voor het onderscheiden van subtiele pathologieën.

Bovendien betogen de auteurs dat een enkel model niet optimaal alle noodzakelijke kenmerken kan vastleggen. De voorgestelde op aandacht gebaseerde fusie fungeert als een "geleerde arbiter", die het globale contextbegrip van grote op ImageNet getrainde modellen succesvol combineert met de gespecialiseerde, fijnmazige textuurgevoeligheid van het Chaos-SSL-model. De resultaten valideren de hypothese dat het vervangen van stochastische augmentaties door deterministische, niet-lineaire chaotische transformaties een superieure strategie is voor fijnmazige medische beeldclassificatie.

Beperkingen en Toekomstig Werk
De auteurs erkennen beperkingen, waaronder de huidige beperking tot 2D, single-modality datasets en de verhoogde rekentijd van het uitvoeren van een dual-backbone ensemble. Voor toekomstig werk wordt voorgesteld om te onderzoeken:

• Composities van chaotische kaarten en toepassingen in het frequentiedomein.
• Toepassing op andere SSL-frameworks (bijvoorbeeld Masked Autoencoders, DINO).
• Uitbreiding naar 3D medische data (CT, MRI) en andere domeinen met datatekorten.