A multifractal-based masked auto-encoder: an application to medical images

Technische Samenvatting: Een Multifactor-gebaseerde Gemaskerde Auto-Encoder voor Medische Afbeeldingen

Probleemstelling
Traditionele Gemaskerde Auto-encoders (MAE's) maken gebruik van een willekeurige maskeringstrategie tijdens zelftoezichtende vooropleiding. Hoewel dit effectief is in de algemene computervisie, is deze aanpak suboptimaal voor medische beeldvorming. In medische contexten hebben subtiele veranderingen in specifieke gebieden vaak kritieke diagnostische waarde, terwijl willekeurige maskering deze hoog-informatieve gebieden kan over het hoofd zien of zich kan richten op minder relevante achtergrondruis. Bestaande verbeteringen van MAE-maskering vertrouwen vaak op leerbare hulpnetwerken of toezichtgebaseerde attentiekarten, wat rekenkundige overhead kan introduceren of externe trainingsprocedures vereist.

Methodologie: MO-MAE
De auteurs stellen de Multifractaal-geoptimaliseerde Gemaskerde Auto-encoder (MO-MAE) voor, een raamwerk dat willekeurige maskering vervangt door een op natuurkunde gebaseerde complexiteitsmaatstaf om patchselectie te sturen. De methodologie verloopt als volgt:

1. Patching: Invoerafbeeldingen worden onderverdeeld in niet-overlappende rechthoekige patches (bijvoorbeeld $16 \times 16$).
2. Multifractale Analyse (De Selector): In plaats van willekeurige selectie, berekent het model de Rényi-entropie (een multifractale maatstaf) voor elke patch. Deze maatstaf kwantificeert de complexiteit en informatie-inhoud van de patch op verschillende schalen.
   • De partitiefunctiemethode wordt gebruikt om de waarschijnlijkheidsverdeling van pixelintensiteiten binnen een patch te schatten.
   • De $q$-de moment-partitiefunctie wordt berekend, wat leidt tot de schatting van het multifractale spectrum en de bijbehorende Rényi-entropie ($R_q$).
   • Patches worden in aflopende volgorde gesorteerd op basis van hun entropiewaarden.
3. Maskeringstrategie: Het model selecteert de top $n_S$ patches (waarbij $n_S$ wordt bepaald door de maskeringsratio $r$) met de hoogste entropie. Deze patches vertegenwoordigen gebieden met hoge complexiteit en informatie-overvloed.
4. Vooropleiding: De geselecteerde hoog-entropie patches worden ingevoerd in een Vision Transformer (ViT)-encoder. De decoder probeert de originele afbeelding te reconstrueren vanuit deze gedeeltelijke invoer. De verliesfunctie meet de discrepantie tussen de originele en gereconstrueerde afbeeldingen.
5. Finetuning: De vooropgeleide encoder wordt vervolgens gefinetuned op gelabelde medische data voor specifieke downstream-taken (bijvoorbeeld ziekteclassificatie).

Belangrijkste Bijdragen
Het artikel benadrukt vier primaire innovaties:

• Nieuwe Maskeringstrategie: De ontwikkeling van een op multifractale analyse gebaseerde maskeringstrategie die medische beeldclassificatieresultaten verbetert in vergelijking met standaard willekeurige maskering.
• Eerste Integratie: Voor zover de auteurs weten, is dit het eerste werk dat multifractale analyse (specifiek Rényi-entropie) koppelt aan gemaskerde auto-encoders.
• Op Natuurkunde Gebaseerde Complexiteit: Dit is de eerste verkenning van een op natuurkunde gebaseerde complexiteitsmaatstaf om MAE-maskering te sturen, wat het onderscheidt van strategieën die vertrouwen op leerbare parameters of externe trainingsalgoritmen.
• Interpreteerbaarheid en Efficiëntie: De aanpak biedt een interpreteerbaar maskercriterium en voegt minimale rekenkundige overhead toe, aangezien de entropieberekening rechttoe rechtaan is en geen extra parameters vereist tijdens de vooropleiding.

Experimentele Resultaten
De MO-MAE werd geëvalueerd op twee primaire benchmarks:

1. MedMNIST-V2: Een verzameling 2D-biomedische afbeeldingen die verschillende modaliteiten bestrijken (pathologie, röntgen, dermatoscopie, enz.).
   • Prestatie: MO-MAE toonde een algemene toename in zowel Nauwkeurigheid (ACC) als Area Under the Curve (AUC) in vergelijking met de originele MAE met willekeurige maskering.
   • Vergelijking: Het model behaalde de hoogste AUC/ACC in de meeste datasets en presteerde beter dan state-of-the-art modellen zoals MedVIT-S en MedVIT-L in verschillende scenario's, ondanks dat MedVIT een rekenkundig intensieve architectuur is die CNN's en Transformers combineert.
   • Hyperparametergevoeligheid: Experimenten gaven aan dat $q=2$ de beste compromis bood tussen korte en langeafstandsfractaliteit voor patchselectie.
2. COVID-CT: Een dataset voor het voorspellen van COVID-19-gevallen uit CT-scans.
   • Prestatie: MO-MAE behaalde een Nauwkeurigheid van 0,85 en een F1-score van 0,85.
   • Vergelijking: Het model presteerde aanzienlijk beter dan andere methoden uit de literatuur, waaronder DenseNet-169 en ResGANet-101, die een veel groter aantal leerbare parameters bezitten.

Betekenis en Claims
De auteurs beweren dat het MO-MAE-raamwerk een veelbelovende richting biedt voor het verbeteren van de nauwkeurigheid en efficiëntie van deep learning-modellen in medische beeldanalyse. Door het model te dwingen zich te richten op het reconstrueren van de meest complexe en informatie-rijke gebieden van een afbeelding, verbetert de aanpak het vermogen van het model om diagnostisch relevante kenmerken vast te leggen.

Het artikel benadrukt dat dit zelftoezichtende paradigma bijzonder waardevol is in medische scenario's waar gelabelde data beperkt is. Bovendien suggereren de auteurs dat de methode generaliseerbaar is, potentieel toepasbaar op andere domeinen buiten de geneeskunde en op gerelateerde taken zoals beeldsegmentatie, hoewel deze toepassingen worden aangeduid als gebieden voor toekomstig onderzoek in plaats van huidige resultaten. De studie concludeert dat het gebruik van multifractale analyse om maskering te sturen een levensvatbare en effectieve strategie is die de noodzaak van complexe leerbare maskermecanismen vermijdt.