CNN and ViT Efficiency Study on Tiny ImageNet and DermaMNIST Datasets

Titel: Efficiëntieonderzoek van CNN en ViT op Tiny ImageNet en DermaMNIST-datasets

1. Probleemstelling

De studie adresseert het fundamentele compromis tussen nauwkeurigheid en rekenefficiëntie bij diepe leermodellen voor beeldclassificatie, specifiek in resource-beperkte omgevingen zoals mobiele apparaten (voor medische diagnostiek) en drones (voor militaire surveillance).

• De uitdaging: Traditionele Convolutionele Neural Networks (CNN's), zoals ResNet, zijn goed in het vangen van lokale ruimtelijke kenmerken maar worstelen met het modelleren van lange-afstand afhankelijkheden. Vision Transformers (ViT's) excelleren in globale contextmodelleren, maar hebben de neiging om te overfitten op kleine, lage-resolutie datasets (zoals DermaMNIST) en vereisen vaak te veel geheugen en rekencapaciteit voor real-time toepassing.
• Specifieke context: De auteurs willen modellen identificeren die minder dan 5% nauwkeurigheidsverlies lijden ten opzichte van een hoogwaardig referentiemodel, maar wel aanzienlijk sneller zijn en minder parameters hebben.

2. Methodologie

De onderzoekers hebben een gestructureerde vergelijking uitgevoerd tussen een CNN-baseline en diverse Vision Transformer-varianten.

• Datasets:
  • Tiny ImageNet: Een verkleinde versie van ImageNet (200 klassen, 64x64 pixels). Voor dit onderzoek werd de dataset gefilterd naar 30 klassen en opgeschaald naar 224x224 pixels om compatibel te zijn met ViT-inputvereisten.
  • DermaMNIST: Een medisch dataset met dermatoscopische afbeeldingen van huidziekten (7 klassen, oorspronkelijk 28x28 pixels). Deze werd eveneens opgeschaald naar 224x224 en naar RGB geconverteerd.
• Modellen:
  • Baseline: ResNet-18 (gekozen voor zijn robuustheid en lage parameteraantal).
  • Doelmodel: ViT-Base met patchgrootte 32 (als referentiepunt voor nauwkeurigheid).
  • Gestudeerde ViT-varianten: ViT-Tiny, ViT-Small, ViT-Base en ViT-Large, elk getest met patchgroottes van 16 en 32.
• Training en Hyperparameters:
  • Gebruik van data-augmentatie (rotatie, spiegeling, kleurverandering).
  • Systematische variatie van hyperparameters (embeddingsdimensie, aantal lagen, attention heads) binnen een gedefinieerde zoekruimte.
  • Training uitgevoerd op cloud-GPU's (Kaggle/Google Colab) met PyTorch en Timm.
• Evaluatiemetrics:
  • Nauwkeurigheid (Accuracy).
  • Inferenti Tijd (ms) en Trainingstijd.
  • Aantal parameters en FLOPs (rekenkosten).
  • Efficiency Ratio (ER): Een nieuwe metriek gedefinieerd als $\frac{\text{Validatie Accuracy}}{\text{Inferentie Tijd} + \text{Parameters}}$ om de trade-off te kwantificeren.

3. Belangrijkste Bijdragen

• Systematische Trade-off Analyse: Het paper biedt een gedetailleerde vergelijking van pure Transformer-architecturen op zowel algemene als medische datasets, waarbij specifiek wordt ingezoomd op het effect van patchgrootte (16 vs. 32) en modelgrootte.
• Identificatie van de "Sweet Spot": De studie identificeert ViT-Small met patchgrootte 16 als het optimale model voor resource-beperkte scenario's. Dit model balanceert nauwkeurigheid en efficiëntie beter dan zowel de zware ViT-Base als de snellere maar minder nauwkeurige ViT-Small (patch 32).
• Inzicht in Medische Data: Het paper demonstreert dat voor lage-resolutie medische data (DermaMNIST) een kleinere patchgrootte (16) cruciaal is voor generalisatie, omdat grotere patches (32) essentiële details verliezen.

4. Resultaten

De resultaten tonen duidelijke verschillen tussen de datasets en modellen:

• Tiny ImageNet Resultaten:
  • ViT-Base (Patch 16) behaalde de hoogste nauwkeurigheid (~80%), maar was 3-4 keer trager en had een veel groter geheugenverbruik.
  • ViT-Small (Patch 16) behaalde ~77% nauwkeurigheid (slechts ~3% lager dan de beste), maar was 3-4 keer sneller in inferentie en had 75% minder parameters dan de ViT-Base.
  • ViT-Small (Patch 32) was het snelst, maar viel te ver terug in nauwkeurigheid (>5% verlies).
• DermaMNIST Resultaten:
  • Op de medische dataset presteerde ViT-Small (Patch 16) uitstekend (68-69% nauwkeurigheid), wat zeer dicht bij de ViT-Base (Patch 16) lag (70%).
  • Modellen met patchgrootte 32 presteerden aanzienlijk slechter, wat bevestigt dat fijne details in medische beelden een kleinere patchgrootte vereisen.
  • ViT-Small (Patch 16) bood hier een aanzienlijke snelheidswinst ten opzichte van ViT-Base (Patch 16) zonder significante nauwkeurigheidsinlevering.
• Conclusie over Efficiency: ViT-Small (Patch 16) voldoet aan alle gestelde criteria: minder dan 5% nauwkeurigheidsverlies ten opzichte van de beste model, maar met drastisch verbeterde inferentietijden en een kleiner geheugenverbruik.

5. Betekenis en Toekomstperspectief

• Praktische Toepasbaarheid: De studie toont aan dat Vision Transformers, vaak gezien als te zwaar voor edge devices, wel degelijk inzetbaar zijn voor real-time toepassingen (zoals huidkanker detectie op smartphones of objectherkenning op drones) mits de juiste architectuurkeuze wordt gemaakt (ViT-Small, Patch 16).
• Beperkingen: De huidige studie beperkt zich tot cloud-GPU's (niet direct representatief voor edge hardware), gebruikt geen modelcompressietechnieken (zoals pruning of quantization) en test geen hybride CNN-ViT modellen.
• Toekomstig Werk: De auteurs pleiten voor verdere optimalisatie via:
  • Evaluatie op echte edge-apparaten (bijv. Snapdragon, NVIDIA Jetson).
  • Toepassing van compressietechnieken (pruning, distillatie).
  • Onderzoek naar hybride architecturen en aangepaste patch-tokenisatie (SPT, LSA) voor betere prestaties op kleine datasets.

Samenvattend: Dit paper levert een waardevol bewijs dat ViT-Small (Patch 16) een superieur alternatief is voor traditionele CNN's en zware ViT's in scenario's waar snelheid, geheugen en nauwkeurigheid in evenwicht moeten worden gebracht.