A Transfer Learning Evaluation of Deep Neural Networks for Image Classification

Technische Samenvatting: Een Evaluatie van Transfer Learning met Diepe Neuronale Netwerken voor Beeldclassificatie

Probleemstelling
Transfer learning is een alomtegenwoordige techniek in deep learning die vooraf getrainde gewichten uit een bron-domein (doorgaans ImageNet) benut om het leerproces te versnellen en de prestaties in een doeldomein te verbeteren. Hoewel deze techniek breed wordt toegepast in diverse velden zoals medische beeldvorming, remote sensing en mobiele applicaties, blijft het selecteren van het optimale vooraf getrainde model voor een specifieke doeltaak een complex dilemma. Bestaande literatuur richt zich vaak primair op nauwkeurigheid, waarbij kritieke beperkingen zoals trainingtijd, geheugeneisen en modelgrootte worden verwaarloosd. Onderzoekers staan vaak voor verwarring bij het afwegen van deze afwegingen, met name bij het werken met beperkte datasets of hardware-beperkte omgevingen (bijvoorbeeld ingebouwde systemen). Het artikel adresseert de behoefte aan een uitgebreide evaluatie die meerdere metrieken naast eenvoudige nauwkeurigheid in overweging neemt om de modelselectie te sturen.

Methodologie
De auteurs voerden een uitgebreide empirische studie uit waarbij elf populaire vooraf getrainde Convolutional Neural Network (CNN)-architecturen werden geëvalueerd tegen vijf verschillende doeldatasets. De studie maakte gebruik van de volgende componenten:

• Geteste Modellen: Elf architecturen uit verschillende ontwerperas en met verschillende kenmerken: AlexNet, VGG-16, GoogLeNet (Inception-V1), ResNet-18, SqueezeNet, ResNext, DenseNet, MobileNet, WideResNet, ShuffleNet-V2 en MnasNet. Deze modellen variëren in diepte, breedte, gebruik van skip-verbindingen en gespecialiseerde functies zoals dieptewijze scheidbare convoluties.
• Datasets: Vijf datasets werden gebruikt om verschillende niveaus van complexiteit en domeinspecificiteit te vertegenwoordigen:
  1. CIFAR-10: Een standaard dataset met 60.000 afbeeldingen.
  2. MNIST: Een standaard dataset met 70.000 afbeeldingen.
  3. Hymenoptera: Een kleine dataset (245 trainings-, 153 testafbeeldingen) voor het classificeren van mieren en bijen.
  4. Smartphone Dataset: Een aangepaste dataset van 654 afbeeldingen die 12 klassen van smartphone-modellen vertegenwoordigen (bijvoorbeeld Apple, Samsung, Huawei) voor classificatie van e-afvalrecycling.
  5. Geaugmenteerde Smartphone Dataset: De smartphone dataset uitgebreid via rotatie en ruisinjectie tot 8.502 afbeeldingen.
• Experimentele Opstelling: Experimenten werden uitgevoerd op een Nvidia GTX 1080 Ti GPU met behulp van PyTorch. De studie hanteerde een grid search voor leersnelheden ($\eta \in \{10^{-2}, 10^{-3}, 10^{-4}\}$) met de ADAM-optimizer en een batchgrootte van 10. Vroege stopzetting werd toegepast op basis van validatienauwkeurigheid.
• Fine-Tuning Strategieën: Twee verschillende transfer learning-scenario's werden geëvalueerd:
  1. Alleen Classificatielaag: Eigenschapsextractielaag werden bevroren; alleen de uiteindelijke classificatielaag werd herbewerkt en getraind.
  2. Volledige Fine-Tuning: Alle netwerklagen werden ontvroren en getraind.
• Leerepisodes: Twee trainingsregimes werden getest: "Eén-Episode" (stalen één keer gepresenteerd) en "Tien-Episodes" (stalen tien keer gepresenteerd).
• Evaluatiemetrieken: Prestaties werden gemeten aan de hand van:
  • Nauwkeurigheid: Standaard classificatieprestaties.
  • Nauwkeurigheidsdichtheid: Gedefinieerd als nauwkeurigheid gedeeld door het aantal parameters ($\text{dichtheid} = \frac{\text{nauwkeurigheid}}{\#\text{parameters}}$), dienend als maatstaf voor parameter-efficiëntie.
  • Modelgrootte: Gemeten in het aantal parameters (MB).
  • Trainingsduur: Gemeten in seconden.

Belangrijkste Resultaten
De studie leverde specifieke bevindingen op over modelprestaties onder verschillende beperkingen:

• Nauwkeurigheidsdichtheid:
  • Bij Volledige Tuning vertoonde SqueezeNet consequent de hoogste nauwkeurigheidsdichtheid over de datasets, wat het ontwerpdoel valideert om AlexNet-niveau nauwkeurigheid te behouden met aanzienlijk minder parameters.
  • Bij Alleen Classificator Tuning bleek ResNet-18 de meest efficiënte kandidaat wat betreft nauwkeurigheidsdichtheid.
• Nauwkeurigheid:
  • Voor toepassingen die de hoogste absolute nauwkeurigheid vereisen, werden DenseNet (bij alleen classificator tuning) en modellen zoals GoogLeNet, ResNet-18, ResNext en ShuffleNet-V2 geïdentificeerd als sterke kandidaten.
• Trainingsduur:
  • AlexNet vereiste consequent de kortste trainingsduur.
  • SqueezeNet vertoonde ook zeer korte trainingsduur, met name bij alleen classificator tuning.
  • VGG-16 werd geïdentificeerd als het meest complexe model met de langste trainingsduur en de grootste modelgroottes, waardoor het minder geschikt is voor omgevingen met beperkte middelen.
• Modelgrootte:
  • SqueezeNet, ShuffleNet, MobileNet, MnasNet en GoogLeNet boden de kleinste modelgroottes, waardoor ze ideaal zijn voor ingebouwde en mobiele applicaties.
  • MnasNet vertoonde lage complexiteit en korte trainingsduur, maar toonde in sommige configuraties de slechtste prestaties wat betreft foutmetrieken.

Betekenis en Beweringen
Het artikel claimt een "haalbare richtlijn" en een "diepgaand inzicht" te bieden voor onderzoekers en praktici bij het selecteren van vooraf getrainde modellen. In plaats van een enkel "beste" model aan te bieden, betogen de auteurs dat de optimale keuze sterk afhankelijk is van specifieke toepassingbeperkingen:

• Hoge Nauwkeurigheid: GoogLeNet, DenseNet, ShuffleNet-V2, ResNet-18 en ResNext.
• Parameter-efficiëntie (Nauwkeurigheidsdichtheid): SqueezeNet (volledige tuning) en ResNet-18 (classificator tuning).
• Snelheid (Trainingsduur): AlexNet en SqueezeNet.
• Ingebed/Mobiel Deployen (Kleine Grootte): SqueezeNet, ShuffleNet, MobileNet, MnasNet en GoogLeNet.

De auteurs stellen bescheiden dat hun werk geen "definitief oordeel" biedt, maar eerder besluitvorming ondersteunt op basis van de afwegingen tussen trainingsduur, modelgrootte en nauwkeurigheid. Zij benadrukken dat hoewel transfer learning krachtig is, het hergebruik van vooraf getrainde modellen zorgvuldige overweging vereist van de specifieke eisen van het doeldomein (bijvoorbeeld datasetgrootte, hardware-beperkingen) om suboptimale implementaties te voorkomen. De studie onderstreept dat het fine-tunen van alleen de classificatielagen vaak hoge prestaties bereikt met minder parameters en kortere trainingsduur, met name wanneer doellabels schaars zijn, terwijl volledige tuning geschikter is wanneer labels overvloedig aanwezig zijn.

Toekomstig Werk
De auteurs geven plannen aan om aanvullende evaluatiemetrieken te testen om besluitvorming verder te faciliteren en om systematisch het gebruik van metadata te onderzoeken voor het schatten van nuttige hyperparameters voor transfer learning.