Comparative Evaluation of Vision Transformer, Hybrid CNN–MLP, and Transfer-Learned ResNet-18 for CIFAR-10 Image Classification

Technische Samenvatting: Vergelijkende Evaluatie van Vision Transformer, Hybride CNN–MLP en Transfer-Learned ResNet-18 voor CIFAR-10 Beeldclassificatie

Probleemstelling
Beeldclassificatie blijft een fundamentele uitdaging in computer vision. Hoewel Convolutional Neural Networks (CNN's) historisch gezien hebben gedomineerd vanwege hun inherente inductieve biases voor ruimtelijke lokaliteit en gewichtsdeling, zijn Vision Transformers (ViT's) opgekomen als een krachtig alternatief door afbeeldingen te verwerken als sequenties van patches met behulp van self-attention mechanismen. De prestaties van ViT's op kleinere, laag-resolutie datasets zoals CIFAR-10 (32×32 pixels) zonder grootschalige pretraining blijft echter een kritisch onderzoeksgebied. Deze studie behandelt de vergelijkende effectiviteit van drie verschillende deep learning strategieën op de CIFAR-10 benchmark: een patch-gebaseerde Vision Transformer, een hybride CNN–Multi-Layer Perceptron (CNN–MLP) en een transfer-learned ResNet-18 geïnitialiseerd met ImageNet-gewichten.

Methodologie
Het onderzoek evalueert drie architecturen die getraind zijn op de standaard CIFAR-10 dataset (50.000 trainingsafbeeldingen, 10.000 testafbeeldingen) met identieke preprocessing en augmentatieprotocollen (random cropping, horizontale flipping en normalisatie).

1. Vision Transformer (ViT): Het model hanteert de patch-gebaseerde representatie waarbij 32×32 afbeeldingen worden verdeeld in 64 niet-overlappende 4×4 patches. Deze patches worden geflaten, geprojecteerd in een embedding space, en verwerkt door een Transformer encoder bestaande uit zes blokken met multi-head self-attention, layer normalization en feed-forward netwerken. Een leerbare classificatie-token wordt aan de sequentie toegevoegd.
2. Hybride CNN–MLP: Deze architectuur dient als baseline en maakt gebruik van convolutionele lagen om lokale ruimtelijke kenmerken (randen, texturen) te extraheren, gevolgd door een volledig verbonden MLP-classifier. Het vertrouwt op de inductieve biases van convolutie in plaats van self-attention.
3. Transfer-Learned ResNet-18: Dit model maakt gebruik van een ResNet-18 backbone die is voorgetraind op ImageNet. De oorspronkelijke classificatiekop is vervangen door een 10-unit volledig verbonden laag om aan te sluiten bij de CIFAR-10 klassen, waarbij gebruik wordt gemaakt van representaties die zijn geleerd van een aanzienlijk grotere bron-dataset.

Alle modellen zijn getraind voor maximaal 50 epochs met de Adam optimizer met learning-rate scheduling en cross-entropy loss. Evaluatiemetrieken omvatten nauwkeurigheid (accuracy), precisie, recall, F1-score, analyse van het loss-traject en onderzoek van de confusion matrix.

Belangrijkste Bijdragen

• Implementatie en Evaluatie: De studie implementeert en evalueert een specifieke patch-gebaseerde ViT-configuratie voor CIFAR-10 classificatie.
• Vergelijkende Analyse: Het biedt een directe prestatievergelijking tussen een self-attention-gebaseerd model, een hybride convolutioneel model en een transfer-learned residual netwerk.
• Granulaire Foutanalyse: Naast geaggregeerde metrieken biedt het paper een gedetailleerde confusion-matrix analyse van de ViT om specifieke klasse-niveau verwarringspatronen te identificeren.
• Inductieve Bias vs. Pretraining: Het werk bespreekt de relatieve invloed van convolutionele inductieve biases versus de voordelen van grootschalige pretraining in een regime met beperkte data.

Resultaten
De experimentele resultaten wijzen op een duidelijke hiërarchie in prestaties tussen de drie benaderingen:

• ResNet-18 (Transfer Learning): Bereikte de hoogst gerapporteerde nauwkeurigheid van 88,7%. De training en validatie loss-curves vertoonden snelle convergentie en stabiele generalisatie, toegeschreven aan de combinatie van de convolutionele inductieve bias en ImageNet pretraining.
• Hybride CNN–MLP: Bereikte een nauwkeurigheid van 84,2%. Het convergeerde effectief, hoewel met enige fluctuaties in de validatie loss, waarbij het de ViT overtrof door gebruik te maken van lokale ruimtelijke structuren.
• Vision Transformer: Bereikte een nauwkeurigheid van 78,2% op een evaluatiesubset van 500 monsters (afgeleid van de verstrekte confusion matrix). Het model vertoonde een afnemende training loss maar een groeiende kloof tussen de training en validatie loss in latere epochs, wat wijst op een zwakkere generalisatie vergeleken met de CNN-gebaseerde benaderingen onder deze specifieke omstandigheden.

De confusion matrix analyse voor de ViT onthulde een niet-uniforme klasseprestatie, met een hogere recall voor klassen 0 (airplane) en 9 (truck), en een lagere recall voor klasse 6 (frog). Veelvuldige verwarringen werden waargenomen tussen semantisch of visueel gelijkaardige naburige klassen (bijv. 0 vs. 1, 2 vs. 3).

Betekenis en Claims
Het paper concludeert dat hoewel de Vision Transformer succesvol betekenisvolle patch-gebaseerde representaties leert en de trainingsdata past, het de CNN-gebaseerde benaderingen in deze specifieke lage-resolutie, matige-data setting niet overtreft zonder grootschalige pretraining. De superieure prestatie van de ResNet-18 wordt toegeschreven aan de dubbele voordelen van convolutionele inductieve biases (lokaliteit en gewichtsdeling) en de voorafgaande visuele kennis verkregen van ImageNet pretraining.

De auteur stelt expliciet dat deze resultaten niet geïnterpreteerd moeten worden als bewijs dat ViT's intrinsiek inferieur zijn aan CNN's. In plaats daarvan benadrukken de bevindingen dat voor kleine datasets zoals CIFAR-10 een voorgetrainde convolutionele architectuur momenteel een robuustere oplossing biedt. De studie erkent beperkingen, waaronder het gebruik van een gedeeltelijke testset voor de ViT-evaluatie, het gebrek aan een gecontroleerde architectuur-alleen vergelijking voor ResNet (door pretraining), en de afwezigheid van computationele efficiëntie metrieken. Toekomstig werk wordt gesuggereerd om het testen op de volledige CIFAR-10 testset, het verkennen van voorgetrainde ViT's en het uitvoeren van rigoureuze hyperparameter en efficiëntie analyses te omvatten.