Maximizing Generalization: The Effect of Different Augmentation Techniques on Lightweight Vision Transformer for Bengali Character Classification

Probleemstelling

Diepe leermodellen, en met name Convolutionele Neuronale Netwerken (CNN's), hebben uitstekende prestaties geleverd in computer vision-taken. Echter, deze modellen zijn sterk afhankelijk van grote datasets om overfitting te voorkomen. Voor talen met beperkte middelen, zoals het Bengaals, ontbreekt het vaak aan uitgebreide, diverse en hoogwaardige datasets voor handschriftherkenning. Het handmatig annoteren van grote datasets is kostbaar en tijdrovend. Zonder voldoende data lijden modellen onder overfitting (goed presteren op trainingsdata, slecht op nieuwe data) of onderfitting. Er is een dringende behoefte aan methoden die de generalisatie van modellen verbeteren zonder de noodzaak van het verzamelen van nieuwe, fysieke data.

Methodologie

De auteurs hebben een experimenteel kader opgezet om de impact van verschillende beeldaugmentatietechnieken te evalueren op de prestaties van een lichtgewicht Vision Transformer-model voor de classificatie van Bengaalse karakters.

1. Dataset:

   • Er zijn twee grote open-source datasets gebruikt: Ekush (367.018 afbeeldingen, inclusief modifiers, klinkers, medeklinkers, samengestelde karakters en cijfers) en AIBangla (meer dan 330.000 afbeeldingen).
   • Voor het experiment zijn uitsluitend de Basis Karakters uit beide datasets gebruikt.
   • De data is opgesplitst in trainings-, validatie- en testsets in een verhouding van 60:20:20.

2. Model Architectuur:

   • In plaats van zware CNN's, is gekozen voor EfficientViT, een lichtgewicht Vision Transformer.
   • Reden voor keuze: EfficientViT biedt een uitstekende balans tussen efficiëntie en prestaties. Het gebruikt een multi-scale lineaire attention-mechanisme dat de complexiteit van de berekening verlaagt (lineair in plaats van kwadratisch ten opzichte van de resolutie), wat het ideaal maakt voor omgevingen met beperkte middelen.
   • Het model heeft slechts 2,14 miljoen trainbare parameters, een grootte van 2,04 MB en een rekenefficiëntie van 0,1 GFLOPs.

3. Augmentatietechnieken:
   Er zijn vier hoofdtechnieken geëvalueerd, zowel individueel als in alle mogelijke combinaties:

   • CLAHE (Contrast Limited Adaptive Histogram Equalization): Verbetert het lokale contrast om variaties in helderheid aan te pakken.
   • Random Rotation: Rotatie van afbeeldingen binnen een bereik van -45° tot +45° om oriëntatievariatie te simuleren.
   • Random Affine: Omvat willekeurige geometrische transformaties zoals verschuiving (translation), schaling (scaling) en schuiving (shearing) om ruimtelijke variabiliteit na te bootsen.
   • Color Jitter: Willekeurige variatie in helderheid, contrast, verzadiging en tint (hue) om verschillende belichtingsomstandigheden en inktkwaliteiten te simuleren.

4. Experimentele Setup:

   • Training vond plaats op een systeem met een Intel Core i5-13500 en een NVIDIA RTX 3060.
   • Het model is getraind met vooraf getrainde weights (ImageNet-1k) via de timm bibliotheek.
   • De training duurde maximaal 100 epochs met een learning rate van 0,00001 en een batch size van 64.
   • Er werd gebruik gemaakt van "Early Stopping" (na 5 opeenvolgende epochs zonder verbetering in de validatieverlies) om overfitting te voorkomen.

Belangrijkste Bijdragen

• Systematische Evaluatie: Het paper biedt een diepgaande analyse van de effectiviteit van specifieke augmentatiecombinaties voor Bengaalse handschriftherkenning, een domein waar dit tot nu toe beperkt is onderzocht.
• Optimalisatie voor Lichtgewicht Modellen: Het toont aan dat lichtgewicht modellen zoals EfficientViT, wanneer gecombineerd met de juiste augmentatiestrategie, concurrerend kunnen zijn met zwaardere modellen, wat cruciaal is voor implementatie in ontwikkelingslanden met beperkte hardware.
• Identificatie van de Optimale Strategie: De studie identificeert dat een specifieke combinatie van augmentaties superieur is aan het gebruik van alleen augmentatie of geen augmentatie.

Resultaten

De prestaties werden gemeten aan de hand van nauwkeurigheid (accuracy), precisie, recall en F1-score.

• Beste Prestatie: De combinatie van Random Affine (RA) en Color Jitter (CJ) leverde de beste resultaten op voor beide datasets:
  • AIBangla: 97,57% nauwkeurigheid.
  • Ekush: 97,48% nauwkeurigheid.
  • Deze resultaten overtreffen zowel de baseline (geen augmentatie) als andere combinaties (zoals RA + CLAHE of alleen Random Rotation).
• Vergelijking met andere ViT-modellen: EfficientViT (met RA+CJ) presteerde beter dan MobileViT en TinyViT, terwijl het aanzienlijk minder parameters en rekencapaciteit vereiste (zie Tabel IV in het paper).
• Vergelijking met State-of-the-Art: Op de Ekush-dataset overtrof de methode eerdere best practices zoals DConvAENNet (95,53%) en standaard CNN's (95,49%).
• Kwalitatieve Analyse (GradCAM): Visualisaties toonden aan dat het model zich richt op de relevante structurele patronen van de karakters. Fouten werden voornamelijk veroorzaakt door inter-klassensimilariteit (bijv. verwarring tussen 'ka' en 'ba'), wat inherent is aan het complexiteit van het schrift.

Betekenis en Conclusie

Dit onderzoek benadrukt dat voor talen met beperkte data, zoals het Bengaals, data-augmentatie niet slechts een optionele stap is, maar een noodzakelijke strategie om robuuste modellen te bouwen. De studie concludeert dat:

1. Geen "one-size-fits-all": Niet elke augmentatie werkt; te veel of ongeschikte transformaties (zoals extreme rotatie gecombineerd met andere affine transformaties) kunnen de data verstoren en de prestaties verslechteren.
2. Synergie is sleutel: De combinatie van geometrische vervorming (RA) en kleurvariatie (CJ) creëert een realistische variatie die het model helpt om robuust te worden tegen variaties in handschrift, papierkwaliteit en belichting, zonder de fundamentele kenmerken van de karakters te veranderen.
3. Toekomstperspectief: De resultaten onderstrepen het potentieel van lichtgewicht Vision Transformers in resource-beperkte omgevingen. Toekomstig werk kan gericht zijn op het onderzoeken van geavanceerdere technieken zoals GAN's (Generative Adversarial Networks) en ruisinjectie om de generalisatie verder te verbeteren.

Kortom, het paper levert een bewezen, kosteneffectieve oplossing voor het verbeteren van de Bengaalse OCR (Optical Character Recognition) door slimme data-augmentatie te combineren met efficiënte modelarchitecturen.