BornoViT: A Novel Efficient Vision Transformer for Bengali Handwritten Basic Characters Classification

Probleemstelling

De handgeschreven karakterherkenning (HCR) voor het Bengaalse schrift vormt een aanzienlijke uitdaging vanwege de complexiteit en variabiliteit van de karakters. Traditionele machinelearning-methoden, die vaak vertrouwen op handmatig ontworpen descriptors, blijken ontoereikend voor deze complexiteit. Hoewel diepe Convolutionele Neuronale Netwerken (CNN's) een verbetering bieden, kampen ze met beperkingen in het effectief identificeren van globale ruimtelijke patronen.

Daarnaast zijn de huidige state-of-the-art modellen vaak rekenkundig duur en data-hongerig. Dit maakt ze ongeschikt voor apparaten met beperkte middelen (low-end devices) en voor talen zoals het Bengaals, waar de beschikbaarheid van grote, gelabelde datasets en rekenkracht vaak beperkt is. Bestaande methoden zoals template matching falen door variaties in schrijfstijl en inter-klasselijke gelijkenis. Er is dus een dringende behoefte aan een lichtgewicht, efficiënt model dat hoge nauwkeurigheid biedt zonder zware rekenvereisten.

Methodologie

De auteurs stellen BornoViT voor, een nieuw, lichtgewicht Vision Transformer (ViT)-model dat specifiek is ontworpen voor de classificatie van handgeschreven basis-Bengaalse karakters en cijfers.

1. Architectuur:

• Simpliciteit: Het model is gebaseerd op een vereenvoudigde ViT-architectuur die de rekencomplexiteit verlaagt zonder in te leveren op nauwkeurigheid.
• Patch Embedding: Invoerbeelden (224x224 pixels) worden opgedeeld in niet-overlappende patches van 16x16 pixels. Deze worden geflatteerd naar vectoren van 128 dimensies.
• Transformer Blokken: Het model bevat vier transformer-blokken. Elk blok bestaat uit:
  • Twee lagen van Layer Normalization.
  • Een Multi-Head Self-Attention mechanisme (met 2 attention heads) om globale ruimtelijke relaties te leren.
  • Een Multi-Layer Perceptron (MLP) met GELU-activatie en dropout voor niet-lineaire transformaties.
• Classificatie: Een leerbaar CLS-token wordt aan de patch-sequentie toegevoegd. Na het passeren door de transformer-blokken wordt dit token gebruikt voor de uiteindelijke classificatie via een lineaire laag.
• Efficiëntie: Het model telt slechts 0,65 miljoen parameters, heeft een modelgrootte van 0,62 MB en vereist slechts 0,16 GFLOPs.

2. Dataverwerking en Training:

• Datasets: Het model werd getraind en geëvalueerd op drie datasets:
  • Ekush Dataset (voor pre-training).
  • BanglaLekha-Isolated (bestaande dataset met 166.105 afbeeldingen).
  • Bornomala (een nieuwe, zelfverzamelde dataset met 13.318 afbeeldingen van 222 deelnemers, variërend in leeftijd en schrijfstijl).
• Pre-training: Vanwege het gebrek aan ruimtelijke inductieve bias in ViT's, werd het model eerst vooringesteld (pre-trained) op de grote Ekush-dataset om de generalisatie op kleinere datasets te verbeteren.
• Data Augmentatie: Tijdens de training werden technieken zoals Random Affine (verschuiving, schuiven) en Color Jitter (helderheid, contrast, verzadiging) toegepast om het model robuuster te maken.
• Validatie: Er werd gebruikgemaakt van 5-voudige kruisvalidatie (k-fold) met vroege stopzetting (early stopping) om overfitting te voorkomen.

Belangrijkste Bijdragen

1. BornoViT Model: De introductie van een ultra-lichtgewicht Vision Transformer specifiek voor het Bengaalse schrift, die de rekenlast aanzienlijk verlaagt ten opzichte van bestaande CNN- en ViT-modellen.
2. Efficiëntie-Accuracy Balans: Het model bereikt een uitstekende balans tussen rekenkosten en prestaties, wat het ideaal maakt voor implementatie op apparaten met beperkte resources.
3. Nieuwe Dataset (Bornomala): De creatie en publicatie van een diverse, zelfverzamelde dataset met 222 deelnemers om de variatie in menselijke handschriften beter te dekken.
4. Transfer Learning Strategie: Het succesvol toepassen van pre-training op een grote dataset (Ekush) om de beperkingen van ViT op kleinere datasets te overwinnen.

Resultaten

Het model werd getest op twee hoofddatasets en vergeleken met state-of-the-art modellen zoals MobileNetV2, DenseNet, Xception en VashaNet.

• BanglaLekha-Isolated Dataset:

  • Nauwkeurigheid: BornoViT bereikte 95,77%, wat de huidige state-of-the-art modellen overtreft of gelijkstaat.
  • Efficiëntie: Met slechts 0,65 miljoen parameters en 0,62 MB grootte is het aanzienlijk lichter dan concurrenten (bijv. DenseNet heeft 7,98M parameters en 30,44 MB; HCR-Net heeft 9,74M parameters).
  • Rekenkracht: Het vereist slechts 0,16 GFLOPs, vergeleken met 2,48 GFLOPs voor VashaNet en 14,52 GFLOPs voor HCR-Net.

• Bornomala Dataset (Eigen dataset):

  • Nauwkeurigheid: 91,51%. Hoewel dit iets lager is dan MobileNetV2 (94,09%), is dit te wijten aan het feit dat BornoViT alleen op Ekush was vooringesteld, terwijl de concurrenten op ImageNet-1k waren vooringesteld. Desondanks presteert het zeer goed met een fractie van de parameters.

• Kwalitatieve Analyse:

  • GradCAM-visualisaties tonen aan dat het model zich richt op de relevante ruimtelijke kenmerken en patronen van de karakters.
  • Fouten treden voornamelijk op bij karakters met hoge inter-klasselijke gelijkenis (bijv. 'kha' en 'tha') of grote intra-klasselijke variatie in schrijfstijl.

Significantie

Deze studie is van groot belang voor de toepassing van AI in resource-beperkte omgevingen, met name in regio's waar het Bengaals wordt gesproken.

• Toegankelijkheid: Door de extreem lage modelgrootte en rekenvereisten kan BornoViT worden gedeployed op goedkope mobiele apparaten en embedded systemen, wat de drempel voor OCR-toepassingen verlaagt.
• Efficiëntie: Het bewijst dat Vision Transformers, vaak gezien als zware modellen, geoptimaliseerd kunnen worden tot lichtgewicht alternatieven die concurreren met of beter presteren dan zware CNN-architecturen.
• Toekomstperspectief: De methode biedt een blauwdruk voor het ontwikkelen van efficiënte modellen voor andere talen met beperkte digitale middelen en complexe schriftsystemen.

Kortom, BornoViT biedt een praktische, schaalbare en nauwkeurige oplossing voor de uitdaging van handgeschreven Bengaalse karakterherkenning, waarbij de afhankelijkheid van zware hardware wordt doorbroken.