Multi-Head Attention based interaction-aware architecture for Bangla Handwritten Character Recognition: Introducing a Primary Dataset

Probleemstelling

Het herkennen van handgeschreven Bangla-tekst (BHCR) is een fundamentele maar uiterst uitdagende taak binnen het domein van Optical Character Recognition (OCR). De moeilijkheden zijn divers:

• Structuurcomplexiteit: Het Bangla-schrift bevat klinkers, medeklinkers, cijfers en complexe samengestelde karakters (Juktobarno). Veel karakters verschillen slechts door een klein streepje of een specifieke 'matra' (diacritisch teken), wat leidt tot een hoge inter-class gelijkenis en een lage scheidbaarheid.
• Variabiliteit: Handgeschreven tekst varieert sterk afhankelijk van de schrijver (leeftijd, geslacht, linkshandig/rechthandig, sociaal-economische achtergrond). Bestaande datasets missen vaak deze diversiteit en zijn vaak onbalans in de verdeling van klassen.
• Data-tekort: Veel bestaande datasets zijn klein, hebben een beperkte demografie van schrijvers, en documenteren de verzamelmethodiek onvoldoende. Dit beperkt de generalisatievermogen van bestaande modellen.
• Architecturale beperkingen: Bestaande hybride modellen gebruiken vaak simpele feature-concatenatie of ensemble-methoden die niet expliciet modelleren hoe heterogene feature-representaties met elkaar interageren.

Methodologie

De auteurs stellen een tweeledige oplossing voor: een nieuwe, gebalanceerde dataset en een geavanceerd hybride deep learning-architectuur.

1. Nieuwe Dataset: Bangla Handwritten Character Dataset

• Omvang: 50.700 handgeschreven afbeeldingen verdeeld over 78 klassen (50 basisletters, 10 cijfers, 18 samengestelde karakters).
• Diversiteit: De data is verzameld van 1.700 deelnemers uit verschillende leeftijdsgroepen (6 tot 35+ jaar), geslachten (48% man, 52% vrouw) en handvoorkeuren (88% rechtshandig, 11% linkshandig).
• Verzamelproces: Gebruik van gestructureerde A4-velen met een roosterpatroon om consistente spacing te garanderen.
• Preprocessing: Een gestructureerde pijplijn omvat ruisreductie (Gaussian filter), schuine correctie (Hough transform), morfologische verdikking (dilation), hersizing naar 128x128 pixels, en normalisatie.

2. Architectuur: Multi-Head Cross-Attention Fusion Network (MHCAF-Net)

De kern van de oplossing is een parallelle hybride architectuur die drie verschillende takken combineert, gevolgd door een interactie-aware fusiemodule:

• Tak 1: Lokale Feature Extractie (EfficientNetB3 + CBAM)
  • Gebruikt EfficientNetB3 (voortgezet op ImageNet) om lokale streep- en structuurkenmerken te extraheren.
  • Geïntegreerd met CBAM (Convolutional Block Attention Module) om zowel kanaal- als ruimtelijke aandacht toe te passen, waardoor irrelevante achtergronden worden onderdrukt en discriminatieve streepgebieden worden benadrukt.
• Tak 2: Globale Structuur (Vision Transformer - ViT)
  • Deel de afbeelding op in patches (16x16) en gebruikt self-attention om lange-afstand afhankelijkheden en globale structurele relaties binnen het karakter te modelleren.
• Tak 3: Hybride Modelleren (Conformer)
  • Combineert self-attention en convolutie in een Macaron-structuur (FFN -> MHSA -> Conv -> FFN) om zowel lokale als globale patronen simultaan te vangen.
• Fusie: Multi-Head Cross-Attention (MHCA)
  • In plaats van simpele concatenatie, gebruiken de auteurs een Multi-Head Cross-Attention mechanisme. Hierbij wisselen de drie takken (EfficientNet, ViT, Conformer) informatie uit door als Query, Key en Value te fungeren voor elkaar.
  • Dit zorgt voor een interactieve verrijking van de features, waardoor het model beter in staat is om subtiel verschillende karakters te onderscheiden.
• Classificatie: De gefuseerde features worden door een reeks Fully Connected lagen gevoerd met Dropout en Batch Normalization, gevolgd door een Softmax-laag voor de 78 klassen.

Belangrijkste Bijdragen

1. Dataset: Introductie van een groot, gebalanceerd en demografisch divers dataset (50.700 samples, 78 klassen) dat de beperkingen van eerdere datasets overbrugt.
2. Architectuur: Ontwikkeling van een parallelle hybride architectuur die CNN (voor lokale details), Transformer (voor globale context) en Conformer (voor multi-scale) combineert.
3. Interactie-mechanisme: Introductie van een Multi-Head Cross-Attention fusie-module die heterogene feature-stromen laat interageren, in plaats van ze slechts te combineren.
4. Prestaties: Bereiking van state-of-the-art resultaten op zowel de nieuwe dataset als externe benchmarks.

Resultaten

De prestaties werden geëvalueerd via 5-voudige kruisvalidatie en testen op externe datasets:

• Op de voorgestelde dataset:
  • Nauwkeurigheid (Accuracy): 98,84%
  • F1-score: 98,84%
  • MCC & Kappa: >98,8%
  • Foutpercentage: 1,16%
  • De model presteerde consistent hoog over alle 78 klassen, met uitzondering van enkele zeer vergelijkbare karakters (zoals bepaalde samengestelde letters) waar de fouten voornamelijk te wijten zijn aan onduidelijke handgeschreven matras door de schrijver.
• Op externe dataset (CHBCR):
  • Nauwkeurigheid: 96,49%
  • Dit toont aan dat het model goed generaliseert naar data die niet tijdens het trainen is gebruikt.
• Vergelijking: Het model overtreft eerdere werken van de auteurs (VashaNet-V1 en V2) en andere bestaande hybride modellen (zoals BengNet, HybridNet) aanzienlijk.
• Visualisatie: Grad-CAM visualisaties bevestigen dat het model zich richt op de relevante strepen en structuren van de karakters en niet op achtergrondruis.

Betekenis en Conclusie

Dit onderzoek biedt een robuuste oplossing voor het probleem van handgeschreven Bangla-tekstherkenning. Door een combinatie van een hoogwaardige, diverse dataset en een geavanceerde architectuur die lokale en globale features interactief laat samensmelten, wordt een nieuwe standaard gezet voor BHCR-systemen.

De resultaten zijn cruciaal voor de ontwikkeling van betrouwbare OCR-systemen voor het Bangla-schrift, wat essentieel is voor het digitaliseren van documenten, archivering, postdiensten en geautomatiseerde examenbeoordeling in Bangladesh en andere Bangla-sprekende regio's. De openbaarmaking van de dataset en de code draagt bij aan de verdere groei van onderzoek in dit domein.