AtlasOCR: Building the First Open-Source Darija OCR Model with Vision Language Models

Probleemstelling

Darija (het Marokkaanse Arabische dialect) is een levendige taal die veel voorkomt in sociale media, informele documenten en handgeschreven teksten. Desondanks ontbreekt het aan gespecialiseerde Optical Character Recognition (OCR)-tools voor deze taal. Traditionele OCR-systemen richten zich voornamelijk op Modern Standaard-Arabisch (MSA) en hebben moeite met de linguïstische complexiteit en de schaarste aan data voor dialecten. Dit gebrek vormt een grote barrière voor digitale behoudsinspanningen, grootschalige tekstanalyse en toegankelijkheidsinitiatieven in Marokko.

Methodologie

De auteurs presenteren AtlasOCR, het eerste open-source OCR-model dat specifiek is ontworpen voor Darija. De aanpak bestaat uit drie hoofdfasen:

1. Data Curation (Hybride Strategie)
Om het probleem van data-schaarste aan te pakken, werd een hybride dataset samengesteld:

• Synthetische Data (86%): Met behulp van de open-source bibliotheek OCRSmith werden duizenden gelabelde afbeeldingen gegenereerd. Deze toolkit simuleert realistische condities zoals verschillende lettertypes, lay-outs, achtergronden en vervormingen.
• Real-world Data (14%): Een zorgvuldig geselecteerde verzameling van echte Darija-teksten, waaronder gescande literatuur, sociale media-content, educatief materiaal (zoals rijbewijsexamens) en recepten.
• Datasetgrootte: De totale dataset bevat ongeveer 30.092 samples met 10,7 miljoen woorden, verdeeld over trainings- en validatiesets.

2. Model Architectuur en Selectie

• Basismodel: Uit een benchmark van verschillende Vision Language Models (VLMs) werd Qwen2.5-VL 3B geselecteerd als basis. Dit model presteerde het beste op Darija-tekst en biedt een goede balans tussen prestaties en rekenefficiëntie.
• Architectuur: Het model combineert een visuele encoder (voor beeldfeatures), een modality projection module (voor afstemming op taal) en een taalmodel.

3. Parameter-efficiënte Fine-tuning
Om het 3-miljard-parameter model te trainen op consumentenhardware, werd een geavanceerde fine-tuning-strategie gebruikt:

• QLoRA (Quantized Low-Rank Adaptation): Het model werd gekwantiseerd naar 4-bit precisie, wat het geheugengebruik met tot 80% reduceert.
• Unsloth: Gebruikt voor geoptimaliseerde GPU-kernen, wat de trainingssnelheid met 5x verhoogt en het geheugengebruik verder verlaagt.
• Ablatie Studies: De auteurs optimaliseerden hyperparameters zoals LoRA-rang ($r=128$), schalingsfactor ($\alpha=128$), en het loslaten van de visuele lagen tijdens training (wat significant verbeterde resultaten opleverde).

Kernbijdragen

• AtlasOCR: Het eerste open-source OCR-model voor Darija dat state-of-the-art prestaties behaalt.
• OCRSmith: Een toolkit voor het genereren van synthetische Darija-data, essentieel voor low-resource talen.
• AtlasOCRBench: Een nieuw, publiek beschikbaar benchmark voor het evalueren van Darija OCR, samengesteld met pseudo-labeling en menselijke annotatie.
• Methodologie: Een gedetailleerde blauwdruk voor het fine-tunen van VLMs met QLoRA en Unsloth voor specifieke dialecten.

Resultaten

De evaluatie vond plaats op twee benchmarks: AtlasOCRBench (specifiek voor Darija) en KITAB-Bench (voor Standaard-Arabisch).

• Prestaties op Darija: AtlasOCR behaalde de beste prestaties (laagste Character Error Rate - CER) op AtlasOCRBench, verslaand alle bestaande open-source alternatieven.
• Generalisatie: Het model presteerde competitief op KITAB-Bench (Standaard-Arabisch), zelfs in vergelijking met veel grotere modellen zoals Gemma3 (12B) en Qwen2.5-VL (7B).
• Efficiëntie: Het model bereikt superieure resultaten met slechts 3 miljard parameters, wat aantoont dat parameter-efficiënte fine-tuning zeer effectief is voor taalspecialisatie.
• Belangrijkste inzichten: Het trainen van de visuele lagen bleek cruciaal voor het aanpassen aan de visuele kenmerken van Darija. De 4-bit kwantisatie bleek voldoende zonder nauwkeurigheidsverlies.

Betekenis en Toekomstperspectief

AtlasOCR vult een kritieke lacune in de taaltechnologie voor Noord-Afrika. Het bewijst dat hoogwaardige OCR-systemen voor onderbelichte talen en dialecten kunnen worden ontwikkeld binnen redelijke computergrenzen.

• Impact: Het faciliteert digitale behoudsinspanningen, toegankelijkheid voor schermlezers en analyse van Marokkaanse online content.
• Toekomst: De auteurs plannen uitbreiding naar handgeschreven tekst, het verbeteren van het herkennen van diakritische tekens (harakat), en het aanpassen van de methode voor andere Noord-Afrikaanse dialecten.

Het paper biedt een reproduceerbaar kader voor de gemeenschap om vergelijkbare tools te bouwen voor andere low-resource talen.