AtlasOCR: Building the First Open-Source Darija OCR Model with Vision Language Models
تقدم هذه الورقة AtlasOCR، وهو أول نموذج مفتوح المصدر للتعرف الضوئي على الحروف (OCR) للدارجة المغربية، والذي يحقق أداءً هو الأفضل في فئته من خلال ضبط نموذج لغوي بصري بـ 3 مليارات معلمة باستخدام مجموعة بيانات فريدة تجمع بين البيانات الاصطناعية والواقعية إلى جانب تقنيات تدريب فعالة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك مكتبة سحرية ضخمة مليئة بالكتب، والملاحظات المكتوبة بخط اليد، ومنشورات وسائل التواصل الاجتماعي المكتوبة بالدارجة – اللهجة المغربية الفريدة والنابضة بالحياة. لسنوات، كانت الحواسيب سيئة للغاية في قراءة هذه المكتبة. يمكنها قراءة اللغة العربية الفصحى (مثل الكتب المدرسية الرسمية)، ولكن عندما ترى الدارجة (المليئة بالكلمات العامية، والكلمات المستعارة من الفرنسية، والسمات المميزة للخط اليدوي)، فإنها ترتبك، مثل سائح يحاول قراءة قائمة طعام بلغة لا يعرف منها سوى الأساسيات.
قرر فريق AtlasIA إصلاح ذلك. لقد بنوا AtlasOCR، وهو "أمين مكتبة رقمي" مصمم خصيصًا لقراءة الدارجة.
إليك قصة كيف بنوا هذا النظام، مشروحة ببساطة:
1. المشكلة: مكتبة "ضائعة في الترجمة"
الدارجة موجودة في كل مكان في المغرب – في لافتات الشوارع، وفي وصفات العائلة القديمة، وعلى إنستغرام. ولكن نظرًا لأنها لهجة منطوقة وليست لغة مكتوبة رسمية، لم تكن هناك أدوات جيدة لتحويل صور هذا النص إلى كلمات رقمية. وهذا يعني:
- الكتب التاريخية القديمة لم يكن من الممكن البحث عنها عبر الإنترنت.
- قارئات الشاشة لم تكن قادرة على مساعدة المكفوفين في قراءة وسائل التواصل الاجتماعي المغربية.
- الباحثون لم يتمكنوا من تحليل كيفية تحدث المغاربة عبر الإنترنت.
2. الحل: بناء "طالب متفوق" (AtlasOCR)
بدلاً من بناء كمبيوتر خارق ضخم ومكلف من الصفر، اتخذ الفريق طريقًا مختصرًا ذكيًا. بدأوا بطالب ذكي جدًا ومُدرب مسبقًا يُدعى Qwen2.5-VL (وهو نموذج لغوي بصري - Vision Language Model). فكر في هذا الطالب كشخص يعرف بالفعل كيفية قراءة الإنجليزية، والفرنسية، والعربية الفصحى، ويمكنه النظر إلى صورة ووصفها.
لكن هذا الطالب لم يكن يعرف الدارجة. لذا، قدم له الفريق دورة تدريبية مكثفة.
3. التدريب: مزيج من "الوهمي" و"الحقيقي"
لتعليم الطالب الدارجة، احتاجوا إلى مكتبة ضخمة من الأمثلة. وبما أنه لم تكن هناك كتب حقيقية كافية لمسحها ضوئيًا، فقد استخدموا نهجًا ذا مسارين:
- المكتبة "الوهمية" (البيانات الاصطناعية): بنوا مصنعًا آليًا يسمى OCRSmith. كان هذا الروبوت بإمكانه إنشاء آلاف الصور لنصوص بالدارجة فورًا. كان بإمكانه طباعة الكلمات بخطوط مختلفة، وإضافة بقع القهوة، وإمالة الورقة، أو جعل الخط اليدوي فوضويًا. كان الأمر يشبه مولد مستويات ألعاب الفيديو، حيث يخلق سيناريوهات تدريب لا نهاية لها للطالب.
- المكتبة "الحقيقية": جمعوا أيضًا أمثلة من العالم الحقيقي: كتب قديمة ممسوحة ضوئيًا، وصور لأوراق امتحانات رخصة السياقة، وبطاقات وصفات طبخ مغربية، ولقطات شاشة لمنشورات LinkedIn. ضمن هذا أن يتعلم الطالب الفروق الدقيقة الحقيقية والفوضوية لكيفية كتابة الناس فعليًا.
النتي نتيجة: مجموعة بيانات تدريبية تضم أكثر من 30,000 صورة، معظمها مصنوع بواسطة الروبوت ولكنها معززة بنكهة العالم الحقيقي.
4. طريقة التدريب: "تمرين خفيف الوزن"
عادةً، يتطلب تعليم نموذج ذكاء اصطناعي ضخم كمبيوتر خارقًا هائلًا ومكلفًا (مثل صالة ألعاب رياضية للعمالقة). أراد الفريق جعل هذا الأمر متاحًا، لذا استخدموا تقنية تسمى QLoRA.
- التشبيه: تخيل أنك تريد تعليم رياضي محترف (الذكاء الاصطنا_ني) رياضة جديدة. بدلاً من إعادة بناء جسده بالكامل (وهو أمر يستغرق وقتًا طويلاً ويكلف ثروة)، فإنك تمنحه فقط مجموعة متخصصة من الأوزان ومدربًا جديدًا. أنت تقوم بتعديل جزء صغير جدًا من عضلاته فقط.
- النتيجة: تمكنوا من تدريب هذا النموذج القوي على كمبيوتر عادي (مثل جهاز ألعاب فيديو متطور) بدلاً من مركز بيانات، مما يجعل هذه التكنولوجيا مفتوحة ومتاحة للجميع.
5. الاختبار: "أولمبياد الدارجة"
لرؤية ما إذا كان طالبهم قد تعلم حقًا، أنشأوا اختبارًا جديدًا يسمى AtlasOCRBench. إنه يشبه أولمبيادًا متخصصًا لقراءة النصوص المغربية. كما اختبروه على اللغة العربية الفصحى لمعرفة ما إذا كان الطالب سيصاب بالارتباك.
النتائج:
- الدارجة: اكتسح AtlasOCR المنافسة. لقد قرأ الدارجة بشكل أفضل من أي أداة مفتوحة المصدر أخرى، بل وتفوق على نماذج أكبر وأغلى منه بكثير.
- العربية الفصحى: من المثير للاهتمام أن الطالب لم ينسَ كيفية قراءة العربية الفصحية. بل أصبح في الواقع أفضل في قراءتها، مما أظهر أن تعلم الدارجة ساعده على فهم العربية بشكل عام.
6. لماذا يهم هذا؟
هذا ليس مجرد قراءة نصوص؛ إنه يتعلق بـ الحفاظ على الثقافة.
- الحفظ الرقمي: يمكن أخيرًا تحويل المخطوطات المغربية القديمة إلى نصوص قابلة للبحث.
- إمكانية الوصول: يمكن الآن للأشخاص الذين يعانون من ضعف بصري "سماع" وسائل التواصل الاجتماعي والمستندات المغربية.
- الديمقراطية: من خلال إظهار أنه يمكنك بناء أداة عالمية المستوى بفريق صغير وجهاز كمبيوتر عادي، فقد قدموا نموذجًا للغات الأخرى ذات الموارد المحدودة (مثل اللهجات الأفريقية الأخرى) للحصول على "أمناء مكتبات رقميين" خاصين بهم.
باختختصار
أخذ فريق AtlasIA نموذج ذكاء اصطناعي عام وذكي، وغذّوه بمزيج من النصوص المغربية المولدة آليًا والواقعية، ومنحوه تمرينًا متخصصًا وفعالًا. النتيجة هي AtlasOCR: أداة مفتوحة المصدر ومجانية يمكنها أخيرًا قراءة اللغة المكتوبة الفوضوية، الجميلة والمعقدة للمغرب، مما يثبت أنك لا تحتاج إلى ميزانية بمليارات الدولارات لحل مشكلات لغوية كبيرة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.