💬 NLP

DATASHI: A Parallel English-Tashlhiyt Corpus for Orthography Normalization and Low-Resource Language Processing

تقدم الورقة البحثية DATASHI، وهو متن موازٍ جديد للغتين الإنجليزية والتاشلحيت، صُمم لمعالجة تحديات الموارد المنخفضة في معالجة اللغة الأمازيغية من خلال تمكين دراسات التنميط الكتابي وإثبات أن النماذج اللغوية الكبيرة الحديثة، ولا سيما Gemini-2.5-Pro، يمكنها التعامل بفعالية مع السمات الفونولوجية المعقدة للغة من خلال التلقين بلقطات قليلة.

المؤلفون الأصليون: Nasser-Eddine Monir, Zakaria Baou

نُشر 2026-03-24

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Nasser-Eddine Monir, Zakaria Baou

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك مكتبة ضخمة من القصص المكتوبة بلغة قديمة وجميلة تسمى تاشلحيت (وهي نوع من الأمازيغية المتحدث بها في المغرب). لكن المشكلة هي أن الجميع يكتبها بشكل مختلف. البعض يستخدم الأبجدية الرسمية، والبعض الآخر يستخدم الأبجدية اللاتينية مع اختصارات غريبة (مثل استخدام الرقم "7" لتمثيل صوت حلقي معين)، والبعض الآخر يدمج الكلمات معاً أو يكتبها بأي طريقة كما يحلو لهم على وسائل التواصل الاجتماعي.

الأمر يشبه محاولة قراءة وصفة طبخ حيث يكتب شخص ما "كوب"، وآخر يكتب "ك"، وثالث يكتب "1 كوب من الدقيق" ولكن يكتب كلمة "دقيق" كـ "دقيقق". الحواسيب ترتبك تماماً أمام هذه الفوضى؛ فهي لا تستطيع الترجمة، أو البحث، أو فهم اللغة لأن "القواعد" مكسورة.

تقدم هذه الورقة مشروع DATASHI، وهو مشروع جديد صُمم لإصلاح هذه الفوضى وتعليم الحواسيب كيف تتحدث التاشلحيت بشكل صحيح.

1. المشكلة: "الغرب المتوحش" في الإملاء

لفترة طويلة، كانت التاشلحيت بمثابة "القريب المنسي" في العالم الرقمي. فبينما تمتلك اللغات الكبيرة مثل الإنجليزية أو الفرنسية قواميس مثالية وأدوات لتدقيق الإملاء، تبدو التاشلحيت كمدينة بلا إشارات مرور.

الفوضى: الناس يكتبون نفس الكلمة بعشر طرق مختلفة.
الفجوة: تحتاج الحواسيب إلى نسخة "معيارية" لتتعلم منها. وبدون ذلك، فإن أدوات الذكاء الاصطناعي للترجمة أو المساعدات الصوتية تتعطل أو تعطي إجابات غير منطقية.

2. الحل: "جسر المترجم"

بنى المؤلفون DATASHI، وهو في الأساس جسر ضخم بين الإنجليزية والتاشلحيت.

الجمع: قاموا بجمع 5,000 جملة.
الجانب "الواقعي": طلبوا من أشخاص عاديين (غير خبراء) كتابة هذه الجمل بأسلوبهم الطبيعي والعفوي، بأسلوب "لغة الرسائل النصية" الفوضوي. وهذا يلتقط كيف يتحدث ويكتب الناس فعلياً.
الجانب "الذهبي": طلبوا من خبراء اللغة إعادة كتابة نفس الـ 1,500 جملة إلى لغة تاشلحيت سليمة ومعيارية.
النتيجة: الآن، تمتلك الحواسيب نسخة "قبل" (الفوضوية) ونسخة "بعد" (النظيفة) من نفس النص. إنه يشبه امتلاك دليل "للإصلاح" يوضح للحاسوب بالضبط كيف يحول "ghakudan" إلى الصيغة الصحيحة "G akud ann".

3. الاختبار: هل يمكن للذكاء الاصطنا\ي تعلم التنظيف؟

لم يكتفِ الباحثون ببناء الجسر فحسب؛ بل اختبروا أذكى روبوتات الذكاء الاصطناعي في العالم (مثل GPT-5 وGemini وClaude) لمعرفة ما إذا كان بإمكانها تعلم تنظيف الكتابة الفوضوية بمجرد النظر إلى الأمثلة.

فكر في الأمر كأنه لعبة "أوجد الفروق":

التحدي: يرى الذكاء الاصطناعي جملة فوضوية وعليه تخمين النسخة النظيفة.
النتائج:
- بعض نماذج الذكاء الاصطناعي كانت مثل الأطفال الصغار الذين يحاولون حل لغز؛ حيث ارتكبت الكثير من الأخطاء، وحذفت حروفاً مهمة أو أضافت حروفاً عشوائية.
- الفائز: كان Gemini-2.5-Pro هو الطالب المتفوق. لقد تعلم القواعد بشكل أسرع وارتكب أقل عدد من الأخطاء. كان بارعاً بشكل خاص في التعامل مع الأجزاء الصعبة من اللغة، مثل "التضعيف" (مضاعفة الحروف الساكنة، مثل tt أو ll)، والتي تشبه التوابل السرية للتاشلحيت التي تغير معنى الكلمة.

4. لماذا هذا مهم: ما وراء النصوص فقط

لماذا نهتم إذا كان بإمكان الكمبيوتر كتابة التاشلحيت بشكل صحيح؟

المساعدات الصوتية: إذا لم يستطع الكمبيوتر قراءة النص، فلن يستطيع فهم الصوت. من خلال إصلاح الإملاء، يمهد هذا المشروع الطريق لكي تفهم "سيري" (Siri) أو "أليكسا" (Alexa) في النهاية جدة تتحدث التاشلحيت في منطقة سوس بالمغرب.
الحفظ: يساعد ذلك في حفظ اللغة في العصر الرقمي، مما يضمن عدم ضياعها لأنها "صعبة للغاية" على الحواسيب للتعامل معها.
العدالة: يمنح متحدثي التاشلحيت نفس الأدوات الرقمية التي يتمتع بها متحدثو الإنجليزية كأمر مسلم به.

الصورة الكبيرة

باختصار، DATASHI هو قاموس، ودليل تدريب، وجسر، كل ذلك في آن واحد. إنه يأخذ الطريقة الفوضوية والجميلة والواقعية التي يكتب بها الناس التاشلحيت، ويعلم أذكى حواسيب العالم كيف تفهمها. إنها خطوة صغيرة للحاسوب، لكنها قفزة هائلة للغة التاشلحيت، حيث تحول لغة "منخفضة الموارد" إلى لغة يمكنها أخيراً الازدهار في العالم الرقمي.

إليك ملخص تقني مفصل لورقة البحث بعنوان: "DATASHI: مجموعة بيانات متوازية (إنجليزي-تاشلحيت) لمعايرة الرسم الكتابي ومعالجة اللغات ذات الموارد المنخفضة."

1. بيان المشكلة

تتناول الورقة النقص الحاد في الموارد الحوسبية للغة تاشلحيت (المعروفة أيضاً بـ الشلحية)، وهي واحدة من المتغيرات الثلاثة الرئيسية للأمازيغية المتحدث بها في المغرب. ورغم وجود ملايين المتحدثين بها، إلا أن تاشلحيت ممثلة تمثيلاً ضعيفاً للغاية في معالجة اللغات الطبيعية (NLP) مقارنة بالتمازيغت المغربية القياسية.

تشمل التحديات الرئيسية المحددة ما يلي:

التنوع في الرسم الكتابي (الأرثوغرافيا): لا يوجد معيار كتابي واحد مطبق عالمياً. يستخدم المستخدمون مزيجاً من "نيو تيفيناغ" (الرسم الرسمي)، واللاتينية، والخط العربي، بالإضافة إلى رسم "الدردشة" غير القياسي (باستخدام أرقام مثل '3'، '7'، '9' لتمثيل أصوات معينة).
ندرة البيانات: مجموعات البيانات الموجودة صغيرة، ضيقة موضوعياً، أو تفتقر إلى المواءمة المتوازية مع اللغات الكبرى، مما يعيق تدريب النماذج القوية.
فجوة المعايرة (Normalization Gap): يمنع غياب النص الموحد عمليات التجزئة (tokenization)، والترجمة الآلية، والتعرف على الكلام بشكل فعال. وهناك فجوة منهجية محددة في معالجة معايرة الرسم الكتابي لتاشلحيت باستخدام النماذج اللغوية الكبيرة (LLMs) الحديثة.

2. المنهجية

أ. إنشاء مجموعة البيانات (DATASHI)

قام المؤلفون بإنشاء DATASHI، وهي مجموعة بيانات متوازية (إنجليزي-تاشلحيت) صُممت لتشمل كلاً من التباينات الأصيلة للمستخدمين والأشكال الموحدة من قبل الخبراء.

النطاق: 5,000 زوج من الجمل تغطي 20 مجالاً موضوعياً (مثل الحياة اليومية، التكنولوجيا، الدين).
جمع البيانات:
- الجانب غير القياسي: قام 34 متحدثاً أصلياً (غير خبراء) بنقل جمل إنجليزية باستخدام قواعد الكتابة العفوية وغير القياسية الخاصة بهم. وهذا يلتقط "الضجيج" الأرثوغرافي الواقعي، بما في ذلك عدم الاتساق في المسافات، والتهجئة، وخلط النصوص.
- الجانب الموحد: تم توحيد مجموعة فرعية مكونة من 1,500 جملة يدوياً من قبل 7 خبراء في اللغة الأمازيغية باستخدام الخط اللاتيني الأمازيغي (المتوافق مع معايير IRCAM). ويعمل هذا كـ "معيار ذهبي" للتقييم.
التصميم اللغوي: تعطي مجموعة البيانات الأولوية للأصالة المعجمية على حساب المصطلحات المحدثة (neologisms)، حيث تحتفظ بالكلمات المستعارة الشائعة (الدارجة، الفرنسية، الإنجليزية) والأشكال القديمة التي لا تزال مستخدمة، مما يضمن أن البيانات تعكس الممارسات التواصلية الفعلية.

ب. إطار عمل المعايرة (Normalization Framework)

تحدد الدراسة عملية المعايرة التي تعمل على ثلاثة مستويات:

مستوى الحرف: ربط الأرقام والثنائيات (digraphs) بالأصوات القياسية (مثلاً: 7 $\leftarrow$ h., gh $\leftarrow$ G) وتصحيح تمثيلات الحروف المتحركة المتأثرة بالفرنسية.
المستوى الصرفي-النحوي: تصحيح الاختلافات اللهجوية (مثل اللاحقات الإقليمية) وفرض القواعد النحوية (مثل صيغ الفعل المنفي).
المستوى الفونولوجي (الصوتي): حل مشكلات الإدغام والاندماج (مثلاً: ayt dari $\leftarrow$ ayddari) للحفاظ على الأشكال المعيارية.

ج. الإعداد التجريبي

قيم المؤلفون أداء خمسة من نماذج اللغات الكبيرة (LLMs) الحديثة في مهمة المعايرة دون إجراء ضبط دقيق (fine-tuning):

النماذج: GPT-5، Claude-Sonnet-4.5، Gemini-2.5-Pro، Mistral-Large-2411، و Qwen3-Max.
الإعدادات:
- التعلم من الصفر (Zero-Shot): تلقت النماذج تعليمات وقواعد ولكن دون أمثلة.
- التعلم من أمثلة قليلة (Few-Shot): تلقت النماذج نفس التعليمات بالإضافة إلى 30 مثالاً توضيحياً مختاراً بعناية.
المقاييس: تم قياس الأداء باستخدام معدل الخطأ في الكلمات (WER) ومسافة ليفنشتاين (Levenshtein Distance - LD)، مع تحليل دقيق لعمليات التعديل (الحذف، الاستبدال، الإضافة) عبر فئات صوتية محددة (المشددات، الأصوات المطبقة، الأصوات الحلقية).

3. المساهمات الرئيسية

أول مجموعة بيانات متوازية: تُعد DATASHI أول مجموعة بيانات متوازية واسعة النطاق (5,000 زوج) (إنجليزي-تاشلحيت) صُممت خصيصاً لسد الفجوة بين كتابة المستخدم غير القياسية والتوحيد القياسي من قبل الخبراء.
تصميم التمثيل المزدوج: من خلال توفير كل من النصوص المولدة من المستخدمين والنصوص الموحدة من قبل الخبراء، تتيح مجموعة البيانات دراسة منهجية للتنوع الأرثوغرافي وتعمل كمعيار لنماذج المعايرة.
الدقة الفونولوجية: تتضمن مجموعة البيانات إحصاءات مفصلة حول السمات المعقدة لتاشلحيت، مثل تشديد الحروف (gemination)، والشفوية (labialization)، والأصوات المطبقة والحلقية، والتي غالباً ما يتم تجاهلها في مجموعات بيانات معالجة اللغات الطبيعية العامة.
تقييم النماذج اللغوية الكبيرة: تقدم الورقة أول تقييم شامل لكيفية تعامل أفضل النماذج اللغوية مع معايرة الرسم الكتابي للغة غنية صرفياً ومنخفضة الموارد، مما يوفر رؤى تشخيصية لنقاط قوتها وضعفها.

4. النتائج

الأداء العام

أفضل أداء: حقق Gemini-2.5-Pro أدنى معدلات خطأ في كلا الإعدادين (Zero-shot WER: 37.8%؛ Few-shot WER: 35.5%).
تأثير الأمثلة القليلة (Few-Shot): أظهرت جميع النماذج تحسناً مع استخدام نظام (few-shot prompting)، مما يؤكد أن التعلم السياقي يساعد بشكل كبير في مهام المعايرة للغات ذات الموارد المنخفضة.
أسوأ أداء: عانى Qwen3-Max أكثر من غيره، خاصة في سيناريوهات (zero-shot) (WER 63.4%)، مما يشير إلى صعوبة التعامل مع التعقيد الصرفي بدون أمثلة.

التحليل الفونولوجي الدقيق

التشديد (Gemination): كان هذا هو التصنيف الأكثر تحدياً لجميع النماذج. أظهرت نماذج Mistral و Qwen3-Max أخطاء هائلة في الحذف والاستبدال فيما يتعلق بالحروف المشددة (مثل tt, ll)، وفشلت في الحفاظ على تباينات طول الحروف الساكنة.
الأصوات المطبقة والحلقية: أدت النماذج أداءً أفضل عموماً في هذه الفئات، لكن Mistral و GPT-5 أظهرا معدلات استبدال أعلى مقارنة بـ Gemini و Claude.
أنواع الأخطاء: كانت أخطاء الاستبدال أكثر تكراراً من الحذف أو الإضافة في جميع النماذج، مما يشير إلى أن النماذج تميل إلى "تخمين" الحرف الخاطئ بدلاً من حذف أو إضافة الحروف. ومع ذلك، أظهر Qwen3-Max ميلاً نحو الإضافات المفرطة، خاصة في المقاطع المشددة.

5. الأهمية والتوجهات المستقبلية

التقدم في معالجة اللغات الطبيعية (NLP): تسد DATASHI فجوة حيوية في الموارد، مما يتيح تطوير أدوات التجزئة (tokenizers)، والترجمة، وأدوات المعايرة المخصصة لتاشلحيت والمتغيرات الأمازيغية الأخرى.
الإمكانات متعددة الوسائط: يسهل تصميم النص الموحد الانتقال عبر المجالات إلى تقنيات الكلام. فالمعايرة النصية المتسقة هي شرط مسبق لبناء نماذج النطق، والمحاذاة القسرية (forced alignment)، وأنظمة التعرف على الكلام للغات ذات الموارد المنخفضة.
تشخيص النماذج: تكشف الدراسة أنه بينما تمتلك النماذج التأسيسية قدرة قوية على التعميم عبر اللغات، إلا أنها تعاني مع السمات النمطية المحددة للأمازيغية (خاصة التشديد والصرف غير المتسلسل). وهذا يسلط الضوء على الحاجة إلى نمذجة على مستوى "الكلمات الفرعية" (subword-level) ونماذج واعية بالرسم الكتابي.
العمل المستقبلي: يخطط المؤلفون لتوسيع DATASHI بإضافة بيانات (نص-إلى-كلام)، وإجراء ضبط دقيق للنماذج متعددة اللغات على النص الموحد، ودمج مجموعة البيانات في معايير أوسع للأمازيغية لتعزيز العدالة في الموارد.

في الختام، تمثل DATASHI خطوة تأسيسية نحو دمقرطة معالجة اللغات الطبيعية للغات الأمازيغية، حيث توفر كلاً من البيانات والإطار المنهجي اللازم لمعالجة التحديات الفريدة لمعايرة الرسم الكتابي في البيئات ذات الموارد المنخفضة.