Ramsa: A Large Sociolinguistically Rich Emirati Arabic Speech Corpus for ASR and TTS
تقدم الورقة البحثية "رامسا"، وهي مدونة صوتية للغة العربية الإماراتية متنوعة لغويًا واجتماعيًا مدتها 41 ساعة وتضم 157 متحدثًا عبر مختلف اللهجات والمواضيع، والتي تعمل كمورد أساسي لتطوير تقنيات التعرف التلقائي على الكلام (ASR) وتحويل النص إلى كلام (TTS) منخفضة الموارد مع وضع خطوط أساس أداء أولية للنماذج الحالية.
تخيل أنك تحاول تعليم روبوت كيف يتحدث ويفهم لهجة محلية محددة، وهي اللهجة الإماراتية. حتى الآن، كان تعليم هذا الروبوت يشبه محاولة تعلم لغة من خلال قراءة صفحة واحدة قديمة ومغبرة من كتاب عتيق؛ قد تفهم الجو العام، لكنك ستفتقد المصطلحات العامية، والاختلافات في النبرات، والطريقة التي يتحدث بها الناس فعلياً مع بعضهم البعض.
تقدم هذه الورقة البحثية "رمسة"، وهي "مكتبة" ضخمة وجديدة من الكلام الإماركي المسموع، صُممت لحل هذه المشكلة. إليك شرح مبسط لما قام به الباحثون، باستخدام بعض التشبيهات من الحياة اليومية.
١. المشكلة: "الرف الفارغ"
لفترة طويلة، امتلك باحثو الذكاء الاصطناعي الكثير من البيانات للغة الإنجليزية أو العربية الفصحى، ولكن كان لديهم القليل جداً للهجات المحددة والملونة في منطقة الخليج.
البيانات القديمة: كانت المجموعات السابقة تشبه مكتبة صغيرة مكونة من غرفة واحدة. بعضها لم يتضمن سوى متحدث واحد (غالباً رجل)، وبعضها كان قصيراً جداً، ومعظمها تجاهل "النبرات" المختلفة داخل دولة الإمارات (مثل صوت المدينة مقابل صوت البادية مقابل صوت الجبل).
الفجوة بين الجنسين: كانت العديد من المكتبات القديمة ذكورية بالكامل تقريباً. إذا استمعت إلى الرجال فقط، فلن تتعلم كيف تتحدث النساء، وهذا جزء مفقود ضخم في اللغز.
٢. الحل: بناء "الرمسة" (المكتبة الجديدة)
بنى الباحثون "رمسة"، وهي مجموعة تضم ٤١ ساعة من التسجيلات الصوتية. فكر في الأمر كأنك تبني متحفاً حديثاً وضخماً للأصوات.
من هم الموجودون في المتحف؟ سجلوا ١٥٧ شخصاً مختلفاً (٥٩ امرأة و٩٨ رجلاً). هذا تحسن هائل مقارنة بالمجموعات السابقة التي ربما لم تضم سوى امرأة أو اثنتين.
عن ماذا يتحدثون؟ لم يكتفوا بطلب قراءة نص محدد من الناس، بل سجلوا:
مقابلات منظمة: مثل دردشة ودية فوق فنجان قهوة حول الحياة اليومية، والطعام، والعائلة.
البرامج التلفزيونية: مقاطع من التلفزيون الإماراتي الحقيقي، والتي تضم كل شيء من برامج الطبخ والوثائقيات التاريخية إلى البرامج الحوارية حول الأعمال والثقافة.
التنوع: تلتقط المكتبة الطيف الكامل لدولة الإمارات. يمكنك سماع لهجة "الحضر" (المدينة)، ولهجة "البدو" (الصحراء)، ولهجة "الجبل". هذا أمر بالغ الأهمية لأن الذكاء الاصطناعي يحتاج أن يفهم أن الكلمة قد تُنطق بشكل مختلف قليلاً بناءً على المكان الذي نشأ فيه المتحدث.
٣. تحدي "الترجمة" (التدوين)
بمجرد حصولهم على الصوت، كان عليهم كتابته (تدوينه). وهذا أمر صعب لأن العربية الإماراتية تُنطق ولا تُكتب فقط.
القاعدة: قرروا كتابة الكلمات تماماً كما تُنطق، وليس كما تُكتب في القواميس الرسمية.
مثال: إذا قال أحدهم "شي" بدلاً من "شيء" الرسمية، كتبوا "شي". وإذا دُمجت الكلمات معاً لأن الناس يتحدثون بسرعة، كتبوها مدمجة أيضاً.
الفريق: عمل فريق من اللغويين كـ "مترجمين"، حيث استمعوا بعناية لكل ثانية لضمان أن النص المكتوب يطابق الصوت تماماً، بما في ذلك الضحك، والمقاطعات، والتوقفات.
٤. تجربة القيادة: هل يستطيع الذكاء الاصطناعي فهمه؟
أخذ الباحثون جزءاً صغيراً (١٠٪) من هذه المكتبة الجديدة واختبروه مقابل أفضل أدوات الكلام في العالم (سواء المجانية أو المدفوعة) ليروا مدى قدرتها على فهم العربية الإماراتية دون أي تدريب خاص مسبق (وهذا ما يسمى باختبار "Zero-shot").
النتائج:
الفائزون: حقق النموذج مفتوح المصدر Whisper-large-v3-turbo أفضل أداء في فهم الكلام (ASR). أما بالنسبة لتحويل النص إلى كلام (TTS)، فقد كان MMS-TTS-Ara هو البطل.
الصعوبات: واجه الذكاء الاصطناعي أكبر صعوبة مع المحادثات السريعة والمتداخلة (مثل برنامج طبخ فوضوي حيث يتحدث الناس فوق بعضهم البعض). كان أفضل حالاً عند الاستماع لشخص واحد يروي قصة (مثل الوثائقيات).
الحكم النهائي: الذكاء الاصطناعي في طريقه للوصول، لكنه ليس مثالياً بعد. الأمر يشبه طالباً نجح في الاختبار ولكنه لا يزال بحاجة للدراسة ليحصل على درجة الامتياز.
٥. لماذا يهم هذا (الصورة الكبيرة)
هذه الورقة البحثية ليست مجرد أرقام؛ إنها تتعلق بـ التمثيل الثقافي.
من أجل التكنولوجيا: إنها تمنح مطوري الذكاء الاصطناعي "عجلات التدريب" التي يحتاجونها لبناء مساعدين صوتيين، وأدوات إملاء، وتطبيقات ترجمة مخصصة للإماراتيين بشكل أفضل.
من أجل الثقافة: إنها تحفظ الطريقة التي يتحدث بها الإماراتيون فعلياً اليوم، وتلتقط مزيج لهجات المدينة والبادية التي تندمج معاً.
من أجل المستقبل: يعترف الباحثون بأن هذه مجرد البداية. فهم بحاجة إلى المزيد من البيانات من المناطق الجبلية ومن كبار السن لالتقاط كيف تتغير اللغة بمرور الوقت.
باختة القول: بنى المؤلفون مكتبة صوتية ضخمة ومتنوعة للهجة الإماراتية لتعليم الذكاء الاصطناعي كيف يستمع ويتحدث حقاً كأهل البلد. لقد اختبروا أفضل نماذج الذكاء الاصطناعي، ووجدوا أنها جيدة ولكنها لا تزال بحاجة إلى ممارسة، وفتحوا الباب أمام الباحثين المستقبليين لبناء أدوات أكثر ذكاءً لدولة الإمارات.
إليك ملخص تقني مفصل لورقة بحثية بعنوان "رامسا (Ramsa): مجموعة بيانات صوتية غنية اجتماعياً ولغوياً للهجة الإماراتية لأغراض التعرف التلقائي على الكلام (ASR) وتحويل النص إلى كلام (TTS)."
1. بيان المشكلة
على الرغم من الطلب المتزايد على التقنيات الصوتية المدركة للهجات، لا تزال اللهجة الخليجية، وتحديداً اللهجة الإماراتية، ممثلة تمثيلاً ناقصاً في مجموعات البيانات الصوتية واسعة النطاق. تعاني الموارد الحالية من ثلاث فجوات رئيسية:
الحجم والبيانات الوصفية: العديد من المجموعات صغيرة الحجم (مثلاً 4-14 ساعة) أو تفتقر إلى البيانات الوصفية الاجتماعية اللغوية الحرجة مثل توزيع النوع الاجتماعي وتصنيف اللهجات الفرعية.
عدم التوازن بين الجنسين: تميل مجموعات البيانات الموجودة غالباً نحو المتحدثين الذكور (على سبيل المثال، تحتوي مجموعة Alsanaa على ذكر واحد فقط؛ بينما تمثل الإناث حوالي 25% فقط في مجموعة Casablanca).
التجانس: تعامل معظم الموارد اللهجة الإماراتية كنوع لغوي واحد متجانس، متجاهلة التباينات الداخلية الموثقة جيداً عبر اللهجات الحضرية، والبدوية، والجبلية/الشفحية.
نقص المعايير المرجعية: لا توجد معايير مرجعية (benchmarks) معتمدة للتعرف التلقائي على الكلام (ASR) وتحويل النص إلى كلام (TTS) مخصصة للهجة الإماراتية، مما يعيق تطوير تقنيات اللغات ذات الموارد المحدودة.
2. المنهجية
بناء مجموعة البيانات (رامسا)
قام المؤلفون بتطوير رامسا (Ramsa)، وهي مجموعة بيانات صوتية مدتها 41 ساعة صُممت لمعالجة الفجوات المذكورة أعلاه. تم الحصول على البيانات من قناتين مختلفتين:
المقابلات المنظمة: 14 متحدثاً أصلياً (13 أنثى، 1 ذكر) تم استقطابهم من جامعة الشارقة. تم تصنيف المشاركين حسب الجنس، والعمر، والإمارة التي ولدوا فيها، واللهجة الفرعية التي حددوها بأنفسهم (حضرية، بدوية، جبلية/شفحية، أو مختلطة). كانت التسجيلات أحادية (monologic)، وأُجريت في بيئات مكتبية هادئة.
البرامج التلفزيونية: عشرة برامج من قنوات إماراتية وطنية (مثل تلفزيون الإمارات، وتلفزيون الشارقة) تغطي مواضيع متنوعة (التراث، الزراعة، العمارة، الحياة اليومية). وفرت هذه البرامج تنسيقات أحادية (monologic) وحوارية (dialogic)، مع تنوع في الظروف الصوتية (موسيقى خلفية، ضجيج)، ومتحدثين من مناطق مختلفة (أبو ظبي، الشارقة، واحة ليوا، الذيد).
التنوع الاجتماعي اللغوي:
المتحدثون: 157 متحدثاً إجمالاً (59 أنثى، 98 ذكر).
اللهجات الفرعية: تشمل الفئات الحضرية، البدوية، الجبلية/الشفحية، والمختلطة.
التنسيقات: 91 تسجيلاً أحادياً و79 تسجيلاً حوارياً بأطوال متفاوتة (من أقل من 5 دقائق إلى أكثر من 15 دقيقة).
استراتيجية التوسيم (Annotation)
التفريغ النصي: قام أربعة مدونين مدربين لغوياً (3 من الناطقين الأصليين بالإماراتية و1 غير ناطق بها) بعملية التفريغ.
الرسم الإملائي: تتبع المجموعة استراتيجية رسم إملائي لهجي بدلاً من المعيرة إلى اللغة العربية الفصحى المعاصرة (MSA).
الاختزال الصوتي: تم الاحتفاظ به كما نُطق (مثلاً: ما شاء الله←ماشالله).
الاستبدالات الخاصة باللهجة: تم تفريغها صوتياً (مثلاً: /q/ ← /g/، /k/ ← /sh/).
التباين: تم تفريغ تعدد الأشكال لنفس الكلمة تماماً كما نُطقت.
التقسيم (Segmentation): تم تقسيم الكلام إلى "جمل خبرية/تعبيرية" (utterances) تُعرف بأنها أفعال تواصلية كاملة (تصريحات، أسئلة، طلبات) بناءً على الإشارات النبرية والتفاعلية.
بروتوكول الاختبار المرجعي
تم تفريغ عينة فرعية بنسبة 10% (حوالي 4 ساعات، 29,301 رمزاً/token) يدوياً لإنشاء معايير مرجعية (baselines) لتقنية "الصفر المعرفي" (zero-shot).
تقييم ASR (التعرف التلقائي على الكلام): تم اختباره مقابل ثلاثة نماذج:
AssemblyAI Universal-2 (تجاري، يعتمد على Conformer–RNN-T).
Gladia AI (Solaria/Whisper-Zero) (تجاري، يعتمد على Whisper).
Whisper-large-v3-turbo (مفتوح المصدر، يعتمد على Transformer).
المقياس: معدل الخطأ في الكلمات (WER) ومعدل الخطأ في الحروف (CER) على مستوى المستند.
تقييم TTS (تحويل النص إلى كلام): تم اختباره مقابل نموذجين مفتوحي المصدر:
ArTST (إطار عمل SpeechT5).
MMS-TTS-Ara (نموذج Meta للغات المتعددة الضخمة).
المقياس: إعادة التفريغ باستخدام Whisper-large-v3-turbo لحساب WER/CER، لضمان تقييم الوضوح بشكل مستقل عن البنية الداخلية لنموذج TTS.
3. المساهمات الرئيسية
مجموعة بيانات رامسا: تقديم أكبر مجموعة بيانات صوتية للهجة الإماراتية حتى الآن (41 ساعة)، وتتميز بتمثيل أفضل للإناة (37.5%) وتغطية صريحة للتباين في اللهجات الفرعية.
إرشادات التوسيم: إطار عمل شامل لتفريغ اللهجة الإماراتية يحافظ على الفونولوجيا (الأصوات) والرسم الإملائي اللهجي دون المعيرة إلى الفصحى، وهو أمر بالغ الأهمية لنمذجة اللغات ذات الموارد المحدودة.
المعايير المرجعية للصفر المعرفي (Zero-Shot Baselines): أول معايير أداء مرجعية معتمدة للهجة الإماراتية في مجالي ASR وTTS باستخدام نماذج تجارية ومفتوحة المص المصدر متطورة في بيئة "الصفر المعرفي".
4. النتائج
أداء ASR (التعرف التلقائي على الكلام)
أفضل نموذج: حقق Whisper-large-v3-turbo أفضل أداء متوسط بمعدل WER بلغ 0.268 وCER بلغ 0.144.
المقارنة: تفوق على AssemblyAI (WER 0.354) وGladia (WER 0.347).
تباين المصادر:
الأسهل: المقابلات الأحادية والوثائقيات (مثل قصص من ليوا).
الأصعب: التنسيقات الحوارية الغنية بالتداخل (مثل مطبخ الدار)، حيث ارتفع معدل WER إلى حوالي 0.73–0.79 بسبب سرعة تبادل الأدوار والمقاطعات.
السياق: النتائج أفضل بكثير من المعايير السابقة في مجموعة Casablanca (حيث بلغ WER في Whisper-large-v2 حوالي 0.52).
أداء TTS (تحويل النص إلى كلام)
أفضل نموذج: تفوق MMS-TTS-Ara على ArTST بمتوسط WER بلغ 0.285 وCER بلغ 0.081.
الملاحظات:
أظهر MMS-TTS-Ara أداءً فائقاً في المقابلات والحديث المعلوماتي.
عانى كلا النموذجين في التنسيقات الغنية بالتداخل (مثل مطبخ الدار حيث بلغ WER حوالي 0.45–0.58).
كان CER باستمرار أقل من WER، مما يشير إلى أن مقاييس مستوى الحروف أكثر قوة للرسم الإملائي اللهجي حيث يكون التجزئة (tokenization) تحدياً.
5. الأهمية والآفاق المستقبلية
أساس للتقنيات ذات الموارد المحدودة: توفر "رامسا" القاعدة البيانية اللازمة لضبط النماذج (fine-tuning) للهجة الإماراتية، متجاوزةً قيود التعميم في حالة "الصفر المعرفي".
الفائدة الاجتماعية اللغوية: تمكن المجموعة البحث في التباين اللهجي، والتغير اللغوي، وديناميكيات النوع الاجتماعي في الكلام، والتي كانت محجوبة سابقاً بسبب مجموعات البيانات المتجانسة.
التحديات المحددة:
عدم التوازن في اللهجات الفرعية: رغم التحسن، لا يزال المتحدثون باللهجات البدوية والجبلية/الشفحيةية أقل تمثيلاً مقارنة بالحضرية.
الفجوات الجيلية: أفاد المدونون (تتراوح أعمارهم بين 20-40 عاماً) بصعوبة في بعض المفردات اللغوية، مما يشير إلى تراجع لغوي أو تغير يتطلب مشاركة نطاقات عمرية أوسع في عمليات التوسيم المستقبلية.
حدود التقييم: المعايير الحالية هي "صفر معرفية" (zero-shot)؛ يجب أن يركز العمل المستقبلي على الضبط الدقيق (fine-tuning) وتكييف النطاق (domain adaptation) للوصول إلى أقصى حدود الأداء.
الوصول إلى البيانات: تتوفر بيانات المقابلات تحت وصول مقيد للأبحاث غير التجارية (عبر اتفاقية استخدام البيانات)، بينما تخضع بيانات البث لتقييد حقوق الطبع والنشر ولكنها مدعومة ببيانات وصفية وروابط المصادر لضمان قابلية إعادة الإنتاج.
باخت-صار، تمثل "رامسا" خطوة حاسمة نحو دمقرطة تقنيات الكلام للهجة الإماراتية، حيث تقدم مورداً غنياً وموسوماً يسد الفجوة بين البحث الاجتماعي اللغوي والنمذجة الحاسوبية.