💬 NLP

FLEURS-Kobani: Extending the FLEURS Dataset for Northern Kurdish

تقدم هذه الورقة FLEURS-Kobani، وهو أول معيار مرجعي عام للغة الكردية الشمالية يتكون من 5,162 عبارة تم التحقق منها والمسجلة بواسطة 31 متحدثاً أصلياً، والذي يوسع مجموعة بيانات FLEURS لتمكين تقييم مهام التعرف التلقائي على الكلام والترجمة الكلامية لهذه اللغة ذات الموارد المحدودة.

المؤلفون الأصليون: Daban Q. Jaff, Mohammad Mohammadamini

نُشر 2026-04-01

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Daban Q. Jaff, Mohammad Mohammadamini

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل عالم تكنولوجيا اللغة كأنه مكتبة ضخمة وعالية التقنية. لسنوات طويلة، تم تزويد هذه المكتبة بالكتب (البيانات) لأكثر من 100 لغة، مما سمح للحواسيب بتعلم كيفية الاستماع والتحدث والترجمة. تُسمى هذه المكتبة FLEURS. إنها تشبه صالة ألعاب رياضية عالمية للتدريب، حيث تذهب نماذج الذكاء الاصطناعي لتصبح لائق بدنيًا لمهام مثل التعرف على الكلام أو ترجمته.

ومع ذلك، كانت هناك فجوة صارخة في المكتبة: الكردية الشمالية (التي يتحدث بها الملايين في تركيا وسوريا والعراق وإيران) لم يكن لها كتب. كان الأمر يشبه صالة ألعاب رياضية بها رف أوزان جديد تمامًا وفارغ لمجموعة محددة من الناس. وبدون بيانات، لا يمكن للحواسيب أن تتعلم كيفية فهم أو تحدث هذه اللغة بفعالية.

يقدم هذا البحث مشروع FLEURS-Kobani، المصمم لملء ذلك الرف الفارغ.

🎙️ استوديو التسجيل: بناء المكتبة

لم يقم المؤلفون بمجرد نسخ ولصق البيانات الموجودة؛ بل بنوا مجموعة جديدة من الصفر.

طاقم العمل: استعانوا بـ 31 متحدثًا أصليًا (معظمهم من النساء، مع قلة من الرجال) من جامعة كوباني. فكر فيهم كـ "ممثلين" في مسرحية إذاعية.
النص: استخدموا 2,000 جملة فريدة من مجموعة نصوص معيارية (FLORES) وطلبوا من الممثلين قراءتها بصوت عالٍ.
اختبار الواقع: لم يكن التسجيل سهلاً. نظرًا لعدم استقرار الإنترنت واستخدام الهواتف المحمولة الشخصية، تباينت جودة الصوت بشكل كبير. كان الأمر يشبه محاولة تسجيل سيمفونية في غرفة تنقطع فيها الكهرباء باستمرار ويستخدم بعض الموسيقيين ميكروفونات رخيصة.
التنظيف: من بين ما يقرب من 8,000 تسجيل، اضطروا للتخلص من حوالي 35% منها بسبب الضوضاء الخلفية، أو الكلمات المبتورة، أو قراءة الجمل الخاطئة. وأصبحت التسجيلات النظيفة الـ 5,162 المتبقية (حوالي 18 ساعة من الصوت) هي مجموعة البيانات الجديدة.

🧪 تجربة القيادة: وضع الذكاء الاصطناعي في العمل

بمجرد بناء "المكتبة"، احتاج المؤلفون إلى معرفة ما إذا كانت ستساعد الحواسيب حقًا على التعلم. استخدموا نموذج ذكاء اصطناعي شهير يسمى Whisper (تخيله كطالب ذكي جدًا، ولكنه غير مدرب حاليًا) وقدموا له دورة تدريبية مكثفة باستخدام بياناتهم الجديدة.

قاموا بتشغيل ثلاثة سيناريوهات تدريب مختلفة:

الطالب المنفرد: حاول الذكاء الاصطناعي التعلم فقط من بيانات كوباني الجديدة. حقق أداءً جيدًا، لكنه عانى.
الطالب المنتقل: تعلم الذكاء الاصطناعي أولاً من مجموعة بيانات كردية أخرى (Common Voice) ثم انتقل إلى كوباني. كان هذا أفضل.
الرقصة ذات الخطوتين (الفائز): تعلم الذكاء الاصطناعي الأساسيات على بيانات Common Voice، ثم صقل مهاراته على بيانات كوباني الجديدة. هذا كان الأفضل. الأمر يشبه تعلم القيادة على مضمار تدريب هادئ قبل الانطلاق إلى طريق سريع مزدحم. وكانت النتيجة انخفاضًا كبيرًا في الأخطاء، مما يعني أن الكمبيوتر يمكنه أخيرًا فهم الكلام باللغة الكردية الشمالية بدقة أكبر بكثير.

🌍 تحدي الترجمة

اختبر الفريق أيضًا ما إذا كان بإمكان الذكاء الاصطناعي الاستماع إلى الكردية الشمالية والترجمة الفورية منها إلى الإنجليزية (ولغات أخرى مثل الفرنسية أو الهولندية).

الترجمة المباشرة: حاول الذكاء الاصطناعي الانتقال مباشرة من الكردية إلى الإنجليزية. حصل على درجة جيدة، لكنها ليست مثالية.
مشكلة "المحور": حاولوا الترجمة من الكردية إلى الإنجليزية، ثم من الإنجليزية إلى الفرنسية (استراتيجية "المحور"). ومن المثير للاهتمام أن هذا نجح جيدًا للغات القريبة من الإنجليزية (مثل الفرنسية أو الهولندية)، لكنه فشل بالنسبة للغات المشابهة لغويًا للكردية (مثل الكردية المركزية أو الفارسية). إنه يشبه محاولة ترجمة نكتة: أحيانًا تؤدي الترجمة عبر لغة مشتركة (مثل الإنجليزية) إلى فقدان الفروق الثقافية الدقيقة اللازمة للغة مشابهة.

🚀 لماذا يهم هذا؟

قبل هذا البحث، كانت الكردية الشمالية "لغة شبحية" في عالم تكنولوجيا الكلام — يتحدث بها الملايين ولكنها غير مرئية للحواسيب.

أول معيار مرجعي: هذه هي المرة الأولى التي يضع فيها أي شخص "اختبارًا" معياريًا للكلام باللغة الكردية الشمالية. إنه يشبه أخيرًا إعطاء امتحان رخصة القيادة لمجموعة كانت تخمن كيفية القيادة سابقًا.
المصدر المفتوح: البيانات متاحة الآن مجانًا لأي شخص لاستخدامها (بموجب رخصة المشاع الإبداعي)، مما يخفض الحاجز أمام الباحثين لبناء أدوات أفضل لمتحدثي الكردية.
النمو المستقبلي: يعترف المؤلفون بأن البيانات ليست مثالية (معظمها لمتحدثات من النساء، مع وجود بعض المشكلات التقنية)، لكنها أساس متين. إنها اللبنة الأولى في بناء جديد لتكنولوجيا اللغة الكردية.

باختًا: بنى المؤلفون ميدان تدريب متخصصًا وجديدًا للحواسيب لتعلم الكردية الشمالية. ومن خلال تسجيل وتنظيف واختبار هذه البيانات، فقد منحوا الذكاء الاصطناعي فرصة حقيقية لفهم وتحدث لغة كانت مستبعدة سابقًا من الحوار.

إليك ملخص تقني مفصل لورقة البحث "FLEURS-Kobani: توسيع مجموعة بيانات FLEURS للغة الكردية الشمالية".

1. بيان المشكلة

تتناول الورقة النقص الحاد في الموارد الصوتية المعيارية للغة الكردية الشمالية (ISO 639-3: KMR)، وهي لغة هندوأوروبية واسعة الانتشار يتحدث بها أكثر من 30 مليون نسمة. وبينما توفر مرجعية FLEURS بيانات صوتية متوازية لأكثر من 100 لغة لتسهيل التعلم قليل العينات (few-shot learning) في مجالات التعرف التلقائي على الكلام (ASR)، والترجمة من الكلام إلى النص (S2TT)، والترجمة من الكلام إلى الكلام (S2ST)، إلا أنها تستثني بشكل ملحوح الكردية الشمالية.

الفجوة الحالية: تميل موارد الكلام الكردية الموجودة بشدة نحو الكردية المركزية (CKB). وتفتقر الكردية الشمالية إلى معايير تقييم عالية الجودة ومنظمة، مما يعيق المقارنة العادلة والتقدم في مهام ASR والترجمة لهذا اللهجة تحديداً.
الدافع: يهدف المؤلفون إلى سد هذه الفجوة في الموارد من خلال إنشاء مرجعية مخصصة متعددة المهام تتوافق مع منهجية FLEURS، مما يسمح بالتقييم الصارم لتقنيات الكلام للكردية الشمالية.

2. المنهجية

جمع البيانات وتسجيلها

المادة المصدرية: تعتمد مجموعة البيانات على الجزء الخاص بالكردية الشمالية من متن النصوص FLORES (2,000 جملة فريدة)، مما يضمن التوافق مع المراجع متعددة اللغات الموجودة.
منصة التسجيل: تم تسجيل البيانات باستخدام منصة Jiridastkrd في جامعة كوباني خلال شهرين (أبريل–يونيو 2025).
المشاركون: شارك 31 متحدثاً أصلياً (26 أنثى و5 ذكور). كان عدم التوازن بين الجنسين نتيجة للقيود الاجتماعية والسياسية والتوظيف الأولي للطالبات الجامعيات.
الإجراءات: تم تدريب المتحدثين على قراءة المطالبات (prompts) على المنصة. تضمنت العملية التوظيف، والتواصل لتنويع المتحدثين، والتدريب المحدد على بروتوكولات التسجيل.

التحقق من البيانات وتنسيقها

تم تطبيق عملية تحقق صارمة من خطوتين لضمان جودة البيانات:

مطابقة المطالبة: التحقق مما إذا كان المتحدث قد قرأ الجملة المقصودة دون انحراف كبير.
جودة الصوت: تقييم الوضوح، والضوضاء الخلفية، ومستويات التسجيل.

معايير الاستبعاد: تم استبعاد التسجيلات بسبب عدم مطابقة المطالبة، أو التقطيع، أو الإضافات غير المصرح بها، أو أخطاء النطق (خاصة للأسماء الأجنبية/الاختصارات حيث لا يوجد قراءة "صحيحة" واحدة)، أو الضوضاء المفرطة، أو انخفاض مستوى الصوت.
النتيجة: من أصل 7,897 تسجيلاً أولياً، تم التحقق من صحة 5,162 تسجيلاً كعالية الجودة (65.5%)، مما نتج عنه 18 ساعة و24 دقيقة من البيانات الصوتية.

تقسيم البيانات

تم تقسيم العبارات التي تم التحقق منها إلى مجموعات تدريب (Train)، وتطوير (Dev)، واختبار (Test) بناءً على توافقها مع مجموعة بيانات FLEURS الإنجليزية:

التدريب (Train): 3,870 عبارة (13 ساعة و47 دقيقة).
التطوير (Dev): 491 عبارة (ساعة و42 دقيقة) – ملاحظة: يتضمن هذا 149 عينة غير متطابقة تمت إضافتها لزيادة الحجم.
الاختبار (Test): 801 عبارة (ساعتان و55 دقيقة).
الترخيص: تم إصدار مجموعة البيانات بموجب رخصة CC BY 4.0.

الإعداد التجريبي

وضع المؤلفون خطوط أساس (baselines) باستخدام نموذج Whisper v3-large:

التعرف التلقائي على الكلام (ASR): تم ضبطه بدقة (fine-tuned) تحت ثلاثة ظروف:
1. استخدام Common Voice فقط.
2. استخدام FLEURS-Kobani فقط.
3. ضبط دقيق على مرحلتين: CV $\rightarrow$ F-K.
الترجمة من الكلام إلى النص (S2TT) من طرف واحد (KMR $\rightarrow$ EN): تم ضبط Whisper مباشرة على مجموعة تدريب F-K.
S2TT القائم على المحور (Pivot-based): تم توليد بيانات متوازية لـ KMR $\rightarrow$ الفرنسية، الهولندية، الكردية المركزية، والفارسية باستخدام الإنجليزية كمحور.
S2TT المتتالي (Cascaded): تم نسخ الصوت عبر ASR (Whisper) ثم ترجمته عبر الترجمة الآلية (NLLB-1.3B).

3. المساهمات الرئيسية

مجموعة بيانات FLEURS-Kobani: أول مرجع صوتي معياري متاح للجمهور للكردية الشمالية، يتكون من 5,162 عبارة تم التحقق منها عبر ثلاثة أقسام.
التقييم متعدد المهام: تدعم مجموعة البيانات التقييم لمهام ASR وS2TT وS2ST، مما يسد الفراغ في مجموعة FLEURS لعائلة اللغة الكردية.
أداء خط الأساس: نتائج شاملة لخطوط الأساس باستخدام Whisper v3-large، والتي توضح فعالية استراتيجيات التعلم بنقل الخبرة (خاصة نهج الضبط الدقيق على مرحلتين).
إمكانية الوصول للموارد: مجموعة البيانات متاحة للجمهور على Hugging Face، مما يقلل الحواجز أمام الأبحاث المستقبلية في تقنيات الكلام الكردية ذات الموارد المحدودة.

4. النتائج

التعرف التلقائي على الكلام (ASR)

حققت استراتيجية الضبط الدقيق على مرحلتين (Common Voice $\rightarrow$ FLEURS-Kobani) أفضل أداء، متفوقة بشكل كبير على التدريب أحادي المرحلة.

معدل الخطأ في الكلمات (WER): 28.11% (مجموعة الاختبار).
معدل الخطأ في الحروف (CER): 9.84% (مجموعة الاختبار).
المقارنة: أدى التدريب على FLEURS-Kobani وحدها إلى WER بنسبة 38.09%، بينما حقق Common Voice وحده 37.02%. قلل النهج المدمج معدل WER بنحو 10 نقاط مئوية.

الترجمة من الكلام إلى النص (S2TT)

KMR $\rightarrow$ EN: حقق نموذج Whisper درجة 8.68 BLEU على مجموعة الاختبار.
اللغات المحورية: كان الأداء في الترجمة إلى الفرنسية (FR) والهولندية (NL) أفضل من الترجمة إلى الكردية المركزية (CKB) أو الفارسية (FA)، ويرجع ذلك على الأرجح إلى أن اللغة المحورية (الإنجليزية) أقرب لغوياً إلى FR/NL، بينما أعاقت الاختلافات المعجمية والنمطية أداء KMR-CKB رغم التشابه اللغوي.

S2TT المتتالي (Cascaded)

المسار: ASR (Whisper) + MT (NLLB).
الأداء: حقق النهج المتتالي 19.60 BLEU على مجموعة الاختبار، مقارنة بخط أساس قدره 27.36 BLEU (الترجمة المباشرة للمراجع). يسلط هذا الض الضوء على انتشار الخطأ المتأصل في الأنظمة المتتالية، ولكنه يضع خط أساس وظيفي لتطوير النماذج المستقبلية من طرف واحد.

5. الأهمية والعمل المستقبلي

الشمول اللغوي: يعد هذا العمل خطوة محورية نحو الشمول الرقمي لمتحدثي الكردية الشمالية، حيث يوفر أول مرجع مخصص لمهام ASR والترجمة.
تسريع البحث: من خلال إصدار مجموعة البيانات وخطوط الأساس، يُمكّن المؤلفون المجتمع من اختبار النماذج الجديدة والتحسين على نماذج Whisper الحالية.
التحديات المحددة: تسلط الورقة الضوء على تحديات محددة، بما في ذلك تأثير محدودية التعليم الرسمي باللغة الكردية بين المتحدثين (مما يؤثر على طلاقة القراءة)، والقيود الاجتماعية والسياسية على جمع البيانات، وصعوبة توحيد نطق الأسماء الأجنبية.
الاتجاهات المستقبلية: يقترح المؤلفون أن تركز الأبحاث المستقبلية على:
- التقييم التفصيلي على مستوى المتحدث لتحليل الطلاقة والتباين في اللهجات.
- توسيع مجموعة البيانات لتغطية تنوعات كردية إضافية (مثل الكردية الجنوبية، الهورامي).
- تطوير نماذج قوية خصيصاً لطبيعة المتصل اللغوي (dialect continuum) للكردية.

في الختام، نجحت FLEURS-Kobani في سد فجوة كبيرة في الموارد للكردية الشمالية، مما يوفر أساساً قوياً للتقدم في تقنيات التعرف التلقائي على الكلام والترجمة في سياق لغة ذات موارد محدلة وتأثير عالٍ.