Pashto Common Voice: Building the First Open Speech Corpus for a 60-Million-Speaker Low-Resource Language
تقدم هذه الورقة مجموعة بيانات "Pashto Common Voice"، وهي أول مجموعة بيانات صوتية مفتوحة واسعة النطاق للغة البشتو، والتي تم تطويرها من خلال جهد مجتمعي من عام 2022 إلى 2025 لتحسين أداء التعرف على الكلام بشكل كبير للغة التي يتحدث بها 60 مليون شخص، مما قلل معدل خطأ الكلمات من 99.0% إلى 13.4% عند ضبط نموذج "Whisper Base".
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل عالم تقنيات الصوت (مثل Siri أو Alexa أو Google Assistant) كمكتبة ضخمة وعالية التقنية. لعقود من الزمن، كانت هذه المكتبة مجهزة بكتب باللغة الإنجليزية، والإسبانية، والماندارين، وعشرات اللغات الرئيسية الأخرى. ولكن بالنسبة للغة البشتو، وهي لغة يتحدث بها أكثر من 60 مليون شخص (ما يعادل تقريبًا عدد سكان فرنسا والمملكة المتحدة معًا)، كان هناك رف فارغ تمامًا.
إذا حاولت أن تطلب من ذكاء اصطناعي قياسي أن يفهم البشتو، فسيكون الأمر كأنك تطلب من طاهٍ لا يعرف سوى طبخ المعكرونة الإيطالية أن يصنع فجأة طبق "كابولي بولاو" أفغاني مثالي. الطاهي لا يملك المكونات، ولا الوصفة، ولا يعرف حتى مذاق التوابل.
تخبرنا هذه الورقة قصة كيف بنى مجموعة من المتطوعين كتاب الوصفات المفقود هذا من الصفر. إليكم قصة مشروع "صوت البشتو المشترك" (Pashto Common Voice)، مقسمة ببساة.
1. المشكلة: لغة "غير مرئية" للآلات
البشتو لغة معقدة. تحتوي على ثمانية أصوات خاصة لا توجد في العربية أو الفارسية (اللغات التي ترتبط بها). ولأن لوحات مفاتيح الكمبيوتر القياسية لا تحتوي على أزرار لهذه الأصوات، فإن الناس الذين يكتبون بالبشتو غالبًا ما يتخطون هذه الأصوات أو يستخدمون الحروف الخاطئة.
هذا خلق مشكلة مزدوجة للذكاء الاصطناائي:
- نقص البيانات: لم تكن هناك مجموعات كبيرة ومجانية من أصوات البشتو لتعليم الذكاء الاصطناعي.
- تدريب سيء: حتى البيانات القليلة الموجودة كانت غير دقيقة لأن النصوص التي طُلب من الناس قراءتها كانت غالبًا مكتوبة بشكل خاطئ، مما أربك الذكاء الاصطناعي حول كيفية نطق الكلمات فعليًا.
2. الحل: بناء "حديقة صوتية"
قرر الفريق استخدام منصة Mozilla Common Voice، وهي منصة تعمل مثل حديقة مجتمعية ضخمة. بدلًا من استئجار ممثلين صوتيين مكلفين، طلبوا من الناس العاديين زراعة البيانات بأنفسهم.
إليكم كيف قاموا برعاية هذه الحديقة عبر سبع مراحل:
- المرحلة 1: بناء السور (التوطين): أولاً، كان عليهم ترجمة الموقع بأكمله إلى اللغة البشتوية. قبل ذلك، كان الموقع يشبه بابًا مغلقًا؛ لم يكن بإمكان المتحدثين بالبشتو حتى رؤية التعليمات. وبمجرد فتح الباب، تمكن الناس أخيرًا من الدخول.
- المرحلة 2 و3: زراعة البذور (جمع الجمل): كانوا بحاجة إلى جمل ليقرأها الناس. استخرجوا آلاف الجمل من ويكيبيديا البشتوية، وفلتروا الجمل الغريبة، وتأكدوا من أنها قصيرة وواضحة. كما أضافوا أمثالًا شعبية بشتوية، والتي تشبه "التوابل الثقافية" للغة.
- المرحلة 4: إصلاح التوابل المفقودة (الاستهداف الفونيمي): أدركوا أن الذكاء الاصطناعي لا يزال يفتقر إلى تلك الأصوات الثمانية الخاصة بالبشتو. لذا، طلبوا من المساهمين تحديدًا تسجيل جمل تحتوي على تلك الأصوات الصعبة. كان الأمر يشبه قولهم للبستانيين: "لدينا الكثير من الطماطم، لكننا نفتقر إلى الفلفل الحار. من فضلكم ازرعوا المزيد من الفلفل!"
- المرحلة 5 و6: الانفجار الكبير (المجتمع والإعلام): هذا هو الجزء الأهم. في البداية، كان النمو بطيئًا. ثم قام أحد أعضاء الفريق بدور "وسيط لغوي". لم يكتفِ بالنشر عبر الإنترنت فحسب، بل اتصل بـ VOA Pashto (شبكة إذاعية وتلفزيونية رئيسية).
- التشبيه: تخيل أنك تحاول ملء مسبح باستخدام خرطوم حديقة. الأمر يستغرق وقتًا طويلاً جدًا. ثم يقوم شخص ما بفتح صنبور حريق.
- النتيجة: بعد أن بث برنامج "صوت أمريكا البشتو" قصة عن المشروع، انفجر عدد المتطوعين. في ثلاثة أشهر فقط، قفز عدد المتحدثين من 9 إلى 971. كانت زيادة بمقدار 108 ضعفًا! "صنبور الحريق" المتمثل في التغطية الإعلامية ملأ المسبح في أيام.
3. الحصاد: ماذا حصلوا عليه؟
بحلول سبتمبر 2025، حصدوا محصولًا ضخمًا:
- 147 ساعة من الكلام المسجل.
- 1,483 صوتًا فريدًا (متحدثًا).
- أكثر من 60,000 مقطع تم التحقق منه (تسجيلات فحصها شخصان آخران وقالا: "نعم، هذا جيد").
قاموا بتنظيم هذه التسجيلات في 13 فئة مختلفة، مثل "التكنولوجيا"، "الأخبار"، "الدين"، و"الطعام". ومع ذلك، لاحظوا فجوة: معظم الناس لم يذكروا ما إذا كانوا ذكورًا أم إناثًا، ومعظم المساهمين كانوا من الشباب. وهذا يعني أن "الحديقة" شابة بعض الشيء وتفتقر إلى التنوع بين الجنسين، وهو درس للمشاريع المستقبلية.
4. اختبار المذاق: هل نجح الأمر؟
كان الاختبار النهائي هو معرفة ما إذا كان بإمكان الذكاء الاصطناعي فهم البشتو الآن.
- قبل: إذا سألت الذكاء الاصطناعي القياسي (Whisper) لفهم البشتو دون أي تدريب، فإنه سيخطئ بنسبة 99%. كان يكتفي بالتخمين تقريبًا.
- بعد: أخذ الفريق الذكاء الاصطناعي و"ضبطه بدقة" (Fine-tuning) باستخدام حديقتهم البشتوية الجديدة.
- النتيجة: انخفض معدل الخطأ في الذكاء الاصطناعي إلى 13.4%.
الاستعارة: تخيل طالبًا يعرف صفرًا من اللغة البشتوية. أعطيته قاموسًا وكتابًا مدرسيًا (البيانات الجديدة). فجأة، أصبح بإمكانه إجراء محادثة جيدة. هو ليس متحدثًا أصليًا بعد، لكنه لم يعد جاهلاً تمامًا. هذه قفزة هائلة من "الجهل التام" إلى "القدرة على التواصل".
5. الدرس الكبير
تختتم الورقة برؤية مفاجئة لأي شخص يحاول مساعدة اللغات ذات الموارد المحدودة:
التكنولوجيا ليست الجزء الأصعب؛ البشر هم الجزء الأصعب.
لم يخترع الفريق حاسوبًا خارقًا جديدًا أو خوارزمية سحرية. جاء الاختراق الأكبر من شخص واحد عرف كيف يتحدث إلى الصحفيين ويجعل محطة إذاعية تروي القصة.
- الدرس: إذا كنت تريد بناء ذكاء اصطناعي صوتي للغة تم تجاهلها، فلا تكتفِ بكتابة الأكواد البرمجية. ابحث عن "بناء جسور" — شخص يمكنه ربط مشروعك التقني بقلب المجتمع من خلال القصص والإعلام. هذا الاتصال البشري هو صنبور الحريق الذي يملأ المسبح.
الملخص
هذه الورقة هي مخطط لكيفية قيام مجتمع، مسلح بموقع إلكتروني بسيط وقصة جيدة، بتعليم الآلة التحدث بلغة كانت تتجاهلها سابقًا. لقد حولوا لغة "صامتة" إلى لغة "متحدثة"، مثبتين أنه مع الجهد المجتمعي الصحيح، حتى اللغات الأكثر إهمالًا يمكنها أن تجد صوتها في عصر الذكاء الاصطناعي.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.