The Thiomi Dataset: A Large-Scale Multimodal Corpus for Low-Resource African Languages
تقدم هذه الورقة مجموعة بيانات "ثيومي" (Thiomi Dataset)، وهي متن متعدد الوسائط واسع النطاق يضم أكثر من 601,000 تعليق نصي و385,000 تسجيل صوتي عبر عشر لغات أفريقية، مما يضع معايير مرجعية جديدة رائدة لنماذج الكلام واللغة مع إظهار تحسينات كبيرة في أداء التعرف التلقائي على الكلام.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل عالم تكنولوجيا اللغة كأنه مكتبة ضخمة ومزدحمة. لفترة طويلة، كانت هذه المكتبة مكدسة بالكتب باللغات الإنجليزية والفرنسية والماندارين، بينما كانت الرفوف المخصصة للغات الأفريقية شبه فارغة. إذا أردت بناء روبوت يمكنه التحدث باللغة السواحيلية أو ترجمة رسالة باللغة الصومالية، فستضطر للقيال بذلك باستخدام حفنة من الفتات بدلاً من موسوعة كاملة.
إن مجموعة بيانات ثيومي (Thiomi Dataset) تشبه مشروع بناء ضخم تم بناؤه من قبل المجتمع، وهو مصمم لملء تلك الرفوف الفارغة. إنها مجموعة ضخمة من الكلمات المنطوقة والمكتوبة لعشر لغات أفريقية مختلفة، لم تنشئها شركة واحدة في مختبر، بل أنشأها أكثر من 100 شخص حقيقي من تلك المجتمعات.
إليك تفصيل لما قاموا به، باستخدام بعض التشبيهات من الحياة اليومية:
1. المشكلة: "الرف الفارغ"
تخيل الحالة الراهنة للذكاء الاصطناعي كطاهٍ يحاول طهي وليمة. بالنسبة للغات الأوروبية، لدى الطاهي مخزن مليء بالمكونات الطازجة. أما بالنسبة للعديد من اللغات الأفريقية، فإن الطاهي يحاول الطهي باستخدام قطعة بسكويت واحدة قديمة. وهذا يعني أن المساعدات الصوتية، وتطبيقات الترجمة، وأدوات تحويل الكلام إلى نص، ببسا আসে لا تعمل بشكل جيد لأكثر من مليار شخص يتحدثون هذه اللغات.
2. الحل: "وليمة مجتمعية"
بدلاً من قيام شركة كبيرة بتوظيف عدد قليل من الأشخاص لتسجيل البيانات، قام فريق "ثيومي" ببناء تطبيق للهواتف المحمولة (مثل دعوة لوليمة مجتمعية).
- المنصة: لقد أنشأوا تطبيقاً "يعتمد على الهاتف أولاً". وبما أن معظم الناس في شرق أفريقيا يستخدمون الهواتف الذكية أكثر من أجهزة الكمبيوتر، فإن التطبيق يعمل مثل موجز لوسائل التواصل الاجتماعي البسيطة. لا تحتاج إلى تثبيت أي شيء؛ ما عليك سوى فتحه في متصفحك.
- الوصفات المزدوجة: لقد جمعوا البيانات بطريقتين:
- طريقة "الترجمة": أعطوا الناس جملة باللغة الإنجليزية (مثل "أخبرتها الطبيبة بأن ترتاح") وطلبوا منهم ترجمتها إلى لغتهم المحلية وتسجيل أنفسهم وهم يقرؤونها. هذا يشبه إعطاء شخص ما بطاقة وصفة وطلب منه طهيها بأسلوبه الخاص.
- طريقة "سرد القصص": طلبوا من الناس التحدث بشكل طبيعي عن يومهم أو عن موضوع ما، ثم قام أعضاء آخرون من المجتمع بكتابة ما سمعوه. هذا يلتقط الطريقة الحقيقية والفوضوية التي يتحدث بها الناس في الواقع، بما في ذلك العامية واللهجات.
3. مراقبة الجودة: "اختبار التذوق"
لا يمكنك مجرد رمي كلمات عشوائية في مكتبة؛ يجب أن تكون دقيقة. وضع الفريق مرشح جودة مكوناً من أربع مراحل، يشبه عملية تفتيش صارمة لسلامة الأغذية:
- المرحلة 1: يتحقق الكمبيوتر مما إذا كانت الجملة طويلة بما يكفي ولا تحتوي على أخطاء مطبعية.
- المرحلة 2: يقوم زميل من نفس المجتمع اللغوي بقراءتها. إذا بدت غريبة، يعيدها لطلب "إعادة التنفيذ".
- المرحلة 3: يقوم خبير لغوي (مثل رئيس الطهاة) بالتحقق عشوائياً من 10% من العمل للتأكد من أن القواعد واللمسات الثقافية مثالية.
- المرحلة 4: الموافقة النهائية. إذا اجتازت الاختبار، تُضاف إلى مجموعة البيانات.
بسبب هذه العملية الصارمة، حققوا نسبة موافقة تتراوح بين 95-98% للغاتهم الرئيسية. إنه يشبه التأكد من أن كل كتاب على الرف قابل للقراءة وصحيح بالفعل قبل السماح لأي شخص باستعارته.
ها 4. النتائج: إثبات نجاح الوصفة
لإثبات أن هذا "المخزن" الجديد مفيد، بنى الفريق ثلاثة أنواع من روبوتات الذكاء الاصطناعي واختبرها:
- الأذن (التعرف على الكلام): بنوا روبوتاً يستمع إلى الكلام ويحوله إلى نص.
- النتيجة: بالنسبة للغة السواحيلية، ارتكب روبوتهم الجديد أخطاء بنسبة 3.24% فقط. بينما كان أفضل روبوت سابق يرتكب أخطاء بنسبة 8.3%. هذه قفزة هائلة! إنه يشبه الترقية من سماعة طبية تخفت الأصوات إلى واحدة تسمع الهمس بوضوح.
- المترجم (الترجمة الآلية): بنوا روبوتاً للترجمة بين الإنجليزية ولغات مثل الصومالية والكيكويو.
- النتيجة: كانت الترجمات عالية الجودة، وحصلت على درجات جيدة جداً في الاختبارات القياسية. إنه يشبه امتلاك مترجم لا يكتفي باستبدال الكلمات بل يفهم المعنى.
- الصوت (تحويل النص إلى كلام): بنوا روبوتاً يقرأ النصوص بصوت عالٍ.
- النتيجة: قيم المتحدثون الأصليون الأصوات بأنها "طبيعية" وسهلة الفهم. لم يعد الأمر يبدو كصوت آلي؛ بل يبدو كصوت بشري.
5. لماذا يهم هذا؟
مجموعة بيانات "ثيومي" هي أكثر من مجرد أرقام؛ إنها أساس.
- إنها عادلة: فهي تعطي صوتاً للغات التي تم تجاهلها.
- إنها مفتوحة: إنهم يضعون هذه البيانات على HuggingFace (مكتبة عامة للذكاء الاصطناعي)، بحيث يمكن لأي شخص استخدامها لبناء تطبيقات أفضل.
- إنها أخلاقية: تم دفع أجور عادلة للأشخاص الذين ساهموا، وبياناتهم محمية.
باختصار: لم يقم فريق "ثيومي" ببناء مجموعة بيانات فحسب؛ بل بنوا جسراً. لقد استخدموا قوة المجتمع لعبور الفجوة بين اللغات "منخفضة الموارد" والتكنولوجيا الحديثة، مما يثبت أنه عندما تمنح الناس الأدوات المناسبة، يمكنهم بناء مستقبل تكنولوجيا اللغة لأنفسهم.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.