Omnilingual ASR: Open-Source Multilingual Speech Recognition for 1600+ Languages
تقدم هذه الورقة البحثية Omnilingual ASR، وهي عائلة من نماذج التعرف التلقائي على الكلام مفتوحة المصدر وقابلة للتوسع، تستفيد من بنية ذاتية الإشراف بـ 7 مليارات معلمة ومجموعة بيانات تدريبية ضخمة ومتنوعة لدعم أكثر من 1,660 لغة، بما في ذلك أكثر من 500 لغة لم تكن مخدومة سابقاً، مع تمكين المجتمعات من تكييف النظام بسهولة مع لغات جديدة باستخدام حد أدنى من البيانات.
المؤلفون الأصليون:Marta Costa-jussa, Omnilingual Team, Gil Keren, Artyom kozhevnikov, Yen Meng, Christophe Ropers, Matthew Setzler, Skyler Wang, Ife Adebara, Michael Auli, Can Balioglu, Kevin Chan, Chierh Cheng, Joe ChMarta Costa-jussa, Omnilingual Team, Gil Keren, Artyom kozhevnikov, Yen Meng, Christophe Ropers, Matthew Setzler, Skyler Wang, Ife Adebara, Michael Auli, Can Balioglu, Kevin Chan, Chierh Cheng, Joe Chuang, Caley Droof, Mark Duppenthaler, Paul-Ambroise Duquenne, Alexander Erben, Cynthia Gao, Gabriel Mejia Gonzalez, Kehan Lyu, Sagar Miglan, Vineel Pratap, Kaushik Ram Sadagopan, Safiyyah Saleem, Arina Turkatenko, Albert Ventayol-Boada, Zheng Xin Yong, Yu-An Chung, Jean Maillard, Rashel Moritz, Alexandre Mourachko, Mary Williamson, Shireen Yates
تخيل أن لديك مترجماً سحرياً يمكنه فوراً فهم وكتابة ما يقوله أي شخص، بغض النظر عن اللغة التي يتحدث بها. لفترة طويلة، كان هذا السحر يعمل فقط مع اللغات الأكثر شيوعاً، مثل الإنجليزية أو الإسبانية أو الماندرين. إذا تحدثت بلغة أصغر أو أقل شيوعاً، فسيظل المترجم يحدق بفراغ أو يخمن بشكل عشوائي. هذا هو عالم التعرف التلقائي على الكلام (ASR): التقنية التي تحول الكلمات المنطوقة إلى نص. فكر في الأمر كأنه كاتب فائق السرعة يستمع إلى محادثة ويكتبها. التحدي الكبير كان دائماً هو وجود أكثر من 7,000 لغة في العالم، لكن معظم هؤلاء الكتاب لا يعرفون سوى جزء ضئيل منها. تعلم لغة جديدة يتطلب عادةً مكتبة ضخمة من المحادثات المسجلة وفريقاً من الخبراء لتعليم الكمبيوتر، وهو أمر مكلف وبطيء. ولكن ماذا لو استطعنا بناء كاتب يتعلم "الأنماط" لكيفية عمل جميع اللغات، بحيث يمكنه التقاط لغة جديدة بشكل فوري تقريباً، بمجرد سماع بضع جمل؟ هذا هو السؤال الكبير الذي تعالجه هذه الورقة البحثية: كيف نجعل تقنية الكلام عادلة ومتاحة للجميع، وليس فقط للقليل ممن يتحدثون اللغات "الكبيرة"؟
إليك Omnilingual ASR، وهو مشروع مفتوح المصدر جديد من Meta يشبه كاتباً خارق القدرات ومتعدد اللغات، صُمم ليتحدث أكثر من 1,600 لغة. لم يحاول الفريق تعليم الكمبيوتر المزيد من الكلمات فحسب؛ بل بنوا "دماغاً" ضخماً ومتنوعاً تعلم من مجموعة هائلة من البيانات الصوتية، بما في ذلك تسجيلات من مجتمعات لم تُسمع من قبل بواسطة الذكاء الاصطناوي. لقد أنشأوا نظاماً يأتي بأحجام مختلفة: نسخة ضخمة فائقة الدقة (7 مليارات معلمة/parameter) للحواسيب القوية، ونسخة صغيرة وخفيفة الوزن (300 مليون معلمة) يمكنها العمل على هاتف بسيط. الجزء الأكثر إثارة هو كيفية تعاملهم مع اللغات التي لم يرها الكمبيوتر من قبل. فبدلاً من الحاجة إلى مكتبة كاملة من البيانات لتعلم لغة جديدة، يمكن لهذا النظام أن يتعلم من 10 أمثلة قصيرة فقط لشخص يتحدث ويكتب. الأمر يشبه إظهار صورة لفاكهة جديدة ووصفة لطبق مصنوع منها لطاهٍ ماهر؛ فجأة، يمكنه طهي ذلك الطبق دون الحاجة لتذوق الفاكهة ألف مرة أولاً.
وجد الباحثون أن هذا النظام الجديد يغير قواعد اللعبة، خاصة بالنسبة للغات التي تتوفر عنها بيانات قلي جداً. فعندما اختبروه، حقق النموذج "معدل خطأ في الحروف" (وهو مقياس لعدد الحروف التي أخطأ فيها) يقل عن 10% لأكثر من 1,200 لغة. وفي الواقع، بالنسبة لأكثر من 500 لغة، هذه هي المرة الأولى التي يتمكن فيها أي نظام كلام من نسخها. تُظهر الورقة أن نموذجهم الجديد يتفوق على الأبطال السابقين، مثل Whisper وUSM، خاصة في تلك اللغات النادرة ذات "الذيل الطويل". وبينما كانت الأنظمة القديمة ترتبك وتفشل في هذه اللغات، حافظ Omnilingual ASR على هدوئه. كما اكتشفوا أنه إذا كنت تريد جعل النظام أفضل للغة معينة صغيرة جداً، يمكنك ضبط النسخ الأصغر بدقة (fine-tune) باستخدام قدرة حوسبة ضئيلة وقليل جداً من البيانات في ساعات قلي-لة، والحصول على نتائج تضاهي النماذج الضخمة.
ومع ذلك، فإن الورقة حريصة على ملاحظة أن هذا ليس عصا سحرية تحل كل شيء بشكل مثالي. فالنظام لا يزال يتعلم، وبينما يمكنه التعامل مع اللغات غير المرئية باستخدام بضعة أمثلة فقط (قدرة "التعلم الصفري" أو zero-shot)، إلا أنه لا يؤدي بشكل جيد تماماً مثل نظام تم تدريبه خصيصاً على تلك اللغة باستخدام كميات هائلة من البيانات. يقترح المؤلفون أنه بالنسبة للاستخدامات الأكثر أهمية، مثل النسخ الطبي أو القانوني، يجب على البشر مراجعة العمل. كما يؤكدون أن هذه التكنولوجيا تهدف لأن تكون أداة للمجتمعات للحفاظ على لغاتها وبناء أرشيفاتها الخاصة، وليس لاستبدال المتحدثين البشريين أو فرض حل واحد يناسب الجميع. ومن خلال إطلاق جميع أكوادهم وبياناتهم مجاناً، يأملون في دعوة الباحثين والمجتمعات في كل مكان للانضمام إلى الحفل، مما يجعل من السهل بناء مستقبل يكون فيه لكل لغة صوت في العالم الرقمي.
ملخص تقني: التعرف الآلي على الكلام متعدد اللغات (Omnilingual ASR)
بيان المشكلة
على الرغم من التقدم الكبير في مجال التعرف الآلي على الكلام (ASR) للغات ذات الموارد العالية، لا تزال هناك أكثر من 4,000 لغة ذات أنظمة كتابة مستقرة غير مدعومة. تواجه النهج الحالية عائقين رئيسيين:
القابلية للتوسع والتكلفة: يُنظر إلى توسيع نطاق التغطية ليشمل آلاف اللغات على أنه مكلف للغاية بسبب الجهود الهندسية وجهود جمع البيانات المطلوبة لمجموعات بيانات تدريب صغيرة نسبيًا.
القيود الهيكلية: تعتمد الأنظمة الحالية غالبًا على مجموعات ثابتة من اللغات، مما يجعل من الصعب إضافة لغات جديدة دون ضبط دقيق (fine-tuning) يقوده خبراء، وهي عملية يصعب الوصول إليها بالنسبة للعديد من المجتمعات.
المخاوف الأخلاقية: هناك خطر من أن يؤدي نشر التكنولوجيا في المجتمعات ذات الموارد المحدودة دون معايرة دقيقة أو وكالة محلية إلى إضعاف قدرة تلك المجتمعات.
المنهجية
بناء البيانات
قام المؤلفون بتجميع أكثر مجموعة بيانات ASR تنوعًا لغويًا حتى الآن، وتتكون من مكونين رئيسيين:
بيانات ما قبل التدريب غير المصنفة: 3.8 مليون ساعة من الكلام عبر 1,239 لغة (بالإضافة إلى 460 ألف ساعة بدون تحديد اللغة) استُخدمت للتدريب الذاتي الخاضع للإشراف.
بيانات الضبط الدقيق المصنفة: 177,700 ساعة من الكلام المقترن بنصوص عبر 1,690 لغة.
تدمج البيانات المصنفة ما يلي:
مجموعات البيانات العامة: حوالي 15 ألف ساعة من مصادر مثل LibriSpeech وCommon Voice وVoxPopuli وFLEURS وMLS.
البيانات الداخلية والمرخصة: حوالي 150 ألف ساعة من المجموعات الداخلية والتراخيص التجارية (مثل IARPA Babel).
البيانات المستمدة من المجتمع والمكلفة: مكون حاسم يتضمن شراكات مع منظمات محلية (مثل African Next Voices وLanfrica/Naijavoices) و"برنامج شريك تكنولوجيا اللغة" (LTPP). يتضمن ذلك مجموعة بيانات التعرف الآلي على الكلام متعدد اللغات (OASRC)، وهي مجموعة مخصصة تضم 3,350 ساعة عبر 348 لغة. وعلى عكس العديد من مجموعات البيانات الموجودة، تعطي OASRC الأولوية للكلام العفوي الذي يحتوي على اضطرابات طبيعية في الكلام بدلاً من القراءات المكتوبة، والتي تم استخراجها عبر استطلاعات نمطية لضمان الصلة الثقافية والتفاعل.
بنية النمذجة
يستخدم Omnilingual ASR بنية "المشفر-المفكك" (encoder-decoder) المصممة للتعميم الصفري (zero-shot generalization):
المشفر (Encoder): شبكة Transformer ضخمة تم توسيعها لتصل إلى 7 مليارات معلمة لاستخراج تمثيلات كلامية قوية وعابرة للغات عبر التدريب الذاتي الخاضع للإشراف.
المفكك (Decoder): تم اقتراح نوعين:
نموذج CTC: يستخدم طبقة خطية لربط الإطارات المشفرة باحتمالات الحروف باستخدام فقدان التصنيف الزمني المتصل (Connectionist Temporal Classification - CTC).
نموذج LLM-ASR: يستخدم مفككًا مستوحى من النماذج اللغوية الكبيرة (LLMs) مع فقدان الإنتروبيا المتقاطعة (cross-entropy loss). يمكن لهذا النوع التكيّف مع رموز اللغات عند الاستدلال لحل مشكلة غموض الخط، وهو نمط فشل شائع في البيئات ذات الموارد المنخفضة.
القدرة على التعميم الصفري (Zero-Shot)
لمعالجة اللغات التي لا تملك بيانات مصنفة، تم توسيع نموذج LLM-ASR ليدعم الاستدلال الصفري. من خلال تقديم بضعة أمثلة سياقية (أزواج الكلام والنص) من لغة جديدة أثناء الاستدلال، يمكن للنموذج إجراء التعرف على الكلام للغات غير المرئية سابقًا دون الحاجة إلى تدريب إضافي.
عائلة النماذج
لاستيعاب قيود النشر المتنوعة، يتم إصدار النماذج كعائلة تتراوح من:
النسخ المدمجة (Compact variants): 300 مليون معلمة، مناسبة للأجهزة ذات الطاقة المنخفضة.
النسخ الكبيرة (Large variants): 7 مليارات معلمة، محسنة لتحقيق أقصى قدر من الدقة.
النتائج الرئيسية
الأداء على اللغات المدعومة
النطاق: يدعم النظام أكثر من 1,660 لغة، بما في ذلك أكثر من 500 لغة لم تُخدم من قبل بواسطة أي نظام ASR.
الدقة:
في فئات الموارد العالية والمتوسطة (أكثر من 10 ساعات من البيانات)، تحقق 90% من اللغات معدل خطأ في الحروف (CER) أقل من 5.
في فئات الموارد المنخفضة (أقل من 10 ساعات)، تحقق 34-36% من اللغات عتبة CER أقل من 10.
يحقق نموذج 7B LLM-ASR متوسط CER يبلغ 7.1 عبر 1,570 لغة تم تقييمها، مع تحقيق 78% من اللغات لـ CER ≤ 10.
المقارنة: يتفوق Omnilingual ASR على النماذج المرجعية القوية بما في ذلك Whisper (large-v3) وUniversal Speech Model (USM) وMassively Multilingual Speech (MMS) عبر عدة اختبارات معيارية (FLEURS-102 وMLS وMMS-Lab). والجدير بالذكر أن نسخة 300M CTC تتفوق على Whisper-large-v3 في متوسط CER.
أداء التعميم الصفري (Zero-Shot)
في اللغات غير المرئية، يقلل نموذج LLM-ASR الصفري (مع 10 أمثلة سياقية) متوسط CER من 26.3% (الأساس CTC) إلى 14.4%.
تقلل النماذج الصفرية بشكل كبير من أخطاء ارتباك الخط، متفوقة على النماذج غير الصفرية في مجموعات بيانات مثل FLEURS-102 وCV22 حيث ينتشر سوء التعرف على الخط.
كفاءة الضبط الدقيق (Fine-Tuning)
يؤدي الضبط الدقيق الخاص باللغة لنماذج 300M و1B على اللغات ذات الموارد المنخفضة (5-10 ساعات من البيانات) إلى تحقيق CER تنافسي مع نموذج 7B OmniASR، وغالبًا ما يحقق CER < 5.
أثبت أن بدء الضبط الدقيق باستخدام نقاط تفتيش (checkpoints) من OmniASR CTC أكثر كفاءة من استخدام نقاط تفتيك w2v2 القياسية للنماذج الأصغر، حيث يتطلب خطوات تدريب أقل (5 آلاف مقابل 30 ألف) للوصول إلى التقارب.
الأهمية والادعاءات
يضع البحث Omnilingual ASR كتحول جذري في تكنولوجيا الكلام، من الأنظمة الثابتة التي يقودها الخبراء إلى القابلية للتوسع التي يقودها المجتمع.
دمقرطة الوصول: من خلال تمكين المجتمعات من إضافة لغات باستخدام 10 عينات فقط من الصوت والنص دون التخلي عن بياناتها لأطراف ثالثة أو الحاجة إلى قدرات حوسبة هائلة، يقلل النظام من الحواجز أمام المجتمعات المحرومة.
المساهمة العلمية: يوضح العمل أن التدريب على مجموعة بيانات ضخمة ومتنوعة (أكثر من 1,600 لغة) يسمح للنماذج بتعلم تمثيلات قوية للتعميم الواسع، مما يتحدى الفكرة القائلة بأن اللغات ذات الموارد المنخفضة تتطلب مسارات تطوير منفصلة ومستهلكة للموارد.
المصدر المفتوح والتعاون: يُنظر إلى إصدار النماذج، ومسارات التدريب، ومجموعة البيانات كأدوات مفتوحة المصدر ليس فقط كشفية، بل كتدخل لإعادة توزيع القدرة على الابتكار، مما يسمح بالتكيف المحلي والسيطرة.
النشر العملي: يسمح توفر نسخ 7B و300M بالنشر في كل من بيئات السحابة عالية الحوسبة والأجهزة المنفصلة ذات الطاقة المنخفضة، مما يوسع نطاق تطبيق ASR من البحث إلى الأرشيفات التي يقودها المجتمع وأدوات تسهيل الوصول.
يخلص المؤلفون إلى أنه بينما لا تزال الفوارق في الأداء قائمة والمراجعة البشرية ضرورية في السياقات عالية المخاطر، فإن Omnilingual ASR يوفر أساسًا قابلًا للتوسع لتوثيق اللغات، والحفاظ عليها، وتطوير واجهات مدفوعة بالصوت للتنوع اللغوي العالمي.