AfriNLLB: Efficient Translation Models for African Languages
تقدم هذه الورقة البحثية AfriNLLB، وهي سلسلة من نماذج الترجمة خفيفة الوزن والفعالة لـ 15 زوجًا من اللغات الأفريقية، والتي تحقق أداءً يضاهي النماذج المرجعية الأكبر من خلال التقليم التكراري للطبقات، والكمية، وتقطير المعرفة، مع إطلاق النماذج وبيانات التدريب المنسقة لدعم النشر في البيئات محدودة الموارد ومزيد من الأبحاث.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل عالماً تكون فيه اللغة عبارة عن مكتبة ضخمة ومزدحمة. لقرون مضت، كانت هذه المكتبة منظمة للغاية لبعض اللغات، بصفوف شاهقة، وأضواء ساطعة، وأمناء مكتبة يحفظون كل كتاب عن ظهر قلب. ولكن بالنسبة لآلاف اللغات الأخرى، فإن الرفوف مغبرة، والأضواء خافتة، والكتب مبعثرة في صناديق في العلية. هذا هو واقع اللغات "منخفضة الموارد"، لا سيما تلك المتحدث بها عبر أفريقيا. في مجال الذكاء الاصطناعي، وتحديداً في الترجمة الآلية، تتعلم الحواسيب التحدث بهذه اللغات من خلال قراءة ملايين الجمل. وإذا لم تقرأ الحواسيب ما يكفي من الكتب، فإنها تتلعثم وترتكب الأخطاء.
الفكرة الكبرى وراء هذا البحث هي "الكفاءة". فكر في روبوت مترجم عملاق وذكي للغاية. إنه يعرف الكثير، لكنه أيضاً ضخم وثقيل ويتطلب محطة طاقة هائلة للتشغيل. الأمر يشبه محاولة قيادة شاحنة نقل كبيرة لتوصيل بيتزا واحدة؛ الأمر ممكن، لكنه غير فعال وبطيء، خاصة إذا كنت في حي ذي طرق ضيقة وكهرباء محدودة. لقد حاول العلماء تقليص حجم هذه الروبوتات العملاقة وتحويلها إلى شيء أصغر وأسرع — مثل سكوتر رشيق — يمكنه أيضاً توصيل البيتزا بشكل مثالي، ولكن دون الحاجة إلى محطة طاقة. يتناول هذا البحث تحدي أخذ نموذج ترجمة قوي وثقيل وجعله خفيفاً بما يكفي ليعمل على أجهزة متواضعة، مع ضمان عدم نسيانه كيفية التحدث باللغات الأفريقية المحددة والتي غالباً ما يتم تجاهلها.
تعرف على AfriNLLB: المترجم خفيف الوزن لأفريقيا
تعرف على AfriNLLB، وهي عائلة جديدة من نماذج الترجمة المصممة لتكون بمثابة "السكوترات" في عالم الذكاء الاصطناوي. تم إنشاؤها من قبل باحثين من كلية ترينيتي في دبلن، والمعهد الأفريقي للعلوم الرياضية، ومعهد شاغار للتكنولوجيا، وهذه النماذج مبنية للترجمة بين الإنجليزية، والفرنسية، و13 لغة أفريقية، بما في ذلك السواحيلية، والهوسا، واليوروبا، والأمهرية، والزولو. والهدف؟ جعل الترجمة عالية الجودة ممكنة حتى في الأماكن التي تكون فيها الحواسيب بطيئة أو اتصالات الإنترنت فيها متقطعة.
تبدأ القصة بنموذج ضخم مدرب مسبقاً يسمى NGB-200 600M. فكر في هذا النموذج كبطل ملاكمة من الوزن الثقيل. إنه قوي للغاية ويعرف الكثير، لكنه أيضاً ضخم ويستغرق وقتاً طويلاً لتوجيه لكمة. أراد الباحثون الحفاظ على قوة البطل مع تجريده من الوزن الزائد. وللقيام بذلك، استخدموا تقنية تسمى تقليم الطبقات التكراري (iterative layer pruning). تخيل النموذج ككعكة متعددة الطبقات. بدلاً من مجرد قطع الجزء العلوي أو السفلي، قام الباحثون بتذوق كل طبقة بعناية واحدة تلو الأخرى. لقد أزالوا الطبقات التي ساهمت بأقل قدر في النكهة النهائية (جودة الترجمة) مع الحفاظ على الطبقات التي قامت بالعمل الشاق. استمروا في فعل ذلك، طبقة تلو الأخرى، حتى حصلوا على كعكة أصغر وأخف وزناً ولكنها لا تزال لذيذة بنفس القدر.
لكن كان هناك عقبة. فعندما تقطع الكعكة، قد تصبح جافة قليلاً أو تفقد شكلها. ولإصلاح ذلك، استخدم الباحثون الضبط الدقيق (fine-tuning) وتقطير المعرفة (knowledge distillation). الضبط الدقيق يشبه إعطاء النموذج الأصغر دورة مكثفة مع معلم متخصص، باستخدام مجموعة مختارة من 1.6 مليون زوج من الجمل التي جمعوها خصيصاً للغات الأفريقية. أما تقطير المعرفة فهو يشبه جعل النموذج "المعلم" العملاق (نسخة الـ 3.3 مليار بارامتر الأصلية) يكتب الإجابات في اختبار، ثم يقوم النموذج "الطالب" الأصغر بدراستها. يساعد هذا النموذج الأصغر على تعلم حيل المهنة دون الحاجة إلى قراءة المكتبة بأكملها مرة أخرى.
النتائج مثيرة للإعجاب حقاً. فقد أنشأ الباحثون نماذج أسرع بكثير من النموذج الأصلي. في اختباراتهم، كانت النماذج المقلمة تعمل بسرعة أكبر بنسبة 20% من النموذج الأساسي بدون أي حيل خاصة. ولكن عندما طبقوا تقنية تسمى التكميم (quantization) (وهي تشبه ضغط ذاكرة النموذج لجعلها أكثر رشاقة)، قفزت السرعة بنسبة 57%. على سبيل المثال، الترجمة التي استغرق النموذج الأصلي 21.02 ثانية لمعالجتها، استغرق النموذج الجديد المضغوط 8.96 ثانية فقط.
والأهم من ذلك، يظهر البحث أن هذه السرعة لم تأتِ على حساب الجودة. فقد حققت النماذج الأصغر درجات ترجمة (مقاسة بمعايير مثل chrF++ و COMET) مماثلة، وفي بعض الحالات أفضل قليلاً، من النموذج الأساسي المضبوط بدقة. على سبيل المثال، في الترجمة من الإنجليزية إلى الهوسا، حسّن النموذج الجديد درجة الجودة بنسبة 16.7% مقارنة بالنموذج الأساسي الأصلي، مع العمل بشكل أسرع أيضاً.
اختبر الفريق أيضاً طرقاً مختلفة لقطع الكعكة. جربوا إزالة الطبقات من منتصف النموذج مقابل إزالتها واحدة تلو الأخرى بناءً على الأهمية. ووجدوا أن طريقة "واحدة تلو الأخرى" (التقليم التكراري) كانت الفائزة بوضوح، حيث أنتجت نماذج توازن بين السرعة والجودة بشكل أفضل من مجرد قطع الطبقات الوسطى. كما جربوا إزالة الطبقات من جزء "التفكير" (المُشفّر/encoder) وجزء "التحدث" (المُفكك/decoder)، ووجدوا أن الحفاظ على طبقات التفكير سليمة كان أكثر أماناً للحفاظ على الجودة.
وربما الأهم من ذلك، أن الباحثين لم يحتفظوا بنتائجهم لأنفسهم فحسب. لقد أطلقوا الكود البرمجي، وبيانات التدريب، والنماذج للجمهور. لقد جمعوا البيانات من مصادر مثل OPUS و Hugging Face، ونقّوها باستخدام خط معالجة مكون من أربع مراحل (تصفية المحتوى غير المنطقي، والتحقق من اللغة، وتقييم الجودة). وهذا يعني أنه يمكن للمطورين والباحثين الآن بناء أدوات الترجمة الخاصة بهم للغات الأفريقية دون الحاجة لقضاء أشهر في جمع البيانات أو تدريب نماذج ضخمة من الصفر.
باختصار، يشير مشروع AfriNLLB إلى أننا لسنا بحاجة للاختيار بين مترجم قوي ومترجم سريع وفعال. فمن خلال تقليم الدهون بعناية وإطعام النموذج النوع المناسب من الطعام، يمكننا إنشاء أدوات سريعة بما يكفي للعمل على الأجهزة اليومية، مما يجلب قوة الترجمة إلى ملايين الأشخاص الذين تم استبعادهم من المحادثة الرقمية. يأمل المؤلفون أن يثير هذا العمل المزيد من الأبحاث ويساعد في دعم المجتمعات عبر أفريقيا، ليثبتوا أنه يمكنك الحصول على الكعكة، وأكلها أيضاً، ومع ذلك تظل قادراً على ركض ماراثون.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.