MoganBert-TR: A Turkish Encoder Foundation Model Trained from Scratch with a CLM-to-MLM Curriculum
تقدم هذه الورقة البحثية MoganBert-TR، وهو نموذج تأسيسي لترميز اللغة التركية بـ 149 مليون معلمة، تم تدريبه من الصفر باستخدام منهج تعليمي مبتكر من CLM إلى MLM وجدولة متخصصة للسياق الطويل، والذي يحقق أداءً هو الأفضل في فئته على معايير معالجة اللغات الطبيعية التركية ويُنتج نموذج تضمين عالي الكفاءة يصل إلى 99.5% من درجة نموذجه المعلم المكون من 7.57 مليار معلمة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في المشهد الواسع للذكاء الاصطناي، هناك طريقتان رئيسيتان يتعلم من خلالهما الكمبيوتر فهم اللغة البشرية. يتضمن أحد النهجين، الذي يظهر غالباً في الأخبار، نماذج تولد النصوص، وتكتب القصص أو تجيب على الأسئلة من الصفر. أما النهج الآخر، وهو أكثر هدوءاً ولكنه حيوي بنفس القدر، فيستخدم نماذج تعمل كمحركات بحث قوية ومصنفات. هذه النماذج "المشفرة" (encoder) تقرأ الجملة وتحولها إلى ملخص رياضي مقتضب، مما يسمح للحواسيب بمقارنة الأفكار، أو إيجاد المستندات ذات الصلة، أو فرز المعلومات بسرعة مذهلة. لسنوات طويلة، كانت الطريقة القياسية لتعليم هذه النماذج هي نوع محدد من ألعاب التخمين: حيث يرى الكمبيوتر جملة بها بعض الكلمات المخفية ويجب عليه التنبؤ بالأجزاء المفقودة. هذه الطريقة، المعروفة باسم "نمذجة اللغة المقنعة" (masked language modeling)، قد نجحت بشكل جيد، لكن الباحثين تساءلوا منذ فترة طويلة عما إذا كانت هناك طريقة أفضل لتعليم الآلة بنية اللغة، خاصة بالنسبة للغات المعقدة والغنية بالأشكال اللغوية، مثل اللغة التركية.
قام فريق من الباحثين الآن ببناء أساس جديد لفهم اللغة التركية، موضحين أن الطريقة التي يُدرَّب بها النموذج تهم بقدر أهمية البنية التي بُني عليها. لقد أنشأوا نموذجاً يسمى MoganBert-TR، تم تدريبه من الصفر على مجموعة ضخمة من النصوص التركية. وبدلاً من الالتزام بلعبة التخمين التقليدية، قدموا منهجاً تعليمياً ذا مرحلتين. أولاً، تعلم النموذج قراءة النص من اليسار إلى اليمين، والتنبؤ بالكلمة التالية في التسلسل، تماماً مثل الإنسان الذي يقرأ كتاباً. وفقط بعد هذه المرحلة الأولية، انتقلوا إلى الطريقة التقليدية المتمثلة في إخفاء الكلمات وطلب ملء الفراغات من النموذج. هذا التحول في استراتيجية التدريس، جنباً إلى جنب مع مجموعة بيانات تم تنظيفها بعناية وطريقة جديدة للتعامل مع الجمل الطويلة، أدى إلى إنتاج نموذج يفهم التركية بشكل أفضل من النسخ السابقة، لا سيما عندما يتعلق الأمر بإيجاد المعلومات ذات الصلة في قواعد البيانات الضخمة.
بدأ الباحثون بجمع كمية هائلة من النصوص من الإنترنت، بما في ذلك صفحات الويب الحديثة والأرشيفات القديمة، لكنهم لم يكتفوا بمجرد ضخ هذه البيانات في نظام التدريب. لقد بنوا مساراً متطوراً لتصفية المحتوى منخفض الجودة، مثل الرسائل المزعجة (spam) أو الإعلانات المتكررة، ولضمان أن يكون النص مفيداً حقاً. ولأنه لم يكن هناك أداة موجودة للحكم تلقائياً على جودة النص التركي، فقد قاموا بتدريب نموذج أصغر ومتخصص ليعمل كمعلم، والذي قام بدوره بتعليم نظام أسرع كيفية إصدار أحكام الجودة نفسها. سمح لهم ذلك بمعالجة ملايين المستندات بكفاءة، والاحتفاظ فقط بالمواد عالية الجودة. كما أنشأوا قاموساً جديداً للنموذج، يقوم بتفكيك الكلمات التركية إلى قطع أصغر بشكل أكثر كفاءة من المحاولات السابقة، وهو أمر بالغ الأهمية لأن الكلمات التركية يمكن أن تتغير أشكالها بشكل كبير اعتماداً على دورها في الجملة.
يكمن جوهر اكتشافهم في ترتيب العمليات أثناء التدريب. لقد اختبروا ما إذا كان البدء بطريقة التنبؤ من اليسار إلى اليمين قبل الانتقال إلى طريقة إخفاء الكلمات سيحدث فرقاً. وفي تجربة منضبطة باستخدام نفس القدر من القدرة الحوسبية ونفس البيانات، تفوقت الطريقة الجديدة ذات المرحلتين بشكل كبير على الطريقة التقليدية عندما تعلق الأمر باسترجاع المعلومات. وبينما أدت كلتا الطريقتين أداءً متشابهاً في مهام التصنيف البسيطة، كان النهج الجديد أفضل بأربعة أضعاف تقريباً في العث find المستندات ذات الصلة في اختبار بحث. واكتشف الباحثون أن الطريقة التقليدية تسببت في انهيار التمثيلات الداخلية للنموذج إلى شكل ضيق وغير مفيد، حيث تبدو جميع المعاني متشابهة للغاية. وقد منع المنهج الجديد هذا الانهيار، مما سمح للنموذج بالحفاظ على رؤية أوسع وأكثر تميزاً لمعنى اللغة.
ولمزيد من صقل النموذج، جرب الباحثون كيفية تعلم الكمبيوتر خلال المراحل النهائية من التدريب. لقد قسموا العملية إلى مسارين: مسار يستمر فيه النموذج في التعلم باستخدام جمل قصيرة، ومسار آخر يتعلم فيه باستخدام جمل أطول بكثير. ومن خلال مقارنة نتائج هذين المسارين، وجدوا أن إنهاء التدريب بجمل قصيرة أدى في الواقع إلى تحسين الأداء العام للنموذج أكثر من إنهائه بجمل طويلة. كان هذا الاكتشاف مفاجئاً، حيث يُفترض غالباً أن السياقات الأطول هي الأفضل. كما اختبروا تقنية تسمى "حساء النماذج" (model soup)، حيث يتم دمج أوزان النماذج المختلفة المدربة معاً، آملين في الحصول على أفضل ما في العالمين. ومع ذلك، فإن طريقتهم في التفرع البسيط، والتي لم تكلف سوى جزء ضئيل جداً إضافياً للتشغيل، أنتجت نتيجة أفضل من تقنية المتوسط المعقدة.
حقق المنتج النهائي، MoganBert-TR، أعلى درجة بين النماذج التركية القائمة على البنية الحديثة المستخدمة في هذه الدراسة. لقد أدى أداءً استثنائياً في المهام المتعلقة باسترجاع الأكواد البرمجية، أي إيجاد مقتطفات البرمجة الصحيحة من الأوصاف اللغوية الطبيعية، وهي مهمة تفوق فيها بشكل كبير على النماذج القديمة. وعُزي هذا النجاح إلى الجمع بين قاموسهم الجديد، الذي حافظ على المسافات وهيكل الكود، والإدراج المتعمد لكمية كبيرة من نصوص البرمجة في بيانات التدريب. كما أنشأ الفريق نموذجاً مرافقاً مصمماً خصيصاً لإنشاء ملخصات نصية صديقة للبحث. ومن خلال تعليم هذا النموذج الأصغر محاكاة معلم أكبر وأقوى بكثير، حققوا نتيجة تقارب تلك التي يحققها المعلم العملاق، ولكن باستخدام قدرة حوسبية أقل بـ 51 مرة.
يسلط هذا العمل الضوء على أنه بالنسبة للغات مثل التركية، لا يكفي مجرد تحديث بنية النموذج؛ بل يجب إعادة التفكير في طريقة التدريب نفسها. لقد أظهر الباحثون أن المنهج ذو المرحلتين، الذي يبدأ بالتنبؤ المتسلسل ثم ينتقل إلى إخفاء الكلمات، يخلق فهماً أكثر قوة للغة. كما أثبتوا أن المراحل النهائية من التدريب هي مساحة تصميم حرجة، حيث يمكن للتغييرات الصغيرة، مثل طول النص الذي تتم معالجته، أن تؤثر بشكل ملموس على الأداء. ورغم أن النموذج لا يزال يعاني من بعض نقاط الضعف في مجالات معينة، مثل فهم بنية الجملة في اختبارات قواعدية معينة، إلا أنه يمثل خطوة كبيرة للأمام. لقد جعل الفريق نموذجه، وقاموسه، والكود المستخدم لبنائه متاحاً للجمهور، مما يسمح للآخرين بالبناء على هذا الأساس لتكنولوجيا اللغة التركية.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.