One Form to Transfer Them All: Pretraining Multilingual Language Models Beyond Native Orthography
تُثبت هذه الورقة أن التدريب المسبق للنماذج اللغوية متعددة اللغات على النصوص المكتوبة بالأحرف اللاتينية (Romanized text)، بدلاً من الكتابة الأصلية أو الأبجدية الصوتية الدولية (IPA)، يعزز بشكل كبير انتقال المعرفة عبر أنظمة الكتابة المتنوعة، مما يشير إلى أن الرومنة يجب أن تكون خياراً جوهرياً في تصميم التدريب المسبق وليس مجرد تكيف لاحق.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل عالماً يمكن فيه لبرنامج حاسوبي واحد أن يقرأ ويكتب ويفهم كل لغات الأرض بذات الطلاقة. هذا هو الوعد الذي يقدمه الذكاء الاصطناعي متعدد اللغات، وهو مجال حقق خطوات هائلة في السنوات الأخيرة. تتعلم هذه البرامج من خلال قراءة كميات هائلة من النصوص، حيث تستوعب أنماط القواعد والمعاني. ويتمثل جزء رئيسي من آلية عملها في وجود قاموس مشترك من أجزاء الكلمات، أو "الكلمات الفرعية"، مما يسمح لها بالتعرف على أوجه التشابه بين اللغات المختلفة. فإذا كانت لغتان تستخدمان نفس الأبجدية، مثل الإنجليزية والإسبانية، فإنهما تتشاركان طبيعياً في العديد من هذه الأجزاء، مما يسهل على الحاسوب نقل المعرفة من واحدة إلى الأخرى. ومع ذلك، فإن العالم مليء بلغات تستخدم أنظمة كتابة مختلفة تماماً، مثل الكتابة السيريلية للغة الروسية، أو خط ديفاناغاري للغة الهندية، أو الخط العربي للغة الأردية. وعندما لا تتداخل هذه النصوص، ينهار قاموس الحاسوب المشترك، وتتلاشى القدرة على التعلم من لغة واحدة لمساعدة لغة أخرى. وقد ظل هذا الحاجز عائقاً طويلاً أمام إنشاء نماذج لغوية عالمية حقاً.
ولحل هذه المعضلة، حاول الباحثون فرض أشكال مشتركة على أنظمة الكتابة المختلفة. أحد الأساليب هو تحويل النص إلى الأبجدية الصوتية الدولية، وهي مجموعة عالمية من الرموز التي تمثل أصوات الكلام البشري. والأسلوب الآخر هو تحويل النص (transliteration) إلى الأبجدية اللاتينية، وهي الأبجدية المستخدمة في اللغة الإنجليزية، مما يعني إعادة كتابة كل لغة فعلياً في نص واحد مشترك. وبينما أظهرت هذه الأساليب نتائج واعدة في تجارب أصغر، ظل من غير الواضح أي نهج هو الأفضل حقاً عند بناء نماذج ضخمة وقوية من الصفر، أو ما إذا كان مجرد تحويل النص بعد تدريب النموذج سيعطي نتائج جيدة أيضاً. وقد سعى فريق من الباحثين في جامعة ولاية أوهايو وجامعة واشنطن للإجابة على هذه التساؤلات عبر بناء واختبار سلسلة من النماذج اللغوية المصممة للتعامل مع ثماني لغات تنتمي إلى أربع عائلات لغوية مختلفة.
أنشأ الباحثون تجربة منضبطة باستخدام ثماني لغات: الإنجليزية والإسبانية، الروسية والبولندية، الهندية والأردية، والتاميلية والماليالامية. وقد اختيرت هذه الأزواج لأنها قدمت مزيجاً من العلاقات؛ فبعضها يتشارك في النصوص، بينما يشترك البعض الآخر في الأصوات ولكن يستخدم أنظمة كتابة مختلفة تماماً. وقاموا ببناء ثلاث نسخ من نموذج لغوي لكل من ثلاثة أحجام مختلفة، تتراوح من حوالي 467 مليون إلى أكثر من مليار معلمة (parameter). ولكل حجم، قاموا بتدريب نموذج واحد على النصوص الأصلية، وثانٍ على نصوص محولة إلى الأبجدية الصوتية الدولية، وثالث على نصوص محولة إلى الأبجدية اللاتينية. ومن الأهمية بمكان أنهم أبقوا كل شيء آخر متطابقاً: كمية البيانات، وبنية الحاسوب، ووقت التدريب. وقد سمح لهم ذلك بعزل تأثير نظام الكتابة نفسه على قدرة النموذج على التعلم ونقل المعرفة.
كانت النتائج مذهلة وواضحة. فالنماذج التي تدربت على النصوص المحولة إلى الأبجدية اللاتينية، أو "الرومنة" (romanized)، تفوقت باستمرار على غيرها في جميع الاختبارات. وسواء كانت المهمة هي الإجابة على الأسئلة، أو فهم معاني الجمل، أو تلخيص المقالات الإخبارية، فقد أظهرت النماذج المُرمنة أقوى قدرة على نقل المعرفة من لغة إلى أخرى. وقد زادت هذه الميزة كلما كبر حجم النماذج. كما أن النماذج المدربة على الأبجدية الصوتية كانت تؤدي بشكل أفضل من تلك المدربة على النصوص الأصلية في معظم الحالات، لكنها لم تصل عموماً إلى مستوى النماذج المُرمنة. وكان الاستثناء الوحيد هو الزوج المكون من الهندية والأردية؛ فبسبب تشابه هاتين اللغتين بشكل كبير في طريقة نطقهما رغم استخدامهما لأنظمة كتابة مختلفة تماماً، نجح النهج الصوتي بشكل استثنائي معهما، محققاً أداءً يضاهي النماذج المُرمنة. ومع ذلك، عندما تم اختبار النماذج على لغات لم يسبق لها رؤيتها، ظل النهج المُرمن هو الأكثر قوة.
ولعل الاكتشاف الأكثر إثارة للدهشة تعلق باستراتيجية شائعة مستخدمة في هذا المجال: وهي أخذ نموذج تم تدريبه بالفعل على النصوص الأصلية ثم إجراء "ضبط دقيق" (fine-tuning) له على بيانات مُرمنة لاحقاً. فقد افترض العديد من الباحثين أن هذا سيكون طريقاً مختصراً وفعالاً، مما يسمح لهم بالحصول على فوائد الرومنة دون تكلفة إعادة تدريب النموذج بأكمله. إلا أن الدراسة وجدت العكس تماماً؛ فعندما طبق الباحثون هذا الاختصار على نماذجهم، انخفض الأداء بشكل ملحوظ في اللغات التي كان النموذج يعرفها بالفعل. ولم يساعد هذا التدخل إلا عندما طُلب من النموذج التعامل مع لغة لم تكن لديه معرفة سابقة بها، وحتى في تلك الحالة، كان التحسن متواضعاً مقارنة بتدريب النموذج على النص المُرمن منذ البداية. وهذا يشير إلى أن فائدة الرومنة لا تكمن فقط في شكل المخرجات النهائي، بل في كيفية تعلم النموذج للهيكل الأساسي للغة خلال مرحلة التدريب الأولية.
كما بحثت الدراسة في كفاءة أنظمة الكتابة المختلفة. فاللغات التي تستخدم نصوصاً معقدة، مثل التاميلية والماليالامية، تطلبت عدداً أكبر بكثير من "التوكنز" (tokens) الحاسوبية لتمثيل نفس الكمية من النص مقارنة باللغات التي تستخدم الأبجدية اللاتينية. وهذا يعني أن التدريب على النصوص الأصلية لم يكن أصعب على النموذج في التعلم عبر اللغات فحسب، بل كان أيضاً أكثر تكلفة وأبطأ. وقد ساهم هذا الضغط (compression) في النصوص، سواء عبر النهج الصوتي أو المُرمن، في جعل تكلفة وسرعة هذه اللغات تتماشى مع اللغات الأخرى. وهذا الضغط، مقترناً بالقدرة المحسنة على مشاركة المعرفة عبر النصوص المختلفة، جعل النهج المُرمن الخيار التصميمي الأكثر فعالية لبناء نماذج لغوية تشمل أنظمة كتابة متنوعة.
في النهاية، تشير الأبحاث إلى أنه لكي يتمكن الذكاء الاصطناعي حقاً من جسر الفجوة بين لغات العالم الكثيرة، فإن اختيار كيفية تمثيل النص هو قرار تصميمي جوهري، وليس مجرد تفصيل تقني ثانوي. وتشير الأدلة إلى أن تحويل النصوص المتنوعة إلى شكل لاتيني مشترك قبل تدريب النموذج يحقق أفضل النتائج، مما يسمح للنظام باستيعاب بنية موحدة تعمل عبر الحدود اللغوية. وبينما يوفر تحويل النصوص إلى رموز صوتية بعض الفوائد، خاصة للغات التي تتشابه في الصوت وتختلف في الشكل، إلا أنه لا يحل محل مزايا توحيد نظام الكتابة. وتتحدى هذه النتائج الفكرة القائلة بأن مجرد تعديل النموذج بعد بنائه يكفي؛ بل إنها تشير بدلاً من ذلك إلى الحاجة إلى استراتيجية مدروسة ومسبقة في كيفية تعليم هذه العقول الرقمية قراءة العالم.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.