TildeOpen LLM: Leveraging Curriculum Learning to Achieve Equitable Language Representation
تقدم هذه الورقة البحثية نموذج TildeOpen LLM، وهو نموذج مفتوح الأوزان بـ 30 مليار معلمة يحقق أداءً فائقاً عبر 34 لغة أوروبية، لا سيية للمجموعات ذات الموارد المنخفضة، وذلك من خلال توظيف التعلم المنهجي وزيادة عينات البيانات لمعالجة عدم التوازن في البيانات دون الحاجة إلى زيادة الموارد الحوسبية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تبني مكتبة عملاقة، فائقة الذكاء، يمكنها التحدث بـ 34 لغة أوروبية مختلفة. الهدف من هذه الورقة البحثية هو إصلاح مشكلة ضخمة: معظم هذه "المكتبات الذكية" (التي تُسمى النماذج اللغوية الكبيرة أو LLMs) تشبه المتكبرين. فهي تتحدث الإنجليزية ببراعة، وتتحدث اللغات الكبيرة مثل الفرنسية أو الألمانية بشكل جيد، لكنها تتعثر في اللغات الأصغر مثل اللاتفية أو الإستونية أو الليتوانية.
لماذا؟ لأن الإنترنت مكتوب باللغة الإنجليزية في معظمه. عندما تدرب روبوتاً على التعلم من خلال القراءة من الويب، ينتهي به الأمر بقراءة 90% من المحتوى بالإنجليزية وكمية ضئيلة جداً من كل شيء آخر. الأمر يشبه محاولة تعلم الطبخ من خلال قراءة الوصفات الإيطالية فقط؛ ستصبح طباخاً إيطالياً، لكن ليس لديك أدنى فكرة عن كيفية صنع خبز الروي اللاتفي التقليدي.
إليك كيف قام الفريق في Tilde (شركة تقنية لاتفية) ببناء TildeOpen، وهي مكتبة جديدة تعامل كل لغة باحترام متساوٍ، باستخدام بعض الحيل الذكية.
1. القاموس "العادل" (المجزئ - The Tokenizer)
أولاً، كان عليهم بناء قاموس. في عالم الذكاء الاصطناعي، تُقطع الكلمات إلى قطع صغيرة تسمى "توكنز" (tokens).
- المشكلة: في القواميس القياسية، قد تستغرق جملة بسيطة بالإنجليزية 5 "توكنز"، ولكن نفس الجملة بالإستونية قد تستغرق 15 "توكن". هذا يجعل الذكاء الاصطناعي "يتلعثم" ويستهلك طاقة ذهنية كبيرة لمجرد قول كلمات قليلة بلغات أصغر.
- الحل: أعادوا تصميم القاموس بحيث تستغرق الجملة باللغة اللاتفية تقريباً نفس عدد الـ "توكنز" التي تستغرقها الجملة بالإنجليزية. الأمر يشبه إعطاء الجميع حذاءً بنفس المقاس، بغض النظر عن شكل قدمهم، لكي يتمكن الجميع من الجري بنفس السرعة.
2. جدول المدرسة "المنهجي" (استراتيجية التدريب)
هذا هو الابتكار الأكبر للورقة البحثية. عادة ما يكون تدريب الذكاء الاصطناعي مثل بوفيه فوضوي حيث يأكل الذكاء الاصطنا_ي أي شيء موجود على الطاولة. وبما أن هناك الكثير من الطعام الإنجليزي، فإن الذكاء الاصطناعي يأكل الإنجليزية في الغالب.
قررت Tilde تشغيل منهج دراسي بدلاً من ذلك، مع ثلاث مراحل متميزة:
- المرحلة الأولى (الحصة الصباحية): أجبروا الذكاء الاصطناعي على تناول وجبة متوازنة تماماً. يحصل على حصص متساوية من اللاتفية، الفنلندية، البولندية، والإنجليزية. هذا يضمن تعلمه لأساسيات كل لغة بالتساوي.
- المرحلة الثانية (استراحة الغداء): هنا، تركوا الذكاء الاصطناعي يأكل بشكل طبيعي. يحصل على وليمة ضخمة من الإنجليزية والألمانية (لأن هناك الكثير من البيانات المتاحة)، لكنه لا يزال يحصل على طبق جانبي جيد من اللغات الأصغر. هذا يساعد الذكاء الاصطناعي على تعلم المفاهيم المعقدة والمعرفة الواسعة.
- المرحلة الثالثة (الامتحان النهائي): عادوا إلى الوجبة المتوازنة. أجبروا الذكاء الاصطناعي على ممارسة اللغات الأصغر مرة أخرى قبل التخرج مباشرة. هذا "يصقل" مهاراته حتى لا ينسى ما تعلمه.
3. حيلة "زيادة العينات" (Upsampling)
بالنسبة للغات النادرة جداً على الإنترنت (مثل بعض لغات البلطيق)، لا يوجد ببساطة ما يكفي من "الطعام".
- الحل: أخذوا النصوص الموجودة لهذه اللغات النادرة و"صوروا نسخاً" منها عدة مرات (حتى 2.5 مرة). الأمر يشبه إذا كان لديك وصفة واحدة فقط لطبق نادر، فستقرأها، ثم تقرأها مرة أخرى، ومرة أخرى، لتتأكد من أنك حفظت كل التوابل. هذا يساعد الذكاء الاصطناعي على تعلم اللغات النادرة دون الحاجة إلى العثور على بيانات جديدة غير موجودة بالفعل.
4. تنظيف "النفايات" (تصفية البيانات)
الإنترنت مليء بالقمامة. بالنسبة لهذا المشروع، كان عليهم أن يكونوا حذرين للغاية مع البيانات باللغة الروسية.
- المشكلة: الكثير من المحتوى الروسي على الويب هو بروباغندا (دعاية) مدعومة من الدولة (أخبار كاذبة، خطاب كراهية، أو تلاعب سياسي). إذا قرأ الذكاء الاصطناนี้ هذا، فقد يبدأ في تصديق الأكاذيب أو تكرار خطاب الكراهية.
- الحل: عملوا مثل أمين مكتبة صارم. قاموا بإزالة مواقع إلكترونية كاملة معروفة بنشر البروباغندا، وفلتروا مواضيع محددة (مثل الحرب أو التلاعب السياسي) من النص المتبقي. أرادوا أن يتعلم الذكاء الاصطناعي لغة الروسية، وليس بروباغندا الدولة.
النتائج: ذكاء اصطناعي أكثر إنصافاً
عندما اختبروا TildeOpen:
- إنه أكثر ذكاءً: على الرغم من أنهم دربوه على بيانات أقل من النماذج الضخمة الأخرى (باستخدام ساعات حاسوبية أقل)، إلا أنه تفوق في الكتابة وفهم النصوص في لغات البلطيق والسلافية والفنلندية-الأوغرية.
- أخطاء أقل: عندما فحص البشر الكتابة، ارتكب TildeOpen أخطاء أقل بمقدار يصل إلى 10 مرات مقارنة بالنماذج الرائدة الأخرى في لغات مثل اللاتفية والإستونية.
- مفتوح المصدر: لم يخفوا عملهم. لقد وضعوا النموذج على Hugging Face (مكتبة عامة للذكاء الاصطناعي) لكي يتمكن أي شخص من استخدامه مجاناً.
الخلاصة
فكر في هذه الورقة البحثية كبيان لـ الديمقراطية اللغوية. لقد أثبت المؤلفون أنك لا تحتاج إلى مليار دولار أو سوبر كمبيوتر بحجم مدينة لبناء ذكاء اصطناعي رائع. أنت فقط بحاجة إلى أن تكون ذكياً في كيفية تغذيته بالبيانات. من خلال معاملة اللغات الصغيرة بنفس الاحترام الذي تُعامل به اللغات الكبيرة، بنوا نموذجاً أكثر عدلاً، ودقة، وأفضل للجميع في أوروبا.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.