Instructing Large Language Models for Low-Resource Languages: A Systematic Study for Basque
تقدم هذه الورقة دراسة منهجية حول تكييف النماذج اللغوية الكبيرة للغة الباسكية ذات الموارد المنخفضة، مما يثبت أن استخدام نموذج أساسي متعدد اللغات مضبوط بالتعليمات مع مجموعات بيانات من لغة الهدف وتعليمات اصطناعية يمكن أن يحقق أداءً مقارباً للنماذج الرائدة دون الحاجة إلى أي بيانات تعليمات أصلية باللغة الباسكية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك طباخاً عبقرياً متعدد اللغات (نموذج لغوي كبير) وهو بارع في طهي الأطباق الإنجليزية، لكنه لم يطأ قدماه مطبخاً باسكياً من قبل. تريد تعليم هذا الطباخ كيفية طهي الوجبات الباسكية الأصيلة، لكنك تواجه مشكلة ضخمة: لا توجد كتب طهي باسكية، ولا بطاقات وصفات باسكية، ولا معلمي طبخ باسكيين.
هذه الورقة البحثية هي قصة فريق من الباحثين من جامعة إقليم الباسك الذين اكتشفوا كيفية تعليم هذا الطباخ طهي الطعام الباسكي باستخدام الأدوات التي كانت متاحة لديهم فقط. وقد أطلقوا على ابتكارهم الجديد اسم "Latxa Instruct".
إليك تفصيل بسيط لما فعلوه، باستخدام بعض استعارات المطبخ:
1. المشكلة: الطباخ الذي يتحدث الإنجليزية فقط
معظم طهاة الذكاء الاصبناعي مدربون بشكل أساسي على اللغة الإنجليزية. إذا طلبت منهم الطبخ باللغة الباسكية، فقد يعرفون المكونات، لكنهم لن يعرفوا "الأسلوب" أو "التعليمات". قد ينطقون كلمات باسقية، لكنهم سيبدون كروبوت يقرأ قاموساً، أو قد يرفضون الإجابة لأنهم لم يتم "تدريبهم" على هذه اللغة.
2. المكونات التي امتلكوها
لم يمتلك الباحثون عصا سحرية. كان لديهم ثلاثة أشياء فقط:
- الطباخ: نموذج ذكاء اصطناعي قوي (Lola 3.1) يعرف بالفعل كيفية اتباع التعليمات باللغة الإنجليزية.
- المؤونة (المخزن): مجموعة ضخمة من النصوص الباسكية (أخبار، ويكيبيديا، كتب) ولكن بدون أي وصفات أو تعليمات.
- المترجم: وسيلة لتحويل التعليمات الإنجليزية إلى الباسكية.
3. التجربة: تجربة طرق طبخ مختلفة
جرب الفريق 17 طريقة مختلفة لدمج هذه المكونات لمعرفة أي طريقة ستنتج أفضل طباخ باسكي. وقد طرحوا ثلاثة أسئلة رئيسية:
السؤال (أ): هل نحتاج إلى المؤونة الباسكية؟
- الاستعارة: هل يمكنك تعلم طهي الطعام الباسكي بمجرد قراءة وصفات إنجليزية وترجمتها، دون رؤية مكون باسكي حقيقي أبداً؟
- النتيجة: لا. الأمر يشبه محاولة تعلم صنع "تشاكولي" (نبيذ باسكي) بمجرد قراءة كتاب فرنسي عنه. أنت بحاجة لتذوق الشيء الحقيقي. وجد الباحثون أن تغذية النموذج بالنص الباسكي الخام (المؤونة) كان أمراً ضرورياً. فبدونه، سيبدو صوت النموذج مكسوراً، بغض النظر عن جودة التعليمات.
السؤال (ب): هل نعلم اللغة أولاً، أم التعليمات أولاً؟
- الاستعارة:
- الطريقة 1: علّم الطباخ التحدث بالباسكية بطلاقة أولاً، ثم علمه كيفية تلقي الطلبات.
- الطريقة 2: خذ طباخاً يعرف بالفعل كيفية اتباع التعليمات بالإنجليزية، وعلمه كيفية تلقي الطلبات بالباسكية.
- النتيجة: الطريقة 2 هي الفائزة. كان من الأكثر فعالية البدء بطباخ يعرف بالفعل كيفية اتباع التعليمات (نموذج "Instruct" الإنجليزي) وتعليمه اللغة الجديدة فقط. إن محاولة تعليم طباخ خام (نموذج "Base") لغة جديدة وطريقة اتباع التعليمات في نفس الوقت كانت أصعب وأقل نجاحاً.
- الاستعارة:
السؤال (ج): بأي لغة يجب أن تكون التعليمات؟
- الاستعارة: هل يجب أن يقرأ الطباخ التعليمات بالباسكية فقط؟ أم بالإنجليزية فقط؟ أم مزيجاً منهما؟
- النتيجة: المزيج كان الأفضل. لقد أخذوا تعليمات إنجليزية (مثل "اكتب قصيدة" أو "حل هذه المسألة الرياضية") وترجموها إلى الباسكية. ووجدوا أن إعطاء الطباخ تعليمات بكلتا اللغتين جعل النموذج أكثر قوة وموثوقية.
4. اختبار التذوق: "الساحة" (Arena)
كيف تعرف ما إذا كان الطباخ الباسكي الجديد جيداً حقاً؟ لا يمكنك مجرد تشغيل اختبار حاسوبي؛ بل تحتاج إلى بشر يتذوقون الطعام.
نظم الباحثون "مباراة تذوق" باسكية ضخمة (Arena):
- دعوا 1,680 متحدثاً باللغة الباسية من كل مكان.
- تم إعطاء هؤلاء الأشخاص إجابتين من اثنين من طهاة الذكاء الاصطناعي المختلفين لنفس السؤال.
- كان عليهم التصويت: "أي منهما يبدو طبيعياً أكثر؟ أي منهما قدم إجابة أفضل؟"
- كان هذا هو أكبر تقييم بشري تم إجراؤه للغة ذات موارد منخفضة.
5. النتائج: نجم طباخ جديد
كانت النتائج مفاجئة ومثيرة للإعجاب:
- نموذج "المزيج": كان أفضل نموذج هو الذي بدأ بطباخ تعليمات إنجليزي، وتم تغذيته بالمؤونة الباسكية، وتعلم من مزيج من التعليمات الإنجليزية والباسكية.
- هزيمة العمالقة: حقق نموذجهم المكون من 70 مليار معلمة (طباخ كبير جداً) أداءً يقارب النماذج التجارية الأكثر شهرة في العالم (مثل GPT-4o و Claude) عندما يتعلق الأمر باللغة الباسكية.
- لا بيانات سحرية: فعلوا ذلك دون استخدام أي مجموعات بيانات تعليمات باسقية موجودة مسبقاً (لأنه لم يكن هناك أي منها!). لقد صنعوا كل شيء من الصفر باستخدام البيانات الاصطناعية.
الخلاصة الكبرى
هذه الورقة البحثية هي خارطة طريق لأي شخص يحاول تعليم الذكاء الاصطناعي لغة لا تمتلك الكثير من البيانات الرقمية. الوصفة السرية هي:
- لا تبدأ من الصفر. استخدم نموذجاً يعرف بالفعل كيفية اتباع التعليمات.
- غذّه باللغة الخام. يحتاج لقراءة اللغة الفعلية (الأخبار، الكتب) ليبدو طبيعياً.
- ترجم التعليمات. استخدم معرفة النموذج الحالية بالإنجليزية لتوليد التعليمات، ثم ترجمها.
لقد أطلقوا الآن "كتاب وصفاتهم" (الكود، النماذج، والبيانات) مجاناً، حتى يتمكن الباحثون الآخرون من استخدام هذه الأساليب لتعليم لغات نادرة أخرى، من الويلزية إلى السواحيلية. لقد أثبتوا أنك لا تحتاج إلى مكتبة ضخمة من البيانات لتعليم الذكاء الاصطناعي لغة جديدة؛ أنت فقط بحاجة إلى الاستراتيجية الصحيحة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.