ملخص تقني: Luth – التخصص الفرنسي الفعال للنماذج اللغوية الصغيرة

بيان المشكلة

لا يزال مشهد النماذج اللغوية الكبيرة (LLMs) يهيمن عليه الطابع المتمحور حول اللغة الإنجليزية، مما يخلق فجوة أداء كبيرة للغات الأخرى، ولا سيما الفرنسية. وبينما توجد نماذج متعددة اللغات، إلا أنها غالباً ما يكون أداؤها أقل في اللغة الفرنسية مقار بالإنجليزية بسبب عدم توازن البيانات. علاوة على ذلك، فإن الأبحاث المتعلقة بطرق التكيف الفعالة للغة الفرنسية، وتحديداً ضمن نطاق النماذج اللغوية الصغيرة (SLMs)، محدودة. وتعتمد الجهود الفرنسية المتخصصة الحالية غالباً على تدريب واسع النطاق كثيف الاستهلاك للموارد أو تفشل في مضاهاة أداء النماذج المرجعية متعددة اللغات المماثلة، مما يترك حاجة لنماذج مدمجة متخصصة في الفرنسية يمكن تكييفها بكفاءة دون التضحية بالقدرات متعددة اللغات.

المنهجية

يقترح المؤلفون Luth، وهي عائلة من النماذج اللغوية الصغيرة (SLMs) المتخصصة في الفرنسية (تتراوح من 350 مليون إلى 1.7 مليار معلمة) والتي تم تطويرها من خلال مسار مستهدف لما بعد التدريب ودمج النماذج. تتكون المنهجية من ثلاث مراحل أساسية:

1. بناء مجموعة البيانات (Luth-SFT)

لمعالجة ندرة بيانات ما بعد التدريب عالية الجودة والمفتوحة المصدر للغة الفرنسية، قام المؤلفون ببناء مجموعة بيانات Luth-SFT، التي تضم 570,000 عينة (338 مليون رمز/token) من أزواج التعليمات والاستجابات باللغة الفرنسية. تضمن بناء البيانات ما يلي:

• الجمع: تصفية العينات الفرنسية من مجموعات البيانات متعددة اللغات الموجودة (AYA، Smoltalk2، CroissantLLM).
• الترجمة والتوليد: اختيار مجموعات بيانات التعليمات الإنجليزية عالية الجودة (Tülu 3، OpenHermes). تمت ترجمة المطالبات (prompts) الإنجليزية إلى الفرنسية باستخدام نماذج قوية متعددة اللغات (GPT-4o، Qwen3 32B). ومن الأهمية بمكان أنه تم توليد استجابات فرنسية جديدة من الصفر بناءً على هذه المطالبات المترجمة بدلاً من ترجمة الإجابات الإنجليزية الأصلية، لضمان الجودة اللغوية الأصلية.
• التصفية: فرض مسار من مرحلتين للتحقق اللغوي (القواعد، التماسك، عدم خلط اللغات) وتصفية المحتوى (إزالة الأكواد، استدعاء الأدوات، والأخطاء الواقعية).
• المجموعة العلمية (Scholar Subset): تم إنشاء مجموعة فرعية متخصصة مكونة من 30,300 عينة من مواد امتحانات البكالوريا والصفوف التحضيرية (CPGE) الفرنسية (1980–2025). هذه البيانات غير الاصطناعية، التي تغطي موضوعات مثل الرياضيات (67.23%)، الفيزياء-الكيمياء، وعلوم الحاسوب، تمت معالجتها عبر تحليل مدعوم بالنماذج اللغوية الكبيرة لاستخراج الأسئلة والحلول التفصيلية المعتمدة من الخبراء.

2. تدريب النموذج

قيم المؤلفون العديد من النماذج الأساسية متعددة اللغات في نطاق أقل من 2 مليار معلمة، واختاروا Qwen3 (0.6B، 1.7B) و LFM2 (350M، 700M، 1.2B) بناءً على أدائهما الأولي القوي في الفرنسية والإنجليزية.

• الضبط الدقيق الكامل (Full Fine-Tuning): بدلاً من طرق كفاءة المعلمات مثل LoRA، خضعت النماذج المختارة لضبط دقيق كامل على مجموعة بيانات Luth-SFT باستخدام إطار عمل Axolotl.
• الإعدادات: استخدم التدريب وحدة معالجة رسومية واحدة من نوع NVIDIA H100 مع تقنية FlashAttention وتعبئة التسلسل (أقصى طول 16,384). شملت المعلمات الفائقة معدل تعلم قدره $2 \times 10^{-5}$ ومجدول جيب التمام (cosine scheduler) مع مرحلة إحماء بنسبة 10%.

3. دمج النماذج (Model Merging)

للتخفيف من حدة "النسيان الكارثي" للقدرات الإنجليزية الذي يُلاحظ غالباً عند الضبط الدقيق حصرياً على البيانات الفرنسية، استخدم المؤلفون دمج النماذج.

• العملية: تم دمج النماذج التي خضعت للضبط الدقيق الفرنسي مع نماذجها الأساسية باستخدام MergeKit.
• التقنيات: جرب المؤلفون الاستكمال الخطي (LERP) والاستكمال الخطي الكروي (SLERP).
• النتيجة: من المثير للدهشة أن طرق الاستكمال البسيطة أعطت النتائج الأكثر استقراراً. تم اختيار معاملات الدمج (التي تتراوح بين 0.3 إلى 0.7) تجريبياً لموازنة التخصص الفرنسي مع الاحتفاظ بالإنجليزية، مما أدى غالباً إلى مكاسب في كلتا اللغتين.

المساهمات الرئيسية

1. مجموعة بيانات Luth-SFT: مجموعة بيانات تعليمات واستجابات فرنسية منسقة وعالية الجودة (570 ألف عينة) مصممة خصيصاً لتحسين المعرفة العامة، واتباع التعليمات، والاستدلال الرياضي.
2. عائلة نماذج Luth: خمسة نماذج لغوية صغيرة (من 350 مليون إلى 1.7 مليار معلمة) تحقق أداءً هو الأفضل في فئتها (SOTA) على المعاي better المرجعية الفرنسية.
3. منهجية التكيف الفعال: مسار قابل لإعادة الإنتاج يوضح أن ما بعد التدريب المستهدف مقترناً بدمج النماذج الاستراتيجي يمكن أن يعزز بشكل كبير القدرات الخاصة باللغة مع الحفاظ على الأداء متعدد اللغات أو حتى تحسينه.

النتائج

تم تقييم نماذج Luth على ستة معايير مرجعية (IFEval، GPQA-Diamond، MMLU، Math500، Arc-Challenge، HellaSwag) باللغتين الفرنسية والإنجليزية.

• الأداء الفرنسي: تفوقت نماذج Luth بشكل كبير على جميع النظراء مفتوحي المصدر من حيث الحجم المماثل. حققت تحسناً مطلقاً متوسطاً يصل إلى +11.26% عبر ستة معايير مرجعية فرنسية مقارنة بنماذجها الأساسية. على سبيل المثال، سجل Luth-1.7B-Instruct درجة 58.53 في IFEval (فرنسي) و 62.60 في Math500 (فرنسي)، متفوقاً بشكل ملحوظ على النموذج الأساسي Qwen3-1.7B.
• الأداء الإنجليزي: خلافاً للتدهور المعتاد المرتبط بالضبط الدقيق الخاص بلغة معينة، حافظت نماذج Luth على أداء مستقر أو محسّن في اللغة الإنجليزية. يعزو المؤلفون ذلك إلى النقل عبر اللغات، حيث أثرت التحسينات في الاستدلال واتباع التعليمات بالفرنسية إيجاباً على القدرات الإنجليزية. تراوحت التحسينات في الإنجليزية بين +0.76% و +3.20% عبر المعايير المختارة.
• فعالية الدمج: أكدت التجارب أن دمج النموذج المضبوط بدقة مع النموذج الأساسي لا يستعيد الأداء الإنجليزي المفقود فحسب، بل يعزز غالباً النتائج الإجمالية في كلتا اللغتين مقارنة بالنموذج المضبوط بدقة وحده.

الأهمية والادعاءات

يضع البحث Luth كمعيار مرجعي جديد (SOTA) للنماذج اللغوية الصغيرة باللغة الفرنسية. يدعي المؤلفون أن عملهم يثبت:

• الكفاءة: يمكن تحقيق قدرات فرنسية عالية الجودة من خلال ما بعد التدريب بعناية على بيانات منسقة ودمج النماذج، مما يتجنب الحاجة إلى التدريب المسبق المستمر المكلف أو الموارد ضخمة النطاق.
• المتانة: التخصص في لغة واحدة لا يستلزم التضحية باللغات الأخرى؛ في الواقع، يمكن للدمج الاستراتيجي أن يؤدي إلى تحسينات متبادلة عبر اللغات.
• القابلية للتوسع: تُقدم المنهجية كـ "وصفة" عملية وقابلة لإعادة الإنتاج يمكن توسيعها لتشمل لغات ومجالات أخرى.

يقر المؤلفون بوجود قيود، مشيرين إلى أن تقييمهم يقتصر على مجموعة محددة من المعايير، ولا يغطي استخدام الأدوات أو توليد الأكواد، وهو محدود حالياً بالنماذج التي تقل عن 2 مليار معلمة. ويقترحون أن التحقق من إمكانية توسيع نطاق هذه المكاسب إلى بنيات أكبر يظل مجالاً للعمل المستقبلي.