SozKZ: Training Efficient Small Language Models for Kazakh from Scratch

إليك ملخص تقني مفصل لورقة البحث بعنوان "SozKZ: تدريب نماذج لغوية صغيرة فعالة للغة الكازاخية من الصفر."

1. بيان المشكلة

تتناول الورقة البحثية نقص الخدمة الكبير الذي تعاني منه اللغة الكازاخية، وهي لغة تركية إلحاقية (agglutinative) ذات موارد منخفضة يتحدث بها أكثر من 22 مليون person، من قبل النماذج اللغوية الكبيرة (LLMs) الحالية. حدد المؤلفون عدم كفاءتين رئيسيتين عند تطبيق النماذج متعددة اللغات عامة الأغراض (مثل Llama 3، وGemma، وQwen) على اللغة الكازاخية:

• عدم كفاءة الـ Tokenizer (المجزئ): تقوم المجزئات متعددة اللغات، المدربة على لغات متنوعة، بتجزئة الكلمات الكازاخية إلى عدد مفرط من الرموز الفرعية (subword tokens) بسبب طبيعتها الصرفية الغنية (الزوائد الاشتقاقية والتركيبية المكثفة). هذا "الخصوبة" العالية (عدد الرموز لكل كلمة) يقلل من نافذة السياق الفعالة ويزيد من تكاليف الاستدلال.
• سوء تخصيص السعة: في النماذج متعددة اللغات، تقوم الغالبية العظمى من المعلمات (parameters) بتشفير معرفة لغات عالية الموارد (مثل الإنجليزية)، مما يترك نسبة ضئيلة من السعة المفيدة إلى إجمالي حجم النموذج للمهام الخاصة باللغة الكازاخية.

يفترض المؤلفون أن النماذج الصغيرة والمتخصصة أحادية اللغة التي يتم تدريبها من الصفر باستخدام مجزئ خاص باللغة، يمكن أن تحقق أداءً تنافسياً مقابل النماذج متعددة اللغات الأكبر بكثير وبجزء بسيط من التكلفة الحسابية.

2. المنهجية

طور المؤلفون SozKZ، وهي عائلة من النماذج اللغوية السببية القائمة على بنية Llama، والتي تم تدريبها بالكامل من الصفر.

خط معالجة البيانات (Data Pipeline)

• بناء المتن (Corpus Construction): تم تجميع 18 مصدراً (بما في ذلك ويكيبيديا الكازاخية، وCulturaX، وmC4، وMADLAD-400)، مما نتج عنه 28.4 مليون وثيقة خام.
• التنظيف: تم تطبيق عملية تنظيف صارمة مكونة من 9 مراحل (تطبيع NFC، إزالة الرموز غير المرئية، تصفية روابط URL/HTML، تحديد اللغة بناءً على النص، وإزالة التكرار).
• مجموعة البيانات النهائية: تبقى 13.7 مليون وثيقة (~9 مليارات رمز/token) بعد التصفية، مما يمثل واحدة من أكبر مجموعات البيانات أحادية اللغة المتاحة للغة الكازاخية.

تصميم الـ Tokenizer (المجزئ)

• البنية: مجزئ ByteLevel BPE مخصص تم تدريبه حصرياً على متن اللغة الكازاخية المنظف.
• المفردات: 50,257 رمزاً (token).
• الميزة: صُمم لتقليل "الخصوبة" (الرموز لكل كلمة) للهياكل الإلحاقية، مما يوفر كفاءة تبلغ 2-3 أضعاف مقارنة بالمجزئات متعددة اللغات.

بنية النموذج والتدريب

• الأحجام: تم تدريب أربعة أحجام من النماذج: 50 مليون، 150 مليون، 300 مليون، و600 مليون معلمة.
• البنية: تتبع تصميم Llama-For-CausalLM مع تنشيطات SwiGLU، وتضمينات الموضع الدوارة (RoPE)، وRMSNorm، وربط تضمينات المدخلات والمخرجات.
• نظام التدريب:
  • تم التدريب لدورة واحدة (one epoch) على ~9 مليارات رمز.
  • نسبة البيانات إلى المعلمات: ~15:1 لنموذج 600 مليون (أقل قليلاً من النسبة المثالية لـ Chinchilla وهي 20:1، مما يعكس ندرة البيانات).
  • الأجهزة: 50M/150M على 2× RTX 4090؛ 600M على 8× H100 GPUs.
  • التحسين: محسن AdamW مع جدولة معدل تعلم جيب التمام (cosine learning rate scheduling).

3. المساهمات الرئيسية

1. خط معالجة متكامل (End-to-End Pipeline): مسار قابل لإعادة الإنتاج لتدريب نماذج لغوية كازاخية من الصفر، بما في ذلك جمع البيانات، التنظيف، والتقطيع المسبق.
2. Tokenizer متخصص: مجزئ ByteLevel BPE بمفردات 50 ألف، يحسن كفاءة التقطيع للغة الكازاخية بشكل كبير مقارنة بالبدائل متعددة اللغات العامة.
3. تحليل التوسع (Scaling Analysis): أدلة تجريبية على قوانين التوسع للغة الكازاخية، توضح مكاسب الأداء المتسقة من 50 مليون إلى 600 مليون معلمة.
4. الإصدار المفتوح: تم إصدار جميع النماذج، والمجزئ، وكود التدريب تحت تراخيص مفتوحة لتعزيز أبحاث معالجة اللغات الطبيعية (NLP) للغة الكازاخية.

4. النتائج التجريبية

تم تقييم النماذج في إعداد Zero-shot (التعلم الصفري) على ثلاثة اختبارات مرجعية كازاخية مقابل خمسة نماذج أساسية متعددة اللغات (Qwen, Llama 3, Gemma) تتراوح أحجامها بين 0.5B و3B بارامتر.

• الأسئلة الثقافية متعددة الخيارات (kk-socio-cultural-bench-mc):

  • حقق SozKZ-600M دقة بلغت 30.3%.
  • يقترب هذا من أداء Llama-3.2-1B (32.0%) و Qwen-0.5B (31.5%)، رغم أن SozKZ-600M يمتلك معلمات أقل بكثير من نماذج الـ 3B وقد تم تدريبه على بيانات أحادية اللغة فقط.
  • كان التوسع متسقاً: ارتفعت الدقة من 22.8% (50M) إلى 30.3% (600M).

• الفهم القرائي (Belebele):

  • كان الأداء أكثر تجانساً عبر النماذج، حيث حقق SozKZ-600M نسبة 27.0%، وهو ما يضاهي Llama-3.2-1B (26.7%).
  • يشير المؤلفون إلى أن هذا الاختبار المرجعي قد يكون قريباً من "الحد الأدنى" (floor) للنماذج الأساسية بدون ضبط التعليمات (instruction tuning).

• تصنيف المواضيع (SIB-200):

  • أظهرت نماذج SozKZ ميزة واضحة. حقق SoZKZ-600M دقة بنسبة 25.5%.
  • الأهم من ذلك، أن أصغر نموذج SozKZ (وهو 50M) تفوق بدقته (25.5%) على جميع النماذج متعددة اللغات التي تصل إلى 2B معلمة (على سبيل المثال، Gemma-2B: 20.1%، وQwen-1.5B: 11.8%).
  • يؤكد هذا الفرضية القائلة بأن المجزئ المخصص يحافظ على الحدود المورفولوجية للكلمات، مما يوفر إشارات معجمية فائقة لمهام التصنيف.

5. الأهمية والخاتمة

تثبت الورقة أن التخصص يحقق الكفاءة. فمن خلال تدريب نماذج صغيرة من الصفر على مجموعة بيانات مخصصة مع مجزئ مناسب للغة، تحقق عائلة SozKZ أداءً تنافسياً أو متفوقاً على النماذج متعددة اللغات التي تفوقها حجماً بـ 2 إلى 5 أضعاف.

• الكفاءة: ينافس نموذج SozKZ-600M نماذج متعددة اللغات بحجم 1B-3B، مما يوفر مساراً قابلاً للتطبيق لتكنولوجيا اللغات ذات الموارد المنخفضة بتكاليف حسابية أقل.
• تأثير الـ Tokenizer: تؤكد النتائج بقوة أن اللغات الإلحاقية، يكون اختيار المجزئ فيها حاسماً بقدر بنية النموذج نفسه.
• الاتجاهات المستقبلية: يقترح المؤلفون أن المزيد من التوسع (في نطاق 1-3B) وضبط التعليمات (instruction tuning) يمكن أن يسد الفجوات المتبقية في المهام كثيفة المعرفة والفهم القرائي.

باخت-صار، يوفر SozKZ مخططاً لتطوير نماذج لغوية فعالة وعالية الأداء للغات غير المخدومة بشكل كافٍ، متحدياً الفكرة القائلة بأن النماذج الضخمة متعددة اللغات هي الحل الوحيد لمعالجة اللغات ذات الموارد المنخفضة.