Multilingual TinyStories: A Synthetic Combinatorial Corpus of Indic Children's Stories for Training Small Language Models

إليك ملخص تقني مفصل للورقة البحثية بعنوان "Multilingual TinyStories: A Synthetic Combinatorial Corpus of Indic Children's Stories for Training Small Language Models" (قصص الأطفال الهندية الصغيرة متعددة اللغات: مجموعة بيانات تركيبية تجميعية لتدريب نماذج اللغة الصغيرة).

1. بيان المشكلة

إن تطوير نماذج اللغة الصغيرة (SLMs) القوية للغات ذات الموارد المنخفضة، لا سيما داخل شبه القارة الهندية، يعوقه ندرة المجموعات النصية (corpora) عالية الجودة، والمتماسكة، والبسيطة هيكلياً.

• القيود الحالية: الموارد الموجودة (مثل IndicCorp وSamanantar) غالباً ما تكون ضخمة، ومستخرجة من الويب، ومليئة بالضجيج، ومعقدة رسمياً. هذه الخصائص تجعلها غير مثالية للمحاذاة النحوية الأولية والتدريب المسبق للنماذج ذات المعلمات الصغيرة.
• الفجوة: بينما تتفوق نماذج اللغة الكبيرة (LLMs) في اللغات عالية الموارد مثل الإنجليزية، فإنها تعاني في قدرات "التعلم الصفري" (zero-shot) في اللغات الهندية بسبب نقص البيانات النظيفة والمناسبة للمجال. هناك حاجة محددة لمجموعات بيانات تقيد تعقيد المفردات لتناسب مستوى القراءة لطفل صغير (حوالي 5 سنوات) لمساعدة نماذج اللغة الصغيرة على تعلم الهياكل اللغوية الأساسية دون أن تغمرها المصطلحات التقنية أو الضجيج.

2. المنهجية

يقترح المؤلفون خط إنتاج توليد هجين لإنشاء مجموعة قصص أطفال اصطناعية عبر 17 لغة هندية. تتضمن العملية مرحلتين:

أ. التوليد الاصطناعي الأصلي (اللغات الأساسية)

بالنسبة لمجموعة أساسية مكونة من 7 لغات، استخدم المؤلفون نموذج اللغة Sarvam-M (وهو نموذج لغة هندي) مقترناً بإطار عمل هندسة الأوامر التجميعية (Combinatorial Prompt Engineering).

• الأوامر الديناميكية: لتجنب "انهيار النمط" (mode collapse) وضمان التباين الدلالي، تجنبوا الأوامر الثابتة. بدلاً من ذلك، استخدموا نظام قوالب قائم على الفتحات (slot-based template system) مع أكثر من 15 نموذجاً سردياً (مثل: مغامرة، أخلاقية، غموض).
• الفتحات المتغيرة: تم ملء الفتحات ديناميكياً عبر أخذ عينات منتظمة من مجمعات مفاهيمية منسقة:
  • الشخصيات ($N \ge 50$): مثل أرنب، روبوت، أميرة.
  • الأماكن/الإعدادات ($N \ge 40$): مثل غابة، محطة فضاء.
  • الأشياء/المشكلات ($N \ge 50$): مثل فانوس مفقود، كنز مخفي.
  • الموضوعات ($N \to 30$): مثل الشجاعة، الأمانة.
• القيود: تم تقييد التوليد بصرامة وفقاً لـ:
  • الطول: من 5 إلى 8 جمل.
  • عدد الرموز (Tokens): من 80 إلى 200 رمز لكل قصة.
  • فك التشفير (Decoding): فك تشفير عشوائي (Stochastic decoding) بدرجة حرارة (Temperature) = 0.9 و (Top-p) = 0.95.
  • الجمهور المستهدف: لغة بسيطة بما يكفي لطفل يبلغ من العمر 5 سنوات.

ب. التوسع عبر اللغات (اللغات المتبقية)

لتوسيع النطاق ليشمل الـ 10 لغات الأخرى الأقل تمثيلاً، استخدم المؤلفون خط إنتاج ترجمة آلية:

• اللغة الوسيطة (Pivot Language): تم اختيار تقسيم لغة الغوجاراتية (Gujarati) كمصدر للمجموعة النصية نظراً لسلامتها الهيكلية العالية والحد الأدنى من تلوث الخطوط (script contamination) خلال الاختبارات الأولية.
• الترجمة: تمت ترجمة مجموعة بيانات الغوجاراتية التي تم التحقق منها برمجياً إلى 10 لغات مستهدفة (الأسامية، الدوجري، الكونكاني، الميثيلي، المانيبوري، النيبالية، السنسكريتية، السانتالية، السندية، والأردية) باستخدام واجهة برمجة تطبيقات ترجمة جوجل (Google Translate API).

ج. تنظيف البيانات وتطبيعها

• تطبيع الخطوط (Script Normalization): قام مرشح برمجي بإزالة جميع الحروف خارج كتل Unicode الخاصة باللغة المستهدفة للقضاء على تسرب الحروف اللاتينية والرموز الإنجليزية المضمنة.
• التصفية: ضمنت عملية التصفية الصارمة احتواء المجموعة النهائية فقط على نصوص نظيفة وبالخط الأصلي.

3. المساهمات الرئيسية

1. مجموعة بيانات TinyStories متعددة اللغات: مجموعة بيانات اصطناعية واسعة النطاق ومفتوحة المصدر تحتوي على 132,942 قصة وحوالي 93.9 مليون رمز عبر 17 لغة هندية.
2. مورد مصمم لنماذج اللغة الصغيرة (SLM): صُممت مجموعة البيانات خصيصاً للتدريب المسبق ومحاذاة نماذج اللغة الصغيرة (10 مليون إلى 200 مليون معلمة) من خلال توفير سرديات نظيفة وبسيطة الهيكل تتجنب ضجيج البيانات المستخرجة من الويب.
3. إطار عمل توليد هجين: خط إنتاج مبتكر يجمع بين التوليد الأصلي للنماذج اللغوية الكبيرة وهندسة الأوامر التجميعية والترجمة الآلية، مما يسد الفجوة بفعالية للغات الممثلة تمثيلاً ضعيفاً بشدة.
4. استبعاد اللغات عالية الموارد: على عكس الجهود السابقة، تستبعد هذه المجموعة صراحةً لغات مثل الهندية، والبنغالية، والمراثية لتركيز الموارد على الفئات السكانية الأقل تمثيلاً.

4. النتائج والإحصائيات

• حجم المجموعة النصية: يتضمن الإصدار النهائي 132,942 قصة. أكبر التقسيمات هي البنجابية (13,144 قصة) والأوديا (13,004 قصة)، بينما الأصغر هي الأردية (3,374 قصة).
• التنوع المعجمي:
  • مقاييس Distinct-n: أظهرت اللغات المولدة أصلياً (مثل الكانادا، الماليالام، التاميل، التيلجو) تنوعاً معجمياً عالياً مع درجات Distinct-2 تتجاوز 0.65.
  • تأثير الترجمة: أظهرت اللغات التي تم إنتاجها عبر خط إنتاج الترجمة تنوعاً أقل قليلاً (تراوح Distinct-2 بين 0.25 و0.69)، ويُعزى ذلك إلى تأثيرات التطبيع في الترجمة الآلية.
  • التباين الدلالي: تراوح متوسط تشابه جيب التمام (cosine similarity) بين تضمينات الجمل من 0.11 إلى 0.38، مما يشير إلى تباين دلالي كبير وتكرار منخفض.
• نقاء الخطوط: نجح مرشح التطبيع في إزالة الحروف اللاتينية. تباين معدل التعديل حسب اللغة، حيث أظهرت البنجابية (41.1%) والأوديا (31.3%) أعلى نسبة تلوث أولي، والتي تم تنظيفها بنجاح.

5. الأهمية والأثر المستقبلي

• دمقرطة الذكاء الاصطناعي: تعالج هذه المجموعة من البيانات عائقاً حرجاً أمام دمقرطة الذكاء الاصطناعي في المجال اللغوي الهندي من خلال توفير مورد تأسيسي للغات التي تفتقر إلى مجموعات نصية نظيفة وواسعة.
• التدريب الفعال: يسمح تقييد المفردات والهيكل السردي البسيط لنماذج اللغة الصغيرة بالتقارب بسرعة أثناء تعلم النحو، والدلالات، والاستدلال الأساسي دون التكلفة الحسابية المطلوبة للمجموعات الضخمة والمليئة بالضجيج.
• محفز بحثي: يتضمن الإصدار قوالب الأوامر الكاملة وسكريبتات التصفية، مما يسهل إعادة الإنتاج ومزيد من الأبحاث في توليد البيانات الاصطناعية ومعالجة اللغات الطبيعية عبر اللغات.
• القيود: يشير المؤلفون إلى أنه كبيانات اصطناعية، فإنها تحمل خطر حدوث "هلوسة دلالية" (semantic hallucinations) طفيفة. علاوة على ذلك، قد تفتقر اللغات المترجمة إلى الفروق الدقيقة الاصطلاحية مقارنة باللغة البشرية الأصلية، مما يجعل مجموعة البيانات هذه الأنسب للتدريب المسبق والمحاذاة الهيكلية، بدلاً من المهام التي تتطلب دقة واقعية عالية أو استدلالاً معقداً.

في الختام، تمثل Multilingual TinyStories خطوة مهمة نحو معالجة اللغات الطبيعية ذات الموارد المنخفضة، حيث تثبت أن البيانات التجميعية الاصطناعية عالية الجودة يمكن أن تدرب بفعالية نماذج لغة قادرة للغات الهندية الأقل تمثيلاً.