💬 NLP

Data Mixing for Large Language Models Pretraining: A Survey and Outlook

تقدم هذه الورقة مسحاً شاملاً لطرق خلط البيانات لتدريب النماذج اللغوية الكبيرة، حيث تقدم تعريفاً رسمياً للمشكلة، وتصنيفاً دقيقاً يميز بين النهجين الاستاتيكي والديناميكي، وتحليلاً للمفاضلة بين الأداء والتكلفة، وخارطة طريق لاتجاهات البحث المستقبلية.

المؤلفون الأصليون: Zhuo Chen, Yuxuan Miao, Supryadi, Deyi Xiong

نُشر 2026-04-21

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Zhuo Chen, Yuxuan Miao, Supryadi, Deyi Xiong

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك رئيس طهاة ماهر يحاول ابتكار أفضل حساء في العالم (النموذج اللغوي الكبير، أو LLM). لديك مخزن ضخم مليء بآلاف المكونات المختلفة: خضروات، ولحوم، وتوابل، وفواكه غريبة. ومع ذلك، لديك كمية محدودة فقط من الوقت والوقود للطهي (ميزانيتك الحسابية).

السؤال الكبير هو: كيف تمزج هذه المكونات معاً للحصول على أشهى حساء ممكن؟

هذه الورقة هي دليل شامل لفن وعلم "خلط البيانات" (Data Mixing) للذكاء الاصطناعي. إنها تستعرض جميع الاستراتيجيات المختلفة التي يستخدمها الباحثون لتحديد كمية كل "مكون" (مصدر بيانات) يضعونها في القدر.

إليك تفصيل للأفكية الرئيسية للورقة باستخدام تشبيهات بسيطة:

1. المشكلة الجوهرية: معضلة "الوصفة"

في الماضي، كان الطهاة (باحثو الذكاء الاصطناعي) يخمنون فقط. قد يقولون: "لنستخدم 50% ويكيبيديا، و20% أخبار، و30% كتب". يطبخون الحساء، يتذوقونه، يدركون أنه مالح جداً، ثم يبدأون من جديد. هذا أمر مكلف وبطيء.

خلط البيانات هو علم إيجاد الوصفة المثالية دون الحاجة لطبخ الحساء مائة مرة. يتعلق الأمر بمعرفة النسبة الدقيقة للمكونات التي ستجعل الذكاء الاصطناعي أكثر ذكاءً، بالنظر إلى وقتك ومالك المحدودين.

2. النهجان الرئيسيان: الثابت مقابل الديناميكي

تقسم الورقة جميع استراتيجيات الخلط إلى معسكرين رئيسيين:

الخلط الثابت (وصفة "اضبط وانسَ"):
- كيف يعمل: تقرر الوصفة الدقيقة قبل البدء في الطبخ. تخلط المكونات بنسبة محددة وتلتزم بها حتى ينتهي طبخ الحساء.
- التشبيه: مثل قدر الطهي البطيء. تضع كل شيء في الساعة 8:0 الصباح، تضبط المؤقت، ثم تبتعد.
- المزايا: بسيط وغير مكلف.
- العيوب: إذا بدأ طعم الحساء يصبح غريباً في منتصف الطريق، لا يمكنك إصلاحه. أنت عالق بوصف تخمينك الأولي.
الخلط الديناميكي (وصفة "تذوق وعدّل"):
- كيف يعمل: تتذوق الحساء كل ساعة وتعدل المكونات. إذا كان يحتاج لمزيد من الملح، تضيف الملح. إذا كان يحتاج لمزيد من الأعشاب، تضيف الأعشاب.
- التشبيه: مثل طاهٍ يقف فوق القدر، يحرك ويعدل النكهة باستمرار أثناء الطبخ.
- المزايا: يتكيف مع الاحتياجات المتغيرة للحساء؛ وعادة ما يكون طعمه أفضل.
- العيوب: يتطلب طاهياً يراقب دائماً (أكثر تعقيداً ويتطلب موارد حسابية أكبر).

3. كيف نجد "النسبة المثالية"؟

تصنف الورقة الأساليب المستخدمة لإيجاد هذه النسب إلى عائلتين:

أ. الأساليب القائمة على القواعد (الاستدلالات)

الفكرة: "إذا كان (س) صحيحاً، فافعل (ص)".
التشبيه: كتاب طبخ يقول: "استخدم دائماً كوباً واحداً من الدقيق لكل بيضتين". أو، "إذا كان الحساء باهتاً، ضاعف كمية الملح".
أمثلة:
- المتساوي (Uniform): فقط ضع كميات متساوية من كل شيء.
  Cl التناسبي (Proportional): استخدم المزيد من المكونات التي تملك منها الكثير.
- درجة الحرارة (Temperature): مقبض فخم يسمح لك بجعل الوصفة "أكثر حدة" (التركيز على البيانات عالية الجودة) أو "أكثر اعتدالاً" (توزيعها بالتساوي).
الحكم: رخيص وسهل، لكنه غالباً ليس الحساء الأفضل الممكن.

ب. الأساليب القائمة على التعلم (الطاهي الذكي بالذكاء الاصطناعي)

الفكرة: بدلاً من التخمين، نقوم بتدريب ذكاء اصطناعي أصغر وأرخص (نموذج وسيط - Proxy Model) لمعرفة الوصفة الأفضل للذكاء الاصطناعي الكبير.
التشبيه: لديك مساعد طاهٍ صغير وسريع. تترك المساعد يطبخ 100 دفعة صغيرة من الحساء بوصفات مختلفة. يتعلم المساعد أي وصفة تعمل بشكل أفضل ويخبر الطاهي الرئيسي: "استخدم هذه الوصفة للقدر الكبير".
نوعان:
1. تحسين النموذج الوسيط (Proxy Optimization): يحاول المساعد إيجاد أفضل وصفة عن طريق التذوق والتعديل في الوقت الفعلي.
2. القائم على التنبؤ (Prediction-Based): يتذوق المساعد بضع دفعات، ويتعلم صيغة رياضية (مثل: "بيانات رياضية أكثر = حساء أذكى")، ثم يستخدم هذه الصيغة للتنبؤ بالوصفة المثالية دون طبخ المزيد من الدفعات.

4. التحديات (لماذا لم يُحل هذا الأمر بعد؟)

تشير الورقة إلى ثلاثة صداع رئيسية لا يزال الباحثون يحاولون حلها:

مشكلة "القابلية للنقل" (Transferability): الوصفة التي تجعل الحساء لذيذاً لشخص نباتي (نموذج مدرب على النصوص) قد يكون طعمها سيئاً جداً لمحبي اللحوم (نموذج مدرب على الكود). إذا غيرت النموذج أو البيانات قليلاً، فإن الوصفة "المثالية" التي وجدتها بالأمس قد تصبح عديمة الفائدة اليوم. إنه يشبه وصفة تعمل فقط لعلامة تجارية معينة من المواقد.
المفاضلة بين "التكلفة" و"الأداء": كلما كانت الطريقة أذكى (مثل المساعد الطاهي)، زادت تكلفة تشغيلها. الطرق الأرخص (مثل القواعد البسيطة) غالباً ما تنتج حساءً متوسط الجودة. العثور على طريقة تكون رخيصة و تنتج حساءً حائزاً على نجمة ميشلان هو "الكأس المقدسة".
غياب اختبار التذوق القياسي: كل باحث يستخدم طريقة مختلفة لتقييم الحساء. أحدهم يستخدم "مقياس الحدة"، وآخر يستخدم "مقياس الملوحة". هذا يجعل من الصعب مقارنة من هو الطاهي الأفضل لأنهم لا يستخدمون جميعاً نفس المسطرة.

5. المستقبل: ما الخطوة التالية؟

يقترح المؤلفون بعض الاتجاهات المثيرة للمستقبل:

الحبيبات الأدق (Finer Grains): بدلاً من الخلط حسب "المصدر" (مثل "كل ويكيبيديا")، ربما يجب أن نخلط حسب "الموضوع" (مثل "مقالات العلوم من ويكيبيديا" مقابل "مقالات التاريخ"). إنه يشبه فرز مخزنك حسب "التوابل" مقابل "الخضروات" بدلاً من مجرد "الصندوق أ" مقابل "الصندوق ب".
الهندسة العكسية (Reverse Engineering): ماذا لو استطعنا النظر إلى حساء جاهز ومشهور (نموذج ذكاء اصطناعي رفيع المستوى) ومعرفة بالضبط ما هي الوصفة التي استخدمها الطاهي، حتى لو لم يشاركها أبداً؟ هذا قد يساعدنا في التعلم من الأفضل.
الوعي بسلسلة العمل (Pipeline Awareness): بدلاً من التفكير فقط في حساء مرحلة ما قبل التدريب، يجب أن نفكر في الوجبة بأكملها. كيف يؤثر حساء ما قبل التدريب على المقبلات (الضبط الدقيق/Fine-tuning) وعلى الحلوى (محاذاة السلامة/Safety Alignment)؟ العملية بأكملها تحتاج إلى تخطيط مشترك، وليس كخطوات معزولة.

ملخص

هذه الورقة هي خريطة لمشهد "خلط البيانات". تخبرنا أنه بينما انتقلنا من التخمين البسيط إلى الوصفات الذكية القائمة على التعلم، لا نزال نكافح لجعل هذه الوصفات تعمل للجميع، في كل مكان، دون استنزاف الميزانية. المستقبل يكمن في إنشاء طرق أكثر ذكاءً، وقابلية للتكيف، ومعيارية لخلط مكونات بياناتنا لبناء الجيل القادم من الذكاء الاصطناعي.

إليك ملخص تقني مفصل للورقة البحثية بعنوان "Data Mixing for Large Language Models Pretraining: A Survey and Outlook" من إعداد Chen وآخرون.

1. تعريف المشكلة

تتناول الورقة التحدي الحاسم المتمثل في تحسين مزيج البيانات (data mixture optimization) في مرحلة ما قبل التدريب للنماذج اللغوية الكبيرة (LLMs).

السياق: تعتمد النماذج اللغوية الكبيرة على مجموعات بيانات ضخمة وغير متجانسة. وتحت القيود الواقعية لميزانيات الحوسبة والبيانات، يؤثر تكوين بيانات التدريب ("المزيج") بشكل حاسم على كفاءة التدريب والتعميم في المهام اللاحقة.
المشكلة الجوهرية: كيفية تخصيص أوزان أخذ العينات (sampling weights) بشكل أمثل عبر مختلف نطاقات البيانات (مثل ويكيبيديا، البرمجة، النصوص الويب) لتعظيم أداء النموذج ضمن ميزانية محددة.
الصياغة: صاغ المؤلفون عملية خلط البيانات كمسألة تحسين ثنائي المستوى (bilevel optimization problem) على "المنحل الاحتمالي" (probability simplex):
- الحلقة الخارجية (Outer Loop): اختيار متجه الأوزان $k$ (المزيج) لتقليل خسارة التحقق $L_{val}(\theta(k))$ .
- الحلقة الداخلية (Inner Loop): تدريب معاملات النموذج $\theta(k)$ باستخدام المزيج $k$ لتقليل خسارة التدريب.
التحدي: حل هذه المسألة ثنائية المستوى مباشرة أمر مستعصٍ حسابياً بالنسبة للنماذج اللغوية الكبيرة واسعة النطاق. وتعتبر الطرق الموجودة حالياً مجزأة، كما يفتقر المجال إلى مسح منهجي يقارن بينها.

2. المنهجية والتصنيف

تقترح الورقة تصنيفاً شاملاً لطرق خلط البيانات الموجودة، حيث تصنفها وفق بُعدين رئيسيين: ثابت مقابل ديناميكي (Static vs. Dynamic) و قائم على القواعد مقابل قائم على التعلم (Rule-Based vs. Learning-Based).

أ. الخلط الثابت (Static Mixing)

يكون المزيج $k$ ثابتاً قبل بدء التدريب ويظل مستقراً طوال فترة التدريب.

الطرق القائمة على القواعد (Rule-Based Methods):
- الآلية: تستخدم قواعد استدلالية أو خوارزميات بسيطة ذات معاملات دون تدريب نماذج مساعدة.
- أمثلة: أخذ العينات الموحد (Uniform sampling)، أخذ العينات النسبي (Proportional sampling)، أخذ العينات القائم على درجة الحرارة (Temperature-based sampling) (لتعديل حدة التوزيع)، و UniMax (لتقييد تكرار النطاقات).
- متغيرات أحدث: طرق مثل UtiliMax و MEDU تعامل الخلط كمسألة اختيار محفظة استثمارية (portfolio selection)، باستخدام درجات المنفعة لموازنة المخاطر والعائد، وغالباً ما تتجنب إعادة التدريب الكامل.
- المزايا/العيوب: تكلفة منخفضة للغاية وقابلية عالية للتفسير، ولكنها غالباً ما تكون غير مثالية مقارنة بالطرق المتعلمة.
الطرق القائمة على التعلم (Learning-Based Methods):
- الآلية: تدريب نماذج مساعدة (نماذج وسيطة أو متنبئات) لتعلم المزيج الأمثل.
- الفئة الفرعية 1: القائمة على التحسين الوسيط (Proxy Optimization-Based):
  - تحسين المزيج على نموذج "وسيط" أصغر ثم نقل النتائج إلى النموذج الرئيسي.
  - أمثلة: DoReMi (تحسين minimax لضمان المتانة)، و DoGE (محاذاة التدرج لتعميم النطاق المستهدف).
  - القصور: ضعف القدرة على النقل (transferability)؛ حيث يتطلب الأمر إعادة تدريب النموذج الوسيط إذا تغيرت بنية النموذج الرئيسي أو البيانات.
- الفئة الفرعية 2: القائمة على التنبؤ (Prediction-Based):
  - تعلم علاقة دالية $f(k) \approx L_{val}$ بين المزيج والأداء، ثم تحسين $k$ بناءً على هذا النموذج البديل.
  - التنبؤ الصريح (Explicit Prediction): ملاءمة نماذج معلمية (مثل DML، AutoScale، BiMix، Data Mixing Scaling Laws) باستخدام قوانين القوة (power laws) أو الأشكال الأسية.
  - التنبؤ الضمني (Implicit Prediction): استخدام منظمات (regressors) "الصندوق الأسود" (مثل LightGBM أو العمليات الغاوسية) للتنبؤ بالأداء.
  - أمثلة: RegMix، MixMin، MDE، ADMIRE.
  - المزايا/العيوب: أداء أفضل من القواعد؛ قدرة أعلى على النقل مقارنة بالتحسين الوسيط، لكنها لا تزال تعتمد على افتراضات حول قوانين القياس (scaling laws).

ب. الخلط الديناميكي (Dynamic Mixing)

يتطور المزيج $k$ بمرور الوقت ( $k_t$ ) أثناء التدريب، متكيفاً مع حالة تعلم النموذج.

الطرق التكيفية (Adaptive Methods):
- الآلية: تحديث الأوزان مباشرة بناءً على إشارات داخلية (الخسارة، التدرجات) من النموذج المستهدف دون الحاجة لمتحكمات خارجية.
- أمثلة: ODM (المتعدد الأذرع/Exp3)، ADO (مشتقات قانون القياس)، Velocitune و GRAPE (سرعة التعلم/العائد على الاستثمار)، و PiKE (معايير/تباين التدرج).
- المزايا/العيوب: خفيفة الوزن ومنخفضة التكاليف الإضافية، لكن آليات التحسين مقيدة بضرورة البساطة لتجنب تراكم التكاليف الحسابية.
الطرق الموجهة خارجياً (Externally Guided Methods):
- الآلية: استخدام متحكم خارجي (غالباً يعتمد على التعلم المعزز RL) لمعالجة إشارات التدريب وإخراج تحديثات المزيج.
- أمثلة: AC-ODM و Data Mixing Agent (التعلم المعزز من نوع Actor-Critic)، و TiKMiX (دوال التأثير + المتنبئ).
- المزايا/العيوب: يمكنها دمج منطق معقد وإشارات طويلة الأمد لتحقيق أداء أعلى، ولكنها تفرض أعباءً حسابية كبيرة وتعتمد على إعداد تدريب المتحكم.

3. المساهمات الرئيسية

الصياغة الموحدة: توفر صياغة رياضية صارمة لخلط البيانات كمسألة تحسين ثنائية المستوى، مما يوضح كيف تقرب الطرق الحالية هذه المسألة المستعصية.
التصنيف التفصيلي: تقدم نظام تصنيف جديد ودقيق (ثابت/ديناميكي $\times$ قواعد/تعلم $\times$ وسيط/تنبؤ/تكيّفي/موجه) ينظم الأدبيات المجزأة.
تحليل الأداء مقابل التكلفة: تحلل الطرق من منظور المقايضة، مؤكدة أنه لا توجد طريقة واحدة مثالية عالمياً؛ فالخيارات تعتمد على الميزانية، احتياجات النقل، والموارد الحسابية.
تحديد التحديات: تحدد بشكل منهجي أربعة عوائق رئيسية:
- محدودية القدرة على النقل (Limited Transferability): تفشل الطرق غالباً عند نقلها عبر نماذج أو مقاييس أو تعريفات نطاقات مختلفة.
- عدم توحيد التقييم: نقص في المعايير الموحدة، وحساب التكاليف (عدد الرموز مقابل العمليات الحسابية FLOPs)، وتعريفات مجموعة التحقق.
- الفجوات النظرية: غياب إطار نظري موحد يشرح لماذا تعمل بعض المزيجات، والاعتماد الكبير على قوانين القياس التجريبية.
- تعريف النطاق (Domain Definition): تعتمد الطرق الحالية غالباً على تقسيم النطاقات بناءً على "المصدر"، وهو ما قد يكون غير مثالي.

4. النتائج والمكتشفات

الفعالية: تتفوق الطرق القائمة على التعلم (سواء الثابتة أو الدينتدامية) عموماً على القواعد الاستدلالية البسيطة (مثل أخذ العينات الموحد أو النسبي) من حيث الأداء في المهام اللاحقة.
مشكلات النقل: تعاني الطرق القائمة على الوسيط (Proxy-based) بشكل كبير عندما يختلف النموذج المستهدف عن النموذج الوسيط. أما الطرق القائمة على التنبؤ فتظهر قابلية أكبر لإعادة الاستخدام ولكنها تواجه صعوبة في التعامل مع تأثيرات القياس المشتركة المعقدة (المزيج $\times$ حجم النموذج $\times$ حجم البيانات).
الثابت مقابل الديناميكي: توفر الطرق الديناميكية قدرة أفضل على التكيف مع احتياجات النموذج المتغيرة، لكنها تزيد من تعقيد التنفيذ والأعباء المحتملة. وتعتبر الطرق الديناميكية التكيفية هي الأخف وزناً حالياً، بينما توفر الطرق الموجهة خارجياً أعلى إمكانات الأداء مقابل تكلفة أعلى.
دقة النطاق (Domain Granularity): تشير الورقة إلى أن التقسيم الأكثر دقة للنطاقات (على سبيل المثال، حسب الموضوع أو المهارة بدلاً من مجرد المصدر) يحسن بشكل كبير من فعالية الخلط، وهو عامل غالباً ما يتم تجاهله في الأدبيات الحالية.

5. الأهمية والآفاق المستقبلية

الإطار المفاهيمي: تعمل هذه الورقة كمرجع أساسي للباحثين، حيث تنقل المجال من الحلول الاستدلالية العشوائية إلى التحسين المنهجي المنضبط.
الاتجاهات المستقبلية:
- الخلط الأكثر دقة (Finer-Grained Mixing): الانتقال من مستوى النطاق إلى مستوى العينة أو مستويات دقة متوسطة (الخلط الهرمي).
- الخلط العكسي للبيانات (Inverse Data Mixing): استنتاج مزيج البيانات للنماذج مغلقة المصدر من مخرجاتها (مثل قوائم دمج الـ tokenizer) للتعلم من التكوينات الناجحة.
- التصميم الواعي بسلسلة العمليات (Pipeline-Aware Design): تنسيق استراتيجيات خلط البيانات عبر كامل سلسلة التدريب (ما قبل التدريب $\to$ الضبط الدقيق SFT $\to$ DPO) بدلاً من تحسين كل مرحلة بمعزل عن الأخرى.
- التقنين (Standardization): يدعو المؤلفون إلى بروتوكولات تقييم موحدة، وحسابات تكلفة دقيقة، ومعايير لتعريف النطاقات لتمكين المقارنة العادلة.

الخلاصة:
تؤكد هذه الدراسة المسحية أنه بينما تطور خلط البيانات من مجرد قواعد بسيطة إلى نماذج تعلم متطورة، فإن المجال لا يزال مقيداً بمشكلات القدرة على النقل والافتقار إلى الأساس النظري. يعتمد التقدم المستقبلي على تطوير أطر عمل أكثر قوة ووعياً بسلسلة العمليات، ومعايير تقييم موحدة لسد الفجوة بين مكاسب الأداء والتكاليف الحسابية.