💬 NLP

How Can We Synthesize High-Quality Pretraining Data? A Systematic Study of Prompt Design, Generator Model, and Source Data

تقدم هذه الورقة دراسة منهجية تحدد أن تنسيقات المخرجات المهيكلة واختيار بيانات المصدر أمران حاسمان للتدريب المسبق الاصطناعي عالي الجودة، مما أدى إلى إنشاء **FinePhrase**، وهو مجموعة بيانات بتكلفة منخفضة تضم 486 مليار توكن تتفوق على النماذج المرجعية الحالية مع إثبات أن نماذج التوليد التي تزيد عن 1 مليار معلمة لا تقدم أي فائدة إضافية.

المؤلفون الأصليون: Joel Niklaus, Atsuki Yamaguchi, Michal Štefánik, Guilherme Penedo, Hynek Kydlíček, Elie Bakouch, Lewis Tunstall, Edward Emanuel Beeching, Thibaud Frere, Colin Raffel, Leandro von Werra, Thomas Wolf

نُشر 2026-04-16

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Joel Niklaus, Atsuki Yamaguchi, Michal Štefánik, Guilherme Penedo, Hynek Kydlíček, Elie Bakouch, Lewis Tunstall, Edward Emanuel Beeching, Thibaud Frere, Colin Raffel, Leandro von Werra, Thomas Wolf

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم طالب عبقري ولكنه يفتقر للخبرة (نموذج لغوي كبير) كيف يصبح خبيراً عالمياً. لديك مكتبة ضخمة من الكتب (الإنترنت)، ولكن العديد منها فوضوي، مليء بالأخطاء المطبعية، أو مكتوب بلغة عامية مربكة. أنت بحاجة إلى تنظيف هذه الكتب وتقديم المعلومات بطريقة تساعد الطالب على التعلم بأسرع ما يمكن.

لفترة طويلة، اعتقد الباحثون أن الطريقة الوحيدة للقيام بذلك هي العثور على الكتب "المثالية". ولكن الإنترنت بدأ ينفد منه النصوص عالية الجودة. لذا، بدأ الباحثون في استخدام الذكاء الاصطناعي لإعادة كتابة الكتب الفوضوية إلى نسخ أفضل. وهذا ما يسمى البيانات الاصطناعية (Synthetic Data).

ومع ذلك، حتى الآن، لم يعرف أحد كيف تتم إعادة الكتابة بأفضل طريقة. هل يجب أن يتصرف الذكاء الاصطناعي كمعلم صارم؟ أم كصديق ثرثار؟ هل يجب استخدام ذكاء اصطناعي فائق الذكاء (ومكلف جداً) للقيام بإعادة الكتابة، أم أن نموذجاً أصغر وأرخص يكفي؟

ورقة البحث بعنوان "كيف يمكننا تخليق بيانات ما قبل التدريب عالية الجودة؟" من فريق Hugging Face تشبه مسابقة طبخ ضخمة حيث اختبروا كل وصفة ممكنة للعثور على "الخلطة السرية". لقد قاموا بتوليد أكثر من تريليون توكن (كلمة) لمعرفة السر.

إليك ما اكتشفوه، مشروحاً ببساطة:

1. "التنسيق" أهم من "الطباخ"

القياس التشبيهي: تخيل أنك تعلم طفلاً الرياضيات.

الخيار أ: تعطيه فقرة نصية فوضوية تحتوي على مسألة رياضية.
الخيار ب: تعيد كتابة هذا النص ليصبح مسألة لفظية رياضية واضحة خطوة بخطوة مع الحل.
الخيار ج: تحوله إلى أسئلة وأجوبة شائعة (FAQ) أو جدول.

النتيجة: وجد الباحثون أن الخيار ب، ج، ود (التنسيقات المنظمة) كانت سحرية. عندما أجبروا الذكاء الاصطناعي على إعادة كتابة نصوص الويب إلى مسائل رياضية، أو أسئلة وأجوبة شائعة، أو جداول، أو دروس تعليمية، تعلم الطالب بسرعة أكبر بكثير.

لماذا؟ الأمر يشبه تحويل كومة فوضوية من قطع الليغو إلى دليل تعليمات واضح. الهيكل يساعد "دماغ" (النموذج) على فهم المنطق بشكل أفضل من مجرد قراءة جدار من النصوص.
المفاجأة: ظنوا أنهم بحاجة إلى "طباخ خارق" (نموذج ذكاء اصطناعي ضخم ومكلف) لكتابة هذه التعليمات. لكنهم كانوا مخطئين. فقد قام "طباخ مبتدئ" (نموذج بـ 1.7 مليار بارامتر) بعمل جيد تماماً مثل "الطباخ الماهر" (نموذج بـ 27 مليار بارامتر). في الواقع، أصبحت الطهاة الأكبر حجماً جامدة ومتكررة للغاية، مما أضر بالتعلم فعلياً.

2. لا تتخلص من الأشياء "الحقيقية"

القياس التشبيهي: تخيل أنك تصنع سموزي (مشروباً مخفوقاً).

البيانات الاصطناعية تشبه مسحوقاً عالي التقنية ومعزز النكهة.
بيانات الويب الحقيقية تشبه الفاكهة الطازجة والحقيقية.

النتيجة: إذا صنعت سموزي من المسحوق فقط (البيانات الاصطناعية)، فسيكون طعمه غريباً وسيشعر الطالب بالارتباك بشأن كيفية تحدث البشر الحقيقيين. سيبدأ النموذج في فقدان "المنطق السليم".

الحل: يجب عليك خلط المسحوق مع الفاكهة الحقيقية. أفضل النتائج جاءت من خلط البيانات الاصطناعية المعاد صياغتها مع نصوص الويب الأصلية عالية الجودة. فالبيانات الاصطناعية تعلم المنطق والحقائق، بينما تعلم البيانات الحقيقية النموذج كيفية التحدث بشكل طبيعي وفهم الفروق الدقيقة لدى البشر.

3. جودة "المكونات الخام" تهم أقل مما تعتقد

القياس التشبيهي: لديك كومة من التفاح المخدوش قلياً (نص ويب منخفض الجودة) وكومة من التفاح المثالي (نص عالي الجودة).

الاعتقاد القديم: يجب أن تستخدم التفاح المثالي لصنع فطيرة رائعة.
النتيجة الجديدة: إذا كان لديك وصفة رائعة (المطالبات المنظمة) وخلطت هذه الفطيرة مع القليل من صلصة التفاح المثالية (بيانات مختلطة عالية الجودة)، يمكنك في الواقع استخدام التفاح المخدوش ومع ذلك صنع فطيرة لذيذة!
لماذا؟ عملية إعادة الكتابة تقوم بـ "رفع مستوى" (up-cycling) البيانات السيئة. إنها تأخذ المعلومات الفوضوية وتجبرها على اتخاذ تنسيق نظيف ومنطقي. وطالما أنك تمزجها مع بعض البيانات عالية الجودة، فإن مصدر النص الأصلي لا يهم كثيراً.

4. فخ "انهيار القالب" (Template Collapse)

القياس التشبيهي: تخيل روبوتاً معلماً مثالياً للغاية. في كل مرة يشرح فيها مفهوماً، يستخدم نفس هيكل الجملة بالضبط، ونفس الخط بالضبط، ونفس النبرة بالضبط.

المشكلة: يشعر الطالب بالملل ويتوقف عن التعلم لأن كل شيء يبدو متشابهاً. هذا ما يسمى بـ "انهيار القالب".
النتيجة: وجد الباحثون أن "الطباخ المبتدئ" (SmolLM2) كان أفضل في الواقع لأنه كان فوضوياً ومتنوعاً قليلاً. لم يتبع القواعد بصرامة شديدة. هذا التنوع أبقى دماغ الطالب متفاعلاً. أما "الطباخ الماهر" (Qwen 3) فقد كان مثالياً للغاية ومتكرراً، مما جعل التدريب أقل فعالية.

النتيجة: FINEPHRASE

باستخدام هذه الاكتشافات، بنى الفريق مجموعة بيانات جديدة تسمى FINEPHRASE.

تحتوي على 486 مليار توكن من نصوص الويب المعاد صياغتها.
تم إنشاؤها باستخدام نموذج صغير ورخيص (مما وفر عليهم مبالغ ضخمة من المال).
هي أرخص بـ 30 مرة في الإنتاج من الطرق السابقة.
الأداء: عندما دربوا نموذجاً على هذه البيانات، تفوق على جميع السجلات "الاصطناعية" السابقة. لقد تعلم الحقائق والمنطق بشكل أفضل مما توقعه الجميع، مع الحفاظ على مهاراته في اللغة الطبيعية.

الخلاصة الكبرى

لبناء الجيل القادم من الذكاء الاصطناعي، لا تحتاج لإنفاق مليارات الدولارات على أكبر الحواسيب الفائقة لإعادة كتابة البيانات. بدلاً من ذلك، أنت بحاجة إلى وصفات أفضل.

أعد كتابة النصوص الفوضوية إلى تنسيقات واضحة ومنظمة (مثل المسائل الرياضية، الجداول، والأسئلة الشائعة).
اخلط هذه البيانات الجديدة مع النصوص البشرية الحقيقية عالية الجودة.
استخدم ذكاءً اصطناعياً صغيراً وفعالاً للقيام بإعادة الكتابة، واتركه يكون مبدعاً قليلاً بدلاً من أن يكون آلياً.

إنه تحول من "الأكبر هو الأفضل" إلى "الهيكل الأذكى هو الأفضل".

إليك ملخص تقني مفصل للورقة البحثية بعنوان "كيف يمكننا تخليق بيانات تدريب مسبق عالية الجودة؟ دراسة منهجية لتصميم المطالبات، ونموذج المولد، والبيانات المصدرية."

1. بيان المشكلة

يشهد مشهد التدريب المسبق للنماذج اللغوية الكبيرة (LLMs) تحولاً من التركيز على كمية البيانات إلى جودتها، وذلك بسبب وصول النصوص المتاحة على الويب والقابلة للزحف إلى مرحلة التشبع. وبينما برزت البيانات الاصطناعية (إعادة صياغة النصوص الموجودة باستخدام النماذج اللغوية الكبيرة) كحل لتوسيع مجموعات البيانات التدريبية، إلا أن المجال يفتقر إلى فهم منهجي لكيفية توليدها بفعالية. استكشفت الأعمال السابقة استراتيجيات معزولة (مثل أساليب إعادة الكتابة المحددة أو نماذج مولدة ضخمة) دون مقارنتها عبر إطار عمل موحد. وتشمل الأسئلة الرئيسية التي لم تتم الإجابة عليها ما يلي:

أي استراتيجيات إعادة الصياغة تنتج أكثر إشارات التدريب فعالية؟
هل يؤدي زيادة حجم النموذج المولد (على سبيل المثال، من 1 مليار إلى 70 مليار معلمة) إلى تحسين جودة البيانات الاصطناعية؟
كيف تؤثر جودة البيانات المصدرية ومزيج بيانات الويب الأصلية على الأداء اللاحق؟
ما هو التوازن الأمثل بين التكلفة والأداء؟

2. المنهجية

أجرى المؤلفون دراسة استقصائية منهجية مضبوطة تضمنت توليد أكثر من تريليون رمز (token) لتقييم ثلاثة محاور رئيسية لمسار البيانات الاصطناعية:

أ. استراتيجية إعادة الصياغة (تصميم المطالبة)

قارنت الدراسة المطالبات المعتمدة في الأعمال السابقة (مثل Nemotron-HQ-Synth، وREWIRE، وBeyondWeb) مقابل أربعة تنسيقات هيكلية تعليمية جديدة:

الرياضيات (Math): تحويل النص إلى مسائل لفظية رياضية مع حلول خطوة بخطوة.
الأسئلة الشائعة (FAQ): تحويل المحتوى إلى أزواج (سؤال-جواب) منطقية ومستقلة بذاتها.
الجدول (Table): تنظيم المعلومات في جداول Markdown مهيكلة تليها أزواج (سؤال-جواب).
الدليل التعليمي (Tutorial): إعادة كتابة المحتوى كأدلة إرشادية واضحة وخطوة بخطوة.

ب. النموذج المولد

قيم المؤلفون تأثير النموذج المولد ( $G$ ) عبر بُعدين:

حجم المعلمات (Parameter Scale): تم اختبار نماذج تتراوح من 135 مليون إلى 27 مليار معلمة (باستخدام عائلات Gemma 3 وSmolLM2).
العائلات الهيكلية (Architectural Families): قارنت الدراسة ست عائلات مفتوحة المصدر متميزة عند حجم ثابت يقارب 1 مليار معلمة (Gemma 3، Llama 3.2، Qwen 3، Granite 3.1، Falcon 3، SmolLM2).

ج. تكوين البيانات

حللت الدراسة التفاعل بين:

البيانات المصدرية ( $D_{source}$ ): النص الخام الذي تتم إعادة صياغته (يتراوح من مجموعات FineWeb عالية الجودة إلى نصوص الويب منخفضة الجودة/المشوشة).
*بيانات المزج ( $D_{mix}$ ): رموز الويب الأصلية التي تُخلط مع البيانات الاصطناعية أثناء التدريب المسبق للنموذج المستهدف.
نظام التدريب: تم تدريب النماذج من الصفر على خليط بنسبة 50/50 من الرموز الاصطناعية والأصلية (أو الاصطناعية فقط) لمدة 21 مليار رمز.

د. التقييم

تم قياس الأداء عن طريق تدريب نموذج بمعمارية Qwen 2 ذات 1.2 مليار معلمة على البيانات المولدة، وتقييمه عبر 12 اختباراً مرجعياً (benchmarks) تغطي المعرفة العامة، وفهم القراءة، والاستنتاج، وفهم اللغة الطبيعية (NLU)، والرياضيات، وفهم الجداول.

3. النتائج الرئيسية

أ. استراتيجية إعادة الصياغة هي العامل المهيمن

التنسيقات التعليمية المهيكلة تتفوق: تفوقت التنسيقات الأربعة الجديدة (الرياضيات، الأسئلة الشائعة، الجدول، الدليل التعليمي) باستمرار على جميع الخطوط المرجعية السابقة وعلى مجموعة بيانات DCLM.
- حققت الرياضيات أعلى متوسط حسابي (15.31)، متجاوزة خط DCLM المرجعي (13.77) بمقدار +1.54 نقطة.
- أظهرت تنسيقات الجدول والأسئلة الشائعة أيضاً مكاسب ملحوظة (+1.06 و +0.68 على التوالي).
إعادة الصياغة البسيطة تفشل: الاستراتيجيات مثل "التقطير" (Distill)، و"ويكيبيديا" (Wikipedia)، و"قائمة المعرفة" (Knowledge List) قدمت فائدة ضئيلة أو سلبية مقارنة بالنصوص المنسقة من الويب.
التنوع أهم من الاتساق: كشف التحليل النوعي أن "انهيار القوالب" (الاتساق الشديد في التنسيق) يضر بالأداء. النماذج التي أنتجت أطوالاً وهياكل متنوعة (رغم بعض حالات الفشل في الالتزام بالتعليمات) حققت نتائج أفضل لاحقاً من المخرجات المتسقة للغاية ولكن المتكررة.

ب. حجم النموذج المولد: عوائد متناقصة

لا توجد فائدة بعد 1 مليار معلمة: لم تؤدِ زيادة حجم المولد بما يتجاوز 1 مليار معلمة إلى أي مكاسب أداء ثابتة. في كثير من الحالات، كانت النماذج الأكبر (مثل 27 مليار) تؤدي بشكل أسوأ من نماذج 1 مليار، ويرجع ذلك على الأرجب إلى الإفراط في تحسين التنسيق على حساب تنوع المحتوى.
النماذج الصغيرة كافية: وُجد أن نموذج 1.7 مليار معلمة (SmolLM2) هو المولد الأمثل، حيث يقدم أفضل نسبة بين التكلفة والأداء.
المعمارية مهمة: تفوقت عائلة SmolLM2 بشكل كبير على العائلات الأخرى بحجم ~1 مليار (مثل Llama 3.2 أو Qwen 3)، ويُعزى ذلك إلى بيانات الضبط الدقيق للتعليمات التي تضمنت مهام إعادة الكتابة صراحةً.

ج. تكوين البيانات: المزج أمر حاسم

ضرورة المزج: أدى التدريب الحصري على البيانات الاصطناعية إلى أداء دون المستوى، لا سيما في مهام فهم اللغة الطبيعية (NLU) (مثل HellaSwag وPIQA). يعد خلط البيانات الاصطناعية مع بيانات الويب الأصلية أمراً ضرورياً للحفاظ على الاستنتاج المنطقي والتنوع اللغوي.
جودة المزج أهم من جودة المصدر: كان اختيار مجموعة بيانات المزج ( $D_{mix}$ ) محركاً أقوى للأداء من جودة النص المصدر ( $D_{source}$ $D_{so u r ce}$ ).
- سمح استخدام بيانات مزج عالية الجودة (مثل FineWeb-HQ) للمسار بـ "إعادة تدوير" (up-cycle) النصوص المصدرية منخفضة الجودة بنجاح، وتحويل بيانات الويب المشوشة إلى رموز تدريب عالية الفائدة.

4. المساهمات الرئيسية

مجموعة بيانات FINEPHRASE: أصدر المؤلفون FINEPHRASE، وهي مجموعة بيانات مفتوحة مكونة من 486 مليار رمز من النصوص المعاد صياغتها من الويب. وهي تستخدم التكوين الأمثل الذي حددته الدراسة:
- المولد: SmolLM2 1.7B.
- المطالبات: الرياضيات، الأسئلة الشائعة، الجدول، الدليل التعليمي.
- المصدر: FineWeb.
- المزج: FineWeb-HQ.
كفاءة التكلفة: تحقق FINEPHRASE تكاليف توليد أقل بـ 30 ضعفاً مقارنة بالطرق السابقة (مثل REWIRE باستخدام Llama 3.3 70B)، بينما تولد حجماً أكبر من الرموز (486 مليار مقابل 400 مليار) وتحقق أداءً متفوقاً.
إطار عمل منهجي: توفر الورقة إطار عمل تجريبي قابل للتكرار يعزل تصميم المطالبات، وحجم النموذج، وتكوين البيانات، مما يقدم إرشادات واضحة لتوليد البيانات الاصطناعية في المستقبل.

5. الأهمية والآثار المترتبة

تحول في نموذج البيانات الاصطناعية: تتحدى الدراسة الافتراض القائل بأن النماذج المولدة الأكبر حجماً ضرورية للحصول على بيانات اصطناعية عالية الجودة. بدلاً من ذلك، تؤكد على هندسة المطالبات وتنسيقات المخرجات المهيكلة كمحركات أساسية للأداء.
القابلية للتوسع: من خلال إثبات أن النماذج المدمجة (1B-2B) يمكنها توليد بيانات تتفوق على الطرق التي تستخدم نماذج 70B+، تجعل هذه الورقة توليد البيانات الاصطناعية عالية الجودة متاحاً للباحثين ذوي الموارد الحسابية المحدودة.
إعادة تدوير البيانات (Up-cycling): إن اكتشاف إمكانية إعادة تدوير البيانات المصدرية منخفضة الجودة بفعالية عند اقترانها بمجموعة بيانات مزج قوية يوسع بشكل كبير الخزان المحتمل لبيانات التدريب لنماذج LLM.
العلم المفتوح: إن إصدار مجموعة البيانات، وكود التوليد، وجميع المطالبات يسمح للمجتمع بتكرار وبناء النتائج، مما يسرع تطوير مسارات التدريب المسبق الفعالة.

في الختام، تثبت الورقة أن المطالبات التعليمية المهيكلة مقترنة بـ نماذج مولدة صغيرة ومتخصصة واستراتيجية مزج عالية الجودة تشكل النهج الأمثل لتخليق بيانات التدريب المسبق، مما يوفر مساراً لنماذج لغوية كبيرة عالية الأداء بجزء بسيط من التكلفة الحسابية السابقة.