💬 NLP

LLMs on the Line: Data Determines Loss-to-Loss Scaling Laws

تُثبت هذه الورقة أن بيانات ما قبل التدريب هي المحدد الرئيسي لقوانين القياس من الخسارة إلى الخسارة في النماذج اللغوية الكبيرة، بينما يكون لآثار مثل حجم النموذج، والبنية، والمعلمات الفائقة تأثير ضئيل، مما يشير إلى أن تنقية البيانات أكثر أهمية من الخيارات الهيكلية لتحسين الأداء في المهام اللاحقة.

المؤلفون الأصليون: Prasanna Mayilvahanan, Thaddäus Wiedemer, Sayak Mallick, Matthias Bethge, Wieland Brendel

نُشر 2026-05-21

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Prasanna Mayilvahanan, Thaddäus Wiedemer, Sayak Mallick, Matthias Bethge, Wieland Brendel

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول خبز الرغيف المثالي. لسنوات، كان العلماء مهووسين بالوصفة: "إذا استخدمت 100 جرام من الدقيق و500 جرام من الماء، فستحصل على قوام محدد". هذا يشبه تماماً كيف نبني النماذج اللغوية الكبيرة (LLMs) حالياً. لدينا "قوانين القياس" التي تخبرنا بمدى ضخامة النموذج الذي يجب استخدامه وكمية البيانات التي يحتاجها للتعلم، بناءً على مقدار القوة الحوسبية المتوفرة لدينا.

ولكن هناك عقبة. مجرد تعلم النموذج للوصفة بشكل مثالي لا يعني بالضرورة أنه سيخبز كعكة رائعة (أي سيؤدي جيداً في المهام الواقعية).

هذه الورقة البحثية، "النماذج اللغوية الكبيرة على الخط: البيانات هي التي تحدد قوانين قياس الخسارة إلى الخسارة"، تطرح سؤالاً بسيطاً: ما الذي يحدد فعلياً مدى جودة أداء النموذج في المهام الجديدة بمجرد انتهائه من التعلم؟

لقد اختبر المؤلفون عشرات المتغيرات — تغيير بنية دماغ النموذج، وحجم النموذج، والأدوات المستخدمة لقراءة النص، وحتى الرياضيات المستخدمة للتعليم. ووجدوا حقيقة واحدة هائلة ومفاجئة: البيانات هي الشيء الوحيد الذي يهم حقاً.

إليك التفاصيل باستخدام تشبيهات بسيطة:

1. خط "الخسارة إلى الخسارة" (Loss-to-Loss)

تخيل أنك تدرب طالباً. تعطيه اختباراً تجريبياً (خسارة التدريب - Training Loss) ثم تعطيه امتحاناً نهائياً (خسارة الاختبار - Test Loss).

الاكتشاف: هناك خط مستقيم يمكن التنبؤ به للغاية يربط بين أدائه في الاختبار التجريبي وأدائه في الامتحان النهائي.
التشبيه: إذا حصل الطالب على 90% في التدريب، فمن المؤكد تقريباً أنه سيحصل على 90% في النهائي، بغض النظر عما إذا كان يرتدي قميصاً أحمر أو أزرق. تسمي الورقة هذا "قانون قوة مُزاح" (shifted power law). إنها قاعدة موثوقة تظل ثابتة عبر كل شيء تقريباً.

2. العوامل "الثلاثة الكبرى" (ولماذا لا تهم)

قام الباحثون بلعبة "ماد ليبس" (Mad Libs) مع عملية التدريب، حيث قاموا باستبدال مكونات مختلفة لمعرفة ما الذي سيغير النتيجة النهائية. ووجدوا أن ثلاث فئات رئيسية لم يكن لها أي تأثير يُذكر على ذلك الخط المتوقع:

البنية (بنية الدماغ): قارنوا بين Llama (نموذج Transformer، مثل دماغ بشري قياسي) و Mamba (نموذج State-Space، مثل نوع مختلف تماماً من الأدمغة الفضائية).
- النتيجة: إذا قدمت لكلا الدماغين نفس الكتاب المدرسي، سينتهيان في نفس خط الأداء تماماً. لا يهم إذا كان شكل الدماغ "ترانسفورمر" أو "مامبا"؛ إذا كانت البيانات هي نفسها، فإن النتيجة ستكون هي نفسها.
المجزئ (القاموس): هذه هي الأداة التي تقسم الجمل إلى كلمات أو قطع. لقد جربوا قواميس مختلفة (بعضها يحتوي على 128,000 كلمة، وبعضها 50,000 كلمة).
- النتيجة: تغيير القاموس كان يشبه تغيير الخط في الكتاب المدرسي. لم يغير ذلك من مدى جودة تعلم الطالب للمادة.
الإعدادات (عادات الدراسة): قاموا بتغيير حجم النموذج (صغير مقابل كبير)، وطول الجمل (طول السياق)، والرياضيات المستخدمة لتصحيح الأخطاء (المحسنات - optimizers).
- النتيجة: سواء درس الطالب لمدة 10 دقائق أو 10 ساعات، أو استخدم قلماً أحمر أو أزرق، فإن العلاقة بين التدريب والدرجات النهائية ظلت كما هي.

3. "الشيء الواحد" الذي يهم: البيانات

بينما لم تهم بنية الدماغ أو القاموس أو عادات الدراسة، فإن الكتاب المدرسي نفسه غير كل شيء.

التشبيه: تخيل طالبين. الطالب (أ) يقرأ كتاباً مدرسياً عن الطهي. الطالب (ب) يقرأ كتاباً مدرسياً عن الفيزياء الفلكية.
- حتى لو كان لدى الطالب (أ) دماغ يشبه الكمبيوتر الخارق، وكان لدى الطالب (ب) دماغ يشبه الآلة الحاسبة البسيطة، فإن الطالب (أ) سيكون بارعاً في الطهي وسيئاً جداً في الفيزياء الفلكية. والطالب (ب) سيكون العكس تماماً.
- وجدت الورقة أن تغيير بيانات ما قبل التدريب (الكتاب المدرسي) يزيح خط الأداء بأكمله. إذا دربت النموذج على بيانات تعليمية عالية الجودة (مثل "FineWeb-Edu")، فسوف يؤدي بشكل أفضل في المهام الواقعية. وإذا دربته على بيانات فوضوية، فسوف يؤدي بشكل أسوأ.

الخلاصة للممارسين

تختتم الورقة برسالة واضحة لكل من يبني ذكاءً اصطناعياً:

توقف عن الهوس بالبنية (Architecture) وابدأ بالهوس بالبيانات.

إذا كنت تريد نموذجاً يؤدي بشكل جيد في المهام الواقعية، فأنت لا تحتاج إلى اختراع نوع جديد من الأدمغة أو تعديل إعدادات الرياضيات. أنت بحاجة إلى تنسيق مجموعة بيانات أفضل.

البيانات هي المحرك. هي التي تحدد الوجهة.
البنية والإعدادات هي مجرد السيارة. يمكنك استبدال السيارة بسيارة فيراري أو هوندا لجعل الرحلة أكثر كفاءة أو أقل تكلفة، ولكن إذا وضعت خريطة خاطئة (بيانات) في نظام الـ GPS، فستصل في النهاية إلى المكان الخاطئ.

باختصار: البيانات تحدد الوجهة؛ وكل شيء آخر يحدد فقط مدى كفاءتك في الوصول إلى هناك.

ملخص تقني: النماذج اللغوية الكبيرة على الخط: البيانات هي التي تحدد قوانين التدرج من الخسارة إلى الخسارة

بيان المشكلة

لقد وجهت قوانين التدرج (Scaling laws) تطوير النماذج اللغوية الكبيرة (LLMs) تقليديًا من خلال تقدير التوازن الأمثل بين حجم النموذج، وعدد الرموز (tokens)، وميزانية الحوسبة (المقاسة بـ FLOPs) لتقليل خسارة التدريب أو التحقق. ومع ذلك، فإن هذه القوانين التي تربط "الحوسبة بالخسارة" لا تتنبأ بشكل موثوق بالأداء في المهام اللاحقة. وبينما قدمت الأعمال الحديثة "قوانين التدرج من الخسرة إلى الخسارة" (loss-to-loss scaling laws) — وهي علاقات بين خسارة التدريب/التحقق وخسارة الاختبار في المهام اللاحقة — لتحديد فهم أفضل للتعميم، إلا أن الدراسات الحالية تظل محصورة إلى حد كبير في إعدادات معمارية أو تكوينات تدريب واحدة. وبناءً على ذلك، يظل من غير الواضح أي العوامل (مثل المعمارية، والمجزئ النصي (tokenizer)، وحجم النموذج، وإعدادات التحسين) تؤثر بشكل سببي على شكل وقابلية انتقال اتجاهات التدرج من الخسارة إلى الخسارة.

المنهجية

يجري المؤلفون تحليلاً سببياً واسع النط النطاق يتضمن أكثر من 6,000 نقطة تفتيش للنماذج (checkpoints) للتحقيق في العوامل التي تقود التدرج من الخسارة إلى الخسارة. وتوسع منهجيتهم العمل السابق (Brandfonbrener et al., 2024; Du et al., 2025) من خلال التدخل المنهجي في متغيرات متعددة عبر معماريات متنوعة وإعدادات تدريب مختلفة.

الإعداد التجريبي:

المعماريات: تقارن الدراسة بين النماذج القائمة على المحولات (Transformer-based) مثل (Llama-3, GPT variants) ونماذج فضاء الحالة (State-Space Models) مثل (Mamba, Mamba2).
مجموعات البيانات: يتم تدريب النماذج على مجموعات بيانات تدريب مسبق متنوعة، بما في ذلك FineWeb-Edu، وC4، وThe Pile (بنسخها الأصلية، والمزالة التكرار منها، وغير المحمية بحقوق الطقوق)، وRefinedWeb.
المجزئات النصية (Tokenizers): تُجرى المقارنات بين tiktoken (بقاموس 128 ألف) وgpt2/gpt-neox (حوالي 50 ألف).
التدخلات: يقوم المؤلفون بدراسات استئصال (ablation studies) على:
- توزيع بيانات التدريب المسبق.
- اختيار المجزئ النصي.
- معمارية النموذج (Transformer مقابل State-Space).
- حجم النموذج (تغيير العمق والعرض).
- طول السياق (1024، 2048، 3076 رمزاً).
- إعدادات التحسين (Adam مقابل AdamW، معدلات التعلم، اضمحلال الوزن، وجداول معدل التعلم مثل Cosine وWSD).
التقييم: يُقاس الأداء باستخدام الخسارة في المهام اللاحقة (مثل HellaSwag، وARC، وMMLU) ومجموعات التحقق. ولضمان المقارنة العادلة بين المجزئات النصية، يتم تطبيع الخسارة إلى بت لكل بايت (BPB).
النمذجة: يقوم المؤلفون بملاءمة قوانين القوة المزاحة (shifted power laws) للبيانات، باتباع الصيغة:
$L_y \approx K \cdot (L_x - E_{x|p})^\kappa + E_{y|p}$
حيث $L_x$ و $L_y$ هما الخسارتان في مجموعات بيانات مختلفة، و $E$ يمثل الخطأ غير القابل للاختزال.

المساهمات والنتائج الرئيسية

1. التدرج من الخسارة إلى الخسارة يتبع قوانين القوة المزاحة

عبر جميع المعماريات، ومجموعات البيانات، وتكوينات التدريب، تتبع العلاقة بين خسارة التدريب/التحقق وخسارة الاختبار اللاحقة باستمرار قانون قوة مزاحاً. ويظل هذا صحيحاً حتى بالنسبة لمجموعات البيانات التي لا يحقق فيها النموذج دقة عالية أبداً (مثل Mamba على ARC-Challenge)، مما يؤكد متانة التدرج من الخسارة إلى الخسارة كمعيار لسلوك التعميم.

2. بيانات التدريب المسبق هي العامل المهيمن

النتيجة الأكثر أهمية هي أن توزيع بيانات التدريب المسبق هو المحدد الأساسي لاتجاه التدرج من الخسارة إلى الخسارة.

يؤدي تغيير مجموعة بيانات التدريب المسبق (على سبيل المثال، من FineWeb-Edu إلى C4 أو The Pile) إلى إحداث تحولات جوهرية في منحنى التدرج.
حتى التغييرات الطفيفة، مثل إزالة التكرار من The Pile، تغير التوزيع الأساسي بما يكفي لإزاحة قانون التدرج.
هذا يعني أن "التحيز الاستقرائي" الذي يحكم التعميم مشفر بشكل كبير في توزيع البيانات بدلاً من معمارية النموذج.

3. المعمارية، والمجزئ النصي، والمعلمات الفائقة لها تأثير ضئيل

على النقييد من البيانات، فإن خيارات التصميم الأخرى لها تأثير ضئيل أو معدوم على اتجاه التدرج:

المعمارية: النماذج ذات التحيزات الاستقرائية المختلفة جذرياً، مثل المحولات (Llama) ونماذج فضاء الحالة (Mamba)، تظهر منحنيات تدرج من الخسرة إلى الخسارة متطابقة تقريباً عند تدريبها على نفس البيانات والمجزئ النصي.
المجزئ النصي: تغيير المجزئ النصي (مثل tiktoken مقابل gpt2) يؤدي إلى اختلافات طفيفة فقط في منحنيات التدرج، بشرط تطبيع الخسارة بالبايت.
حجم النموذج وطول السياق: تغيير عدد المعلمات (من ~60 مليون إلى ~2.8 مليار) وأطوال السياق (1024 إلى 3076) لا يغير بشكل معنوي علاقة التدرج.
التحسين: التغييرات في المحسنات (Adam/AdamW)، ومعدلات التعلم، واضمحلال الوزن، والجداول الزمنية لا تؤثر على معاملات التدرج.

4. التعميم النقطي

توضح الدراسة أنه إذا حقق إعدادان مختلفان للتدريب (على سبيل المثال، معماريات أو أحجام مختلفة) خسائر تدريب مماثلة على نفس بيانات التدريب المسبق، فإنهما سيظهران أداء اختبار لاحق متطابقاً تقريباً. يشير هذا إلى أن معماريات النماذج اللغوية الكبيرة الحالية قد تتقارب نحو حلول متشابهة بالنظر إلى نفس البيانات، مما يجعلها تشترك فعلياً في تحيزات استقرائية مماثلة فيما يتعلق بالتعميم.

الأهمية والادعاءات

تجادل الورقة بأن تركيز المجال على الابتكار المعماري لتحسين التعميم قد يكون في غير محله. بدلاً من ذلك، يزعم المؤلفون أن تنظيم البيانات هو المحرك الأساسي للأداء في المهام اللاحقة والمتانة.

للممارسين: تشير النتائج إلى أن على الممارسين إعطاء الأولوية للتنظيم الدقيق لمجموعات بيانات التدريب المسبق لتحسين الأداء في المهام اللاحقة. وبمجرد اختيار مجموعة بيانات عالية الجودة، يمكن تحسين المعماريات وإعدادات التدريب بحرية من أجل كفاءة التدريب (على سبيل المثال، اختيار معماريات أسرع مثل Mamba أو ضبط المعلمات الفائقة) دون خوف من التأثير سلباً على التعميم اللاحق.
الآثار النظرية: تتحدى النتائج فكرة أن المعماريات المختلفة تشفر تحيزات استقرائية متميزة فيما يتعلق بالتعميم. بدلاً من ذلك، تقترح أن توزيع البيانات هو الذي يملي سلوك التعميم، بينما تعمل المعماريات أساساً كمقدرات دالة فعالة لتلك البيانات.

يحافظ المؤلفون على موقف متواضع، معترفين بأن استنتاجاتهم تستند إلى الإعدادات المحددة التي تم استكشافها (دوال الخسارة القياسية، والتدريب التقليدي). ويشيرون إلى أن نماذج التدريب المبتكرة (مثل النمو الهيكلي أو دوال الخسارة المختلفة) قد تظل قادرة على إحداث سلوكيات تدرج جديدة، ولكن ضمن حدود أفضل الممارسات الحالية، تظل البيانات هي العامل الحاسم.