💬 NLP

InfoLaw: Information Scaling Laws for Large Language Models with Quality-Weighted Mixture Data and Repetition

تقدم الورقة البحثية InfoLaw، وهو إطار عمل جديد للتوسع يعتمد على البيانات ويقوم بنمذجة مرحلة ما قبل التدريب كعملية تراكم للمعلومات للتنبؤ بدقة بأداء النماذج اللغوية الكبيرة عبر توليفات بيانات وأوزان جودة ومستويات تكرار متفاوتة، مما يتيح الاختيار الأمثل لوصفات البيانات حتى في حالات الإفراط في التدريب أو محدودية البيانات.

المؤلفون الأصليون: Fengze Liu, Weidong Zhou, Binbin Liu, Ping Guo, Zijun Wang, Bingni Zhang, Yifan Zhang, Yifeng Yu, Xiaohuan Zhou, Taifeng Wang

نُشر 2026-05-06

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Fengze Liu, Weidong Zhou, Binbin Liu, Ping Guo, Zijun Wang, Bingni Zhang, Yifan Zhang, Yifeng Yu, Xiaohuan Zhou, Taifeng Wang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة بحث "InfoLaw" باستخدام لغة بسيطة وتشبيهات من الحياة اليومية.

المشكلة الكبرى: هل الكثير من الشيء الجيد يعتبر مشكلة؟

تخيل أنك تحاول تعليم طالب (ذكاء اصطناعي) كيف يكتب بشكل جيد. لديك مكتبة ضخمة من الكتب، لكن القليل منها فقط هي كتب كلاسيكية عالية الجودة حقاً، بينما البقية متوسطة أو عادية فحسب.

في الماضي، اعتقد الباحثون أن أفضل استراتيجية هي إعطاء الطالب الكتب الكلاسيكية عالية الجودة فقط. ولكن هناك عقبة: لا يوجد ما يكفي من الكتب الكلاساسية لملء جدول دراسة الطالب بالكامل. إذا أجبرت الطالب على قراءة نفس الـ 100 كتاب كلاسيكي مراراً وتكراراً لملء الوقت، فسيشعر بالملل في النهاية، ويبدأ في تكرار نفس العبارات، ويتراجع أداؤه فعلياً. وهذا ما يسمى بـ "التكرار" (Repetition).

من ناحية أخرى، إذا خلطت بعض الكتب الأقل جودة لملء الوقت، سيتعلم الطالب تنوعاً أكبر، لكنه قد يكتسب بعض العادات السيئة.

السؤال الكبير هو: كم يجب أن نكرر الكتب عالية الجودة، وكم يجب أن نخلط من الكتب الأقل جودة؟

الطريقة القديمة: التخمين باستخدام خريطة معطلة

سابقاً، استخدم العلماء "قوانين القياس" (Scaling Laws) للتنبؤ بمدى جودة أداء الذكاء الاصطناعي. فكر في هذه القوانق كخريطة تقول: "إذا درست لمدة 10 ساعات، ستحصل على تقدير B؛ وإذا درست لمدة 100 ساعة، ستحصل على تقدير A".

ومع ذلك، تجادل الورقة البحثية بأن هذه الخريطة القديمة تتعطل عندما تبدأ في تكرار نفس البيانات عالية الجودة.

الخلل: تفترض الخريطة القديمة أن زيادة وقت الدراسة تعني دائماً درجات أفضل. وهي لا تأخذ في الاعتبار حقيقة أن قراءة نفس الكتاب 50 مرة يتوقف عن المساعدة بعد المرة الخامسة الأولى.
النتيجة: عندما حاول الباحثون استخدام الخريطة القديمة للتنبؤ بأداء ذكاء اصطناعي ضخم، كانت الخريطة متفائلة للغاية. فقد توقعت أن يحصل الذكاء الاصطناعي على درجات مثالية، ولكن في الواقع، ارتبك الذكاء الاصطناعي وأدى أداءً سيئاً لأنه علق في حلقة مفرغة من التكرار.

الحل الجديد: "InfoLaw" (ميزان حرارة المعلومات)

قدم المؤلفون إطار عمل جديداً يسمى InfoLaw. بدلاً من مجرد عد "كم عدد الساعات" التي درسها الذكاء الاصطناعي (أو عدد الرموز/tokens التي رآها)، يقيس InfoLaw "كم مقدار المعلومات الجديدة" التي تعلمها الذكاء الاصطناعي بالفعل.

إليك كيف بنوا ذلك:

أوعية المكتبة: قاموا بفرز مكتبتهم الضخمة من النصوص إلى 6 أوعية بناءً على الجودة (من "الذهب" إلى "النفايات").
وصفة الخلط: أنشأوا "وصفات" مختلفة للتدريب. بعض الوصفات كانت تتكون من 80% كتب ذهبية (مع الكثير من التكرار)، وأخرى كانت مزيجاً من الكتب الذهبية والفضية (تكرار أقل).
الاكتشاف: وجدوا أن تعلم الذكاء الاصطناعي يتبع نمطاً محدداً:
- كثافة الجودة: الكتب عالية الجودة تعطي "دفعة معلوماتية" هائلة في المرة الأولى التي تقرأها فيها.
- تناقص العوائد: في كل مرة تقرأ فيها كتاباً مرة أخرى، تصبح الدفعة أصغر فأصغر، مثل بطارية تنفد طاقتها. في النهاية، قراءة الكتاب مرة أخرى لا تضيف أي قيمة تذكر.
- المعادلة: أنشأوا معادلة رياضية تحسب "إجمالي المعلومات" التي امتصها الذكاء الاصطناعي من خلال الجمع بين جودة الكتب وعدد مرات تكرارها.

النتيجة السحرية: خط مستقيم واحد

الجزء الأكثر إثارة للإعجاب في الورقة البحثية هو ما حدث عندما رسموا نتائجهم باستخدام مقياس "المعلومات" الجديد بدلاً من مجرد "الوقت المستغرق".

قبل: عندما رسموا النتائج بناءً على الوقت، كانت نقاط البيانات مبعثرة في كل مكان. كانت الوصفة ذات التكرار العالي تبدو مختلفة تماماً عن وصفة التكرار المنخفض.
بعد: عندما رسموا النتائج بناءً على المعلومات، انكمشت جميع النقاط المبعثرة لتصبح خطاً مستقيماً واحداً مثالياً.

هذا يعني أنه بغض النظر عن "الوصفة" التي تستخدمها (جودة عالية مع تكرار، أو جودة مختلطة)، إذا كنت تعرف إجمالي "المعلومات" التي امتصها الذكاء الاصطناعي، يمكنك التنبؤ بدقة بكيفية أدائه.

ماذا يمكننا أن نفعل بهذا؟

بسبب امتلاكهم لهذا الخط المستقيم المثالي (InfoLaw)، يمكنهم الآن القيام بأمرين مفيدين للغاية دون الحاجة لإنفاق ملايين الدولارات لتدريب نماذج ضخمة أولاً:

التنبؤ بالمستقبل: يمكنهم تدريب نموذج صغير ورخيص (مثل نموذج بـ 250 مليون معلمة) باستخدام وصفة معينة. وباستخدام InfoLaw، يمكنهم التنبؤ بدقة بكيفية أداء نموذج ضخم (بـ 7 مليارات معلمة) باستخدام نفس تلك الوصفة.
إيجاد الوصفة المثالية: يمكنهم استخدام المعادلة لحساب "المزيج الأمثل". وقد وجدوا أن:
- النماذج الصغيرة (أو الميزانيات الصغيرة) يجب أن تركز بشدة على البيانات عالية الجودة، حتى لو تطلب الأمر تكرارها قليلاً.
- النماذج الكبيرة (أو الميزانيات الكبيرة) تستفيد أكثر من التنوع. يجب عليها خلط المزيد من البيانات منخفضة الجودة لتجنب "الملل" الناتج عن التكرار.

تشبيه الملخص

فكر في تدريب الذكاء الاصطناعي مثل طهي الحساء (المرق).

الطريقة القديمة: أنت تقيس فقط مدة غلي القدر. تفترض أن 10 ساعات هي دائماً أفضل من ساعة واحدة. لكن إذا استمررت في إضافة نفس حبات البطاطس الثلاث مراراً وتكراراً، سيصبح طعم الحساء غريباً ومالحاً جداً (التكرار يفسد المذاق).
InfoLaw: هذه الطريقة تقيس النكهة الفعلية المستخلصة من المكونات. هي تعرف أن الساعة الأولى من الغلي تستخلص 90% من نكهة البطاطس، لكن الساعة العاشرة لا تستخلص شيئاً تقريباً.
الفائدة: الآن، بدلاً من التخمين حول كمية الملح وعدد حبات البطاطس التي يجب إضافتها لقدر ضخم من الحساء، يمكنك استخدام "معادلة النكهة" لحساب الوصفة المثالية فوراً، مما يوفر عليك إضاعة المكونات والوقت.

الخلاصة: تثبت الورقة البحثية أنه لتدريب ذكاء اصطناعي أفضل، لا ينبغي أن ننظر فقط إلى كمية البيانات التي نستخدمها، بل إلى مقدار المعلومات الجديدة التي توفرها تلك البيانات، خاصة عندما نضطر لتكرار البيانات عالية الجودة. وهذا يسمح لنا بالتنبؤ بالأداء بدقة واختيار أفضل مزيج من البيانات لأي حجم من نماذج الذكاء الاصطناعي.

ملخص تقني: InfoLaw

بيان المشكلة

تواجه عملية تدريب النماذج اللغوية الكبيرة (LLMs) قيوداً متزايدة بسبب ندرة البيانات عالية الجودة. وبينما يؤدي رفع وزن البيانات عالية الجودة في مرحلة ما قبل التدريب إلى تحسين الأداء بشكل عام، فإن الأنظمة التي تعاني من نقص البيانات تفرض ضرورة تكرار هذه العينات. وتشير الأدبيات الحالية إلى أن التكرار المفرط يؤدي إلى عوائد متناقصة وتدهور محتمل في الأداء. علاوة على ذلك، تفشل قوانين القياس القياسية (Scaling Laws)، التي تربط عادةً خسارة النموذج بالحوسبة أو عدد الرموز (tokens)، في التنبؤ بدقة عبر مختلف وصفات خلط البيانات أو في ظل ظروف التكرار. هذا الفشل يجعل اختيار وصفات البيانات المثلى عند النطاقات الكبيرة أمراً غير محدد، مما يتطلب غالباً عمليات بحث شبكية (grid searches) مكلفة فوق تكوينات البيانات.

المنهجية

يقدم البحث InfoLaw (قوانين قياس المعلومات)، وهو إطار عمل للقياس مدرك للبيانات، مصمم للتنبؤ بخسارة النموذج بناءً على الرموز المستهلكة، وحجم النموذج، وأوزان خلط البيانات، ومستويات التكرار. الفرضية النظرية الأساسية هي نمذجة ما قبل التدريب كعملية تراكم للمعلومات حيث:

تتحكم جودة البيانات في كثافة المعلومات: تساهم البيانات ذات الجودة الأعلى بمزيد من المعلومات لكل رمز.
يؤدي التكرار إلى عوائد متناقصة تعتمد على المقياس: يوفر التعرض المتكرر مكاسب معلوماتية تتناقص تدريجياً.

إطار عمل InfoLaw

يعرف إطار العمل مقياساً يسمى المعلومات ($info$)، والذي يجمع المعرفة المتعلمة من مجموعة بيانات التدريب. تتضمن عملية الحساب ما يلي:

كثافة الجودة ( $f_d$ ): دالة معلمية حيث يتم تخصيص كثافة معلومات أعلى لـ "دلاء" الجودة الأعلى (الفهرس $d$ الأقل). يقوم البحث بملاءمة دالة اضمحلال أسي $f_d(\theta) = e^{-\theta \cdot d}$ .
اضمحلال معدل التعلم ( $\lambda(N)$ ): معامل معدل يعتمد على عدد عمليات الـ FLOPs غير المتعلقة بالتمثيل (non-embedding) لكل رمز في النموذج ( $N$ ). ينمذج البحث هذه العلاقة كدالة لوغاريتمية $\lambda(N) = a \cdot \ln(N) + b$ ، مما يلتقط تشبع القدرة التعلمية مع زيادة حجم النموذج.
عامل التكرار ( $R_d$ ): متوسط عدد المرات التي يتم فيها رؤية الرموز من دلو جودة معين، ويُحسب بناءً على عدد الرموز المستهدف ( $K$ )، وعدد رموز المصدر ( $S$ )، وأوزان الخلط ( $w$ ).

يتم صياغة إجمالي المعلومات المتعلمة كالتالي:
$info = \sum_{d} f_d M_d \log(K) \left(1 - e^{-\lambda(N) R_d / \log(K)}\right)$
حيث $M_d$ هو عدد الرموز الفريدة في الدلو $d$ .

أخيراً، يضع إطار العمل علاقة قانون القوة (power-law) بين خسارة التحقق للنموذج ( $L$ ) والمعلومات المحسوبة:
$L = \alpha \cdot info^{-\beta}$

الإعداد التجريبي

لملاءمة معاملات InfoLaw، أنشأ المؤلفون مجموعة بيانات تتنوع عبر ثلاثة محاور: المقياس، توزيع الجودة، ومستوى التكرار.

مصدر البيانات: 3.7 تريليون رمز إنجليزي من Common Crawl، تم تقسيمها إلى ستة دلاء جودة بناءً على درجات المصنف.
أخذ العينات: تم استخدام دالة أخذ عينات "LayerMix" لبناء مجموعات تدريب بأوزان خلط متنوعة ( $w$ ) ومستويات تكرار مختلفة (عن طريق ضبط حجم المصدر $S$ بالنسبة للحجم المستهدف $K$ ).
التدريب: تم تدريب 9 نماذج تتراوح أحجامها من 252 مليون إلى 1.2 مليار معلمة من الصفر تحت نسبة إعادة تدريب قدرها 3.6 ضعف.
التقييم: تم قياس الأداء كمتوسط "الارتباك" (perplexity) عبر خمس مهام لاحقة (HellaSwag, ARC-E/ARC-C, MMLU, TriviaQA).

المساهمات الرئيسية

تحديد فشل قوانين القياس: يوضح البحث أن قوانين القياس التقليدية (الخسارة مقابل الحوسبة) تخطئ بشكل منهجي في التنبؤ تحت ظروف تكرار البيانات، مما يعطي توقعات متفائلة للغاية للنماذج الأكبر.
صياغة InfoLaw: إطار عمل مبتكر يوحد وصفات البيانات المختلفة وأحجام النماذج المختلفة ضمن منحنى قانون قوة واحد عبر استبدال "الحوسبة" بمقياس "معلومات مدرك للجودة والتكرار".
ملاءمة المعلمات والتحقق: قام المؤلفون بملاءمة معاملات كثافة الجودة واضمحلال التعلم باستخدام تجارب صغيرة النطاق (252 مليون – 1.2 مليار) وتحققوا من قدرة الإطار على التنبؤ بالأداء لوصفات بيانات غير مرئية وأحجام نماذج أكبر (تصل إلى نماذج 7 مليار معلمة مدربة على 425 مليار رمز).

النتائج

دقة التنبؤ: يتنبأ InfoLaw بخسارة التحقق لوصفات بيانات غير مرئية وأحجام أكبر (حتى نماذج 7 مليار) بمتوسط خطأ مطلق قدره 0.15% وأقصى خطأ مطلق قدره 0.96%.
قدرات الاستقراء (Extrapolation):
- الوصفات غير المرئية: يتنبأ النموذج بدقة بالخسارة لأوزان الخلط التي لم تُشاهد أثناء التدريب (مثل MLQ, MHQ).
  _ * الأحجام الأكبر: تظل التنبؤات صالحة للنماذج حتى 7 مليار معلمة، متفوقة بشكل كبير على قوانين القياس التقليدية التي تتباعد عند ميزانيات حوسبة أعلى.
- إعادة التدريب المفرط العالية: يستعرض الإطار بنجاح الاستقراء إلى نظام إعادة تدريب بمقدار 25 ضعفاً، حيث يؤدي درجة إعادة التدريب المفرط بشكل أساس Pe إلى إزاحة تقاطع المنحنى بدلاً من تغيير شكله.
التحسين (Optimization): باستخدام InfoLaw الملائم، بحث المؤلفون عن وصفة البيانات المثلى لنموذج بحجم 2.5 مليار معلمة دون الحاجة لعمليات تدريب إضافية. وقد تفوقت الوصفة المحددة على أربعة نماذج مرجعية تم اختيارها عشوائياً.
الاتجاهات العامة: يكشف التحليل أن النماذج الأصغر أو ميزانيات التدريب الأصغر تعطي الأولوية للبيانات عالية الجودة، بينما تستفيد النماذج الأكبر أو الميزانيات الأكبر أكثر من تنوع البيانات (تخصيص جزء أصغر لأعلى دلو جودة).

الأهمية والادعاءات

يدعي البحث أن InfoLaw يوفر أداة موثوقة لاختيار وصفات البيانات تحت ميزانيات حوسبية متغيرة، مما يلغي الحاجة إلى تجارب مكثفة قائمة على التجربة والخطأ. ومن خلال النمذجة الدقيقة للتفاعل بين جودة البيانات، والتكرار، ومقياس النموذج، يتيح إطار العمل استراتيجيات تدريب مسبق أكثر كفاءة في الأنظمة التي تعاني من نقص البيانات. ويؤكد المؤلفون أن طريقتهم تقدم بديلاً أكثر قوة لقوانين القياس التقليدية للتنبؤ بالأداء في السيناريوهات التي تتضمن خلطات جودة موزونة وتكراراً، مما يسهل اكتشاف تكوينات البيانات المثلى للنماذج التي تتراوح من مئات الملايين إلى المليارات من المعلمات.

يخلص البحث إلى أنه بينما تعتمد عملية تقسيم البيانات الحالية على استدلالات تجريبية، وأن التفسير النظري لإزاحة إعادة التدريب المفرط يظل سؤالاً مفتوحاً، فإن InfoLaw يلتقط بفعالية المقايضات الأساسية في قياس النماذج اللغوية الكبيرة، مما يوفر مساراً عملياً لاستخدام البيانات بشكل أكثر كفاءة.