To Memorize or to Retrieve: Scaling Laws for RAG-Considerate Pretraining

إليك ملخص تقني مفصل للورقة البحثية بعنوان "للحفظ أم للاسترجاع: قوانين القياس للتدريب المسبق الذي يأخذ في الاعتبار الاسترجاع المعزز (RAG)."

1. بيان المشكلة

تعامل قوانق القياس الحالية للنماذج اللغوية الكبيرة (LLMs) مجموعة بيانات التدريب ك مورد متجانس، بافتراض أن جميع البيانات يتم استهلاكها بارامترياً (أي تُضغط داخل أوزان النموذج). ومع ذلك، فإن التوليد المعزز بالاسترجاع (RAG) يقدم درجة جديدة من الحرية: حيث يمكن الاحتفاظ بجزء من البيانات كمخزن بيانات خارجي والوصول إليه وقت الاستنتاج.

المشكلة الجوهرية التي تعالجها الورقة هي مقايضة تخصيص الموارد تحت ميزانية بيانات ثابتة. بالنظر إلى مجموعة بيانات مكونة من $N$ من الرموز (tokens)، كيف ينبغي تقسيم البيانات بشكل مثالي بين:

1. بيانات التدريب المسبق ($D$): لبناء المعرفة البارامترية (الأوزان الداخلية).
2. مخزن الاسترجاع ($R$): لبناء المعرفة غير البارامترية (الفهرس الخارجي).

لقد درست الأعمال السابقة قوانين القياس للتدريب المسبق وفوائد RAG بشكل منفصل، ولكن لا يوجد تحليل منهجي حول كيفية تفاعل هذين الآليتين أو تنافسهما على نفس ميزانية البيانات عبر مختلف أحجام النماذج وأنواع المهام.

2. المنهجية

الإعداد التجريبي

• النماذج: قام المؤلفون بتدريب نماذج لغوية قائمة على OLMo-2 تتراوح أحجامها من 30 مليون إلى 3 مليار بارامتر.
• البيانات: استخدموا 100 مليار رمز من مجموعة بيانات DCLM (DataComp-LM).
• المقاييس المتغيرة:
  • بيانات التدريب المسبق ($D$): تباينت من 1x إلى 150x عدد بارامترات النموذج.
  • مخزن الاسترجاع ($R$): تباينت من 1x إلى 20x عدد البارامترات، وتم إنشاؤها من شرائح محتجزة من نفس مجموعة بيانات DCLM.
• بناء الفهرس: تم استخدام FAISS مع فهرسة IVPQ. تم إنشاء التضمينات (embeddings) باستخدام Qlen3-Embedding-8B. تم بناء مخزن الاسترجاع من مجموعات فرعية منفصلة من المجموعة لضمان مقارنات قياس محكومة (المخازن الأصغر هي مجموعات جزئية صارمة من المخازن الأكبر).
• التقييم: تم التقييم عبر مجموعة متنوعة من الاختبارات تشمل الاستنتاج (PIQA, StrategyQA)، والأسئلة العلمية (SciQ, OpenBookQA)، والأسئلة مفتوحة المجال (Natural Questions, SimpleQA).
• المقاييس: المقياس الأساسي هو الارتباك (Perplexity - PPL) بدلاً من الدقة. يوفر PPL مقياساً مستمراً ومعيارياً للطول يلتقط التحسينات التدريجية بشكل أفضل من الدقة المنفصلة، والتي غالباً ما تظهر سلوكاً يشبه الخطوات.

النهج النمذجي

يقترح المؤلفون قانون قياس ثلاثي الأبعاد ينمذج الخسارة $L$ كدالة لـ حجم النموذج ($N$)، ورموز التدريب المسبق ($D$)، ورموز الاسترجاع ($R$).

قاموا بتوسيع قانون القياس القوي القياسي (Kaplan et al., 2020; Hoffmann et al., 2022) بإضافة حد ربح لوغاريتمي للاسترجاع:
$$L(N, D, R) = A \left(\frac{N}{10^9}\right)^{-\alpha} + B \left(\frac{D}{10^9}\right)^{-\beta} - C \log\left(1 + \eta \frac{R}{10^9}\right) + L_0$$

حيث أن:

• $\alpha, \beta$: أسس القياس لحجم النموذج والبيانات.
• $C, \eta$: المعلمات التي تحكم مقدار ومعدل تشبع أرباح الاسترجاع.
• $L_0$: أرضية الخسارة غير القابلة للاختزال.

3. المساهمات الرئيسية

1. إطار قياس موحد: تقديم فضاء قياس ثلاثي الأبعاد ينمذج الأداء كدالة مشتركة لحجم النموذج، ورموز التدريب المسبق، وحجم مجموعة رموز الاسترجاع.
2. تكميم القابلية للاستبدال: تعريف مقياس ($\sigma$) يمثل عدد رموز التدريب المسبق التي يتم توفيرها مقابل كل رمز استرجاع. يسمح هذا بحساب "ميزانية التدريب المسبق المكافئة" التي يوفرها مخزن الاسترجاع.
3. تحديد نقاط التقاطع: اكتشاف عتبة تعتمد على المقياس حيث يصبح الاسترجاع بديلاً فعالاً للتدريب المسبق.
4. التحليل المعتمد على المهمة: إثبات أن فائدة الاسترجاع ليست موحدة؛ فهي تختلف بشكل كبير بناءً على نوع المهمة (واقعية مقابل استنتاجية) وتشبع النموذج.

4. النتائج الرئيسية

أ. الاسترجاع كبديل للتدريب المسبق

• عتبة التقاطع: يكون الاسترجاع غير فعال في استبدال التدريب المسبق في الأنظمة ذات البيانات المنخفضة. ومع ذلك، بعد عتبة تبلغ حوالي 4.14 من رموز التدريب المسبق لكل بارامتر ($D/N \approx 4.14$)، يصبح الاسترجاع بديلاً عالي الكفاءة.
• الأرباح اللوغاريتمية الخطية: في نظام التشبع، يمكن لكل رمز استرجاع استبدال عدة رموز تدريب مسبق، مع نمو الأرباح بشكل لوغاريتمي خطي.
• تناقص العوائد: بينما يظل الاسترج𝙖ع بديلاً فعالاً عند المقاييس الكبيرة، فإن الفائدة الهامشية المطلقة (تقليل الخسارة لكل وحدة من بيانات الاسترجاع) تتناقص مع نمو النماذج وزيادة تشبعها.

ب. الاعتماد على المقياس والمهمة

• النماذج الصغيرة تستفيد أكثر: النماذج الأصغر (مثل 30 مليون) تحقق أكبر فائدة هامشية من الاسترجاع. ومع زيادة حجم النموذج (حتى 3 مليار)، تتناقص الفائدة الهامشية للاسترجاع.
• حساسية المهام:
  • المهام كثيفة المعرفة: تظهر مهام مثل CommonsenseQA و SimpleQA قابلية استبدال عالية ($\sigma$)، مما يعني أن الاسترجاع يستبدل بفعالية الحاجة إلى حفظ الحقائق.
  • المهام كثيفة الاستنتاج: تظهر مهام مثل PIQA و StrategyQA مكاسب ضعيفة أو سلبية من الاسترجاع. يشير المؤلفون إلى أن هذه المهام تعتمد على قدرات الاستنتاج الداخلية بدلاً من استرجاع الحقائق الخارجية.

ج. جودة الاسترجاع

• اختبرت الدراسة صياغات الاستعلام (السؤال فقط مقابل السؤال + الإجابة الذهبية). في حين أن الاسترجاع الأفضل (على طراز Oracle) يحسن الأداء، إلا أنه لا يغير جذرياً اتجاهات القياس. يشير هذا إلى أن المقايضات الملاحظة مدفوعة بـ تخصيص موارد البيانات وليس فقط بدقة الاسترجاع.

ด 5. الأهمية والآثار المترتبة

• إعادة التفكير في تخصيص البيانات: تجادل الورقة ضد الافتراض بأن جميع البيانات المتاحة يجب ضغطها في الأوزان. بدلاً من ذلك، تقترح تحسيناً مشتركاً للتدريب المسبق والاسترجاع تحت ميزانية ثابتة للحوسبة/البيانات.
• إرشادات التصميم:
  • للنماذج الأصغر أو غير المدربة كفاية: تخصيص جزء كبير من ميزانية البيانات لمخزن الاسترجاع هو أمر فعال للغاية، ويمكنه استبدال التدريب المسبق الضخم.
  • للنماذج الكبيرة والمشبعة: تتناقص العائد الهامش على الاسترجاع، مما يشير إلى تحول نحو التعلم البارامتري للمهام التي تعتمد على الاستنتاج.
• التوافق المعرفي: تعكس النتائج الإدراك البشري، حيث يتم استيعاب الاستنتاج المجرد داخلياً (بارامترياً) بينما يتم إسناد استدع الحقائق إلى ذاكرة خارجية (غير بارامترية).
• الأنظمة المستقبلية: توفر هذه العمل أساساً كمياً لتصميم خطوط إنتاج تدريب مسبق "تأخذ في الاعتبار RAG"، حيث يتم تقسيم المجموعات صراحةً إلى بيانات للاستيعاب الداخلي مقابل بيانات للوصال الخارجي، مما يحسن كلاً من تكلفة التدريب وكفاءة الاستنتاج.

باختصار، تثبت هذه الورقة أن الاسترجاع والتدريب المسبق ليسا خيارين تصميميين مستقلين، بل هما آليتان متنافستان لتخزين المعرفة. يعتمد التخصيص الأمثل على مقياس النموذج، ومتطلبات المهمة المحددة، ودرجة تشبع التدريب المسبق.