Memorization Dynamics of Fill-in-the-Middle Pretraining

ملخص تقني: ديناميكيات الحفظ في مرحلة ما قبل التدريب بنظام "الملء في المنتصف" (Fill-in-the-Middle)

بيان المشكلة
من المعروف أن النماذج اللغوية الكبيرة (LLMs) تعيد إنتاج بيانات التدريب حرفياً، بما في ذلك المعلومات الخاصة والنصوص المحمية بحقوق الطبع والنشر. وبينما يعد التكرار مؤشراً رئيسياً على الحفظ، إلا أن التأثير المحدد لأهداف ما قبل التدريب على هذه الظاهرة لا يزال غير مستكشف بشكل كافٍ. تستخدم النماذج اللغوية السببية القياسية هدفاً يعتمد على الترتيب من اليسار إلى اليمين (LTR)، حيث تتنبأ بالرموز (tokens) بناءً على السياق السابق فقط. في المقابل، يُعد "الملء في المنتصف" (FIM) هدفاً مستخدماً على نطاق واسع لقدرات الإكمال (مثل Code Llama وStarCoder)، حيث يتم التنبؤ بنطاق أوسط مستهدف باستخدام سياقي البادئة واللاحقة (prefix and suffix) يفصل بينهما رموز علامية (sentinel tokens). تبحث هذه الورقة في كيفية تغيير هدف FIM لديناميكيات الحفظ الحرفي مقارنة بتدريب LTR القياسي، وتتساءل تحديداً عما إذا كان FIM يغير توزيع الاحتمالات للنطاقات المستخرجة، ودور السياق (البادئة مقابل اللاحقة)، والاعتماد على عدد مرات التكرار.

المنهجية
يجري المؤلفون دراسة مضبوطة تقارن بين نماذج Llama 3.2 متطابقة (بمقاييس 3 مليار و1 مليار معلمة) تم تدريبها على مصادر بيانات وبنيات متطابقة ولكن بأهداف ما قبل تدريب مختلفة.

• بناء البيانات: يجمع متن التدريب بين FineWeb (100 مليار رمز) ومجموعة فرعية محكومة من مقتطفات Project Gutenberg. لعزل تأثيرات الحفظ، تم تصفية مقتطفات Gutenberg لإزالة النوافذ المسبقة الحفظ أو الشاذة، ثم تقسيمها إلى 12 "سلة تكرار" تتراوح من تعرض واحد إلى 128 تعرضاً.
• أنظمة التدريب: تم إنشاء متنين من نفس البيانات. حافظ متن LTR على الترتيب التلقائي القياسي. أما متن FIM فقد أعاد كتابة الأمثلة إلى تنسيق بادئة–لاحقة–منتصف باستخدام رموز علامية، مع نقاط تقسيم عشوائية لنسخ FIM المكررة لضمان التعرض على مستوى المستند بدلاً من التعرض لنطاق ثابت. تم تدريب النماذج لدورة واحدة (حوالي 103 مليار رمز) بنسبة تقسيم 95%/5% لـ FineWeb/Gutenberg.
• التقييم:
  • الأداء اللاحق: تم التقييم باستخدام 8 مهام من LM Evaluation Harness لضمان أن اختلافات الحفظ لم تكن ناتجة عن فجوات في القدرات العامة.
  • استقصاء البادئة فقط (Prefix-Only Probing): تم استعلام النماذج بـ 100 رمز بادئة للتنبؤ بنطاق مستهدف مكون من 32 رمزاً. شملت المقاييس احتمالية الاستخراج الدقيق ($p_z$) ودرجات ROUGE-L.
  • استقصاء FIM الأصلي (Native FIM Probing): تم استعلام النماذج في تنسيق FIM الأصلي الخاص بها، مع تغيير نسبة البادئة إلى اللاحقة (على سبيل المثال، 100/0، 50/50، 0/100) لتحديد مساهمة كل جانب في الحفظ.
  • تحليل الانتباه (Attention Analysis): تم تحليل أوزان الانتباه لفهم كيفية تخصيص النماذج للتركيز بين البادئة، واللاحقة، والرموز المستهدفة التي تم توليدها سابقاً.

المساهمات والنتائج الرئيسية
تكشف الدراسة عن ملفات تعريف متميزة للحفظ لكل من FIM وLTR:

1. ملفات استخراج متباعبة:

   • نماذج LTR: تظهر توزيعاً "ثقيل الذيل" (heavy-tailed) للاحتمالات. فهي أكثر عرضة لتخصيص ثقة عالية للاستمرارات الطويلة والدقيقة. وبناءً على ذلك، تحقق نماذج LTR معدلات أعلى من الاستخراج الدقيق الصارم ($p_z \ge 0.1\%$) عبر جميع المجالات.
   • نماذج FIM: توزع الكتلة الاحتمالية بشكل أوسع عبر عمليات إعادة البناء الجزئية. وبينما تستخرج نوافذ أقل وفقاً لمعايير الاستخراج الدقيق الصارم، إلا أنها تظهر قدرة أقوى على استعادة التداخل العالي (ROluğu-L) ومعدلات دعم أعلى في top-k، خاصة للنطاقات الأقصر أو عند ارتفاع عدد التكرارات.
   • ديناميكيات التكرار: يظهر استخراج LTR عوائد متناقصة (نمو لوغاريتمي) مع زيادة التكرارات. بينما ينمو استخراج FIM بشكل أكثر خطية مع التكرارات. ومع ذلك، فإن طول النطاق المطلوب ليتفوق FIM على LTR في معدلات الاستخراج يزدير مع طول النطاق المستهدف؛ فالنطاقات الأطول تفضل التوزيع ثقيل الذيل الخاص بـ LTR.

2. الاعتماد على السياق في FIM الأصلي:

   • خلافاً للحدس الذي يشير إلى أن FIM يستخدم كلا الجانبين بالتساوي، فإن سياق البادئة هو المحرك المهيمن للحفظ في نماذج FIM.
   • يظهر استقصاء FIM الأصلي أن دعم الحفظ يتحسن بشكل رتيب مع انتقال ميزانية السياق من اللاحقة إلى البادئة.
   • استبدال البادئة الحقيقية بنطاق مشتت يكاد يقضي على الحفظ، في حين أن استبدال اللاحقة له تأثير أقل بكثير. وهذا يشير إلى أنه حتى في تدريب FIM، يظل الاستدعاء الحرفي مرتبطاً بقوة بسياق البادئة، بشكل مشابه لنماذج LTR.

3. آليات الانتباه:

   • تخصص نماذج FIM انتباهاً أكبر للبادئة وأقل للرموز المستهدفة التي تمت رؤيتها سابقاً مقارنة بنماذج LTR.
   • عندما يكون سياق البادئة شحيحاً، تعوض نماذج FIM ذلك من خلال التركيز بشكل أكبر على الرموز السابقة للنطاق المستهدف، لكن هذا لا يستعيد تماماً قوة الحفظ التي يوفرها السياق الأصلي للبادئة.

الأهمية والادعاءات
تدعي الورقة أن هدف ما قبل التدريب يشكل بشكل أساسي كيفية تراكم الحفظ. وبينما صُمم FIM لتحسين فائدة الإكمال، فإنه لا يكتفي بمجرد "إضافة" سياق اللاحقة إلى حفظ LTR؛ بل يخلق ملف تعريف مختلف للحفظ حيث:

• يكون الحفظ أبطأ في التراكم مبدئياً، ولكنه يمكن أن يتجاوز أداء LTR في استخراج النطاقات القصيرة عند ارتفاع عدد التكرارات.
• يتم استبدال الطبيعة "ثقيلة الذيل" لحفظ LTR (التي تفضل المطابقات الدقيقة الطويلة) بتوزيع أوسع في FIM (الذي يفضل المطابقات الجزئية).
• والأهم من ذلك، تُظهر الدراسة أن تقييم الحفظ باستخدام طول نطاق واحد أو تنسيق استقصاء واحد (مثل البادئة فقط) يمكن أن يغفل تفاصيل مهمة. فقد يبدو النموذج أقل عرضة للحفظ تحت معيار الاستخراج الدقيق الصارم، ولكنه معرض بشدة لاستعادة التداخل العالي تحت استقصاء FIM.

يخلص المؤلفون إلى أنه بالنسبة للنماذج ذات قدرات الإكمال، فإن مخاطر الحفظ ليست موحدة؛ فهي مرتبطة بسياق البادئة ولكنها تظهر بشكل مختلف اعتماداً على هندسة الاستخراج وتاريخ التكرار. وهذا يشير إلى أن عمليات تنقية البيانات وتدقيق الحفظ للنماذج القادرة على الإكمال يجب أن تأخذ في الاعتبار هذه الديناميكيات المحددة بدلاً من الاعتماد فقط على مقاييس LTR.

القيود
يشير المؤلفون إلى أن دراستهم محدودة بنماذج ذات مقاييس متقدمة (3 مليار و1 مليار معلمة) ولا يمكن تعميمها على النماذج الضخمة الرائدة. كما أن أعداد التكرار توقفت عند 128، مما يمنع تحليل الحدود التقاربية. وعلاوة على ذلك، نظراً للتقسيم العشوائي لأمثلة FIM أثناء التدريب، لا يمكن للدراسة تتبع التعرضات الدقيقة لنطاقات مستهدفة معينة، مما يحد من القدرة على إجراء نسب دقيق لتعرضات محددة.