ملخص تقني: اللعب الذاتي القائم على الفرق مع التوزين التكيفي المزدوج لضبط النماذج اللغوية الكبيرة (LLMs)

بيان المشكلة

أدت أساليب التدريب الذاتي الأخيرة لمواءمة النماذج اللغوية الكبيرة (LLMs) إلى تقليل الاعتماد على البيانات المصنفة بشرياً، لكنها تواجه عقبتين حرجتين تعيقان فعاليتها:

1. الحساسية تجاه جودة البيانات الاصطناعية: غالباً ما تعاني أساليب التدريب الذاتي التكرارية من عدم الاستقرار وتضخيم الانحياز. فهي تفشل في الاستفادة الكاملة من مسار التدريب المتراكم للنموذج، مما يؤدي إلى انتشار الأخطاء والانحيازات عبر التكرارات المتعاقبة.
2. تقلص فجوات التحسين: تستخدم معظم الأساليب أهدافاً مشابهة لـ "تحسين التفضيل المباشر" (DPO)، والتي تعمل على تحسين العينات الإيجابية والسلبية بشكل مشترك. ومع ذلك، مع تقدم التدريب، غالباً ما تتضاءل التفرقة بين الاستجابات الإيجابية (المصنفة بشرياً) والاستجابات السلبية (التي ولدها النموذج). يؤدي هذا إلى بيانات تفضيل مشوشة، حيث تنخفض احتمالات كلا نوعي الاستجابات، مما ينتج عنه تحديثات غير مثالية للسياسة وانحراف عن توزيع الاستجابة المستهدف.

المنهجية: TPAW

يقترح المؤلفون اللعب الذاتي القائم على الفرق مع التوزين التكيفي المزدوج (TPAW)، وهو خوارزمية لعب ذاتي مبتكرة مصممة للعمل في بيئة ذاتية الإشراف بالكامل، تبدأ من نموذج ضبط دقيق تحت الإشراف (SFT). يتكون الإطار من مكونين رئيسيين:

1. إطار اللعب الذاتي القائم على الفرق

على عكس اللعب الذاتي التقليدي حيث يتنافس نموذج واحد ضد نفسه، يعيد TPAW صياغة العملية كعبة تنافسية بين فريقين يتكونان من نقاط تفتيش تاريخية (Historical Checkpoints):

• فريق الخصم: يتكون من آخر ثلاثة نماذج تاريخية للسياسة ($\pi_{\theta_t}, \pi_{\theta_{t-1}}, \pi_{\theta_{t-2}}$). تقوم هذه النماذج بتوليد استجابات ($y_{gen}$) لتكون بمثابة عينات سلبية.
• فريق اللاعبين الرئيسيين: فريق مركب يتكون من نموذج السياسة الحالي وإصداراته التاريخية. دورهم هو التمييز بين الاستجابات المستهدفة الحقيقية ($y$ من مجموعة بيانات SFT) والاستجابات المولدة بواسطة النموذج اللغوي الكبير ($y_{gen}$).
• الآلية: من خلال الاستفادة من نقاط التفتيش التاريخية كخصوم ولاعبين رئيسيين، يضيف الإطار التنوع والمتانة التنافسية. إن تضمين مسار التدريب يعمل كمنظم ضمني، مما يثبت عملية التعلم ويخفف من تراكم الأخطاء.

2. آلية التوزين التكيفي المزدوج

لمعالجة مشكلات تقلص الفجوات والبيانات المشوشة، يقدم TPAW استراتيجيتين ديناميكيتين للتوزين:

• التوزين التكيفي للاستجابة المستهدفة (TRW):

  • المشكلة المعالجة: منع النموذج من تقليل احتمالية الاستجابات المستهدفة عندما تصبح مشابهة للاستجابات المولدة.
  • الآلية: إذا كانت درجة اللاعب الرئيسي للاستجابة المستهدفة ($P_j(x, y)$) منخفضة (مما يشير إلى أن النموذج يواجه صعوبة في التمييز)، يتم زيادة وزن $\alpha_j$ لتلك الاستجابة المستهدفة (يتم ضبطه عند معامل $\eta > 1$). هذا يجبر النموذج على إعادة ملاءمة التوزيع المستهدف بشكل أكثر قوة، مما يكافح الميل للانحراف بعيداً عن الاستجابات الشبيهة بالبشر.

• التوزين التكيفي للاعب الرئيسي (MPW):

  • المشكلة المعالجة: منع التدريب غير الأمثل حيث قد تفرط نقاط التفتيش القديمة في التخصيص (Overfitting) أو قد تكون النقاط الجديدة غير مدربة بشكل كافٍ.
  • الآلية: يتم وزن مساهمة كل لاعب رئيسي بناءً على "هامش التفضيل" الخاص به ($m_j = P_j(x, y) - P_j(x, y_{gen})$). اللاعبون الذين لديهم هوامش أصغر (قدرة تمييز أضعف) يتم تخصيص أوزان أعلى لهم عبر دالة softmax مع معامل حساسية $\gamma$. يضمن هذا أن اللاعبين الذين يعانون من التمييز بين الاستجابات يتلقون إشارة تدرج (Gradient Signal) أكبر، مما يوازن ديناميكيات تعلم الفريق.

يعمل هدف التدريب الإجمالي على تجميع خسائر جميع اللاعبين الرئيسيين مقابل مجموعة بيانات الخصم، ويتم تحديثه بشكل تكراري دون الحاجة إلى تسميات بشرية إضافية.

المساهمات الرئيسية

1. إطار اللعب الذاتي القائم على الفرق: أول طريقة لعب ذاتي توحد نقاط التفتيش التاريخية للسياسة في كل من فرق الخصم واللاعبين الرئيسيين. يتغلب هذا على قيود التدريب الذاتي أحادي النموذج من خلال تحسين المسارات التدريبية التاريخية بالكامل.
2. آلية التوزين التكيفي المزدوج: مخطط مبتكر يحسن هدفين بشكل مشترك:
   • موازنة القدرة التمييزية مع المواءمة مع التوزيع المستهدف عبر إعادة توزين الاستجابة التكيفي.
   • تعيين أوزان التأثير ديناميكياً لأعضاء الفريق بناءً على نقاط قوتهم التمييزية في الوقت الفعلي.
3. التقدم التجريبي والنظري: يثبت البحث أن TPAW يعزز بشكل كبير نماذج SFT الموائمة جيداً، متفوقاً على النماذج المرجعية التي تدربت على مجموعات بيانات مماثلة عبر عدة اختبارات معيارية. كما يؤكد أن TPAW يستغل مجموعات بيانات SFT بشكل أفضل لتحقيق مواءمة أقرب مع توزيع الاستجابة المستهدف.

النتائج التجريبية

قيم المؤلفون TPAW باستخدام Qwen2.5-1.5B و Llama3.1-8B كنماذج أساسية، تم تدريبهما على مجموعة فرعية من مجموعة بيانات Ultrachat200k (50 ألف عينة) ومجموعة بيانات GSM8K.

• أداء لوحة القادة المفتوحة للنماذج اللغوية الكبيرة (Open LLM Leaderboard): تفوق TPAW باستمرار على النماذج المرجعية SFT وDPO وSPIN عبر الإصدارين الأول والثاني من لوحة القادة.
  • على نموذج Qwen2.5-1.5B، حقق TPAW مكاسب كبيرة مقارنة بـ SPIN، مع تحسينات تصل إلى 4.37% في IFEval و3.79% في GSM8k.
  • على نموذج Llama3.1-8B، أظهر TPAW أداءً فائقاً في الاختبارات الصعبة مثل MUSR وIFEval.
  • والجدير بالذكر أن TPAW حقق هذه النتائج باستخدام ربع حجم البيانات المستخدمة في نماذج DPO المرجعية ودون أي تسميات تفضيل إضافية.
• التكيف مع مجال GSM8K: عند الضبط الدقيق على GSM8K، حقق TPAW زيادة في الدقة بنسبة 5.69% عن نموذج SFT الأولي بحلول التكرار الرابع، مما أظهر استقراراً وفعالية في مهام الاستدلال الخاصة بالمجال.
• دراسات الاستئصال (Ablation Studies): أدى إزالة إما آلية الفريق أو مكونات التوزين التكيفي المزدوج إلى تدهور كبير في الأداء، مما أكد ضرورة كلا المكونين.
• كفاءة التدريب: أظهر TPAW إنتاجية تدريب أعلى (تسريع بنسبة 110% لكل خطوة) مقارنة بـ SPIN بسبب استراتيجية الحساب المسبق للاحتمالية اللوغاريتمية التي تخفف العبء عن ذاكرة وحدة معالجة الرسومات (GPU) أثناء الانتشار العكسي لنقاط التفتيش التاريخية.

الأهمية والادعاءات

يزعم البحث أن TPAW يوفر نموذجاً قابلاً للتوسع وفعالاً لمواءمة النماذج اللغوية الكبيرة بأقل قدر من الإشراف البشري. ومن خلال الاستفادة الفعالة من نقاط التفتيش التاريخية وتعديل أوزان التعلم ديناميكياً، يقلل TPAW من عدم الاستقرار وتضخيم الانحياز الشائع في التدريب الذاتي التكراري. ويؤكد المؤلفون أن طريقتهم تسم تتيح للنماذج تجاوز سقف الأداء لنماذج SFT وSPIN القياسية، وتحقيق مخرجات تتماشى بشكل أوثق مع التوزيعات المستهدفة دون الحاجة إلى نماذج مكافأة معقدة أو بيانات تفضيل موسومة بشرياً على نطاق واسع.

يسلط العمل الضوء على أنه بينما يظل الأداء مرتبطاً بجودة مجموعة بيانات SFT الأولية، فإن نهج TPAW القائم على الفريق والتوزين التكيفي يقدم مساراً قوياً لصقل قدرات النموذج بطريقة ذاتية الإشراف.