RLHF in an SFT Way: From Optimal Solution to Reward-Weighted Alignment

إليك ملخص تقني مفصل لورقة البحث بعنوان "RLHF in an SFT Way: From Optimal Solution to Reward-Weighted Alignment" (التي تقترح منهجية VAR).

1. بيان المشكلة

يُعد التعلم المعزز من التغذية الراجعة البشرية (RLHF) المعيار القياسي لمواءمة النماذج اللغوية الكبيرة (LLMs) مع القيم البشرية (المفيدة وغير الضارة). ومع ذلك، تواجه الأساليب الحالية تحديات كبيرة:

• الأساليب عبر الإنترنت (مثل PPO وGRPO): تتطلب مسارات معقدة تتضمن نماذج متعددة (السياسة، المرجع، الناقد، والمكافأة)، وموارد حوسبة هائلة، وأخذ عينات عبر الإنترنت. وهي تعاني من عدم استقرار التدريب، وزمن انتقال عالٍ، وخطر مرتفع لانهيار النموذج.
• الأساليب دون الإنترنت (مثل DPO وKTO وA-LoL): رغم بساطتها، إلا أنها غالبًا ما تعتمد على خسائر تباينية أو أخذ عينات الأهمية (importance sampling) مما قد يؤدي إلى:
  • عدم استقرار التدريب: الناتج عن الأوزان السلبية في مشهد الخسارة (على سبيل المثال، عند معاقبة الاستجابات المرفوضة)، مما يؤدي إلى تحسين غير محدود.
  • الأداء دون الأمثل: تستخدم أساليب مثل PPO وA-LoL آليات "القص" (clipping) لتثبيت التدريب، مما يؤدي إلى تسطيح الفروق في المكافأة بين الاستجابات ذات القيم المتشابهة، ويمنع النموذج من الوصول إلى السياسة المثلى الحقيقية.
  • متطلبات البيانات: تتطلب بعض الأسالب أزواج تفضيلات عالية الجودة (مختار/مرفوض)، مما يترتب عليه تكاليف جمع البيانات.

المشكلة الجوهرية هي إيجاد طريقة مواءمة تضاهي أداء RLHF عبر الإنترنت ولكنها تحتفظ بكفاءة واستقرار الضبط الدقيق الموجه (SFT)، دون الوقوع في فخاخ الأوزان السلبية أو القص.

2. المنهجية: المواءمة التباينية مع إعادة الوزن (VAR)

يقترح المؤلفون VAR، وهو إطار عمل جديد يعيد صياغة RLHF كمسألة استدلال تبايني (variational inference) عبر مقاييس موجبة.

الأساس النظري

بدلاً من تحسين السياسة $\pi_\theta$ عبر هدف RLHF القياسي (تعظيم المكافأة المتوقعة ناقص تباعد KL)، يقوم VAR بتقليل تباعد KL الأمامي بين السياسة المثلى $\pi^*$ والسياسة المتعلمة $\pi_\theta$:
$$\min_\theta KL[\pi^* \parallel \pi_\theta] = \max_\theta \mathbb{E}_{\pi^*}[\log \pi_\theta(y|x)]$$

باستخدام الحل المغلق للسياسة المثلى لـ RLHF (المستمد من نموذج Bradley-Terry):
$$\pi^*(y|x) = \frac{1}{Z(x)} \pi_{ref}(y|x) \exp\left(\frac{1}{\beta} r(x, y)\right)$$

يطبق المؤلفون أخذ عينات الأهمية لإعادة كتابة الهدف بدلالة سياسة المرجع $\pi_{ref}$:
$$\mathbb{E}_{\pi^*}[\log \pi_\theta] = \mathbb{E}_{\pi_{ref}} \left[ \underbrace{\frac{\exp(r(x,y)/\beta)}{Z(x)}}_{\text{الوزن المدفوع بالمكافأة}} \cdot \log \pi_\theta(y|x) \right]$$

هذا يحول مهمة المواءمة إلى مسألة ضبط دقيق موجه (SFT) بوزن المكافأة.

الابتكارات التقنية الرئيسية

1. تحسين المقياس الموجب: على عكس DPO أو A-LoL، التي قد تخصص أوزانًا سلبية للاستجابات المرفوضة (مما يؤدي إلى خسارة غير محدودة)، يستخدم VAR تحويلًا أسيًا للمكافأة. وهذا يضمن أن تكون جميع الأوزان موجبة تمامًا، مما يضمن مشهد تحسين مستقر ومحدد جيدًا.
2. تقدير التقسيم داخل الدفعة (In-Batch Partition Estimation): يُعد حد التجزئة $Z(x)$ مكلفًا حسابيًا لحسابه عبر فضاء المخرات بأكمله. يقدر VAR قيمة $Z(x)$ باستخدام تقدير مونت كارلو داخل الدفعة الصغيرة (micro-batch):
   $$\hat{Z}(x_i) \approx \frac{1}{B} \sum_{j=1}^B \exp\left(\frac{1}{\beta} r(x_i, y_j)\right) \pi_{ref}(y_j|x_i)$$
   حيث $y_j$ هي عينات من نموذج المرجع ضمن الدفعة الحالية. هذا يتجنب الحاجة إلى أخذ عينات عبر الإنترنت أو أخذ عينات مسبقة لمجموعات بيانات ضخمة.
3. لا يوجد قص (No Clipping): لا تتطلب الطريقة نسب قص (كما في PPO) أو أوزانًا سلبية، مما يسمح للنموذج بتعلم التفضيلات الدقيقة بشكل طبيعي.

3. المساهمات الرئيسية

• صياغة جديدة: أول نهج يشتق مواءمة RLHF مباشرة من الحل الأمثل عبر الاستدلال التبايني، مما ينتج عنه خسارة SFT بسيطة بوزن المكافأة.
• الاستقرار عبر المقاييس الموجبة: من خلال القضاء على الأوزان السلبية والقص، يحل VAR مشكلات عدم استقرار التدريب المنتشرة في DPO وA-LoL.
• الكفاءة: يلغي الحاجة إلى أخذ العينات عبر الإنترنت، ونماذج الناقد، ومسارات RL المعقدة، محققًا سرعات تقارب أسرع بـ 5 مرات من GRPO.
• القابلية للتوسع: تسمح تقنية التجزئة داخل الدفعة للطريقة بالتوسع بكفاءة عبر أحجام نماذج مختلفة (من 0.5B إلى 32B بارامتر) دون عبء حوسبي كبير.

4. النتائج التجريبية

قيم المؤلفون VAR على معيار Helpful and Harmless Assistant (HHA) ومهام توليدية متنوعة (MMLU, GSM8k, HumanEval, BBH).

• الأداء مقابل DPO:
  • يتفوق VAR على DPO في معظم أحجام النماذج (سلسلة Llama وQwen).
  • في معايير HHA، حقق VAR تحسنًا متوسطًا بنسبة 7.16% في مقاييس الفائدة وعدم الضرر مقارنة بـ DPO.
  • يظهر VAR قدرة فائقة على الصمود عند البدء من النماذج الأساسية (Base models) (المدربة مسبقًا فقط)، بينما يعاني DPO غالبًا بدون خطوة SFT أولية.
• الأداء مقابل الأساليب عبر الإنترنت (GRPO):
  • يحقق VAR أداءً مشابهًا أو أفضل من أساليب GRPO عبر الإنترنت.
  • السرعة: VAR أسرع بأكثر من 5 مرات لكل دورة (epoch) من GRPO (على سبيل المثال، 37 دقيقة مقابل ساعتين و54 دقيقة لـ Qwen2.5-3B).
• استقرار التدريب:
  • تُظهر منحنيات مكافأة التحقق أن VAR يزداد بثبات، بينما يظهر DPO تقلبًا وانخفاضًا مبكرًا.
  • يحافظ VAR على أطوال تسلسل مخرجات مستقرة، بينما يميل DPO إلى توليد تسلسلات طويلة بشكل مفرط للتلاعب بدرجات المكافأة.
• المعايير التوليدية:
  • في MMLU وGSM8k وHumanEval، يتفوق VAR باستمرار على DPO وA-LoL، محققًا أعلى درجات متوسطة.
  • في Arena-Hard 0.1، يتفوق VAR بشكل كبير على DPO (معدل فوز 10.8% مقابل 8.6%)، مما يشير إلى أداء أفضل في المطالبات الصعبة وعالية الجودة.

5. الأهمية

يقلص هذا البحث الفجوة بين كفاءة SFT وأداء RLHF.

• الأثر العملي: يوفر بديلًا "جاهزًا للاستخدام" (plug-and-play) لمسارات RLHF المعقدة. يمكن للممارسين تحقيق نتائج مواءمة متطورة باستخدام بنية SFT القياسية، مما يقلل بشكل كبير من التكاليف الحوسبية والتعقيد الهندسي.
• الرؤية النظرية: يتحدى ضرورة الأوزان السلبية والقص في مواءمة التفضيلات، موضحًا أن هدفًا موجبًا بحتًا بوزن المكافأة كافٍ ومتفوق لتحقيق الاستقرار.
• الاتجاه المستقبلي: يشير العمل إلى أن "الحل الأمثل" لـ RLHF يمكن تقريبه مباشرة من خلال الاستدلال التبايني، مما قد يجعل حلقات RL المعقدة عبر الإنترنت غير ضرورية للعديد من مهام المواءمة.

باختصار، يوفر VAR طريقة قائمة على أسس رياضية، وفعالة حوسبيًا، ومستقرة للغاية لمواءمة النماذج اللغوية الكبيرة، مما يحل بفعالية مقايضة "الكفاءة مقابل الأداء" التي كانت تؤرق المجال.