RIFT: Repurposing Negative Samples via Reward-Informed Fine-Tuning

إليك ملخص تقني مفصل لورقة البحث بعنوان "RIFT: إعادة توظيف العينات السلبية عبر الضبط الدقيق الموجه بالمكافأة (Reward-Informed Fine-Tuning)."

1. بيان المشكلة

يعتمد محاذاة النماذج اللغوية الكبيرة (LLM) عادةً على الضبط الدقيق الخاضع للإشراف (SFT) باستخدام بيانات خبراء عالية الجودة، أو الضبط الدقيق بالاستعيان بالرفض (RFT)، الذي يقوم بتصفية العينات المولدة ذاتياً بناءً على عتبة جودة معينة. يعاني كلا النهجين من عدم كفاءة كبيرة:

• ندرة البيانات والتكلفة: يتطلب الـ SFT عروضاً توضيحية من خبراء منسقة ومكلفة.
• هدر البيانات: يقوم الـ RFT بالتخلص من جميع العينات "السلبية" (التي تقع تحت العتبة)، مما يؤدي إلى هدر الموارد الحسابية المستخدمة لتوليدها وفقدان معلومات قيمة حول أوضاع فشل النموذج.
• عدم استقرار التدريب: تؤدي المحاولات الساذجة لدمج العينات السلبية في دالة الخسارة (على سبيل المثال، ضرب الاحتمالية اللوغاريتمية في مكافأة سالبة) إلى انفجار التدرج (Gradient Explosion). فبينما يحاول النموذج تقليل احتمالية العينة السلبية (الاحتمالية $\to 0$)، تقترب قيمة التدرج من اللانهاية، مما يسبب انهيار التدريب والنسيان الكارثي.

2. المنهجية: الضبط الدقيق الموجه بالمكافأة (RIFT)

إن RIFT هو إطار عمل مصمم للاستفادة من جميع المسارات المولدة ذاتياً (الإيجابية والسلبية على حد سواء) عن طريق إعادة وزن دالة الخسارة بناءً على المكافآت القياسية، مع ضمان الاستقرار العددي.

المفهوم الجوهري

بدلاً من التخلص من العينات السلبية (كما يفعل RFT) أو تجاهلها (كما يفعل SFT القياسي)، يقوم RIFT بتعيين مكافأة قياسية $r$ لكل استجابة $y$ معطاة للمدخل $x$:

• المكافأة الإيجابية ($r > 0$): تشجع النموذج على زيادة احتمالية الاستجابة.
• المكافأة السلبية ($r < 0$): تشجع النموذج على تقليل احتمالية الاستجابة.

الابتكار النظري: صياغة الخسارة المستقرة

تحدد الورقة أن دالة الخسارة الموزونة بالإشارة بشكل ساذج $L_{naive} = -E[r \cdot \log \pi_\theta(y|x)]$ غير مقيدة من الأسفل بالنسبة للمكافآت السلبية. فعندما $\pi_\theta(y|x) \to 0$، فإن التدرج $\frac{\partial L}{\partial \pi} \to \infty$، مما يؤدي إلى عدم الاستقرار.

لحل هذه المشكلة، يقدم RIFT دالة خسارة هجينة تفصل بين العينات الإيجابية والسلبية:

1. بالنسبة للعينات الإيجابية ($D^+$): تحافظ على هدف الاحتمالية اللوغاريتمية السالبة (NLL) القياسي لتعظيم الاحتمالية.
   $$-E_{D^+}[r \cdot \log \pi_\theta(y|x)]$$
2. بالنسبة للعينات السلبية ($D^-$): تستبدل المصطلح اللوغاريتمي بـ تقريب احتمالي خطي (بناءً على مفكوك تايلور من الدرجة الأولى لـ $\log u \approx u-1$).
   $$-E_{D^-}[r \cdot \pi_\theta(y|x)]$$
   ملاحظة: بما أن $r < 0$، فإن الحد $-r$ يكون موجباً. تقليل هذا الحد يجبر $\pi_\theta(y|x)$ على الاقتراب من 0، لكن التدرج يظل ثابتاً ($\nabla \pi = -r$) بدلاً من الانفجار.

دالة خسارة RIFT النهائية:
$$L_{RIFT}(\theta) = -\sum_{(x,y) \in D^+} r(x,y) \log \pi_\theta(y|x) - \sum_{(x,y) \in D^-} r(x,y) \pi_\theta(y|x)$$

تضمن هذه الصياغة:

• القدرة على التحديد (Boundedness): مساهمة الخسارة من العينات السلبية مقيدة ضمن النطاق $[r, 0]$، مما يمنع التباعد إلى $-\infty$.
• الاستقرار: تظل تدرجات العينات السلبية محدودة حتى مع اقتراب الاحتمالات من الصفر.
• التحسين: تعمل بفعالية على تعظيم حد أدنى بديل للمكافأة المتوقعة.

3. المساهمات الرئيسية

• إطار عمل مبتكر: يقترح RIFT، وهو امتداد بسيط لـ SFT يعيد توظيف العينات السبية المرفوضة عبر إعادة التوزين الموجه بالمكافأة، مما يلغي الحاجة إلى التصفية الصارمة (Hard Thresholding).
• الاستقرار النظري: يوفر صياغة مستقرة للخسارة تعالج مشكلة انفجار التدرج المتأصلة في دمج المكافأة الساذج، مما يضمن تدريباً قوياً دون الحاجة إلى نماذج مرجعية.
• كفاءة البيانات: يثبت أن التعلم من بيانات مختلطة الجودة (مسارات صحيحة وخاطئة) يحقق تعميماً أفضل من تصفية البيانات، مما يحول "الإخفاقات" فعلياً إلى إشارات تعلم.
• كفاءة الموارد: على عكس تحسين التفضيل المباشر (DPO) أو الأساليب الأخرى القائمة على التعلم التعزيزي (RL)، لا يتطلب RIFT نموذجاً مرجعياً، مما يقلل بشكل كبير من ذروة استخدام الذاكرة.

4. النتائج التجريبية

قيم المؤلفون RIFT على معايسات الاستدلال الرياضي (GSM8K, MATH, Olympiad, AIME, إلخ) باستخدام نماذج أساسية متنوعة (Qwen2.5-Math, Qwen3, DeepSeek-R1-Distill).

• الأداء: تفوق RIFT باستمرار على النماذج المرجعية القوية (SFT, RFT, DFT, DPO, SimPO, KTO) عبر جميع أحجام النماذج.
  • على Qwen2.5-Math-1.5B (المدرب على MATH)، حقق RIFT دقة 37.0% في Mean@8، متفوقاً على DPO (31.0%) و RFT (25.6%) بفارق كبير.
  • على DeepSeek-R1-Distill-Qwen-1.5B، حقق RFT أعلى المكاسب، حيث حسن Mean@8 بمقدار +6.1% عن RFT و +1.2% عن DPO.
• التعميم: أظهر RIFT تعميماً فائقاً خارج التوزيع (OOD) مقارنة بـ SFT و DFT، اللذين غالباً ما يتراجع أداؤهما في الاختبارات الأكثر صعوبة.
• الكفاءة:
  • الذاكرة: قلل RIFT من ذروة استخدام ذاكرة الفيديو (VRAM) بنسبة تقارب 50% مقارنة بـ DPO (مثلاً، ~20 جيجابايت مقابل ~43 جيجابايت) لأنه لا يحمل نموذجاً مرجعياً.
  • الإنتاجية: التكلفة الحسابية مماثلة لـ SFT و RFT.
• المتانة: ظل RIFT مستقراً حتى مع النماذج الأساسية متوسطة القدرة التي فشل فيها RFT في توليد بيانات عالية الجودة كافية للتحسين الذاتي.

5. الأهمية

• تحول في النموذج الفكري: يتحدى RIFT نهج "التصفية والاستبعاد" القياسي لـ RFT، ويثبت أن العينات السلبية تحتوي على معلومات حاسمة لصقل الاستدلال وتصحيح الأخطاء في النماذج.
• القابلية للتوسع: من خلال إزالة الاعتماد على النماذج المرجعية وأزواج التفضيلات المكلفة، يوفر RIFT مساراً عالي القابلية للتوسع ومنخفض التكلفة لمحاذاة النماذج اللغوية الكبيرة، خاصة في المجالات ذات المكافآت القابلة للتحقق (مثل الرياضيات والبرمجة).
• العملية: الطريقة بسيطة في التنفيذ (تعديل على دالة الخسارة) ولا تتطلب بنية تحتية معقدة للتعلم التعزيزي، مما يجعلها متاحة للاستخدام الواسع في عمليات ما بعد التدريب (Post-training).

في الختام، يمثل RIFT بديلاً قوياً، وفعالاً في استخدام البيانات، وخفيف الوزن حسابياً لطرق المحاذاة الحالية، مما يمكن النماذج من التعلم بفعالية من كامل طيف مخرجاتها المولدة.