IRIS: Interpolative Rényi Iterative Self-play for Large Language Model Fine-Tuning

إليك ملخص تقني مفصل لورقة البحث بعنوان: "IRIS: Interpolative Rényi Iterative Self-play for Large Language Model Fine-Tuning" (التعلم الذاتي التكراري عبر استيفاء ريني لضبط النماذج اللغوية الكبيرة).

1. بيان المشكلة

يتم توجيه النماذج اللغوية الكبيرة (LLMs) عادةً لتتوافق مع التفضيلات البشرية باستخدام التعلم المعزز من التغذية الراجعة البشرية (RLHF) أو تحسين التفضيلات المباشر (DPO). ومع ذلك، تعتمد هذه الأساليب على مجموعات بيانات تفضيل منسقة ومكلفة يصعب توسيع نطاقها. يقدم أسلوب الضبط الذاتي (Self-Play Fine-Tuning - SPIN) حلاً عبر السماح للنماذج بالتحسن دون الحاجة إلى تعليقات بشرية جديدة، وذلك من خلال صياغة عملية الضبط الدقيق كـ "لعبة" يتعلم فيها النموذج الحالي التمييز بين الاستجابات البشرية وتوليداته السابقة.

على الرغم من وعود هذا الأسلوب، تعاني طرق SPIN الحالية من ديناميكيات تعلم غير مثالية بسبب اعتمادها على نظام تباعد ثابت (مثل تباعد KL، أو تباعد JS، أو تباعد $\chi^2$).

• تباعد KL: يوفر تدرجات سلسة في المراحل المبكرة، لكنه يفقد الحساسية مع تقارب التوزيعات، مما يؤدي إلى تلاشي التدرجات.
• تباعد $\chi^2$: يوفر تمييزاً دقيقاً عند التقارب، ولكنه قد يبالغ في معاقبة القيم المتطرفة في البداية، مما يسبب عدم الاستقرار.
• تباعد Jensen-Shannon (JS): يضمن الاستقرار عبر التصنيف المستقل، ولكنه يفتقر إلى الحساسية في المراحل المتأخرة.

لا يوجد تباعد ثابت واحد يوفر الأداء الأمثل عبر جميع مراحل التدريب. المشكلة الجوهرية تكمن في غياب إطار عمل موحد يمكنه تكييف هندسة التباعد مع الفجوة التوزيعية المتطورة بين النموذج والبيانات المستهدفة.

2. المنهجية: IRIS

يقترح المؤلفون إطار IRIS (Interpolative Rényi Iterative Self-play)، وهو إطار عمل موحد يعتمد على تباعد ريني (Rényi divergence - $D_\alpha$)، والذي يقوم باستيفاء (interpolation) مختلف أنظمة التباعد بشكل مستمر عبر معامل الترتيب $\alpha$.

أ. هدف IRIS

يبني IRIS دالة خسارة (loss function) تتحلل إلى حدين مستقلين على البيانات المنسقة (الحقيقية) والبيانات الاصطناعية (المولدة بواسطة النموذج)، باستخدام مبدأ المخاطرة المائلة (tilted risk). تُعرف دالة الهدف $L_{IRIS}(\theta; \alpha)$ كما يلي:

$$L_{IRIS}(\theta; \alpha) = -\frac{1}{\alpha-1} \log \mathbb{E}_{y \sim p_{data}} \left[ e^{(\alpha-1)r(x,y)} \right] + \frac{1}{\alpha} \log \mathbb{E}_{y' \sim p_{\theta_t}} \left[ e^{\alpha r(x,y')} \right]$$

حيث أن:

• $r(x, \hat{y}) = \log p_\theta(\hat{y}|x) - \log p_{\theta_t}(\hat{y}|x)$ هو مكافأة نسبة اللوغاريتم (log-ratio reward).
• الحد الأول هو مخاطرة مائلة سالبة على البيانات الحقيقية (تشجع المكافآت العالية للاستجابات البشرية).
• الحد الثاني هو مخاطرة مائلة على البيانات الاصطناعية (تعاقب المكافآت العالية للاستجابات المولدة بواسطة النموذج).
• $\alpha > 0, \alpha \neq 1$ هو معامل ترتيب ريني.

الخصائص الرئيسية:

1. النقطة الثابتة (Fixed Point): يتم الوصول إلى الحد الأدنى العالمي عندما يكون $p_\theta = p_{data}$، مما يضمن التقارب.
2. بنية التدرج (Gradient Structure): يتضمن التدرج أوزان أهمية أسية ($\tilde{w} \propto \exp((\alpha-1)r)$). يعمل هذا كآلية انتباه قابلة للتفاضل، حيث تركز التعلم على العينات المعلوماتية.
3. التوحيد (Unification): من خلال تغيير قيمة $\alpha$، يستعيد IRIS الطرق الموجودة كحالات خاصة:
   • $\alpha \to 1$: يستعيد تباعد KL (مثل SPIN، T-SPIN، DRIFT).
   • $\alpha = 2$: يستعيد تباعد $\chi^2$ (مثل SPIF، SPPO).
   • $\alpha = 1/2$: يستعيد مسافة هيلينجر (نظام جديد يركز على تغطية النمط/mode-covering).
   • $\alpha = 1$ (عبر حد NCE): يستعيد تباعد Jensen-Shannon (مثل SPACE، SGALM).

ب. جدول الترتيب التكيفي (Adaptive Order Schedule)

بدلاً من تثبيت $\alpha$، يقدم IRIS جدولاً تكيفياً $\alpha_t$ يعدل هندسة التباعد بناءً على الفجوة التوزيعية الحالية.

• تغذية راجعة من الفجوة التوزيعية: $\alpha_t = 1 + c \cdot \hat{D}_t$، حيث $\hat{D}_t$ هي فجوة المكافأة المتوقعة بين البيانات الحقيقية والاصطناعية.
  • التدريب المبكر (فجوة كبيرة): تكون $\alpha_t$ كبيرة (مثلاً $\approx 3$)، مما يعزز استكشاف تغطية النمط (mode-covering exploration) ويركز الأوزان على العينات ذات الفجوة العالية.
  • التدريب المتأخر (فجوة صغيرة): تنخفض $\alpha_t$ نحو 1، لتنتقل إلى التحسين السلس (smooth refinement) مع تدرجات موحدة (نظام KL) لتجنب عدم الاستقرار قرب التقارب.
• التخميد الهندسي (Geometric Annealing): بديل أبسط يقوم بالاستيفاء من $\alpha_{max}$ إلى $\alpha_{min}$ عبر التكرارات.

3. المساهمات الرئيسية

1. التوحيد النظري: تثبت الورقة أن أهداف اللعب الذاتي المتنوعة (SPIN، SPACE، SPIF) ليست سوى أنظمة محددة من عائلة تباعد ريني، مما يوفر منظوراً نظرياً موحداً.
2. إطار عمل IRIS: يقترح إطار عمل جديد للعب الذاتي ذو هدف قابل للتعديل المستمر وجدول ترتيب تكيفي يختار ديناميكياً التباعد الأمثل لمرحلة التدريب الحالية.
3. التحليل النظري: يثبت خاصية النقطة الثابتة لـ IRIS ويحلل كيف يتحكم $\alpha$ في تركيز التدرج وأوزان الأهمية.
4. التفوق التجريبي: يثبت أن IRIS يتفوق على النماذج المرجعية القوية عبر عدة اختبارات وأحجام نماذج، محافظاً على تحسينات مستقرة عبر التكرارات حيث تتوقف الطرق الأخرى أو تتدهور.

4. النتائج التجريبية

أُجريت التجارب على Zephyr-7B و Qwen2.5-3B-Instruct عبر عشرة اختبارات (بما في ذلك GSM8K، MATH، MMLU، IFEval، إلخ).

• الأداء: حقق IRIS أعلى متوسط درجات. في Zephyr-7B، وصل إلى 44.57% في التكرار الرابع، متفوقاً على T-SPIN (43.56%)، وSPACE (42.40%)، وSPIN (41.17%).
• الاستقرار: على عكس SPIN وSPIF، اللذين أظهرا تدهوراً في الأداء أو ثباتاً (plateauing) في التكرارات المتأخرة، حافظ IRIS على تحسن رتيب (monotonic improvement).
• كفاءة البيانات: نتيجة حاسمة هي أن IRIS الذي تدرب على 26 ألف عينة منسقة فقط (خلال تكرارين) تفوق على الضبط الدقيق الخاضع للإشراف (SFT) القياسي المدرب على كامل الـ 200 ألف عينة.
• دراسات الاستئصال (Ablation Studies):
  • أدت قيم $\alpha$ الثابتة (مثل 0.5، 1.5، 2.0) إلى مقايضات بين الاستقرار والعدوانية.
  • تفوق جدول "التغذية الراجعة من الفجوة التوزيعية" على التخميد الهندسي، مما أكد أن التكيف مع إشارة التدريب الفعلية أفضل من المسار المحدد مسبقاً.
  • أظهرت ديناميكيات التدريب أن IRIS نجح في زيادة المكافآت على البيانات الحقيقية مع تقليلها على البيانات الاصطناعية، متجنباً "انهيار المكافأة" (reward collapse) الذي تلاحظه الطرق القائمة على الفجوات.

5. الأهمية

يمثل IRIS تقدماً كبيراً في مواءمة النماذج اللغوية الكبيرة من خلال معالجة القصور الجوهري في أساليب اللعب الذاتي ذات التباعد الثابت.

• رؤية نظرية: يجسد الفجوة بين خوارزميات اللعب الذاتي المتباينة، موضحاً أنها نقاط على خط مستمر يتحكم فيه ترتيب ريني.
• الأثر العملي: من خلال ضبط هدف التعلم ديناميكياً، يُمكّن IRIS النماذج من استخراج قيمة أكبر من البيانات المنسقة المحدودة، مما يقلل تكلفة المواءمة.
• القابلية للتوسع: يتوافق أسلوب IRES مع قواعد كود اللعب الذاتي الحالية، حيث يتطلب فقط استبدال وحدة الخسارة (loss module)، مما يجعله سهل الاعتماد في عمليات التدريب واسعة النطاق مستقبلاً.

باختصار، يحل IRIS مشكلة "الحل الواحد للجميع" في الضبط الدقيق للعب الذاتي عبر تقديم آلية تكيفية قائمة على أسس رياضية، تعمل على تحسين مسار التعلم من مرحلة الاستكشاف إلى مرحلة التحسين.