ملخص تقني: جسر توزيع القدرة بين أخذ العينات، والمكافأة الذاتية عبر التعلم المعزز، والتقطير الذاتي

1. بيان المشكلة

أثارت التحليلات التجريبية الأخيرة تساؤلات حول ما إذا كان التعلم المعزز (RL) هو المحرك الأساسي لقدرات الاستنتاج الناشئة في النماذج اللغوية الكبيرة (LLMs). تشير الدراسات إلى أن النماذج التي تلي مرحلة التعلم المعزز غالبًا ما تفشل في التفوق على نظيراتها السابقة للتعلم المعزز عند تقييمها بميزانيات أخذ عينات كبيرة، مما يعني أن مكاسب التعلم المعزز قد تنبع من "شحذ التوزيع" (distribution sharpening) بدلاً من خلق مسارات استنتاج جديدة. وبالتزامن مع ذلك، أظهرت تقنيات وقت الاستنتاج مثل أخذ عينات القدرة (sampling from a power distribution $\pi^\alpha$) والتقطير الذاتي (self-distillation) نتائج واعدة في تحسين الاستنتاج دون مكافآت خارجية.

ومع ذلك، لا تزال العلاقة النظرية بين هذه النماذج الثلاثة — أخذ العينات، والتعلم المعزز، والتقطير الذاتي — غير واضحة. وتحديداً، من غير المعروف ما إذا كان نجاح أخذ عينات القدرة يعكس آلية متميزة عن التعلم المعزز والتقطير، أم أنها متصلة من خلال هدف هيكلي مشترك. كما أنه من غير الواضح ما إذا كان حساب وقت الاستنتاج المكلف المطلوب لأخذ عينات القدرة يمكن استهلاكه (amortized) في التدريب دون الإنترنت (offline training).

2. المنهجية والإطار النظري

يقترح المؤلفون أن توزيع القدرة يعمل كجسر نظري موحد يربط بين هذه الأساليب. بالنسبة لسياسة أساسية $\pi$ وأس $\alpha > 1$، يُعرف توزيع القدرة كما يلي:
$$\pi_\alpha(y | x) \propto \pi(y | x)^\alpha$$

2.1 منظور أخذ العينات: حدود التقريب المحلي

يتحقق البحث أولاً مما إذا كان يمكن تقريب توزيع القدرة بتكلفة منخفضة في وقت الاستنتاج باستخدام عمليات محلية (على مستوى الرمز/token).

• تغيير درجة الحرارة على مستوى الرمز (Token-wise Temperature Scaling): يوضح المؤلفون أن تطبيق تحويل القدرة لكل رمز (تغيير درجة الحرارة) يفشل في إعادة إنتاج توزيع القدرة على مستوى التسلسل. وقد أثبتوا (الافتراض 1) أن الفجوة بين درجة الحرارة على مستوى الرمز والقدرة على مستوى التسلسل محكومة بـ إنتروبيا ريني (Rényi entropy) لتوزيع اللاحقة (suffix distribution). وتحديداً، تفضل قدرة مستوى التسلسل الاستمرارات ذات إنتروبيا اللاحقة المنخفضة (اللاحقات الأكثر حدة/peaked)، وهي خاصية لا تستطيع التقريبات المحلية التقاطها دون معلومات عالمية عن التسلسل.
• أخذ العينات الهامشي المتسلسل (Sequential Importance Sampling - SIS): يحلل المؤلفون الاقتراح الأمثل ذو الخطوة الواحدة لـ SIS الذي يستهدف $\pi_\alpha$. ويظهرون (الافتراض 2) أن الاقتراح الذي يقلل التباين يتطلب معرفة بـ إجماليات البادئات (prefix totals) (مجموع كتل القدرة عبر جميع اللاحقات الممكنة). وبناءً على ذلك، لا يمكن للاقتراحات المحلية غير المكلفة مطابقة التوزيع المستهدف، مما يفسر سبب حاجة العمل السابق إلى إجراءات مكلفة حاسوبياً في وقت الاستنتاج (مثل طريقة ميتروبوليس-هاستينغز) لتقريب أخذ عينات القدرة.

2.2 منظور التعلم المعزز: الأمثلية ذات الصيغة المغلقة

يربط المؤلفون أخذ عينات القدرة بـ التعلم المعزز المنظم بـ KL (KL-regularized RL). حيث ينظرون في هدف تعلم معزز تكون فيه المكافأة هي لوغاريتم احتمالية التسلسل الخاص بالنموذج نفسه (المكافأة الذاتية، $r_{self}(x, y) = \log \pi(y|x)$).

• النتيجة 1: أثبتوا أن توزيع القدرة $\pi_\alpha$ هو المُحسِّن ذو الصيغة المغلقة لهدف التعلم المعزز المنظم بـ KL عندما تكون المكافأة هي المكافأة الذاتية و $\alpha = 1 + \beta^{-1}$. وهذا يحدد أخذ عينات القدرة ليس كمجرد تجربة (heuristic)، بل كحل دقيق لمشكلة تعلم معزز محددة للتحسين الذاتي.

2.3 منظور التقطير: التقطير الذاتي للقدرة

بالاستفادة من الربط بالتعلم المعزز، يستنتج المؤلفون التقطير الذاتي للقدرة.

• الاشتقاق: من خلال إعادة كتابة هدف التعلم المعزز، يظهرون أن تقليل تباعد KL العكسي (التعلم المعزز القياسي) يكافئ تقليل تباعد KL الأمامي من توزيع المعلم $\pi_\alpha$ إلى سياسة الطالب.
• الخوارزمية: يسمح هذا باستهلاك تكلفة وقت الاستنتاج المكلفة لأخذ عينات من $\pi_\alpha$ في التدريب دون الإنترنت. تتضمن العملية:
  1. أخذ عينة من مجموعة بيانات $D = \{(x_i, y_i)\}$ حيث $y_i \sim \pi_\alpha(\cdot|x_i)$ باستخدام أخذ عينات تقريبي (مثل ميتروبوليس-هاستينغز).
  2. تدريب نموذج طالب عبر الضبط الدقيق تحت الإشراف (SFT) على $D$ لتعظيم احتمالية هذه الإكمالات "المأخوذة بنموذج القدرة".
• ضمانات الشحذ: يقدم المؤلفون حداً نظرياً (الافتراض 3) يوضح أنه مع اقتراب عدد العينات $n \to \infty$ والأس $\alpha \to \infty$، يحقق النموذج المقطر شحذاً من نوع $(\epsilon, \delta)$، مما يركز كتلة الاحتمال على معظمات المكافأة الذاتية.

2.4 محاذاة المكافأة الحقيقية

يتناول البحث ما إذا كان شحذ المكافأة الذاتية يحسن "المكافأة الحقيقية" $r^*$ (مثل الصحة/الصواب).

• الافتراض 4: يتم تحديد معدل التغير في المكافأة الحقيقية المتوقعة بالنسبة لـ $\alpha$ من خلال التباين (covariance) بين المكافأة الحقيقية والمكافأة الذاتية تحت توزيع القدرة: $\partial_\alpha \mathbb{E}_{\pi_\alpha}[r^*] = \text{Cov}_{\pi_\alpha}(r^*, r_{self})$.
• الاستنتاج: التحسن في المكافأة الحقيقية مضمون فقط إذا كانت المكافأة الذاتية (اللوغاريتم الاحتمالي) مرتبطة إيجابياً بالمكافأة الحقيقية تحت توزيع القدرة. إذا كانت غير مرتبطة أو مرتبطة سلبياً، فإن الشحذ قد لا يؤدي إلى تحسن (وقد يؤدي إلى تدهور) الأداء الحقيقي.

3. المساهمات الرئيسية

1. التوحيد النظري: يثبت البحث أن أخذ عينات القدرة، والتعلم المعزز المنظم بـ KL للمكافأة الذاتية، والتقطير الذاتي، مرتبطة طبيعياً من خلال توزيع القدرة، الذي يعمل كهدف لأخذ العينات، والمُحسِّن للتعلم المعزز، وتوزيع المعلم.
2. صعوبة أخذ العينات: يثبت البحث أن التقريبات الرخيصة على مستوى الرمز (مثل تغيير درجة الحرارة، وSIS البسيط) لا يمكنها إعادة إنتاج أخذ عينات القدرة على مستوى التسلسل دون الوصول إلى معلومات مستوى اللاحقة، مما يفسر ضرورة الحوسبة المكلفة في وقت الاستنتاج في الأعمال السابقة.
3. التقطير الذاتي للقدرة: يقدم خوارزمية تقطير دون الإنترنت تستهلك تكلفة أخذ عينات القدرة في التدريب الخاضع للإشراف، مما يحقق مكاسب أداء مماثلة دون الحاجة لأخذ عينات القدرة في وقت الاستنتاج.
4. شرط التباين: يحدد الشروط التي يترجم فيها التحسين الذاتي (الشحذ) إلى تحسين في المكافأة الحقيقية، رابطاً المكسب بالتباين بين المكافأة الذاتية والمكافأة الحقيقية.

4. النتائج التجريبية

قيم المؤلفون إطار عملهم على مهام الاستنتاج (MATH, HumanEval, MBPP, GPQA) باستخدام نماذج مثل Qwen2.5-Math-7B و Phi-3.5-mini-instruct.

• س1 (زيادة المكافأة الذاتية): أدى أخذ عينات القدرة باستمرار إلى زيادة المكافأة الذاتية ($r_{self}$) مقارنة بأخذ العينات القياسي وتغيير درجة الحرارة على مستوى الرمز.
• س2 (محاذاة المكافأة الحقيقية): لوحظت تحسينات في المكافأة الحقيقية ($r^*$) عندما كانت $r^*$ متوافقة مع $r_{self}$. على سبيل المثال، في مهمة MATH، حسن أخذ عينات القدرة الدقة. ومع ذلك، في نموذج تم تهيئته عشوائياً (RandW) حيث لم ترتبط $r_{self}$ بالصحة، لم يتم ملاحظة أي مكسب في المكافأة الحقيقية، مما يؤكد صحة شرط التباين.
• س3 (أداء التقطير): حقق التقطير الذاتي للقدرة تحسيناً ذاتياً. فالنموذج المقطر، عند استخدام فك الترميز التلقائي القياسي (مع درجة حرارة)، طابق أو تجاوز أداء النموذج الأساسي الذي يستخدم أخذ عينات القدرة المكلف.
  • التحليل النوعي: في مسألة هندسية، أنتج النموذج الأساسي مع تغيير درجة الحرارة صيغاً هلوسية. أما أخذ عينات القدرة فقد أنتج منطقاً صحيحاً ولكنه تضمن كوداً غير منفذ. أما النموذج المقطر للقدرة، وباستخدام فك الترميز القياسي، فقد أنتج استنتاجاً قوياً خطوة بخوة مع الإجابة الصحيحة.
• الكفاءة: ألغى النموذج المقطر الحاجة إلى أخذ عينات مكلف في وقت الاستنتاج (ميتروبوليس-هاستينغز) أثناء النشر، مما نقل التكلفة الحسابية إلى التدريب دون الإنترنت.

5. الأهمية والادعاءات

يدعي البحث توضيح الآلية وراء مكاسب "الاستنتاج" الأخيرة في النماذج اللغوية الكبيرة. وهو يفترض أن:

• نجاح أخذ عينات القدرة ليس ظاهرة مستقلة عن التعلم المعزز، بل هو الحل ذو الصيغة المغلقة لهدف تعلم معزز للمكافأة الذاتية.
• تحسينات "الاستنتاج" الظاهرة من التعلم المعزز قد تكون ناتجة إلى حد كبير عن شحذ التوزيع (تركيز الكتلة على المسارات عالية الاحتمالية وعالية المكافأة) بدلاً من ظهور قدرات جديدة.
• يوفر التقطير الذاتي للقدرة مساراً عملياً لتحقيق فوائد الشحذ هذه بتكلفة أقل في وقت الاستنتاج، مما يجعل قدرات الاستنتاج المتقدمة أكثر سهولة من خلال تحويل البحث المكلف في وقت الاستنتاج إلى تدريب دون الإنترنت.

يظل المؤلفون متواضعين، مشيرين إلى أن التحسين الذاتي محدود بقدرات النموذج الأساسي؛ فإذا كان النموذج الأساسي يفتقر إلى مسارات الاستنتاج الضرورية، فإن الشحذ لا يمكنه خلقها. التحليل محدد للنماذج ذات التوليد التلقائي (autoregressive) عبر آفاق زمنية محدودة.