ملخص تقني: ETS: توسيع نطاق الاختبار الموجه بالطاقة لضبط المحاذاة بدون تدريب

بيان المشكلة

أصبح التعلم التعزيزي (RL) في مرحلة ما بعد التدريب نموذجاً مركزياً لمحاذاة النماذج اللغوية الكبيرة (LLMs) مع القصد البشري، لا سيما لتعزيز الاستدلال واتباع التعليمات. ومع ذلك، يعاني هذا النهج من قيود عملية كبيرة: فهو يتطلب نمذجة مكلفة للمكافآت، ويعتمد على بيانات تفضيلات بشرية واسعة النطاق، ويظهر ديناميكيات تدريب غير مستقرة، وهو حساس للمعلمات الفائقة (hyperparameters). علاوة على على ذلك، فإن أي تغيير في تصميم المكافأة يستلزم إعادة التدريب، مما يؤدي إلى تكاليف حوسبية وبشرية باهظة.

بينما يقبل التوزيع الأمثل للتعلم التعزيزي حلاً مغلق الصيغة نظرياً، تعتمد الطرق الحالية على التحسين التكراري القائم على التدرج لتقريب هذا الحل بدلاً من استغلال بنيته مباشرة. وهذا يثير تساؤلاً جوهرياً: هل يمكننا أخذ عينات مباشرة من توزيع التعلم التعزيزي الأمثل أثناء وقت الاستدلال دون أي تدريب إضافي؟

المنهجية

يقترح المؤلفون توسيع نطاق الاختبار الموجه بالطاقة (ETS)، وهو طريقة استدلال خالية من التدريب مصممة لأخذ عينات مباشرة من سياسة التعلم التعزيزي المثلى. تعتمد الطريقة على إطار عمل موحد لنمذجة اللغة المقنعة (MLM) يشمل كلاً من النماذج ذات التوليد الذاتي (Autoregressive Models - ARMs) ونماذج الانتشار اللغوية (Diffusion Language Models - DLMs).

1. الأساس النظري: الانتقال الخلفي الموزون بالطاقة

الرؤية النظرية الجوهرية هي أن نواة الانتقال الخلفي المثلى لإطار عمل MLM تتحلل إلى عاملين:

1. انتقال المرجع: نواة الانتقال المقدمة من النموذج المرجعي ($p_{ref}$).
2. حد الطاقة: توقع شرطي للمكافآت الأسية، يعمل كحد للطاقة.

على وجه التحديد، يكون انتقال الخلفي المستهدف $p(s | t, y)$ متناسباً مع:
$$p_{ref}(s | t, y) \cdot \mathbb{E}_{p_{ref}(x_0|y,s)} \left[ \exp\left(\frac{r(y, x_0)}{\lambda}\right) \right]$$
حيث $r(y, x_0)$ هي دالة المكافأة و $\lambda$ هو ثابت التنظيم. تسمح هذه الصيغة بأخذ العينات الخالية من التدريب عن طريق تقدير حد الطاقة باستخدام طرق مونت كارلو.

2. الخوارزمية: توسيع نطاق الاختبار الموجه بالطاقة (ETS)

تعمل الخوارزمية كعملية توجيه تكرارية:

• أخذ العينات: في كل خطوة توجيه، تقوم الخوارزمية بأخذ عينات من $M$ من التكملات المرشحة من النموذج المرجعي.
• تقدير الطاقة: لكل مرشح، يتم تقدير حد الطاقة باستخدام عينات مونت كارلو. وتحديداً، يتم توليد $K$ من الإكمال المستقل لكل مرشح لحساب مُقدّر أهمية ذاتي المعايرة للمكافأة المتوقعة.
• الاختيار: يتم إعادة وزن المرشحين بناءً على طاقاتها المقدرة، ويتم اختيار واحد للمضي قدماً إلى الخطوة التالية.
• تصميم المكافأة: للعمل بدون مكافآت حقيقية أثناء الاستدلال، يستخدم ETS مكافأة الاتساق الذاتي. حيث تستخرج الطريقة الإجابات النهائية من الـ $K$ إكمال، وتحدد التصويت بالأغلبية كإجماع، وتخصص مكافأة قدرها 1 للإكمالات التي تطابق الإجماع و 0 لغيرها.

3. التسريع عبر أخذ العينات بالمعاينة (ETS-IS)

لمعالجة اختناق زمن الاستجابة الناتج عن تكرار استعلامات النموذج لتقدير الطاقة، قدم المؤلفون ETS-IS.

• نموذج الاقتراح: بدلاً من أخذ العينات من النموذج المرجعي الكبير ($p_{ref}$) لتقدير الطاقة، يتم استخدام نموذج اقتراح أخف وزناً وأقل تكلفة حوسبية ($p_{small}$).
• التصحيح: يتم تطبيق أوزان أخذ العينات بالمعاينة لتصحيح الانحياز الناتج عن نموذج الاقتراح، مما يضمن بقاء المُقدّر غير منحاز ومتسقاً نظرياً مع التوزيع المستهدف.
• التنفيذ:
  • بالنسبة لـ ARMs: يعمل نموذج أصغر ومتوافق في الحجم (مثل Qwen3-1.7B لـ Qwen3-8B) كنموذج اقتراح.
  • بالنسبة لـ DLMs: يتم استخدام Fast-dLLM، مع الاستفادة من تخزين KV المعتمد على الكتل وفك التشفيد المتوازي لتسريع الاستدلال.

المساهمات الرئيسية

1. محاذاة خالية من التدريب: تقدم الورقة طريقة لأخذ عينات مباشرة من سياسة التعلم التعزيزي المثلى دون تحديثات تكرارية للتدرج أو ضبط دقيق، مما يحل مشكلات عدم الاستقرار والتكلفة في مرحلة ما بعد تدريب RL التقليدية.
2. إطار عمل موحد: الطريقة قابلة للتطبيق على كل من ARMs و DLMs تحت صيغة MLM موحدة، مما يوفر حلاً عاماً لتوسيع النطاق الخالي من التدريب.
3. ضمانات نظرية: يقدم المؤلفون براهين صارمة فيما يتعلق بمعدل تقارب توزيع أخذ العينات إلى التوزيع المستهدف الأمثل من حيث مسافة التباين الكلي (Total Variation Distance). وقد أظهر أن حد الخطأ يتناسب خطياً مع عدد خطوات التوجيه وعكسياً مع الجذر التربيعي لحجم العينة.
4. تسريع فعال: من خلال دمج أخذ العينات بالمعاينة مع نماذج الاقتراح خفيفة الوزن وأطر التسريع الحديثة (مثل Fast-dLLM)، تقلل الطريقة بشكل كبير من زمن استجلال الاستدلال مع الحفاظ على جودة أخذ العينات.

النتائج التجريبية

قيم المؤلفون ETS في اختبارات الاستدلال (MATH500, GSM8K)، والبرمجة (HumanEval)، والعلوم (GPQA) باستخدام كل من ARMs (Qwen3-1.7B, Qwen3-8B) و DLMs (LLaDA-8B-Instruct).

• الأداء: يحسن ETS باستمرار جودة التوليد مقارنة بالاستدلال القياسي وغيره من قواعد توسيع النطاق في وقت الاختبار (مثل Beam Search, Best-of-N, Power Sampling).
• المقارنة مع RL: بشكل ملحوظ، يطابق ETS أو يتفوق على أداء سياسات RL التي تمت معالجتها في مرحلة ما بعد التدريب (مثل GRHO) دون أي تحديثات للمعلمات.
• الكفاءة: يحقق أسلوب التسريع (ETS-IS) مقايضة مواتية بين زمن الاستجابة والدقة. على سبيل المثال، في Qwen3-8B، يحقق ETS-IS دقة قابلة للمقارنة مع ETS القياسي ولكن مع تقليل كبير في زمن الاستجلة.
• التوسع: تظهر التجارب أن زيادة عدد المرشحين ($M$) أكثر فعالية لتحسين الدقة من زيادة عدد الإكمالات ($K$)، وأن خطوات التوجيه المتوسطة ($I$) توفر تحسينات متناسبة في الدقة.

الأهمية والادعاءات

تدعي الورقة أن ETS يضع مساراً عملياً خالياً من التدريب نحو التوليد المدرك للمكافأة. ومن خلال إثبات إمكانية تحقيق محاذاة عالية الجودة من خلال توسيع النطاق في وقت الاستدلال بدلاً من التدريب المكثف في مرحلة ما بعد التدريب، يقدم العمل بديلاً فعالاً من حيث التكلفة ومستقراً للبيئات محدودة الموارد. ويؤكد المؤلفون أن طريقتهم تساهم في دمقرطة تقنيات المحاذاة وتقليل البصمة البيئية لنشر النماذج اللغوية الكبيرة من خلال القضاء على الحاجة إلى دورات إعادة تدريب واسعة النطاق. ويُقدم إطار العمل كأساس للأبحاث المستقبلية في الاستدلال الفعال وتوسيع النطاق في وقت الاختبار في النماذج التوليدية.