Beyond Token-Level Policy Gradients for Complex Reasoning with Large Language Models

إليك ملخص تقني مفصل لورقة البحث بعنوان "ما وراء تدرجات السياسة على مستوى الرمز (Token) للتعليل المعقد في النماذج اللغوية الكبيرة".

1. بيان المشكلة

تعمل طرق تدرج السياسة الحالية لضبط النماذج اللغوية الكبيرة (LLMs) بدقة، مثل تحسين السياسة القريبة (PPO)، وتحسين السياسة النسبية للمجموعة (GRPO)، وDAPO، على مستوى الرمز (token level). فهي تعامل توليد كل رمز تالٍ كفعل معزول.

يجادل المؤلفون بأن عدم التطابق في مستوى التفاصيل هذا يضر بمهام التعليل المعقد (مثل حل المسائل الرياضية، وتوليد الأكواد البرمجية). ففي هذه المهام، تكون القرارات الدلالية (مثل تعريف متغير، أو صياغة معادلة، أو كتابة دالة) بطبيعتها هياكل ذات مستوى كتلي (block-level) تتحقق عبر رموز متعددة.

• القصور: إن تفكيك خطوة تعليل متماسكة إلى سلسلة من التنبؤات المحلية لكل رمز يقطع التماسك الدلالي للفعل.
• النتيجة: يفشل التحسين على مستوى الرمز في التقاط التبعيات طويلة المدى والنزاهة الهيكلية، مما يؤدي إلى أداء تعليل دون المستوى واستقرار تدريب ضعيف بسبب التباين العالي في نسب أخذ عينات الأهمية (importance sampling ratios).

2. المنهجية: تحسين السياسة متعددة الرموز (MPO)

تقترح الورقة إطار عمل MPO، الذي ينقل وحدة التحسين من الرموز الفردية إلى كتل مكونة من $K$ من الرموز المتتالية، مع معاملتها كأفعال دلالية موحدة.

المكونات الأساسية:

1. وحدات التنبؤ متعدد الرموز (MTP Modules):

   • يتم تعزيز النموذج برؤوس تنبؤ إضافية $K$ (وحدات MTP) ملحقة بالنموذج اللغوي الأساسي.
   • بخلاف النماذج ذات التوليد الذاتي القياسية التي تتنبأ بـ $o_{t+1}$، تتنبأ وحدات MTP بتسلسل $o_{t+1}, \dots, o_{t+K}$ مشروطاً بالسابقة $o_{1:t}$.
   • يتم تهيئة هذه الوحدات من الطبقة الأخيرة للنموذج الأساسي وتخضع لـ مرحلة إحماء (ضبط دقيق تحت إشراف) قبل مرحلة التعلم المعزز لضمان جودة التنبؤ.

2. أخذ عينات الأهمية على مستوى الكتلة:

   • بدلاً من حساب نسبة الأهمية $r_t$ لرمز واحد، يقوم MPO بتجميع النسبة عبر نطاق من $K$ من الرموز.
   • التحكم في التباين: يؤدي حاصل ضرب النسب البسيط ($\prod r_{t+n}$) إلى تباين عالٍ. وللتخفيف من ذلك، يتبنى MPO صيغة مجموع لوغاريتمي موزون مستوحاة من Log-COP-TD:
     $$\tilde{R}^{(K)}_{i,t}(\theta) = \exp \left( \sum_{n=1}^{K} \beta_n \log r_{i,t+n}(\theta) \right)$$
     حيث $\beta_n$ هي أوزان متناقصة ($\beta_k = \beta_2 \times \lambda^{k-2}$) تعطي الأولوية للتنبؤات الفورية مع دمج السياق المستقبلي بتأثير متناقص.

3. هدف تدرج السياسة:

   • يستبدل دالة الهدف البديلة نسبة الرمز الواحد بالنسبة لنسبة الكتلة المجمعة $\tilde{R}^{(K)}_{i,t}$.
   • تشجع دالة الخسارة السياسة على التحسين لأنماط متعددة الرموز متماسكة بدلاً من التحركات الفردية للرمز التالي.
   • التوافق: تم تصميم MPO ليكون متوافقاً مع الأطر الحالية (مثل PPO). فهو يعدل فقط حساب نسبة أخذ عينات الأهمية ولا يتطلب تغيير بنية شبكة القيمة (رغم إجراء تجارب باستخدام رؤوس قيمة متعددة الرموز).

3. المساهمات الرئيسية

1. إطار عمل مبتكر: تقديم MPO، وهو أول طريقة لتدرج السياسة تعمل صراحة على تحسين الأفعال الدلالية الهيكلية على مستوى الكتلة بدلاً من الرموز المعزولة.
2. رؤية نظرية: يثبت أن التحسين على مستوى الرمز يسبب عدم تطابق في مستوى التفاصيل لمهام التعليل. يقوم MPO بمواءمة إشارة التحسين مع البنية الطبيعية للتعليل (مثل المعادلات، أو كتل الأكواد).
3. التحقق التجريبي: تجارب واسعة النطاق تظهر تفوق MPO على النماذج المرجعية المتطورة (PPO, GRPO, DAPO) عبر مختلف أحجام النماذج ومجالات التعليل.
4. تحليل الاستقرار: يثبت أن تجميع المعلومات متعددة الرموز يقلل من تباين نسب أخذ عينات الأهمية وتكرار عملية قص التدرج (gradient clipping)، مما يؤدي إلى تدريب أكثر استقراراً.

4. النتائج التجريبية

قيم المؤلفون MPO على ثلاثة معايير باستخدام نماذج تتراوح أحجامها من 1 مليار إلى 7 مليارات معلمة (Llama3.2, DeepSeek-Distilled-Qwen2.5):

• التعليل الرياضي (GSM8K & MATH):
  • تفوق MPO باستمرار على النماذج المرجعية.
  • في GSM8K، حقق MPO دقة قدرها 0.882 (مقابل 0.866 لـ PPO) على نموذج 1.5B و 0.941 على نموذج 7B.
  • في مجموعة بيانات MATH الأكثر صعوبة، أظهر MPO مكاسب كبيرة، حيث وصل إلى 0.789 (مقابل 0.769 لـ PPO) على نموذج 1.5B.
• توليد الأكواد (HumanEval):
  • حقق MPO أعلى درجات pass@1 عبر جميع النماذج، حيث وصل إلى 0.640 على نموذج 1.5B (مقابل 0.598 لـ PPO) و 0.841 على نموذج 7B.
• كفاءة التدريب والاستقرار:
  • تقليل التباين: خفض M_PO بشكل كبير تباين نسب أخذ عينات الأهمية وقلل من "نسبة القص" (النسبة المئوية للتحديثات المستبعدة بسبب القص)، مما يشير إلى مشهد تحسين أكثر استقراراً.
  • الكفاءة: رغم أن MPO يضيف عبئاً حسابياً طفيفاً (أبطأ بنسبة 30% تقريباً لكل دورة مقارنة بـ PPO بسبب عمليات التمرير الأمامي الإضافية لـ MTP)، إلا أنه يقدم مكاسب أداء جوهرية. استهلاك الذاكرة مماثل لـ GRPO.
  • الدراسة الاستقصائية (Ablation): وُجد أن الأداء الأمثل يكون مع حجم كتلة $K=5$ ومعدل اضمحلال $\lambda=0.8$. دمج الكثير من المعلومات متعددة الرموز (>30% وزن) أدخل ضجيجاً وأدى لتراجع الأداء.

5. الأهمية والتوجهات المستقبلية

• تحول في النموذج الفكري: تتحدى هذه الورقة الافتراض السائد بأن مستوى التفاصيل على مستوى الرمز كافٍ لضبط النماذج اللغوية الكبيرة. وتقترح أنه لمهام التعليل المكثف، يعد التحسين الدلالي على مستوى الكتلة ضرورياً لالتقاط التبعيات الهيكلية.
• العملية: يعد MPO تعديلاً خفيف الوزن يمكن دمجه في خطوط أنابيب ما بعد التدريب الحالية دون الحاجة لإعادة تدريب النموذج الأساسي بالكامل.
• العمل المستقبلي: حدد المؤلفون أسئلة مفتوحة تتعلق بتوسيع حجم الكتلة ($K$)، وتحسين استراتيجيات الإحماء للنماذج غير المدربة مسبقاً بـ MTP، ودمج MPO مع دوال هدف أخرى (مثل متغيرات GRPO).

في الختام، يسد MPO الفجوة بين الطبيعة المنفصلة لتوليد الرموز والطبيعة المستمرة والهيكلية للتعليل البشري، مما يوفر طريقة قوية لتعزيز قدرات التعليل في النماذج اللغوية الكبيرة خلال مرحلة التعلم المعزز.