Stabilizing Off-Policy Training for Long-Horizon LLM Agent via Turn-Level Importance Sampling and Clipping-Triggered Normalization

إليك ملخص تقني مفصل للورقة البحثية بعنوان "تثبيت التدريب خارج السياسة (Off-Policy) للوكلاء ذوي الأفق الطويل عبر أخذ العينات الموزون على مستوى الدور وتطبيع التقطيع المستحث".

1. بيان المشكلة

تعالج الورقة البحثية عدم الاستقرار الحرج الملحوظ عند تطبيق خوارزميات التعلم المعزز (RL)، وتحديداً تحسين السياسة القريبة (PPO) وتحسين السياسة النسبية للمجموعات (GRPO)، على تدريب الوكلاء ذوي النماذج اللغوية الكبيرة (LLM Agents) متعددة الأدوار في ظروف خارج السياسة (off-policy).

بينما أدى التعلم المعزز إلى تحسين قدرات الاستنتاج واستخدام الأدوات في النماذج اللغوية الكبيرة، فإن مسارات التدريب العملية غالباً ما تتطلب إعادة استخدام دفعات البيانات (mini-batches) بسبب القيود الحسابية. وهذا يخلق آلية تحديث هجينة تصبح فيها التحديثات اللاحقة خارج السياسة (off-policy) بشكل متزايد (أي أن توزيع البيانات ينحرف عن السياسة الحالية). حدد المؤلفون مصدرين أساسيين لعدم الاستقرار في هذا الإعداد:

1. عدم تطابق التدرج (Granularity Mismatch): يقوم خوارزم PPO القياسي بتخصيص الائتمان (credit assignment) على مستوى الرمز (token)، وهو ما لا يتوافق مع الهيكل الطبيعي للتفاعلات متعددة الأدوار (مثل المراحل المتميزة من تحليل المشكلة، وصياغة الاستعلام، ومعالجة المعلومات). يؤدي هذا إلى تحديثات مشوشة حيث تتنافس الرموز الفردية على الائتمان بدلاً من تعزيز الدور بأكمله.
2. تحديثات عالية التباين خارج السياسة: مع تقدم التدريب، يؤدي عدم تطابق التوزيع إلى زيادة تباين نسب أخذ العينات الموزون (importance sampling ratios). ينتج عن ذلك تقديرات غير موثوقة للتدرج، و"اختراق المكافأة" (reward hacking)، وانهيار الأداء الكارثي (policy collapse)، حتى عند استخدام آليات التقطيع (clipping) القياسية.

2. المنهجية: إطار عمل SORL

يقترح المؤلفون إطار عمل SORL (تثبيت التعلم المعزز خارج السياسة)، وهو إطار مصمم لمواءمة تحسين السياسة مع هياكل الأدوار المتعددة وكبح التحديثات غير الموثوقة. يقدم SORL آليتين أساسيتين:

أ. أخذ العينات الموزون على مستوى الدور (Turn-Level Importance Sampling)

بدلاً من معاملة كل رمز كوحدة تحسين مستقلة، يقوم SORL بتجميع تخصيص الائتمان على مستوى الدور.

• الآلية: تتم إعادة صياغة هدف السياسة لتجميع الرموز حسب حدود أدوارها ($[t_{start}^k, t_{end}^k]$).
• الوزن: يتم حساب وزن أهمية مستوى الدور ($w_{turn}^k$) كمتوسط هندسي موزون بالطول لنسب الرموز داخل ذلك الدور.
• الأثر: تشترك جميع الرموز داخل دور واحد في إشارة ميزة (advantage signal) مجمعة ومشتركة. هذا يربط تدرج التحسين مع هيكل "الإجراء" الطبيعي للوكلاء (الدور هو إجراء)، مما يقلل من تضخم التباين الناتج عن تقلبات الرموز.

ب. التطبيع المستحث بالتقطيع (Clipping-Triggered Normalization)

لمعالجة عدم الاستقرار الناتج عن الدفعات شديدة الخروج عن السياسة، قدم المؤلفون آلية تطبيع ديناميكية تعتمد على تحيز التقطيع (clipping bias).

• تفكيك التدرج: يتم تفكيك تدرج PPO إلى حد تدرج السياسة القياسي وحد تحيز التقطيع ($C(\theta)$)، والذي يمثل مساهمة الرموز التي كان التقطيع نشطاً فيها (أي عندما تجاوزت نسبة الأهمية المنطقة الموثوقة).
• الملاحظة: يرتبط معيار (norm) تحيز التقطيع ارتباطاً وثيقاً بدرجة الخروج عن السياسة وانفجار التدرج. تشير معايير التقطيع الكبيرة إلى أن الدفعة الحالية يهيمن عليها عينات غير موثوقة.
• الآلية: تقوم الخوارزمية بحساب معيار $L_2$ لحد تحيز التقطيع للدفعة الحالية واستخدام مقلوبه لإعادة تحجيم تدرج السياسة:
  $$\nabla_\theta J_{SO}(\theta) \propto \frac{1}{\|C(\theta)\|^2} \nabla_\theta J_{Turn-PPO}(\theta)$$
• الأثر: هذا يقلل بشكل تكيفي من أوزان التحديثات من الدفعات ذات التباين العالي خارج السياسة، مما يمنع طفرات التدرج ويضمن ديناميكيات تعلم تحفظية دون الحاجة إلى التوقف المبكر.

النماذج التطبيقية

إطار العمل محايد تجاه الخوارزميات (algorithm-agnostic) وقد تم تطبيقه كـ:

• SO-PPO: يجمع بين أخذ العينات الموزون على مستوى الدور والتطبيع المستحث بالتقيع.
• SO-GRPO: يطبق التطبيع المستحث بالتقطيع على GRPO (مع استبعاد أخذ العينات على مستوى الدور لأن GRPO يستخدم بالفعل تجميع المسارات).

3. المساهمات الرئيسية

1. التشخيص التجريبي: قدم المؤلفون تحليلاً دقيقاً يحدد أن عدم محاذاة تحسين مستوى الرمز وتراكم التباين خارج السياسة هما السببان الجذريان لانهيار PPO/GRPO في مهام الوكلاء متعددة الأدوار.
2. إطار عمل توحيدي للتثبيت: اقترحوا SORL، الذي يدمج تخصيص الائتمان على مستوى الدور (لإصلاح عدم تطابق التدرج) والتطبيع المستحث بالتقطيع (لإصلاح تباين خارج السياسة). ينتج عن هذا تقديرات تدرج أكثر تحفظاً وموثوقية.
3. الحياد تجاه الخوارزمية: ثبت أن الإطار فعال عبر خوارزميات RL مختلفة (PPO و GRPO)، مما يثبت أن مبادئ التثبيت قابلة للتعميم بما يتجاوز دوال الهدف المحددة.
4. إلغاء الاستدلالات التجريبية (Heuristics): يحقق الأسلوب الاستقرار دون الاعتماد على التوقف المبكر الدقيق، أو اختيار نقاط التحقق اليدوية، أو ضبط المعلمات الفائقة المعقدة.

4. النتائج التجريبية

قام المؤلفون بتقييم SO-PPO و SO-GRPO على اختبارات البحث متعددة الأدوار (Natural Questions, HotpotQA) ومهام الأسئلة الطبية متعددة الخيارات (MedQA, MedMCQA، إلخ).

• استقرار التدريب:
  • أظهر كل من PPO و GRPO القياسيين انهيارات حادة في الأداء وانفجارات في معايير التدرج (تصل إلى $10^8$) أثناء التدريب.
  • حافظت نسخ SOR المتغيرة على مسارات تحسين مستقرة، وأبقت معايير التدرج في نطاق طبيعي، ومنعت انهيار الأداء تماماً.
  • حافظ SO-PPO و SO-GRPO باستمرار على نسب تقطيع أقل، مما يشير إلى تحديثات أكثر موثوقية.
• أداء المهام:
  • مهام البحث: حقق SOR تفوقاً أو نتائج مقاربة في درجات المطابقة التامة (EM) مقارنة بالنماذج المرجعية مثل Search-R1، مع ميزة إضافية وهي عدم الحاجة للتوقف المبكر.
  • الأسئلة الطبية: في النماذج بمقياس 8B، حقق SO-GRPO أعلى متوسط دقة (55.34%) عبر اختبارات طبية داخل وخارج النطاق، متفوقاً بشكل كبير على RAG القياسي، وسلسلة الأفكب (CoT)، والنموذج المرجعي Search-R1.
• دراسات الاستئصال (Ablation Studies): ظل الأسلوب مستقراً حتى في ظل ظروف قاسية خارج السياسة (دفعات أصغر)، مما يؤكد فعالية آلية التطبيع.

5. الأهمية

يوفر هذا العمل حلاً عملياً وقابلاً للتوسع لتدريب الوكلاء ذوي الأفق الطويل. من خلال معالجة عدم التطابق الهيكلي بين تحسين مستوى الرمز والتفاعلات على مستوى الدور، ومن خلال التصحيح الديناميكي للتباين خارج السياسة، يتيح SORL تدريب الأنظمة الوكيلية المعقدة بشكل موثوق.

تكمكمن الأهمية في:

• الموثوقية: يزيل الطبيعة "الصندوق الأسود" لانهيار تدريب RL، مما يسم يسمح للممارسين بتدريب الوكلاء لآفاق أطول دون خوف من الفشل الكارثي.
• الكفاءة: يحسن كفاءة العينات من خلال السماح بإعادة استخدام البيانات خارج السياسة بأمان، وهو أمر بالغ الأهمية نظراً للتكلفة العالية لتوليد مسارات الوكلاء متعددة الأدوار.
• القدرة على التعميم: لا يقتصر النهج على PPO فحسب، بل يقدم مخططاً لتثبيت خوارزميات RL الأخرى في البيئات الوكيلية، مما قد يسرع من نشر الوكلاء المستقلين في مجالات حرجة مثل الرعاية الصحية والبحث العلمي.