Missing Old Logits in Asynchronous Agentic RL: Semantic Mismatch and Repair Methods for Off-Policy Correction

ملخص تقني: مشكلة فقدان اللوغاريتمات القديمة في التعلم التعزيزي الوكيل غير المتزامن

تعريف المشكلة
في التعلم التعزيزي (RL) للنماذج اللغوية الكبيرة (LLMs) غير المتزامن، يعد فك الارتباط بين توليد العينات (الانتشار/rollout) وتحسين السياسة أمراً ضرورياً لرفع كفاءة الإنتاجية إلى أقصى حد. ومع ذلك، تفرض هذه البنية نمط فشل حرج لعملية تصحيح السياسة بعيدة عن المسار (off-policy correction) من نوع PPO.

من الناحية المثالية، يجب أن يتم تفكيك نسبة الأهمية (importance ratio) في PPO إلى عاملين متميزين دلالياً:

1. التباين بين التدريب والاستنتاج ($r_d$): يصحح الاختلافات العددية بين محرك الاستنتاج (مثل vLLM) ومحرك التدريب (مثل Megatron-LM) عند نفس إصدار السياسة.
2. تقادم السياسة ($r_s$): يصحح الفجوة بين سياسة السلوك التاريخية التي ولدت الرموز (tokens) والسياسة الحالية التي يتم تحسينها.

تحدد الورقة أنه في خطوط الإنتاج غير المتزامنة العملية، لا سيما في حالات الانتشار الجزئي والتحديثات المتأخرة، غالباً ما تكون اللوغاريتمات القديمة لجانب التدريب ($\pi_{old}$) المطلوبة لحساب حد التباين $r_d$ مفقودة. فعندما يقوم الممثل (actor) بتحديث أوزانه قبل معالجة الانتشار المقابل لإصدار سابق بالكامل، قد لا يكون إصدار السياسة المحدد $\pi_{old}$ الذي استُخدم لتوليد تلك الرموز متاحاً بعد.

تفرض مشكلة "فقدان اللوغاريتمات القديمة" هذه على الطرق الحالية استبدال $\pi_{old}$ الحقيقي بتقديرات (مثل الاستيفاء الخطي أو النماذج الثابتة). ويجادل المؤلفون بأن هذا الاستبدال يدمج إصلاح التباين مع تصحيح التقادم، مما يكسر الفصل الدلالي المنشود. ونتيجة لذلك، تتفاعل حدود القص (clipping) والقناع (masking) بشكل غير مرغوب فيه، مما يؤدي إلى عدم استقرار التحسين وضعف الأداء.

المنهجية
تقترح الورقة تحليلاً موحداً لتصحيحات العمليات بعيدة عن المسار تحت رؤية "القيود المزدوجة"، وتقيم اتجاهين رئيسيين للحل:

1. الحصول الدقيق على اللوغاريتمات القديمة (على مستوى النظام):
   يبحث المؤلفون في ثلاث استراتيجيات لاستعادة $\pi_{old}$ الحقيقية دون الاعتماد على التقديرات:

• تتبع الإصدارات القائم على اللقطات (Snapshot-based): الاحتفاظ بلقطات تاريخية للمعلمات وإعادة تحميل الإصدار المحدد الذي ولد كل رمز. هذه الطريقة دقيقة ولكنها تسبب عبئاً عالياً على الذاكرة وعمليات الإدخال/الإخراج (I/O).
• نموذج مخصص للوغاريتمات القديمة: الحفاظ على نسخة نموذج منفصلة مهمتها الوحيدة حساب اللوغاريتمات القديمة بينما يقوم الممثل الرئيسي بالتدريب. يسمح هذا بتداخل الحوسبة ولكنه يتطلب تقسيم الموارد.
• المزامنة عبر مقاطعة الانتشار الجزئي: مقاطعة عمال الانتشار (rollout workers) لحساب اللوغاريتمات القديمة للمسارات الجزئية قبل التخلص من إصدار السياسة. هذا يتجنب تكاليف التخزين ولكنه يؤدي إلى توقفات في المزامنة وأعباء إعادة تكوين الموارد.

2. التصحيح التقريبي (على مستوى الخوارزمية):
   إدراكاً منها أن الاستعادة الدقيقة غالباً ما تكون مكلفة للغاية للأنظمة واسعة النطاق، تقترح الورقة طريقة PPO-EWMA (المتوسط المتحرك الموزون أسياً) المطورة.

• بدلاً من استخدام وسيط استيفاء ثابت، تحافظ هذه الطريقة على سياسة مرجعية سلسة ($\pi_{prox}$) تتبع مركز نافذة الإصدار غير المتزامن.
• اضمحلال مدرك للتقادم: يتم ضبط عامل الاضمحلال $\beta$ بناءً على نافذة التقادم المتوقعة ($W_{stale}$) لضمان توافق السياسة المرجعية مع منتصف فجوة الإصدار، بدلاً من التأخر عن الركب.
• إعادة الضبط التلقائي: لمنع السياسة المرجعية من الانحراف بعيداً وتسببها في انهيار "قناع التدريب-الاستنتاج" (الذي يفلتر الرموز ذات التباين العالي)، يراقب النظام نسبة الرموز النشطة. إذا انخفضت هذه النسبة عن عتبة معينة ($\tau$)، يتم إعادة ضبط السياسة المرجعية لتصبح مطابقة لمعلمات الممثل الحالية.

كما تقدم الورقة تحليلاً نظرياً (الافتراض 1) يثبت أن الوسائط القائمة على الاستيفاء (الخطي أو اللوغاريتمي الخطي) لا تستعيد حقاً السياسة المرجعية المفقودة، بل تعيد فقط صياغة حدود القص الفعلية لنسبة الأهمية الإجمالية.

المساهمات الرئيسية

• تحديد مشكلة فقدان اللوغاريتمات القديمة: تحدد الورقة رسمياً نمط الفشل الدلالي في التعلم التعزيزي الوكيل غير المتزامن حيث يؤدي غياب $\pi_{old}$ إلى كسر فصل إصلاح التباين عن تصحيح التقادم.
• تحليل موحد لتصحيحات العمليات بعيدة عن المسار: تصيغ متغيرات PPO الموجودة ضمن إطار عمل "أخذ عينات الأهمية المقنع" (MIS)، مما يوضح لماذا لا يكفي وجود نسبة واحدة أو عتبة واحدة للتعامل مع التباينات العددية وتقادم السياسة معاً.
• تحليل مقايضات النظام: تقيم ثلاث استراتيجيات للاستحواذ الدقيق، وتحدد تكاليفها من حيث الذاكرة، والإدخال/الإخراج، وأعباء المزامنة.
• اقتراح PPO-EWMA: تقدم بديلاً تقريبياً ومنخفض التكلفة يحافظ على فوائد التصحيح المنفصل دون الحاجة إلى تغييرات جذرية في البنية التحتية.

النتائج التجريبية
قيم المؤلفون طرقهم باستخدام معايير التعلم التعزيزي الوكيل ($\tau^2$-Bench و VitaBench) باستخدام نماذج كثيفة (Qwen3-4B) ونماذج خليط الخبراء (Qwen3-30B-A3B).

• الأداء: تفوقت طريقة PPO-EWMA باستمرار على PPO المنفصل القياسي ووسائط الاستيفاء الخطي (Linear_prox). وفي نموذج 30B MoE، حققت PPO-EWMA أعلى معدلات نجاح في قسم شركات الطيران وتساوت مع الأفضل في مهام التجزئة والاتصالات.
• المقارنة بالمثالي: على الرغم من أن PPO-EWMA لم تطابق تماماً أداء طريقة "اللقطات" (التي تفترض الوصول الكامل للوغاريتمات القديمة)، إلا أنها حققت نتائج قريبة جداً من الحالة المثالية، مما يشير إلى أن الوسيط التقريبي الجيد يمكنه استعادة معظم فوائد التصحيح الدقيق.
• أعباء النظام: تسببت طرق الاستعادة الدقيقة (Snapshot) في تكاليف نظام كبيرة (حوالي 178 ثانية إضافية لكل خطوة لنموذج 30B بسبب عمليات التمرير الأمامي التاريخية). في المقابل، أضافت PPO-EWMA عبئاً ضئيلاً، مما قدم مقايضة متفوقة بين الأداء والتكلفة.
• دراسات الاستبعاد (Ablation): أكدت التجارب أنه بدون آلية إعادة الضبط التلقائي، يمكن للوسيط EWMA أن ينحرف، مما يسبب انهيار قناع التدريب-الاستنتاج وفشل التدريب. نجحت آلية إعادة الضبط في إعادة تمركز المرجع، مما حافظ على الاستقرار.

الأهمية والادعاءات
تدعي الورقة أن مشكلة فقدة اللوغاريتمات القديمة هي مشكلة دلالية جوهرية في التعلم التعزيزي الوكيل غير المتزامن للنماذج اللغوية الكبيرة، مما يقوض الضمانات النظرية للتصحيح المنفصل. ويؤكد المؤلفون ما يلي:

1. الاستعادة الدقيقة هي السبيل الوحيد لتحقيق إصلاح دقيق للتباين وتصحيح التقدم، لكنها غالباً ما تكون باهظة التكلفة.
2. الطرق التقريبية القائمة على الاستيفاء البسيط غير كافية لأنها تفشل في استعادة السياسة المرجعية الحقيقية، بل تكتفي بإزاحة حدود القيود.
3. PPO-EWMA توفر بديلاً عملياً ومنخفض التكلفة يحسن سرعة التدريب وأداء التحسين بشكل كبير مقارنة بالنماذج الأساسية غير المتزامنة، مما يجعلها حلاً قابلاً للتطبيق في أنظمة التعلم التعزيزي الوكيل واسعة النطاق حيث يكون استرداد اللوغاريتمات الدقيق غير ممكن.

تخلص الورقة إلى أنه بينما تعد PPO-EWMA تقديراً وقد تواجه صعوبات في حالات عدم الاستقرار الشديد أو فجوات الإصدار الكبيرة جداً، إلا أنها تمثل خطوة هامة نحو استقرار التدريب غير المتزامن دون الحاجة إلى تعديلات ثقيلة في البنية التحتية.