Missing Old Logits in Asynchronous Agentic RL: Semantic Mismatch and Repair Methods for Off-Policy Correction
تحدد هذه الورقة مشكلة "اللوجيتس القديمة المفقودة" (missing old logits) الحرجة في التعلم التعزيزي الوكيل غير المتزامن التي تعطل دلالات التصحيح خارج السياسة، وتقترح ثلاث استراتيجيات دقيقة وطريقة تقريبية لاستعادة أو تقريب هذه القيم، وتوضح أن نهج PPO-EWMA المنقح يحسن بشكل كبير من سرعة التدريب وأداء التحسين.