🤖 machine learning

ESPO: Early-Stopping Proximal Policy Optimization

تقترح الورقة البحثية خوارزمية ESPO (تحسين السياسة القريبة بوقف مبكر)، وهي خوارزمية تعلم تعزيزي تعمل على إنهاء مسارات الاستدلال الفاشلة ديناميكيًا للقضاء على الضجيج وتوفير الحوسبة، مما يؤدي إلى تحسين أداء الاستدلال الرياضي في اختبارات معيارية مثل AIME وMATH-500 مع تقليل استخدام الرموز (tokens) بنسبة تزيد عن 20%.

المؤلفون الأصليون: Zihang Li, Rui Zhou, Yingcheng Shi, Wenhan Yu, Zhewen Tan, Zixiang Liu, Zeming Li, Binhua Li, Yongbin Li, Tong Yang, Jieping Ye

نُشر 2026-05-29

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Zihang Li, Rui Zhou, Yingcheng Shi, Wenhan Yu, Zhewen Tan, Zixiang Liu, Zeming Li, Binhua Li, Yongbin Li, Tong Yang, Jieping Ye

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تقوم بتدريس طالب ذكي جداً ولكنه مغرور أحياناً (نموذج لغوي كبير) كيفية حل المسائل الرياضية المعقدة.

المشكلة: "التكلفة الغارقة" للمسارات الخاطئة

في الطريقة الحالية لتدريب هذه النماذج (المعروفة بـ PPO)، يُطلب من الطالب أخذ مسألة ما وكتابة حله كاملاً خطوة بخطوة.

إليك الفخ: إذا ارتكب الطالب خطأً صغيراً في الجملة الأولى تماماً — مثل تحديد رقم بشكل خاطئ أو اختيار صيغة رياضية غير صحيحة — فإن بقية المقال بأك-له سيكون محكوماً عليه بالفشل. ومهما كانت جودة الكلمات الـ 500 التالية التي يكتبها، ستكون الإجابة خاطئة.

ومع ذلك، فإن طريقة التدريب القياسية تجبر الطالب على الاستمرار في الكتابة حتى يصل إلى حد معين من الكلمات، حتى بعد وقوع الخطأ.

الهدر: يستهلك الكمبيوتر وقتاً وطاقة في توليد مئات الكلمات عديمة الفائدة التي لن تحصل أبداً على "درجة جيدة".
الارتباك: عندما ينظر المعلم (الخوارزمية) إلى المقال بأكمله ليقرر ما يجب تعليمه للطالب، يصاب بالارتباك. فهو يرى كتلة ضخمة من "النص السيئ" في النهاية ويعتقد: "أوه، لقد كان الطالب سيئاً في نهاية الجملة"، بدلاً من إدراك أن المشكلة بدأت في البداية تماماً. هذا "الضجيج" يجعل التعلم أبطأ وأقل كفاءة.

الحل: ESPO (مدرب "الإيقاف المبكر")

تقدم الورقة البحثية طريقة جديدة تسمى ESPO (تحسين السياسة القريبة بالإيقاف المبكر). فكر في ESPO كمدرب يراقب الطالب في الوقت الفعلي ولديه السلطة لقول: "توقف! لقد خرجت عن المسار الصحيح. فلنحاول مجدداً".

إليك كيف يعمل ESPO، باستخدام تشبيهات بسيطة:

1. رادار "الندم" (Regret Radar)
في كل مرة يختار فيها الطالب كلمة، يقوم النموذج بحساب "درجة الندم".

التشبيه: تخيل أن الطالب لديه شعور داخلي (حدس) حول الكلمة الأفضل (الخيار "الجشع"). إذا اختار كلمة تختلف كثيراً عن شعوره الداخلي، ترتفع درجة الندم.
السحر: لا يحتاج ESPO إلى معلم جديد أو إنسان ليقيم كل خطوة. هو فقط ينظر إلى "الشعور الداخلي" للطالب (الرياضيات وراء اختيار الكلمات) ليرى ما إذا كان متردداً أو يخمن بعشوائية.

2. بوابة "القيمة" (Value Gate)
يتحقق المدرب أيضاً من "مقياس القيمة". هذا المقياس يتنبأ بمقدار "الخير" المتبقي في المسار الحالي.

المنطق: إذا كان الطالب في مسار يبدو واعداً (قيمة عالية)، يمنحه المدرب بعض الهامش للتعافي من خطأ صغير. ولكن إذا كان المسار يبدو ميؤوساً منه (قيمة منخفضة) وكان الطالب يظهر "ندماً" عالياً (ارتباكاً)، فإن المدرب يقطع الطريق فوراً.

3. قاعدة "الامتصاص الاستيعابي للفشل" (Absorbing Failure Rule)
عندما يوقف ESPO الطالب، فإنه لا يكتفي بقول "حاول مجدداً". بل يحدد تلك اللحظة تحديداً كـ فشل نهائي.

التشبيه: بدلاً من ترك الطالب يكتب 500 كلمة من الهراء ثم إعطائه صفراً على المقال بأك-له، يقول ESCO: "لقد ارتكبت خطأً هنا. بقية المقال غير موجود".
الفائدة: هذا يرسل إشارة واضحة وحادة للطالب: "الخطأ حدث هنا تماماً، وليس في النهاية". وهذا يساعد الطالب على تعلم مكان خطئه بالضبط، دون الضجيج الناتج عن النصوص الرديئة التي تبعت ذلك.

النتائج: أسرع، أذكى، وأرخص

اختبرت الورقة البحثية هذا الأسلوب على مسائل رياضية (مثل مسابقات AIME و AMC) باستخدام نماذج من أحجام مختلفة.

درجات أفضل: النماذج التي تم تدريبها باستخدام ESPO حصلت بالفعل على درجات أعلى في هذه الاختبارات الرياضية الصعبة مقارنة بالطريقة القياسية. لقد حلت المزيد من المسائل بشكل صحيح.
توفير الطاقة: لأن النماذج توقفت عن الكتابة عندما علمت أنها مخطئة، فقد وفرت أكثر من 20% من طاقة الكمبيوتر (الرموز/tokens) التي تُهدر عادة في توليد نصوص عديمة الفائدة.
لا معلمين إضافيين: على عكس الطرق الأخرى التي تتطلب توظيف بشر لتقييم كل خطوة، يقوم ESPO بذلك تلقائياً باستخدام الإشارات الداخلية للنموذج نفسه.

الملخص

باختصار، ESPO هي تقنية تدريب تمنع النموذج اللغوي من إضاعة الوقت والطاقة في تسلسل أفكار قد تحطم بالفعل. من خلال قطع الأجزاء "السيئة" مبكراً وتحديد مكان وقوع الخطأ بوضوح، فإنه يساعد النموذج على التعلم بشكل أسرع، وحل مسائل أصعب، واستخدام قدر أقل من قوة الحوسبة.

ملخص تقني: ESPO (تحسين السياسة القريبة مع الإيقاف المبكر)

بيان المشكلة

في مجال التعلم المعزز (RL) للنماذج اللغوية الكبيرة (LLMs)، وتحديداً في مهام الاستدلال طويلة المدى، تعاني خوارزميات مثل "تحسين السياسة القريبة" (PPO) من مشكلة "استمرار التوليد" (rollout continuation problem). فعندما يرتكب النموذج خطأً استدلالياً مبكراً وغير قابل للإصلاح (مثل خطأ في حساب رياضي أو مغالطة منطقية)، تجبر خوار_مية PPO القياسية السياسة على الاستمرار في توليد الرموز (tokens) حتى الوصول إلى أفق ثابت ( $T_{max}$ ).

تؤدي هذه العملية إلى نوعين من عدم الكفاءة الحرجة:

هدر حوسبي: يبذل النموذج قدرة حوسبية كبيرة على رموز لن تتلقى مكافأة إيجابية أبداً.
ضجيج التدرج (Gradient Noise): يتم تضمين هذه الرموز ما بعد الفشل ضمن تقديرات الميزة (advantage estimates) جنباً إلى جنب مع الرموز من المسارات الناجحة. هذا يلوث اتجاه التدرج بـ "ضجيج ما بعد الفشل"، مما يوجه عملية التعلم بعيداً عن نمط الفشل الفعلي، وقد يؤدي إلى دفع السياسة نحو تقليص انتشار اللوجيت (logit spread) بدلاً من حل المهمة.

الحلول الحالية، مثل نماذج مكافأة العمليات (PRMs)، تتطلب تعليماً بشرياً مكلفاً للخطوات المتوسطة. أما الطرق الأخرى مثل GRPO أو DAPO، فهي تحسن تخصيص الائتمان (credit assignment) ولكنها لا تزال تستنفد الأفق الكامل لكل مسار. كما أن وحدات الإنهاء المتعلمة (مثل Option-Critic) تضيف تعقيداً للنموذج وتتطلب أهداف تحسين منفصلة.

المنهجية: ESPO

يقترح المؤلفون ESPO (تحسين السياسة القريبة مع الإيقاف المبكر)، وهو آلية خفيفة الوزن تكتشف فشل المسارات في الوقت الفعلي وتنهي عمليات التوليد مبكراً دون الحاجة إلى نماذج مكافأة إضافية أو تعليقات بشرية. يقوم ESPO بتعديل مرحلة جمع المسارات (rollout collection) بدلاً من تعديل هدف PPO نفسه.

المكونات الأساسية

الندم البديل لكل خطوة ( $g_t$ ):
يحسب ESPO إشارة الندم عند كل خطوة زمنية باستخدام اللوجيتات التي تم توليدها بالفعل بواسطة "الممثل" (actor). وهي تقيس مدى انحراف الرمز الذي تم اختياره عن الإجراء الأكثر تفضيلاً (الأكثر جشعاً/greedy) للسياسة:
$g_t = \max_{a \in V} \log \pi_\theta(a | s_t) - \log \pi_\theta(a_t | s_t)$
يشير $g_t$ الكبير إلى أن النموذج قد اختار إجراءً أقل تفضيلاً بكثير من نمطه (mode)، مما يشير إلى احتمال الانحراف عن مسار استدلال صحيح.
إحصائية الإيقاف التراكمية الموحدة ( $z_t$ ):
للتعامل مع تغيرات النطاق أثناء التدريب، يتم توحيد $g_t$ باستخدام إحصائيات المتوسط المتحرك الأسي (EMA) على مستوى الدفعة ( $\mu_g, \sigma_g$ ). يتم تنعيم هذه الإشارة الموحدة عبر الزمن لتشكيل قيمة ندم تراكمية:
$z_t = \alpha_s z_{t-1} + (1 - \alpha_s) \tilde{g}_t$
من الضروري أن يتم تحديث إحصائيات EMA فقط عند حدود الدفعات (batch boundaries) لمنع تسرب المعلومات من الخطوات المستقبلية في المسار الحالي.
الإيقاف الموجه بالقيمة (Value-Gated Early Termination):
يتم إنهاء المسار إذا تجاوز الندم التراكمي القيمة المقدرة للحالة الحالية بشكل كبير:
$z_t > \beta \cdot \max(V_\phi(s_t), \epsilon)$
تضمن آلية البوابة هذه منح الحالات ذات العوائد المستقبلية العالية (High predicted future returns) قدرة أكبر على التسامح مع الانحراف، مما يمنع الإنهاء المبكر للرموز غير النمطية (non-mode tokens) ولكنها صحيحة (أي ذات إنتروبيا عالية).
انتقال الفشل الممتص (Absorbing Failure Transition):
عند الإنهاء، يُعامل المسار كحالة فشل ممتصة. تتلقى خطوة التوقف عقوبة نهائية ( $r_{fail}$ )، ولا يتم أي فك تشفير (decoding) إضافي. هذا يركز خطأ الفرق الزمني (TD error) عند خطوة الفشل المكتشفة، مما يسمح لإشارة الخطأ بالانتشار إلى الخلف عبر تقدير الميزة المعمم (GAE) بشكل نظيف.
إحماء الناقد (Critic Warmup):
لمنع حالات الإنهاء المبكر الزائفة الناتجة عن التباين العالي للناقد (critic) ذي التهيئة العشوائية، يستخدم ESPO فترة إحماء تكيفية. يتم تعطيل قاعدة التوقف حتى تظهر ديناميكيات تعلم مستقرة للناقد.

المساهمات الرئيسية

إنهاء المسارات بكفاءة: يقدم ESPO آلية لاكتشاف وتقليص المسارات الفاشلة باستخدام الإشارات الموجودة بالفعل في PPO التقليدي (اللوجيتات وتقديرات القيمة)، مما يتطلب حوسبة إضافية ضئيلة جداً.
تقليل الضجيج: من خلال معاملة التقليص كحالة فشل ممتصة مع عقوبة نهائية، يعزل ES_PO أخطاء TD السلبية عند نقطة الفشل، مما يزيل "ضجيج ما بعد الفشل" الذي يفسد عادةً تحديثات التدرج في PPO القياسي.
التعامد (Orthogonality): الطريقة متعامدة مع التحسينات الحالية في تخصيص الائتمان (مثل GRPO أو DAPO)، ويمكن دمجها فوق أي مقدر ميزة من نوع PPO.
لا يتطلب إشرافاً خارجياً: على عكس نماذج مكافأة العمليات (PRMs)، لا يتطلب ESPO أي تعليق بشري على مستوى الخطوة أو نماذج مكافأة منفصلة.

النتائج التجريبية

قيم المؤلفون ESPO على نماذج DeepSeek-R1-Distill-Qwen-1.5B و 7B المدربة على الاستدلال الرياضي عبر ثلاثة اختبارات مرجعية: AIME 2024، AMC 2023، و MATH-500.

مكاسب الأداء

على مقي-اس 7B: تفوق ESPO على كل من PPO و DAPO القيسيين في جميع الاختبارات:
- AIME 2024: 46.28% (مقابل 45.25% لـ PPO، و 45.57% لـ DAPO).
- AMC 2023: 85.83% (مقابل 82.94% لـ PPO، و 83.76% لـ DAPO).
- MATH-500: 87.42% (مقابل 85.43% لـ PPO، و 85.95% لـ DAPO).
- متوسط الدقة: 73.17% (مقابل 71.20% لـ PPO، و 71.76% لـ DAPO).
على مقياس 1.5B: حقق ESPO متوسط دقة بلغ 59.09%، متفوقاً على PPO (57.03%) و DAPO (58.29%).

مكاسب الكفاءة

توفير الرموز (Tokens): قلل ESPO من إجمالي رموز المسارات بنسبة >20% مقارنة بـ PPO وحوالي 19% مقارنة بـ DAPO على مقياس 7B.
دراسات الاستبعاد (Ablation Studies):
- أدى إزالة إحماء الناقد (critic warmup) إلى تقليل الأداء بمقدار 2.1 نقطة، مما يؤكد دوره في منع التحيز الناتج عن قواعد القيم غير المعايرة.
- أدت إزالة عقوبة الفشل النهائية (terminal failure penalty) إلى تقليل الأداء بمقدار 2.6 نقطة، مما يسلط الضوء على أهمية تركيز إشارات TD السلبية.
- حقق التوقف العشوائي (Random stopping) (النسخة F) دقة أقل بكثير (42.4% مقابل 46.3%) رغم توفير كمية مماثلة من الرموز، مما يثبت أن التحسن ينبع من مكان تقليص المسارات (بناءً على الندم/القيمة) وليس مجرد التدريب على تسلسلات أقصر.

الأهمية والادعاءات

يزعم البحث أن ESPO يوفر إطار عمل قابلاً للتوسع وفعالاً حوسبياً لتعزيز الاستدلال طويل المدى في النماذج اللغوية الكبيرة. تكمن أهميته الأساسية في حل مشكلة استمرار التوليد من خلال:

إزالة الحوسبة الضائعة في المسارات التي لا يمكنها التعافي.
تنظيف تدرج السياسة عبر إزالة ضجيج ما بعد الفشل دون الحاجة إلى نماذج مكافأة إضافية أو تعليقات بشرية.
الحفاظ على الاستكشاف: لا تسبب الطريقة انهياراً في الإنتروبيا؛ بل في الواقع، تبطئ معدل اضمحلال الإنتروبيا مقارنة بـ PPO عن طريق إزالة إشارات التدرج الزائفة التي كانت ستجبر السياسة على جعل توزيعها أكثر حدة ضد الرموز غير الفاشلة.

يشير المؤلفون إلى وجود قيود تتعلق بالنماذج التي تكون "خاطئة ولكن واثقة جداً" (حيث تكون فجوات اللوجيت صغيرة) والحاجة إلى ضبط يدوي للمعلمات الفائقة (hyperparameters) لمعدلات التقليص، مما يشير إلى عمل مستقبلي في الآليات التكيفية والتوسع في بيئات الوكلاء متعددة الخطوات.