🤖 AI

Deconstructing Off-Policy Ratios: Entropy-Scaled Trust Regions for Asynchronous Reinforcement Learning

تقدم هذه الورقة البحثية "مناطق الثقة الموزونة بالإنتروبيا" (ESTR)، وهي طريقة جديدة للتعلم التعزيزي غير المتزامن تعمل على ضبط عتبات تصحيح السياسة الخارجية ديناميكيًا بناءً على إنتروبيا الرموز (token entropy) للتمييز بين ضجيج أخذ العينات الضار والاستكشاف المشروع، مما يحقق استقرارًا فائقًا في التدريب وتسارعًا بمقدار 2.6 ضعفًا مقارنة بخوارزمية GRPO المتزامنة دون التضحية بالدقة.

المؤلفون الأصليون: Guanqun Zhao, Zijun Xie, Binbin Zheng, Enlei Gong, Jiafeng Lu, Yehan Yang, Aoqi Hu, Zeyu Chen

نُشر 2026-07-27

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Guanqun Zhao, Zijun Xie, Binbin Zheng, Enlei Gong, Jiafeng Lu, Yehan Yang, Aoqi Hu, Zeyu Chen

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم روبوت فائق الذكاء كيفية حل الألغاز المعقدة، مثل التنقل في متاهة أو إجراء رياضيات متقدمة. لكي يصبح بارعاً حقاً، يحتاج الروبوت إلى التدرب عبر تجربة الأشياء، ورؤية ما سيحدث، ثم التعلم من تلك المحاولات. تُسمى هذه العملية "التعلم التعزيزي" (Reinforcement Learning). عادةً، يتعلم الروبوت بشكل أفضل عندما يتدرب ويتعلم في الوقت ذاته، مستخدماً أحدث معارفه. لكن هناك عقبة؛ إذا كان الروبوت يحاول حل لغز طويل ومعقد يستغرق وقتاً طويلاً، فإن الانتظار حتى تنتهي محاولة واحدة قبل بدء المحاولة التالية سيكون بطيئاً للغاية. الأمر يشبه طباخاً يطهو وجبة واحدة، يتذوقها، يدون وصفة جديدة، ثم ينتظر حتى تبرد المطبخ قبل البدء في طهي الوجبة التالية.

لتسريع العملية، يستخدم المهندسون حيلة تسمى "التعلم غير المتزامن" (asynchronous learning). بدلاً من الانتظار، يسمحون للروبوت بالاستمرار في توليد محاولات جديدة للألغاز (rollouts) بينما يقوم "دماغ" الروبوت بتحديث نفسه (تحسين السياسة - optimizing the policy) في نفس الوقت بناءً على محاولات قديمة. إنه يشبه مطبخاً مزدحماً حيث يطهو الطاهي طبقاً جديداً بينما يقوم الطاهل المساعد بتذوق طبق بدأ تحضيره قبل خمس دقائق. المشكلة هي أن ذلك "الطبق القديم" ربما بدأ بوصفة مختلفة قليلاً عن الوصفة التي يستخدمها الطاهي حالياً. إذا حاول الطاهي التعلم من ذلك الطبك دون إدراك أن الوصفة تغيرت أثناء الطهي، فقد يصاب بالارتباك، أو يتعلم دروساً خاطئة، أو حتى يبدأ في صنع طعام سيء للغاية. هذا الارتباك هو ما يسميه الباحثون "البيانات خارج السياسة" (off-policy data)، ويمكن أن يتسبب في انهيار أداء الروبوت.

هذه الورقة البحثية، بعنوان "تفكيك النسب خارج السياسة: مناطق الثقة الموزونة بالإنتروبيا للتعلم التعزيزي غير المتزامن" (Deconstructing Off-Policy Ratios: Entropy-Scaled Trust Regions for Asynchronous Reinforcement Learning)، تعالج هذا الانهيار تحديداً. اكتشف المؤلفون، وهم فريق من شركة "بايدو" (Baidu) وعدة جامعات مرموقة، أن الطريقة المعتادة لإصلاح هذا الارتباك كانت معيبة. وجدوا أن الطريقة القياسية تعمل مثل حارس أمن صارم يوقف أي شخص يبدو "مختلفاً جداً" عن المعتاد، بغض النظر عن الموقف. أدرك الباحثون أنه في عالم التعلم غير المتزامن الفوضوي والسريع، لا يكون "الظهور بشكل مختلف" أمراً سيئاً دائماً؛ فأحياناً يكون الاختلاف علامة على استكشاف صحي، خاصة عندما يكون الروبوت غير متأكد مما يجب فعله.

قدم الفريق طريقة جديدة تسمى ESTR (منطقة الثقة الموزونة بالإنتروبيا). بدلاً من استخدام قاعدة واحدة صارمة لتقرير أي البيانات يتم الاحتفاظ بها، يعمل ESTR كمرشد حكيم يفهم السياق. فهو ينظر إلى مدى "عدم اليقين" أو "الارتباك" الذي يشعر به الروبوت في لحظة معينة (وهو مفهوم يُعرف بـ الإنتروبيا - entropy). إذا كان الروبوت واثقاً جداً (إنتروبيا منخفضة)، يكون المرشد صارماً: أي خطأ صغير يُعامل كضجيج خطير ويتم التخلص منه. أما إذا كان الروبوت غير متأكد ويقوم بالاستكشاف (إنتروبيا عالية)، يكون المرشد متساهلاً: حيث يُسمح بالتغييرات الكبيرة لأنها قد تكون المفتاح للوصول إلى حل أفضل.

باستخدام هذا النهج المرن والمدرك للسياق، وجد الباحثون أن ESTR يمكنه الحفاظ على استقرار وسرعة التدريب. وفي تجاربهم، سمح ESTR للروبوت بالتعلم بسرعة تبلغ 2.6 مرة أسرع من الطريقة المتزامنة القديمة والبطيئة، مع تحقيق نفس المستوى العالي من الدقة. لقد أظهروا أن موازنة قواعدهم بناءً على مستوى عدم اليقين لدى الروبوت مكنتهم من تصفية الضجيج الخطير دون التخلص بالخطأ من الاستكشاف الشجاع والقيم الذي يؤدي إلى الاختراقات. اتضح أنه في سباق تعليم الذكاء الاصطناعي، لا تحتاج فقط إلى السرعة؛ بل تحتاج إلى طريقة ذكية لمعرفة متى تكون صارماً ومتى تترك الروبوت يتجول بحرية.

ملخص تقني: تفكيك نسب خارج السياسة باستخدام مناطق الثقة الموزونة بالاعتلاج (Entropy)

بيان المشكلة

برز التعلم المعزز غير المتزامن (Asynchronous Reinforcement Learning) كنموذج حاسم لتوسيع نطاق مرحلة ما بعد التدريب للنماذج اللغوية الكبيرة (LLMs)، لا سيما للمهام الوكيلية (agentic tasks) طويلة الأمد والمهام الاستدلالية المعقدة. ومن خلال فصل توليد المسارات (rollout) عن تحسين السياسة (policy optimization)، تحقق الأنظمة غير المتزامنة إنتاجية أعلى بكثير مقارنة بالطرق المتزامنة. ومع ذلك، تأتي هذه الكفاءة على حساب بيانات قديمة وخارج السياسة (off-policy data).

في الإعدادات غير المتزامنة، قد يمتد مسار واحد عبر إصدارات متعددة من أوزان السياسة بسبب التحديثات "قيد التنفيذ" (in-flight updates). وهذا يخلق تحديين رئيسيين:

سياسات سلوكية غير محددة بدقة: يتم توليد المسار بواسطة خليط من إصدارات السياسة المتباعدة بدلاً من سياسة سلوك واحدة محددة جيداً، مما يجعل عمليات التصحيح القياسية خارج السياسة صعبة.
عدم الاستقرار وانهيار السياسة: يؤدي التحسين مقابل بيانات قديمة إلى حقن تدرجات (gradients) عالية التباين. وتفشل طرق الاستقرار الحالية، التي تعتمد عادةً على عتبات مقدارية فقط لنسب الأهمية (مثل القص أو القناع الصلب)، في التمييز بين الضجيج الضار والاستكشاف المشروع.

تحدد الورقة خللاً جوهرياً في النهج الحالي: فهي تطبق عتبة موحدة لنسب الأهمية بغض النظر عن اعتلاج (entropy) التوكن المحلي. يؤدي هذا إلى نمطي فشل:

الاعتلاج المنخفض: عند المواضع الواثقة، يتم تضخيم الاختلافات الصغيرة بين التدريب والاستدلال إلى نسب أهمية هائلة بسبب المقامات القريبة من الصفر. وتستبقي العتبات الثابتة هذه القيم خطأً كأنها تحديثات صالحة، مما يسمح بدخول ضجيج أخذ العينات المضخم.
الاعتلاج المرتفع: أثناء تبديل الإصدارات غير المتزامن، يؤدي الاستكشاف المشروع إلى نسب أهمية كبيرة. وتقوم العتبات الثابتة بحجب هذه الانحرافات الضرورية بشكل خاطئ، مما يقمع الاستكشاف اللازم ويسبب انهيار التدريب.

المنهجية: منطقة الثقة الموزونة بالاعتلاج (ESTR)

يقترح المؤلفون منطقة الثقة الموزونة بالاعتلاج (ESTR)، وهي آلية على مستوى التوكن تقوم بديناميكية موازنة حدود منطقة الثقة بناءً على الاعتلاج المحلي لكل توكن.

الرؤية الجوهرية: موازنة نسبة الاعتلاج

من خلال التحليل التجريبي والاشتقاق النظري، تثبت الورقة أن المقياس الطبيعي لنسبة الأهمية ( $\delta_t$ ) مرتبط جوهرياً باعتلاج التوكن ( $H_t$ ). وتحديداً، يتناسب العزم الثاني لنسبة اللوغاريتم للأهمية خطياً مع الاعتلاج:
$E[\delta_t^2] \propto H_t$
وتعني هذه العلاقة أن النطاق "الصالح" للانحراف ليس خطاً أفقياً ثابتاً، بل هو منحنى يتوسع مع زيادة الاعتلاج.

آلية ESTR

بدلاً من التحقق مما إذا كان $|\delta_t| \leq c$ (ثابت ثابت)، تقوم ESTR بتوحيد الانحراف بمعيار اعتلاجه المحلي.

الانحراف الموحد: تحدد الطريقة درجة معيارية $z_t$ :
$z_t \triangleq \frac{\delta_t}{\sqrt{H_t + \epsilon}}$
حيث $\epsilon$ ثابت صغير لمنع القسمة على صفر.
قاعدة الاحتفاظ الموزونة بالاعتلاج: يتم الاحتفاظ بالتوكن إذا وقع مربعه ضمن ميزانية $\tau$ :
$S_t = \frac{\delta_t^2}{H_t + \epsilon} \leq \tau \iff |\delta_t| \leq \sqrt{\tau(H_t + \epsilon)}$
التكامل مع الهدف: تعمل هذه القاعدة كقناع صلب ( $M_{i,t}$ ) على هدف PPO/GRPO. يتم تصفير التوكنات التي تنتهك الحدود الموزونة بالاعتلاج تماماً، بينما تخضع التوكنات التي تقع داخل الحدود للقص القياسي.

الخصائص النظرية

التعميم الصارم: تم إثبات أن طريقة العتبة الثابتة هي حالة متدهورة من ESTR حيث يُفترض أن الاعتلاج ثابت.
تصفية الضجيج مقابل الحفاظ على الاستكشاف:
- عند الاعتلاج المنخفض، تتقلص الحدود (لتصل إلى $\sqrt{\tau\epsilon}$ )، مما يؤدي إلى تصفية ضجيج أخذ العينات المضخم الذي يعاني منه التوكنات الواثقة.
- عند الاعتلاج المرتفع، تتسع الحدود ( $\propto \sqrt{H_t}$ )، مما يحافظ على الانحرافات الكبيرة الناتجة عن تبديلات الإصدارات قيد التنفيذ، والتي تمثل استكشافاً حقيقياً.
لا يوجد عبء إضافي: تتطلب الطريقة فقط الاعتلاج المستخرج من لوغاريتمات (logits) جانب الاستدلال، مما لا يضيف أي عمليات تمرير أمامي إضافية أو منطق صريح لكشف تبديل الإصدارات.

المساهمات الرئيسية

علاقة الاعتلاج-النسبة الأساسية: تثبت الورقة أن المقياس الطبيعي لنسبة الأهمية محكوم باعتلاج التوكن، مما يكشف أن الحجب القائم على المقدار فقط يفشل في التمييز بين الضجيج والانجراف في الديناميكيات غير المتزامنة.
تفكيك قدم النسخة (Staleness): حدد المؤلفون وصاغوا "تبديل الإصدار داخل المسار الواحد" كمصدر متميز للقدم، مما يؤدي إلى ارتفاعات متزامنة في الاعتلاج ونسب الأهمية، وهو ما يشكل استكشافاً صالحاً وليس خطأً.
خوارزمية ESTR: اقتراح منطقة ثقة على مستوى التوكن تتوسع مع الاعتلاج المحلي. لا تتطلب إعادة بناء سياسة السلوك أو إشارات مساعدة، ومع ذلك فهي تعمل بفعالية على استقرار التدريب.
التحقق التجريبي: إثبات أن ESTR تتفوق باستمرار على النماذج المرجعية غير المتزامنة الحالية وتطابق الأداء المتزامن مع تحسين سرعة التدريب بشكل كبير.

النتائج التجريبية

قيم المؤلفون ESTR على مهام وكيلية طويلة الأمد (BrowseComp-Plus) ومعايير الاستدلال الرياضي (GSM8K, AIME 2024–2026) باستخدام نماذج Qwen3-30B-A3B و Qwen2.5-7B.

الأداء:
- في BrowseComp-Plus، حققت ESTR معدل 37.3 avg@1، متفوقة على أفضل نموذج مرجعي غير متزامن (KPop بنسبة 34.9) ومقتربة من GRPO المتزامن (38.55).
- في GSM8K، وصلت EDT إلى 95.7، مما يطابق GRPO المتزامن تقريباً، بينما انهارت النماذج المرجعية الأخرى إلى 60–71.
- في معايير AIME، حققت ESTR معدل 17.04 avg@4، مما يطابق الخط المرجعي المتزامن (17.54) عن كثب، وحققت أعلى pass@4 (28.38 مقابل 27.68).
الاستقرار: حافظت ESTR على استقرار اعتلاج السياسة وأقل تباعد KL بين المسار والهدف طوال التدريب. في المقابل، أظهرت النماذج المرجعية مثل IcePop و KPop طفرات اعتلاج غير مستقرة وانخفاضات غير قابلة للاسترداد في الأداء.
الكفاءة: من خلال فصل التوليد عن التدريب، حققت ESTR تسريعاً بمقدار 2.6 ضعف في إنتاجية التدريب مقارنة بـ GRPO المتزامن، دون أي عقوبة في الدقة.
حجب التوكن: قامت ESTR بحجب عدد أقل بكثير من التوكنات (أقل بنحو عشرة أضعاف) من طرق العتبة الثابتة، مما يشير إلى أنها تصفي الضجيج الضار فقط بدلاً من قطع التوكنات ذات النسب العالية بشكل عشوائي.

الأهمية والادعاءات

تزعم الورقة أن ESTR تحل التوتر المركزي في التعلم المعزز غير المتزامن لنماذج LLM: تحقيق فوائد الإنتاجية لعدم التزامن دون التضحية باستقرار التدريب على السياسة (on-policy).

تحول في النموذج: تجادل الورقة بأن مناطق الثقة في التعلم المعزز غير المتزامن لا ينبغي أن تُعرف بعتبات مقدار عالمية بل يجب أن تكون مرتبطة بالحالة، بحيث تتوسع مع الاعتلاج المحلي للتوكن.
المتانة: من خلال مواءمة منطقة الثقة مع المقياس الطبيعي لانحرافات خارج السياسة، تستوعب ESTR الاضطرابات الناتجة عن تبديل الإصدارات داخل المسار دون الحاجة إلى كشف معقد للقدم أو إعادة بناء سياسة السلوك.
القابلية للتوسع: تمكن الطريقة من توسيع نطاق التعلم المعزز للمهام الوكيلية طويلة الأمد ومتعددة الخطوات حيث تكون الطرق المتزامنة بطيئة جداً والطرق غير المتزامنة الحالية غير مستقرة للغاية.

يخلص المؤلفون إلى أن ESTR توفر حلاً مبدئياً ومنخفض التكلفة، يضمن استقرار التدريب بالإنتاجية الكاملة للتحسين غير المتزامن، مما يجعلها نهجاً قابلاً للتطبيق لتوسيع نطاق مرحلة ما بعد التدريب للنماذج اللغوية الكبيرة في المستقبل.