🤖 machine learning

Gradient Extrapolation-Based Policy Optimization

تقترح الورقة البحثية طريقة "تحسين السياسة القائم على الاستقراء المتدرج" (GXPO)، وهي طريقة متوافقة للتركيب مع أساليب التعلم المعزز من طراز GRPO المخصصة للاستنتاج، حيث تقوم بتقريب عمليات التطلع متعددة الخطوات المكلفة باستخدام ثلاث تمريرات خلفية فقط لتحقيق تحسينات كبيرة في أداء (pass@1) وكفاءة التدريب دون الحاجة إلى عمليات سحب عينات جديدة.

المؤلفون الأصليون: Ismam Nur Swapnil, Aranya Saha, Tanvir Ahmed Khan, Mohammad Ariful Haque, Ser-Nam Lim

نُشر 2026-05-11

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Ismam Nur Swapnil, Aranya Saha, Tanvir Ahmed Khan, Mohammad Ariful Haque, Ser-Nam Lim

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة بحثية بعنوان "تحسين السياسة القائم على الاستقراء المتدرج (GXPO)" باستخدام لغة بسيطة وتشبيهات من الحياة اليومية.

الصورة الكبيرة: مشكلة "النظر للأمام"

تخيل أنك تعلم طالباً ذكياً جداً (نموذج لغوي كبير) كيفية حل مسائل رياضية معقدة. تعطيه مسألة، فيحاول حلها، وإذا نجح، تمنحه "هاي فايف" (مكافأة). وإذا أخطأ، تطلب منه المحاولة مرة أخرى.

في الطريقة القياسية الحالية (المسماة GRPO)، يتخذ الطالب خطوة واحدة، ويتلقى تعليقات، ثم يعدل تفكيره فوراً بناءً على تلك الخطوة الواحدة فقط. الأمر يشبه المشي في غابة مظلمة والنظر فقط إلى الأرض تحت قدميك مباشرة. هذه الطريقة آمنة وسريعة، لكنك قد تفوت مساراً أفضل يقع على بعد بضع خطوات أمامك.

لكي ترى لمسافة أبعد، يمكنك إرسال الطالب لاستكشاف 10 خطوات للأمام قبل أن يقرر أي اتجاه يسلك. هذا ما يسمى "النظر للأمام" (look-ahead). ومع ذلك، في عالم الذكاء الاصطناعي، استكشاف 10 خطوات للأمام مكلف للغاية؛ فهو يتطلب من الكمبيوتر القيام بجهد حسابي أكبر بـ 10 مرات لكل درس واحد، مما يبطئ كل شيء ويكلف ثروة من الكهرباء.

الحل: GXPO (خدعة "الكرة البلورية")

يقترح المؤلفون طريقة جديدة تسمى GXPO. فكر في GXPO كاختصار ذكي يسمح للطالب بـ "استراق النظر" إلى المستقبل دون الحاجة للمشي المسافة كاملة فعلياً.

إليك كيف يعمل GXPO، مقسماً إلى ثلاث خطوات بسيطة:

1. "الجس" (أخذ خطوتين سريعتين)

بدلاً من مجرد النظر إلى الأرض تحت قدميه، يأخذ الطالب خطوتين صغيرتين وسريعتين للأمام ثم يفحص الأرض فوراً.

الخطوة أ: يأخذ خطوة صغيرة.
الخطوة ب: يأخذ خطوة صغيرة أخرى.
الفحص: يقارن بين ملمس الأرض في البداية، وبعد الخطوة (أ)، وبعد الخطوة (ب).

2. "الاستقراء" (التنبؤ بالمستقبل)

من خلال مقارنة هاتين الخطوتين الصغيرتين، يمكن للطالب تخمين نمط معين.

تشبيه: تخيل أنك تقود سيارة. إذا أدرت عجلة القيادة قليلاً جهة اليسار، وانحرفت السيارة قليلاً لليسار، ثم أدرت العجلة مرة أخرى وانحرفت أكثر، يمكنك تخمين أنه إذا استمررت في التدوير، فإن السيارة ستنعطف في النهاذ في منحنى كبير.
يستخدم GXPO هذا النمط للتنبؤ رياضياً بمكان وجود الطالب إذا كان قد اتخذ 10 خطوات (أو أي عدد من الخطوات، $K$ ) بدلاً من خطوتين فقط. إنه ينشئ وجهة "افتراضية".

3. "التصحيح" (شبكة الأمان)

هذا هو الجزء الأهم. لا يقفز الطالب ببساطة نحو تلك الوجهة المتوقلة المكونة من 10 خطوات؛ لأن ذلك سيكون خطيراً لأن التنبؤ قد يكون غير دقيق تماماً.

بدلاً من ذلك، يتحرك الطالب جزئياً نحو تلك النقطة المتوقعة.
ثم يتوقف ويقوم بـ نظرة حقيقية وحذرة على الأرض في هذا الموقع الجديد.
يستخدم هذه المعلومات الحقيقية لاتخاذ قراره النهائي.

لماذا يعد هذا أمراً هاماً؟

تزعم الورقة البحثية أن GXPO يحقق فوائد النظر بعيداً (تفكير أعمق) دون التكلفة الباهظة.

النظر للأمام القياسي: لكي تنظر 10 خطوات للأمام، تحتاج عادةً إلى إجراء 11 عملية حسابية (واحدة للبداية + 10 للخطوات).
GXPO: لكي تنظر 10 خطوات للأمام، يقوم GXPO بـ 3 عمليات حسابية فقط (2 لعمليات الجس السريعة + 1 للتصحيح النهائي).

الأمر يشبه امتلاك كرة بلورية تسمح لك برؤية 10 خطوات في المستقبل، ولكنك تدفع ثمن رؤية 3 خطوات فقط.

"مفتاح الأمان"

بنى المؤلفون أيضاً آلية أمان. فأحياناً، قد تصبح "الكرة البلورية" (التنبؤ) مهتزة أو غير موثوقة، خاصة إذا كان الطالب يتعلم شيئاً جديداً جداً أو صعباً.

يحتوي GXPO على "بوابة Z-score" (نظام مراقبة). إذا استشعر النظام أن التنبؤ أصبح جامحاً أو غير مستقر، فإنه يغلق "الكرة البلورية" تلقائياً.
عندما يحدث هذا، ينتقل النظام فوراً إلى الطريقة الآمنة القياسية (مجرد النظر إلى الأرض تحت القدمين) حتى تستقر الأمور. يضمن هذا عدم اصطدام الطالب أو فشله بسبب تخمين سيء.

النتائج

اختبرت الورقة هذا الأسلوب في مهام الاستدلال الرياضي (مثل حل مسائل الجبر والهندسة) باستخدام نماذج مثل Qwen و Llama.

نتائج أفضل: حلت نماذج GXPO مسائل أكثر بشكل صحيح مقارنة بالطريقة القياسية.
تعلم أسرع: وصلت إلى ذروة أدائها بشكل أسرع (في خطوات ووقت أقل).
نفس التكلفة: على الرغم من أنها كانت "تنظر لمسافة أبعد"، إلا أنها لم تستهلك طاقة حاسوبية أكثر من الطريقة القياسية لأنها قامت بـ 3 عمليات حسابية فقط لكل خطوة.

الملخص

GXPO هي خدعة ذكية لتدريب الذكاء الاصطناعي. فهي تسمح للذكاء الاصطناعي بـ "تخمين" ما سيحدث إذا مارس التدريب لفترة طويلة، والتحقق مما إذا كان هذا التخمين آمناً، ثم استخدام هذه الرؤية للتعلم بشكل أسرع. إنه يحصل على فوائد التخطيط العميق دون الثمن الباهظ للقيام بكل ذلك التخطيط فعلياً.

ملخص تقني: تحسين السياسة القائم على الاستقراء المتدرج (GXPO)

1. بيان المشكلة

يُعد التعلم المعزز بالمكافآت القابلة للتحقق (RLVR) محركًا رئيسيًا لتحسين قدرات الاستنتاج في النماذج اللغوية الكبيرة (LLMs)، لا سيالما في مجالات مثل الرياضيات حيث يمكن التحقق من الإجابات تلقائيًا. تعتمد الأساليب القياسية، مثل تحسين السياسة النسبي للمجموعة (GRPO)، على تحديث النماذج باستخدام تدرجات يتم حسابها من خطوة واحدة من السياسة الحالية. وبينما تُعد هذه الطرق فعالة، إلا أنها تعتمد فقط على معلومات التدرج الفورية.

على النقص، يمكن لأساليب التطلع المستقبلي متعدد الخطوات الصريحة (مثل توسيع الأشجار أو تقليل مسافة السياسة بـ $h$ من الخطوات) أن تحدد اتجاهات تحديث متفوقة عبر محاكاة معلومات المسار المستقبلي. ومع ذلك، فإن هذه الأساليب مكلفة حوسبيًا بالنسبة للنماذج اللغوية الكبيرة لأنها تتطلب عمليات تمرير خلفي (backward passes) متعددة لكل خطوة تحديث، مما يزيد بشكل كبير من وقت التدريب وتكاليف الذاكرة. تحاول المحسنات "البطيئة-السريعة" (slow-fast) الموجودة مثل SFPO سد هذه الفجوة، لكنها لا تزال تتحمل تكلفة تتناسب مع عمق التطلع المستقبلي ( $K+1$ من عمليات التمرير الخلفي).

التحديد الجوهري الذي تعالجه هذه الورقة هو: هل يمكن لتحديث السياسة أن يلتقط فوائد معلومات التطلع المستقبلي متعدد الخطوات دون زيادة عدد عمليات التمرير الخلفي عن تكلفة الخطوة الواحدة القياسية؟

2. المنهجية: تحسين السياسة القائم على الاستقراء المتدرج (GXPO)

إن GXPO هو قاعدة تحديث سياسة متوافقة وقابلة للتركيب، مصممة لتعزيز التعلم المعزز للقدرة على الاستنتاج بأسلوب GRPO. يقوم بتقريب تطلع مستقبلي محلي أطول ( $K$ خطوة) باستخدام ثلاث عمليات تمرير خلفي فقط خلال المرحلة النشطة، بغض النظر عن عمق التطلع الافتراضي $K$ .

الآلية الجوهرية

تعمل الطريقة عن طريق إعادة استخدام نفس دفعة العينات (batch)، والمكافآت، والمزايا، ودالة خسارة GRPO، مما يضمن عدم الحاجة إلى توليد بيانات إضافية أو حساب مكافآت جديدة. تتضمن عملية التحديث ثلاث خطوات متميزة:

مرحلة السبر (خطوتان سريعتان):
- يقوم الخوارزم بإنفيذ خطوتي تحسين سريعتين باستخدام المحسن الأساسي (مثل AdamW) بدءًا من المعلمات الحالية $\theta_0$ .
- يقوم بحساب التدرجات $g_0$ (عند $\theta_0$ ) و $g_1$ (عند $\theta_1$ ) لمراقبة كيفية تطور التدرج عبر مسار قصير.
- لكل إحداثي نشط $i$ ، يحسب نسبة الاحتفاظ $r_i = g_{1,i} / g_{0,i}$ . تقوم هذه النسبة تجريبيًا بتقدير مقدار التدرج الذي يتم الاحتفاظ به بعد خطوة واحدة، مما يقرب فعليًا الانحناء المحلي (Hessian) دون حساب مصفوفة صريح.
الاستقراء الهندسي وإعادة التمركز:
- بافتراض نموذج تربيعي محلي حيث يتبع تطور التدرج تسلسلاً هندسيًا ( $g_n \approx r^n g_0$ )، يتنبأ GXPO بالإزاحة بعد $K$ من الخطوات.
- يقوم بتغيير حجم الإزاحة المرصودة لخطوتين ( $\theta_2 - \theta_0$ ) بمعامل مشتق من المجموع الهندسي لنسب الاحتفاظ لتقدير نقطة افتراضية بعد $K$ خطوة $\theta_K$ .
- بدلًا من الالتزام الكامل بهذا التنبؤ، يتم نقل السياسة جزئيًا نحو $\theta_K$ إلى نقطة مُعاد تمركزها $\tilde{\theta} = \theta_0 + \alpha(\theta_K - \theta_0)$ ، حيث يتحكم $\alpha \in [0, 1]$ في قوة الاستقراء.
التحديث التصحيحي:
- يتم إجراء عملية تمرير خلفي ثالثة عند النقطة المُعاد تمركزها $\tilde{\theta}$ لحساب التدرج الحقيقي $g_{slow} = \nabla L(\tilde{\theta})$ .
- يستخدم التحديث النهائي هذا التدرج التصحيحي الحقيقي، مما يربط تحديث السياسة بدالة الهدف الفعلية بدلاً من الاعتماد فقط على التنبؤ المستقر.

الاستقرار والرجوع التكيفي

لمنع عدم الاستقرار عندما يفشل الافتراض التربيعي المحلي (على سبيل المثال، أثناء التغيرات الحادة في مشهد الخسارة)، يستخدم GXPO بوابة z-score تكيفية. يقوم بمراقبة معيار التدرج التصحيحي ( $\|g_{slow}\|$ ) مقابل مخزن مؤقت متحرك للمعايير الأخيرة. إذا انحرف المعيار بشكل كبير (تجاوز عتبة $\tau$ )، يفترض النظام أن الاستقراء غير موثوق ويعود بشكل دائم إلى نظام GRPO القياسي ذي التمرير الواحد لجميع الخطوات اللاحقة.

الأساس النظري

يقدم المؤلفون تحليلًا بديلًا باستخدام التدرج الهابط البسيط على نموذج تربيعي محلي. ويثبتون أنه في ظل الظروف المثالية (Hessian قطري، واضمحلال هندسي دقيق)، فإن خطوة واحدة من GXPO باستخدام ثلاثة تمريرات خلفية تعادل رياضيًا $K+1$ من خطوات التدرج الهابط القياسية. كما يضعون حدودًا للأخطاء المحلية الناجمة عن اقتران الـ Hessian غير القطري، وتقدير النسب التجريبي، وبواقي تايلور غير التربيعية.

3. المساهمات الرئيسية

قاعدة تحديث متوافقة مع GRPO: طريقة تقرب التطلع المستقبلي لـ $K$ خطوة باستخدام ثلاثة تمريرات خلفية فقط (اثنان للسبر + واحد للتصحيح)، بغض النظر عن قيمة $K$ .
تنفيذ ثابت الدفعة: تعيد الطة استخدام العينات والمكافآت والمزايا الموجودة، ولا تتطلب أي تغييرات في خط إنتاج البيانات أو حساب المكافآت. وهي تتضمن بوابة استقرار تعود إلى GRPO أحادي التمرير عندما تصبح الإشارات المحلية غير موثوقة.
التحقق النظري والتجريبي: تحليل بديل تربيعي محلي يشرح شروط الدقة والحدود الخطئية، إلى جانب اختبار قياسي واسع عبر مجموعتين من النماذج (Qwen2.5 و Llama3.2).

4. النتائج التجريبية

قام المؤلفون بتقييم GXPO على اختبارات استنتاج الرياضيات (Math-500, AMC23, GSM8K, Minerva Math, OlympiadBench) باستخدام نماذج Qwen2.5 (1.5B, 3B, 7B) و Llama3.2-3B.

تحسينات الدقة: تفوق GXPO باستمرار على GRPO القياسي وأقوى إعدادات SFPO.
- مقابل GRPO: حقق تحسنًا في متوسط pass@1 العينة بمقدار +1.65 إلى +5.00 نقطة.
- مقابل SFPO: حقق تحسنًا في متوسط pass@1 العينة بمقدار +0.14 إلى +1.28 نقطة مع استخدام عمليات تمرير خلفي أقل.
مكاسب الكفاءة:
- تسريع الخطوات: أسرع بمقدار يصل إلى 4.00× في الوصول إلى ذروة دقة GRRO من حيث خطوات التدريب.
- تسريع وقت التنفيذ (Wall-Clock): أسرع بمقدار يصل إلى 2.33× في الوقت اللازم للوصول للقمة.
- كفاءة التمرير الخلفي: يتطلب حتى 1.33× أقل من عمليات التمرير الخلفي للوصول إلى ذروة الدقة مقارنة بـ GRPO.
الحساسية للمعلمات الفائقة: تحسن الأداء عمومًا مع زيادة أعماق التطلع المستقبلي الافتراضي ( $K \in \{3, 5, 10\}$ ) وعوامل المزج ( $\alpha$ )، مع استمرار المكاسب حتى عند معايرتها بعدد عمليات التمرير الخلفي.

5. الأهمية والادعاءات

تدعي الورقة أن GXPO يوفر حلًا وسطًا عمليًا بين GRPO أحادي الخطوة الفعال وطرق التطلع المستقبلي متعدد الخطوات المكلفة. من خلال فصل جودة اتجاه التحديث عن التكلفة الحوسبية لعمليات التمرير الخلفي، يُمكّن GXPO النماذج اللغوية الكبيرة من الاستفادة من معلومات المسار لتحسين الاستنتاج دون العبء المرهق للتخطيط الكامل أو طرق البحث في الأشجار.

يؤكد المؤلفون أن GXPO هو تدخل متعامد: فهو لا يغير إشارة المكافأة، أو عملية توليد العينات، أو دالة الخسارة. بدلاً من ذلك، فإنه يعمل على تحسين قاعدة تحديث السياسة نفسها. وهذا ما يجعل منه بديلاً جاهزًا للاستخدام (drop-in replacement) لخطوط عمل RLVR الحالية.

تظل الورقة متواضعة فيما يتعلق بنطاقها النظري، حيث تقر بأن التحليل يعتمد على نموذج بديل للتدرج الهابط البسيط وأن التنفيذ يستخدم محسنات ذات حالة (stateful optimizers) مثل AdamW. علاوة على ذلك، تقتصر التجار تجريبيًا حاليًا على مهام الاستنتاج الرياضي ذات المكافآت القابلة للتحقق، مما يشير إلى أن التطبيق الأوسع على مهام أخرى أو إعدادات أكبر نطاقًا يتطلب مزيدًا من الاستقصاء.