🤖 machine learning

Near-Future Policy Optimization

تقترح الورقة البحثية طريقة "تحسين السياسة للمستقبل القريب" (NPO)، وهي طريقة تعلم تعزيزي ذات سياسة مختلطة تستفيد من نقاط التفتيش المستقبلية للنموذج نفسه كإشارات تدريب عالية الجودة ومنخفضة التباين لتسريع التقارب وتحسين الأداء، إلى جانب نسخة تكيفية تسمى "AutoNPO" تعمل على تحسين هذه العملية تلقائياً.

المؤلفون الأصليون: Chuanyu Qin, Chenxu Yang, Qingyi Si, Naibin Gu, Dingyu Yao, Zheng Lin, Peng Fu, Nan Duan, Jiaqi Wang

نُشر 2026-04-23

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Chuanyu Qin, Chenxu Yang, Qingyi Si, Naibin Gu, Dingyu Yao, Zheng Lin, Peng Fu, Nan Duan, Jiaqi Wang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تعلم طالباً كيفية حل المسائل الرياضية المعقدة. لديك كتاب مدرسي (النموذج الذكي)، وتريد أن تجعله أكثر ذكاءً.

في عالم الذكاء الاصطناعي، هناك طريقة شائعة تسمى التعلم التعزيزي بالمكافآت القابلة للتحقق (RLVR). فكر في هذا كحلقة "جرب، افشل، تعلم". يحاول الطالب حل مسألة، وإذا أصاب، يحصل على نجمة ذهبية. وإذا أخطأ، يحاول مرة أخرى. الهدف هو الحصول على أكبر عدد ممكن من النجوم الذهبية.

ومع ذلك، هناك مشكلة في هذه الطريقة: الطالب يعلق في مكانه.

في البداية: لا يعرف الطالب ما يكفي لحل المسائل الصعبة، لذا نادراً ما يحصل على نجوم ذهبية. إنه عالق في مرحلة "البداية الباردة".
لاحقاً: يصبح الطالب جيداً في أنواع معينة من المسائل، لكنه يتوقف عن التطور. يصطدم بـ "سقف" حيث يكتفي بتكرار نفس الاستراتيجيات، حتى لو لم تكن تلك الاستراتيجيات مثالية.

الحلول القديمة (ولماذا فشلت)

حاول الباحثون إصلاح ذلك بجلب مساعدة خارجية، لكن كلا الخيارين كان بهما عيوب:

"المعلم العبقري" (المعلمون الخارجيون): تجلب معلماً فائق الذكاء ليري الطالب كيفية حل المسألة.
- المشكلة: المعلم ذكي جداً. طريقة تفكيره مختلفة تماماً عن طريقة تفكير الطالب، مما يسبب ارتباكاً للطالب. الأمر يشبه محاولة تعليم طفل صغير فيزياء الكم؛ لا يستطيع الطالب استيعاب الدرس لأن الفجوة كبيرة جداً.
"الواجبات القديمة" (المسارات السابقة): تجعل الطالب يراجع واجباته الناجحة من الأسبوع الماضي.
- المشكلة: الواجبات سهلة للغاية. لقد تعلم الطالب هذا المحتوى بالفعل، لذا فهي لا تدفعه لتعلم أي شيء جديد أو أصعب. هو فقط يستمر في فعل ما يعرفه بالفعل.

الفكرة الجديدة: "تحسين السياسة للمستقبل القريب" (NPO)

توصل مؤلفو هذه الورقة البحثية إلى حل عبقري وبسيط: دع الطالب يتعلم من "نفسه المستقبلية".

تخيل آلة زمن. قم بإيقاف تدريب الطالب اليوم. ثم قم بتسريع الزمن به 20 خطوة نحو المستقبل، حيث تعلم قدراً أكبر قليلاً. خذ هذا "الطالب المستقبلي"، واجعله يحل المسائل الصعبة، ثم أحضر تلك الحلول إلى "الطالب الحالي".

هذا هو NPO.

لماذا يعتبر هذا هو الحل "المثالي" (الذي يقع في المنطقة الوسطى بين التطرفين)؟

ليس بعيداً جداً (مثل العبقري الخارجي): "الطالب المستقبلي" يسبقك بفارق ضئيل فقط. طريقة تفكيره تشبه إلى حد كبير "الطالب الحالي"، لذا فإن الدروس سهلة الاستيعاب.
ليس قريباً جداً (مثل الواجبات القديمة): "الطالب المستقبلي" تعلم بعض الحيل الجديدة ويمكنه حل المسائل التي يفشل فيها "الطالب الحالي". إنه يقدم تحدياً مناسباً تماماً.

كيف يعمل الأمر في الممارسة العملية

اختبر الباحثون هذا بطريقتين:

"الدفعة المبكرة": في البداية، يكون الطالب في حالة صراع. يقوم النظام بسحب "طالب مستقبلي" من فترة زمنية تسبق الوقت الحالي ببضع دقائق فقط من التدريب. هذا يعطي الطالب الحالي دفعة قوية، مما يساعده على التعلم بشكل أسرع مما لو كان بمفرده.
"كسر السقف": لاحقاً، عندما يصطدم الطالب بسقف (يتوقف عن التطور)، يقوم النظام بسحب "طالب مستقبلي" من مرحلة متقدمة جداً. هذا الطالب اكتشف الحيل الصعبة. ومن خلال عرض هذه الحلول على الطالب الحالي، يتم كسر هذا السقف ودفع الطالب إلى مستوى أعلى من الذكاء.

لقد بنوا أيضاً نظام AutoNPO. هذا يشبه مدرباً ذكياً يراقب الطالب. إذا رأى المدرب أن الطالب عالق أو يشعر بالملل، يقرر المدرب تلقائياً: "حسناً، لنأتي بالطالب المستقبلي لتقديم درس سريع"، دون الحاجة لتدخل بشري.

النتائج

عندما اختبروا ذلك على نموذج ذكاء اصطناٍ قوي (Qwen3-VL) يحل مسائل رياضية وألغازاً بصرية:

السرعة: تعلم الذكاء الاصطناعي بشكل أسرع بنحو 2.1 مرة في البداية.
المهارة: وصل الذكاء الاصطناعي إلى درجة نهائية أعلى من أي طريقة أخرى، حيث حل مسائل أكثر صعوبة.
الكفاءة: لم يكن بحاجة إلى حاسوب خارق أو معلم مختلف؛ كان يحتاج فقط إلى النظر إلى نسخة نفسه المستقبلية قليلاً.

استعارة الصورة الكبيرة

فكر في تسلق جبل.

الذكاء الاصطناعي القياسي هو متسلق يحاول إيجاد الطريق للأعلى بمفرده. أحياناً يضيع في الضباب (المرحلة المبكرة)، وأحياناً يعلق على حافة مسطحة (المرحلة المتأخرة).
المعلمون الخارجيون يشبهون مروحية تسقط خريطة من سلسلة جبال أخرى. الخريطة مثالية، لكن التضاريس مختلفة تماماً بحيث لا يستطيع المتسلق استخدامها.
المسارات السابقة تشبه النظر إلى خريطة أسفل الجبل. إنها مألوفة، لكنها لا تساعدك على التسلق عالياً.
NPO يشبه المتسلق وهو ينظر إلى نسخة من نفسه تسبقه بخطوات قليلة، وقد وجدت للتو موطئ قدم جديد. إنه الدليل المثالي لأنه يعرف بالضبط أين يقف المتسلق، ويعرف أيضاً إلى أين يتجه بعد ذلك.

باختصار: أفضل طريقة للتعلم ليست بالاستماع إلى عبقري أو إعادة قراءة ملاحظاتك القديمة؛ بل هي التعلم من الشخص الذي أوشكت أن تصبح عليه.

إليك ملخص تقني مفصل لورقة "تحسين السياسة القريبة من المستقبل" (Near-Future Policy Optimization - NPO).

1. بيان المشكلة

أصبح التعلم المعزز بالمكافآت القابلة للتحقق (RLVR) هو المعيار القياسي لطرق ما بعد التدريب لنماذج الاستنتاج (على سبيل المثال، باستخدام GRPO). ومع ذلك، يواجه الاستكشاف داخل السياسة (on-policy) الصرف قيودًا هيكلية:

بداية التدريب: تكون المسارات الصحيحة نادرة، مما يؤدي إلى "بداية باردة" بإشارات تدرج ضعيفة.
نهاية التدريب: يضيق توزيع التوليد (rollout distribution)، مما يتسبب في وصول النموذج إلى هضبة أداء لا يمكنه من خلالها اكتشاف حلول جديدة تتجاوز قدراته الحالية.

لمعالجة ذلك، استكشف الباحثون طرق السياسة المختلطة (mixed-policy) التي تُدخل مسارات خارج السياسة (off-policy). تعاني الأساليب الحالية من مقايضة جوهرية:

المعلم الخارجي / نماذج المستقبل البعيد: توفر مسارات عالية الجودة ( $Q$ ) ولكنها تسبب فجوة توزيع كبيرة، مما يؤدي إلى تكاليف تباين عالية ( $V$ ) تزعزع استقرار التدريب.
إعادة تشغيل السجل التاريخي (مسارات الماضي): تظل قريبة من التوزيع الحالي (تباين منخفض $V$ ) ولكن جودتها محدودة ( $Q$ ) لأنها تنشأ من نقاط تفتيش (checkpoints) سابقة وأضعف.

التحدي الأساسي هو العثور على مصدر للمسارات يكون قويًا بما يكفي لتعليم معرفة جديدة (جودة عالية $Q$ ) ولكنه قريب بما يكفي ليتم استيعابه بسهولة (تباين منخفض $V$ )، مما يعظم إشارة التعلم الفعالة $S = Q/V$ .

2. المنهجية: تحسين السياسة القريبة من المستقبل (NPO)

يقترح المؤلفون NPO، وهو مخطط سياسة مختلطة حيث تتعلم السياسة الحالية من "ذاتها القريبة من المستقبل" (نقطة تفتيش لاحقة من نفس عملية التدريب).

المفهوم الجوهري: مقايضة الجودة والتباين

تُصيغ الورقة إشارة التعلم الفعالة كـ $S(\Delta) = Q(\Delta) / V(\Delta)$ ، حيث $\Delta$ هي مسافة الخطوات بين السياسة الحالية والسياسة المرشدة.

$Q(\Delta)$ (جودة الإشارة): تزدادة مع نمو $\Delta$ لأن نقطة التفتيش المستقبلية أكثر تحسينًا.
$V(\Delta)$ (تكلفة التباين): تزداد بشكل أسي مع نمو $\Delta$ بسبب التباعد في توزيعات السياسة.
$\Delta^*$ المثلى: يوجد مثالي داخلي فريد حيث يكون المرشد بعيدًا بما يكفي لتقديم حلول جديدة، وقريبًا بما يكفي للحفاظ على انخفاض التباين. يستهدف NPO منطقة "الـ S العالية" هذه.

الآلية الخوارزمية

يعدل NPO تشكيل مجموعة التوليد القياسية لـ RLVR:

التخزين المؤقت غير المتصل (Offline Caching): قبل جزء التدريب، تُستخدم نقطة تفتيش قريبة من المستقبل $\pi(t+\Delta)$ لتوليد المسارات (rollouts) دون اتصال. يتم تخزين المسارات الصحيحة التي تم التحقق منها في ذاكرة مؤقتة.
الحقن الشرطي (Conditional Injection): أثناء التدريب عند الخطوة $t$ $t$ ، وللمطالبة $x$ $x$ :
- تقوم السياسة الحالية $\pi(t)$ بأخذ عينات من $n$ من المسارات.
- إذا كان معدل النجاح (pass-rate) داخل السياسة منخفضًا (مما يشير إلى معاناة النموذج) وكان هناك مسار صحيح مخزن مؤقتًا من $\pi(t+\Delta)$ ، يتم استبدال الفتحة رقم $n$ في مجموعة التوليد بالمسار المستقبلي.
- خلاف ذلك، تظل المجموعة نقية تمامًا داخل السياسة.
الهدف: يُستخدم هدف PPO المقطوع (clipped PPO) القياسي. ومن المهم أنه نظرًا لأن المرشد هو نقطة تفتيش "قريبة من المستقبل"، فإن نسبة أخذ العينات الهامة (IS ratio) $\pi_\theta / \pi_{t+\Delta}$ تكون قريبة من 1. يوضح المؤلفون أن تصحيح IS الدقيق غالبًا ما يكون غير ضروري، مما يبسط التنفيذ ويقلل من الحوسبة.

AutoNPO: التدخل التكيفي

لتجنب الضبط اليدوي لـ متى و مدى بعد التدخل، يقترح المؤلفون AutoNertNPO:

المحفز (Trigger): يراقب الإشارات عبر الإنترنت (ركود المكافأة، انخفاض الإنتروبيا) لاكتشاف انهيار الاستكشاف أو الهضبات.
الاختيار: يحسب تلقائيًا المسافة المثلى للرجوع للخلف $\Delta^*$ عن طريق تعظيم تقدير تجريبي لـ $S(\Delta)$ باستخدام "مجمع الأخطاء" للمطالبات الفاشلة.
التنفيذ: يقوم بالرجوع بالتدريب إلى $t-\Delta^*$ ويعيد تشغيل الجزء باستخدام المرشد القريب من المستقبل، ثم يستأنف التقدم للأمام.

3. المساهمات الرئيسية

رؤية نظرية: صياغة مقايضة $Q/V$ في RLVR خارج السياسة، وإثبات أن نقطة التفتيش "القريبة من المستقبل" تقدم مثاليًا فريدًا لإشارة التعلم الفعالة $S$ ، متفوقة على كل من المعلمين الخارجيين وإعادة تشغيل السجل التاريخي.
خوارزمية NPO: مخطط سياسة مختلطة جاهز للاستخدام (plug-and-play) يحقن المسارات المتحقق منها من "ذاته المستقبلية" في مجموعة التوليد الحالية دون تغيير هدف RL الأساسي.
إطار عمل AutoNPO: متحكم تكيفي يكتشف تلقائيًا هضبات التدريب ويختار نقطة التفتيش المرشدة المثلى، مما يوحد بين مرحلة البداية (bootstrapping) ومرحلة الاختراق في المراحل المتأخرة.
التبسيط: أظهر أن تصحيح أخذ العينات الهامة (Importance Sampling) الدقيق في NPO لا يؤدي إلى خسارة تذكر في الأداء، مما يسمح بتنفيذ أكثر كفاءة.

4. النتائج التجريبية

أُجريت التجارب على Qwen3-VL-8B-Instruct باستخدام خوارزمية GRPO عبر ثمانية معايير استدلال متعددة الوسائط (مثل MMMU-Pro, MathVista, ZeroBench).

مكاسب الأداء:
- NPO (يدوي): حسن متوسط الدقة من 57.88 (Base GRPO) إلى 62.84.
- AutoNPO: حقق تحسنًا إضافيًا ليصل إلى 63.15، متفوقًا على جميع النماذج المرجعية بما في ذلك LUFFY (المعلم الخارجي)، وExGRPO (إعادة تشغيل السجل التاريخي)، وRLEP (إعادة تشغيل المستقبل البعيد).
ديناميكيات التدريب:
- تسريع: سرّع التدخل في المرحلة المبكرة التقارب بنسبة ~2.1 ضعف.
- السقف: كسر التدخل في المرحلة المتأخرة هضبة الأداء، محققًا دقة نهائية أعلى من vanilla GRPO.
- الإنتروبيا: على عكس GRPO، الذي يعاني من انهيار الإنتروبيا (التقارب المبكر)، حافظ AutoNPO على إنتروبيا أعلى وأعاد توسيع الاستكشاف بعد التدخلات.
الدراسة الاستقصائية (Ablation): أدى حذف تصحيح أخذ العينات الهامة (Importance Sampling) في NPO إلى خسارة طفيفة جدًا في الأداء، مما يؤكد خاصية التباين المنخفض للمرشد القريب من المستقبل.

5. الأهمية

نموذج جديد للتحسين الذاتي: يقدم NPO مفهوم "التوجيه الذاتي الزمني"، حيث يتعلم النموذج من حالة التحسين المستقبلية الخاصة به، مما يسد الفجوة بين RL مختلط السياسة والتقطير الذاتي (self-distillation).
الكفاءة: يحقق نتائج رائدة (state-of-the-art) دون الحاجة إلى نماذج معلم خارجية أو هندسة مكافآت معقدة، معتمدًا بدلاً من ذلك على التطور الطبيعي لعملية التدريب.
القابلية للتعميم: الإطار قابل للتطبيق في مختلف إعدادات RLVR ويوفر حلاً قويًا لمشكلتي "البداية الباردة" و"الهضبة" المتأصلة في تدريب نماذج الاستدلال.
التعلم المعزز ذاتي التعلم (Self-Taught RLVR): يعد هذا العمل جزءًا من برنامج بحثي أوسع حول "Self-Taught RLVR"، حيث يضع NPO كبعد "الذات الزمنية"، مكملاً الأعمال السابقة حول "الذات المعلوماتية" ومفاهيم "الذات المتوازية" المستقبلية.

باختًا، يثبت NPO أن الإشارة المساعدة الأكثر فعالية لـ RLVR لا تأتي من الخبراء الخارجيين أو ذكريات الماضي، بل من إمكانات النموذج القريبة من المستقبل، مما يوازن بفعالية بين الحاجة إلى إشارات عالية الجودة واستقرار التحديثات منخفضة التباين.