🤖 machine learning

Off-Policy Learning to Reason Works Because It Is More Pessimistic Than You Think

تجادل هذه الورقة بأن نجاح التعلم خارج السياسة (off-policy learning) في التعلم المعزز واسع النطاق للنماذج اللغوية الكبيرة ينبع من تشاؤم ضمني يعمل على تحسين سياسات مستهدفة أكثر تحفظاً، وتقترح تعديلاً منهجياً لتثبيت هذا التوزيع المستحث لتحسين الأداء.

المؤلفون الأصليون: Otmane Sakhi, Aleksei Arzhantsev, Imad Aouali, Flavian Vasile

نُشر 2026-05-28

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Otmane Sakhi, Aleksei Arzhantsev, Imad Aouali, Flavian Vasile

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم طالب (نموذج ذكاء اصطناعي) كيفية حل مسائل رياضية معقدة. تقدم له مجموعة من مسائل التدريب و"درجة" لتقييم مدى جودة أدائه. الهدف هو مساعدته على التعلم من هذه الدرجات ليصبح أفضل في حل المسائل المستقبلية.

هذه الورقة البحثية تتناول مشكلة محددة تحدث عندما تحاول تعليم هذا الطالب على نطاق واسع: الطالب يتعلم من واجبات منزلية قديمة.

المشكلة: التعلم من واجبات منزلية "بائتة"

في العالم الحقيقي للذكاء الاصطناعي الضخم، يستغرق توليد مسائل تدريب جديدة وقتاً طويلاً. وبحلول الوقت الذي ينتهي فيه الذكاء الاصطناعي من معالجة دفعة من المسائل ويحصل على درجة، يكون "المعلم" (دماغ الذكاء الاصطناعي الحالي) قد تغير بالفعل قليلاً. لذا، فإن الذكاء الاصطناعي يتم تدريبه على بيانات تم جمعها بواسطة نسخة أقدم وأكثر اختلافاً من نفسه.

في عالم الذكاء الاصطناعي، يسمى هذا التعلم خارج السياسة (Off-Policy Learning). البيانات تأتي من "الذات الماضية"، لكن التعلم يحدث لـ "الذات الحالية".

تحاول معظم الأساليب الحالية إصلاح هذا عدم التطابق باستخدام "عامل تصحيح" رياضي معقد (مثل مترجم شديد الصرامة) للتظاهر بأن البيانات القديمة كانت جديدة حقاً. ويرى المؤلفون أن هذا الأمر فوضوي؛ فهو يؤدي إلى ضجيج عالٍ، ويجعل التدريب غير مستقر، ويمكن أن يتسبب في حالة "ذعر" لدى الذكاء الاصطناعي تجعله ينسى كيف يكون مبدعاً (وهي ظاهرة تسمى انهيار الإنتروبيا - entropy collapse).

البديل: احتضان عدم التطابق

بدلاً من محاولة إجبار البيانات القديمة على أن تبدو كبيانات جديدة، يقترح المؤلفون: استخدم البيانات القديمة كما هي، ولكن غيّر طريقة تفسير الدرجات.

لقد نظروا في أسلوب شائع يسمى OAPL (الذي يتخطى عوامل التصحيح المعقدة) وتساءلوا: "ما الذي يفعله هذا الأسلوب فعلياً بدماغ الذكاء الاصطناعي؟"

الاكتشاف: المعلم "المتشائم"

اكتشف المؤلفون أنه عندما يتم تدريب الذكاء الاصطناعي بدون عوامل التصحيح تلك، فإنه لا يتجاهل عدم التطابق فحسب، بل يصبح في الواقع متشائماً.

إليك التشبيه:

المعلم "المتفائل" (الأسلوب القياسي): إذا حصل الذكاء الاصطناعي على درجة مثالية في مسألة رياضية معينة، يقول المعلم المتفائل: "واو! هذه هي الطريقة الوحيدة لحلها! انسَ كل شيء آخر، افعل ذلك بالضبط للأبد!" هذا أمر خطير. فإذا كانت تلك الدرجة المثالية مجرد ضربة حظ أو حالة استثنائية غريبة، سيعلق الذكاء الاصطناعي ويتوقف عن تعلم أي شيء جديد.
المعلم "المتشائم" (أسلوب هذه الورقة): يرى المعلم المتشائم درجة مثالية ويقول: "حسناً، هذا حل رائع. دعونا نحاول القيام بذلك، ولكن دعونا لا نراهن بكل ما نملك عليه. لنحافظ على بعض أفكارنا الأخرى حية تحسباً لأي طارئ."

رياضياً، وجد المؤلفون أن هذا السلوك "المتشائم" يتبع منحنى محدداً يسمى دالة لامبرت (Lambert function). فبدلاً من أن تنفجر ثقة الذكاء الاصطناعي بشكل أسي (مثل الصاروخ) عندما يرى درجة عالية، تعمل دالة لامبرت مثل ممتص للصدمات. فهي تسمح للذكاء الاصطناعي بالتحسن، لكنها تمنعه من الالتزام المفرط بمثال واحد قد يكون معيباً.

لماذا كان الأسلوب القديم "جيداً بالصدفة"

توضح الورقة البحثية ميزة غريبة ومربكة في أسلوب OAPL الحالي. نظرياً، اقترح الحساب الرياضي أن الذكاء الاصطناعي يجب أن يكون في منطقة خطرة وغير مستقرة. ولكن من الناحية العملية، اضطر المهندسون إلى تعديل إعداد ما (تغيير رقم "درجة الحرارة") لجعله يعمل.

أدرك المؤلفون أن هذا التعديل لم يكن مجرد إصلاح عشوائي؛ بل كان يدفع الذكاء الاصطناعي بالصدفة إلى المنطقة "المتشائمة". لقد كان يجبر الذكاء الاصطناعي يدوياً على أن يكون أقل عدوانية وأكثر استقراراً.

الحل: إصلاح بسيط ومبدئي

بدلاً من الاعتماد على المهندسين لتخمين التعديل المناسب لـ "درجة الحرارة"، يقترح المؤلفون قاعدة بسيطة ومدمجة: ارفع متوسط الدرجات بمقدار ضئيل جداً.

فكر في الأمر كالتالي:

الطريقة القديمة: "إليك درجتك. إذا كانت أعلى من متوسط المجموعة، فستحصل على مكافأة." (وهذا قد يكون غير مستقر).
الطريقة الجديدة: "إليك درجتك. سوف نتظاهر بأن متوسط الدرجات أعلى قليلاً مما هو عليه في الواقع، بحيث تُحسب مكافأتك بشكل أكثر تحفظاً."

هذا الإزياء البسيط يضمن بقاء الذكاء الاصطناعي في المنطقة "المتشائمة" (الآمنة) تلقائياً. لا يحتاج إلى ضبط معقد.

النتائج

اختبر المؤلفون هذا النهج الجديد مقابل النهج القديم:

الاستقرار: عندما كانت "الواجبات المنزلية" قديمة جداً (بيانات بائتة)، فشل الأسلوب القديم أو توقف الذكاء الاصطناعي عن الإبداع. أما النهج الجديد فقد استمر في العمل بسلاسة.
المتانة: عندما جعلنا القواعد الخاصة بـ "مقدار التغيير" صارمة جداً (تنظيم صغير)، فشل الأسلوب القديم، بينما استمر النهج الجديد في التحسن.

الخلاصة

تظهر هذه الورقة أن التعلم خارج السياسة يعمل ليس لأنه يتجاهل الماضي، بل لأنه يصبح بطبيعته "متشائماً" وحذراً. ومن خلال فهم هذا، ابتكر المؤلفون قاعدة بسيطة تجعل تدريب الذكاء الاصطناعي أكثر استقراراً، وأقل عرضة للانهيار، وأفضل في التعامل مع البيانات القديمة، دون الحاجة إلى تصحيحات رياضية معقدة.

ملخص تقني: التعلم خارج السياسة (Off-Policy) لتعزيز الاستدلال يعمل لأنه أكثر تشاؤماً مما تعتقد

بيان المشكلة

أصبح التعلم المعزز (RL) أداة مركزية لتعزيز قدرات الاستدلال لنماذج اللغات الكبيرة (LLMs) في مهام مثل الرياضيات، والبرمجة، وحل المشكلات متعدد الخطوات. ومع ذلك، فإن مسار التدريب عند النطاق المطلوب لنماذج اللغات الكبيرة الحديثة هو بطبيعته خارج السياسة (off-policy). فبسبب التكلفة العالية لتوليد المخرقات (rollouts)، غالباً ما يتم إنتاج بيانات التدريب بواسطة عمال استدلال متأخرين أو نسخ سابقة من النموذج (checkpoints) بدلاً من السياسة التي يتم تحسينها حالياً.

تحاول الأساليب الحالية، مثل PPO وGRPO، التعامل مع هذا عدم التطابق عبر معاملة التدريب كعملية "داخل السياسة" (on-policy) تقريبياً، باستخدام أوزان الأهمية، أو القص (clipping)، أو التصفية لتصحيح انزياحات التوزيع. وبينما تكون هذه التصحيحات فعالة في حالات الاقتراب من "داخل السياسة"، إلا أنها تزيد من التباين وتؤدي إلى زعزعة استقرار التحسين عندما يكون الفارق الزمني للسياسة كبيراً. وفي المقابل، فإن الأساليب الحديثة الخالية من النسب (مثل $A^\star$ -PO وOAPL) تلغي أوزان الأهمية وتتدرب مباشرة على بيانات سياسة السلوك. وبينما تُظهر هذه الأساليب نجاحاً تجريبياً، إلا أن أسسها النظرية ليست مفهومة تماماً. وتحديداً، تشير الاشتقاقات الاسمية لهذه الأهداف إلى توزيع مستهدف يختلف عما تحققه التطبيقات العملية (التي غالباً ما تفصل بين درجات الحرارة لحساب الميزة والانتظام/Regularization). يسعى هذا البحث إلى تفسير لماذا تعمل هذه الأساليب الخالية من النسب وكيفية تعزيز استقرارها.

المنهجية والتحليل النظري

يحلل المؤلفون فئة من أهداف التعلم خارج السياسة الخالية من النسب التي تقوم بعملية انحدار لنسبة اللوغاريتم للسياسة المتعلمة نحو ميزة مستهدفة، دون استخدام أوزان الأهمية. ويركزون على أهداف من الشكل:
$\mathbb{E} \left[ \sum_i \left( \hat{A}_i \log \frac{\pi_\theta(y_i|x)}{\pi_{old}(y_i|x)} - \frac{\beta}{2} \left( \log \frac{\pi_\theta(y_i|x)}{\pi_{old}(y_i|x)} \right)^2 \right) \right]$
حيث $\hat{A}_i$ هي ميزة نسبية للمجموعة و $\beta$ هو معامل الانتظام.

الرؤية النظرية الرئيسية: الأهداف الملطفة بـ "لامبرت" (Lambert-Tempered Targets)
من خلال تحليل النقطة الثابتة لهذا الهدف، يستنتج المؤلفون أن السياسة المستهدفة المستحثة ليست التوزيع الأسي القياسي (المُنظم بـ KL)، بل هي سياسة ملطفة بـ "لامبرت" (Lambert-tempered policy):
$\pi^\star(y|x) = \pi_{old}(y|x) \frac{1}{\tau_s} W_0 \left( \tau_s \exp \left( \frac{A(x,y)}{\beta} \right) \right)$
حيث $W_0$ هي الفرع الرئيسي لدالة "لامبرت W"، و $\tau_s$ هو مضاعف تطبيع يتحدد بناءً على خط الأساس للميزة (advantage baseline).

يعتمد سلوك السياسة المستهدفة بشكل حاسم على إشارة ومقدار $\tau_s$ ، والذي يتم التحكم فيه من خلال كيفية تطبيع الميزة:

النطاق التشاؤمي ( $\tau_s > 0$ ): يكون الهدف أكثر تحفظاً من التحديث الأسي. تنمو دالة "لامبرت" لوغاريتمياً بالنسبة للمزايا الكبيرة، مما يمنع السياسة من الالتزام المفرط الأسسي بعدد قليل من العينات ذات المكافأة العالية، وهذا يخفف من انهيار الإنتروبي (entropy collapse).
الحد الأسي ( $\tau_s = 0$ ): يستعيد الهدف الميل الأسي القياسي. هذا النطاق هش؛ حيث يمكن للأخطاء الصغيرة في خط أساس الميزة أن تنقل الهدف إلى نطاقات غير مستقرة.
النطاق غير المستقر ( $\tau_s < 0$ ): يصبح الهدف أكثر عدوانية من التحديث الأسي، مما يضخم الاستجابات ذات الميزة العالية ويزيد من القابلية للانهيار في الإنتروبي.

تحليل الأساليب الحالية (OAPL/ $A^\star$ -PO)
يوضح البحث أن مُقدّر الميزة الاسمي المستخدم في OAPL (الميزة المتمركزة حول لوغاريتم مجموع الأسس - log-sum-exp) يستحث هدفاً في النطاق غير المستقر ( $\tau_s \le 0$ ) على مستوى المجتمع بسبب انحياز "جنسن" (Jensen's inequality bias) في أحجام المجموعات المحدودة. ويُعزى الاستقرار التجريبي الملاحظ في تطبيقات OAPL إلى "فصل درجات الحرارة" (temperature decoupling) التجريبي (استخدام درجة حرارة أكبر لحساب الميزة مقارنة بالانتظام)، وهو ما ينقل الهدف ضمناً إلى نطاق أكثر تحفظاً.

التعديل المقترح
لتحقيق الاستقرار دون الاعتماد على فصل درجات الحرارة التجريبي، يقترح المؤلفون متوسط ميزة مزاح بـ $\beta$ ( $\beta$ -shifted mean advantage):
$\hat{A}_i = r_i - \bar{r} + \beta$
هذا الإزاحة البسيطة تضمن أن مضاعف "لامبرت" المستحث يحقق $\tau_s \ge 1$ ، مما يضمن بقاء السياسة المستهدفة في النطاق التشاؤمي لـ "لامبرت" بحكم التصميم.

المساهمات الرئيسية

توصيف الأهداف الخالية من النسب: يثبت المؤلفون أن أهداف التعلم خارج السياسة الخالية من النسب تستحث سياسات مستهدفة ملطفة بـ "لامبرت"، حيث يتم التحكم في درجة التحفظ عبر تطبيع الميزة.
تفسير آليات الاستقرار: يوضحون أن نجاح أساليب مثل OAPL يعتمد على التشاؤم الضمني المستحث بواسطة خيارات التنفيذ العملية (فصل درجات الحرارة)، بينما تشير اشتقاقاتها النظرية الاسمية في الواقع إلى أهداف غير مستقرة.
الاستقرار المنهجي: يقترحون متوسط ميزة مزاح بـ $\beta$ يضمن وقوع الهدف في نطاق "لامبرت" التشاؤمي والمستقر، مما يلغي الحاجة إلى الفصل المعقد لدرجات الحرارة الذي يتطلب ضبطاً كبيراً للمعلمات.

النتائج التجريبية

قيم المؤلفون طريقتهم مقابل OAPL باستخدام نموذج Qwen3-8B على مجموعة بيانات DeepScaleR، مع التقييم على معايير الرياضيات (Minerva, AIME2025, AMC23, BRUMO).

الحساسية للانتظام ( $\beta$ ): تحت قوة انتظام صغيرة ( $\beta$ صغيرة)، أظهر OAPL انهياراً سريعاً في الإنتروبي وتدهوراً في المكافآت، بينما ظلت طريقة "لامبرت" المقترحة مستقرة واستمرت في التحسن.
المتانة تجاه تأخر السياسة (Policy Lag): مع زيادة تأخر السياسة (المخرقات القديمة) (من 32 إلى 256 خطوة)، أصبح OAPL شديد الحساسية، حيث أظهر إما انهياراً في الإنتروبي أو نمواً غير مستقر في الإنتروبي. حافظت طريقة "لامبرت" على إنتروبي أعلى وتحولت إلى مكافآت أعلى عبر جميع إعدادات التأخر.
الاستنتاج: يحسن التعديل المقترح المتانة تجاه كل من الانتظام العدواني وتأخر السياسة الكبير، مما يؤكد فرضية أن استهداف النطاق التشاؤمي لـ "لامبرت" يعزز استقرار التعلم خارج السياسة.

الأهمية والادعاءات

يزعم البحث أن فعالية التعلم خارج السياسة في استدلال نماذج اللغات الكبيرة لا تعود مجرد تجاهل عدم تطابق التوزيع، بل لأن تطبيع الميزة المحدد يستحث شكلاً من أشكال التشاؤم الضمني. هذا التشاؤم يمنع السياسة من التحسين المفرط على عينات قديمة ذات مكافأة عالية، وهو أمر بالغ الأهمية عندما يتم توليد المخرقات بواسطة سياسات قديمة.

يضع المؤلفون عملهم كتقديم لفهم منهجي لسبب عمل بعض خيارات التنفيذ في خوارزميات خارج السياسة الحديثة، متجاوزين مجرد قواعد "نطاق الثقة" (trust-region) التجريبية إلى إطار عمل قائم على الأهداف الملطفة بـ "لامبرت". ويجادلون بأن استهداف النطاق التشاؤمي صراحةً عبر متوسط مزاح يوفر بديلاً أكثر استقراراً وموثوقية للأساليب الحالية، خاصة في بيئة تدريب نماذج اللغات الكبيرة واسعة النطاق وغير المتزامنة. ويخلص البحث إلى أن النسخ على مستوى الرمز (token-level) لهذه النظرية تمثل اتجاهاً واعداً لجعل خوارزميات الاستدلال خارج السياسة أكثر منهجية.