🤖 machine learning

Reflective Prompted Policy Optimization: Trajectory-Grounded Revision and Salience Bias

تقدم هذه الورقة البحثية "تحسين السياسة المعتمد على التلقين التأملي" (R2PO)، وهو إطار عمل للنماذج اللغوية الكبيرة يتكون من مرحلتين ويعزز البحث عن السياسات عبر الاستفادة من الأدلة التفصيلية على مستوى المسار بدلاً من المكافآت القياسية لتشخيص الإخفاقات وتوجيه المراجعات، مع معالجة نمط فشل "تحيز البروز" تحديداً لتحقيق أداء أسرع وأكثر استقراراً وقريباً من المثالية عبر بيئات متنوعة.

المؤلفون الأصليون: Rahaf Abu Hara, Vaibbhav Murarri, Claudio Zito

نُشر 2026-05-12

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Rahaf Abu Hara, Vaibbhav Murarri, Claudio Zito

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

المشكلة الكبرى: "بطاقة النتيجة" مقابل "القصة"

تخيل أنك تقوم بتعليم روبوت كيفية لعب لعبة فيديو. في الطرق التقليدية، لا تحصل إلا على بطاقة نتيجة في نهاية اللعبة.

تقول بطاقة النتيجة: "لقد حصلت على 45 نقطة."
يفكر الروبوت: "حسناً، أحتاج للقيام بشيء مختلف للحصول على 46."

لكن بطاقة النتيجة لا تخبرك لماذا خسرت. هل سقطت في حفرة في الخطوة الثالثة؟ هل علقت في حلقة مفرغة؟ هل لعبت بشكل مثالي لمدة 19 جولة ولكنك تحطمت بشكل مأساوي في الجولة العشرين؟ بدون "القصة"، يضطر الروبوت للتخمين، مما يؤدي إلى الكثير من التجربة والخطأ.

حاولت أساليب الذكاء الاصطنا_ي الحديثة إصلاح ذلك باستخدام "مدرب ذكي" (نموذج لغوي كبير) ينظر إلى النتيجة ويقترح التغييرات. ولكن حتى هذا المدرب كان ينظر فقط إلى بطاقة النتيجة؛ فقد عرف أن النتيجة منخفضة، لكنه لم يكن يعرف ما الذي فعله الروبوت خطأً بالفعل.

الحل: R2PO (نظام المدربين الاثنين)

يقترح المؤلفون R2PO، وهو نظام جديد يستخدم مدربين اثنين من الذكاء الاصطنا يعملان معاً لتعليم الروبوت. إنهما يعاملان مسار اللعب الفعلي للروبوت (المسار/الـ trajectory) كأهم دليل، وليس مجرد النتيجة النهائية.

المدرب 1: الكشاف (Search-LLM)

الدور: ينظر الكشاف إلى سجل الدرجات من المحاولات السابقة.
الإجراء: يقول: "حسناً، بناءً على الدرجات، دعونا نحاول تغيير إعدادات الروبوت قليلاً في هذا الاتجاه". ثم يقترح مجموعة جديدة من التعليمات للروبوت.
التشبيه: فكر في الكشاف كمتسلق ينظر إلى خريطة؛ فهو يخمن أي اتجاه قد يؤدي إلى القمة بناءً على الأماكن التي مر بها من قبل.

البيئة: تجربة التشغيل

يجرب الروبوت تعليمات الكشاف الجديدة. يلعب اللعبة 20 مرة (تسمى rollouts). هذا يولد الكثير من البيانات: أين ذهب، ماذا فعل، وكيف فشل.

المدرب 2: الناقد (Critic-LLM)

الدور: الناقد هو المحقق. هو لا ينظر فقط إلى النتيجة؛ بل يشاهد لقطات الفيديو لـ 20 محاولة للروبوت.
الإجراء: يحلل اللقطات للعثور على الخطأ المحدد. "آه، لقد رأيت! في 19 من تلك الجولات، كان الروبوت رائعاً. ولكن في جولة واحدة، سقط في حفرة لأنه انعطف يساراً في وقت مبكر جداً".
الإصلاح: بدلاً من التخمين، يقترح الناقد تعديلاً صغيراً ومستهدفاً لتعليمات الروبوت لإصلاح تلك المشكلة المحددة.

شبكة الأمان: خطوة الاختيار

قبل حفظ تعليمات الناقد الجديدة، يقوم "حكم" بفحصها.

إذا كانت التعليمات الجديدة تعمل بشكل أفضل، يتم الاحتفاظ بها.
إذا جعلت التعليمات الجديدة الأمور أسوأ (حتى لو اعتقد الناقد أنها كانت فكرة جيدة)، يتم الاحتفاظ بالتعليمات القديمة.
التشبيه: هذا يشبه طباخاً يتذوق حساءً جديداً؛ إذا جعل التوابل الجديدة المذاق أسوأ، فإنه يرمي التوابل الجديدة ويلتزم بالوصفة الأصلية.

الفخ الخفي: "تحيز البروز" (Salience Bias)

اكتشف الباحثون عادة غريبة ولكنها خطيرة لدى "المدرب الناقد". يطلقون عليها اسم تحيز البروز (Salcialnce Bias).

تخيل أن الروبوت يلعب 20 لعبة.

19 لعبة: يفوز بسهولة.
لعبة واحدة: يصطدم بجدار بطريقة درامية وفوضوية للغاية.

إذا عرضت على المدرب الناقد جميع الفيديوهات العشرين، فسيصبح المدرب مهووساً بهذا الاصطدام الدرامي الواحد. سيفكر: "أوه لا! الروبوت سيء جداً في تجنب الجدران!" وسيقوم بتغيير "دماغ" الروبوت لإصلاح هذا الاصطدام.

النتيجة: كان الروبوت في الواقع يؤدي بشكل رائع في الـ 19 لعبة الأخرى. ومن خلال محاولة إصلاح ذلك الاصطدام الغريب، أفسد الناقد بالخطأ قدرة الروبوت على لعب الـ 19 لعبة الأخرى. أصبح الروبوت أسوأ حالاً.

كيف يعالج R2PO هذا الأمر:
نظام R2PO ذكي بشأن أي فيديو يظهره للناقد.

فيديو الوسيط: بدلاً من عرض أسوأ اصطدام أو أفضل فوز، فإنه يعرض الفيديو "الأوسط" — الفيديو الذي يمثل ما يفعله الروبوت عادةً.
ورقة الإحصائيات: يقدم للناقد ورقة ملخص: "في 95% من الوقت، يفوز الروبوت. كان الاصطدام مجرد حالة استثنائية بنسبة 5%".
قاعدة "لا تلمس": إذا كان الروبوت يؤدي جيداً بالفعل (درجة عالية)، يتم إخبار الناقد: "لا تغير أي شيء ما لم يكن لديك سبب وجيه جداً جداً".

هذا يمنع الناقد من الذعر بسبب يوم سيء واحد وتدمير استراتيجية جيدة.

النتائج: أسرع، أذكى، وأكثر استقراراً

اختبر الباحثون هذا النظام في 10 بيئات مختلفة (مثل موازنة عمود، لعب بونج، أو التنقل في متاهة).

السرعة: تعلم R2PO بشكل أسرع بكثير. على سبيل المثال، في لعبة "CartPole" (موازنة عصا)، وصل إلى درجات تقارب الكمال في حوالي 500 محاولة، بينما احتاجت الأساليب الأخرى إلى 4000 محاولة.
الاستقرار: كانت الأساليب الأخرى تجد حلاً رائعاً، ثم تفسده بالخطأ في الخطوة التالية. أما R2PO فقد وجد الحل واستمر عليه.
الكفاءة: استخدموا نموذجاً مفتوح المصدر صغيراً نسبياً (20 مليار بارامتر) للتفوق على الأساليب التي استخدمت نماذج أكبر بكثير أو باهظة الثمن أو مملوكة لشركات.

الملخص

تجادل الورقة البحثية بأنه لتعليم الذكاء الاصطناعي بفعالية، لا ينبغي لك إعطاؤه درجة فحسب، بل يجب أن تريه القصة لما حدث. ومع ذلك، يجب أن تكون حذراً من ترك الذكاء الاصطنا_ي يهوس بالمرة الوحيدة التي فشل فيها (تحيز البروز). من خلال إظهار "القصة المتوسطة" للذكاء الاصطنا_ي وتزويده بشبكة أمان، يمكنك تعليمه التعلم بشكل أسرع، وإصلاح مشاكل محددة، وتجنب إفساد ما يعمل بالفعل.

ملخص تقني: تحسين السياسة بالتحفيز التأملي (R2PO)

بيان المشكلة

تعمل أدوات تحسين السياسة الحالية القائمة على النماذج اللغوية الكبيرة (LLM) كأدوات بحث "صندوق أسود" تعتمد حصرياً على التغذية الراجعة للمكافأة القياسية (scalar reward). وبينما يمكن لهذه الطرق اقتراح معلمات سياسة جديدة بناءً على درجات المكافأة التاريخية، إلا أنها تفتقر إلى الرؤية التشخيصية حول سبب فشل السياسة. فالمُحسِّن يرى درجة قدرها 0.45، لكنه لا يستطيع التمييز بين سياسة تعاني من ضعف الأداء باستمرار، أو سياسة عالقة في حلقة مفرغة، أو سياسة نجحت في 19 من أصل 20 محاولة (rollout) وفشلت بشكل كارثي في المحاولة العشرين. هذا القصور يجبر أدوات التحسين القائمة على النماذج اللغبية الكبيرة على الاعتماد على ضبط "التجربة والخطأ" بدلاً من التصحيح المستهدف، مما يؤدي غالباً إلى عدم استقرار التدريب وعدم كفاءة التقارب.

المنهجية: إطار عمل R2PO

يقترح المؤلفون إطار عمل التحسين بالتحفيز التأملي (R2PO)، وهو إطار عمل مكون من مرحلتين يعتمد على النماذج اللغبية الكبيرة، صُمم لتعزيز المكافآت القياسية بأدلة سلوكية على مستوى المسار (trajectory-level). يعمل R2PO على فئات سياسات مدمجة (السياسات الخطية للتحكم المستمر والسياسات الجدولية للمهام المنفصلة) ويتكون من المكونات التالية:

نموذج البحث-LLM (المُحسِّن العالمي): تعمل هذه المرحلة بشكل مشابه لمحسنات النماذج اللغبية السابقة (مثل ProPS). فبناءً على تاريخ السياسات التي تم تقييمها ومتوسط مكافآتها القياسية، يقترح نموذج البحث-LLM متجه معلمات مرشح أولي ( $\theta_{init}$ ).
تقييم البيئة: يتم تنفيذ السياسة المرشحة في البيئة لعدد $K$ من المحاولات المستقلة، مما يولد مجموعة من المسارات $T$ التي تحتوي على الحالات، والأفعال، والمكافآت.
نموذج الناقد-LLM (المُراجع المحلي): تقدم هذه المرحلة الابتكار الجوهري. فبدلاً من تلقي متوسط المكافأة القياسي فقط، يقوم الناقد-LLM بفحص "حزمة أدلة المسار المعايرة" المستمدة من الـ $K$ محاولة. يقوم بتحليل ما حدث خطأً ويقترح مراجعة مستهدفة للمعلمات ( $\theta_{rev}$ ).
آلية الاختيار: يتم إعادة تقييم كل من المرشح الأصلي ( $\theta_{init}$ ) والمرشح المُراجع ( $\theta_{rev}$ ). ويحتفظ النظام بالمرشح الذي يحقق متوسط مكافأة أعلى، مما يفلتر التعديلات المدمرة أو الهلوسات اللغوية.

أدلة المسار المعايرة

لمنع الناقد-LLM من الإفراط في التكيف مع القيم المتطرفة (outliers)، يقوم R2PO ببناء حزمة الأدلة باستخدام ثلاثة مكونات محددة:

المسار الوسيط: محاولة واحدة يكون عائدها هو الأقرب إلى الوسيط من بين الـ $K$ عوائد، مما يمثل السلوك النموذجي بدلاً من الحالات القصوى (الأفضل أو الأسوأ).
إحصائيات المحاولات التجميعية: تقرير مهيكل يلخص متوسط وأدنى وأقصى المكافآت، وأطوال الحلقات، ومعدلات النجاح/الفشل عبر جميع الـ $K$ محاولة. هذا ينقل وتيرة الفشل دون التركيز على مسار فاشل بعينه.
قاعدة المراجعة: تعليمات صريحة للناقد-LLM بالامتناع عن إجراء تغييرات كبرى إذا تجاوز متوسط المكافأة الأولي عتبة معينة ( $\tau_c$ ) ولم تشير الإحصائيات إلى نمط فشل مستمر. هذا يمنع "الإفراط في التصحيح" للسياسات القوية بالفعل.

النتائج الرئيسية والتحليل

1. انحياز البروز (Salience Bias)

حدد البحث نمط فشل مهيمن يُسمى انحياز البروز. فعند تقديم مسارات متعددة (مثل: الأفضل، والأسوأ، والوسيط)، يميل الناقد-LLM إلى التركيز على المسار الأسوأ كنموذج ممثل، حتى عندما تشير غالبية المحاولات إلى سلوك ناجح. في نسخة ثلاثية المسارات لبيئة CartPole، تسبب هذا الانحياز في 76.6% من تراجعات الأداء. حيث قام النموذج بتشخيص مشكلة بناءً على فشل واحد غير محظوظ، واقترح تعديلات دمرت أداء السياسة في الـ 19 محاولة الناجحة الأخرى.

2. دراسات الاستبعاد (Ablation Studies)

أظهرت دراسات الاستبعاد المنهجية عبر عشر بيئات أن نجاح R2PO يعتمد على الجمع بين ثلاثة عوامل، لا يكفي أي منها بمفرده:

بنية المرحلتين: فصل الاقتراح العالمي عن المراجعة القائمة على السلوك محلياً أمر ضروري. فاستخدام نموذج بطلب غني واحد (CriticOnly) أو بحث تسلسلي يعتمد على القيم القياسية فقط (ActorSecondPass) يفشل في مضاهاة أداء R2PO.
المراجعة القائمة على المسار: استخدام أدلة المحاولات الفعلية (المسار الوسيط + الإحصائيات) يتفوق بشكل كبير على التغذية الراجعة القياسية فقط.
آلية الاختيار: خطوة "الاحتفاظ بالأفضل" حاسمة. فبدونها (AlwaysCritic)، تؤدي التباينات العالية للتعديلات المشروطة بالمسار إلى تراجعات متكررة.

3. النتائج التجريبية

باستخدام نموذج مفتوح الأوزان صغير نسبياً بـ 20 مليار معلمة (gpt-oss:20b)، تم تقييم R2PO في عشر بيئات (بما في ذلك CartPole، وInvertedPendulum، وPong، ومهام Maze/Nim مخصصة) مقابل خطوط أساس قوية (ProPS، وProPS+، وأفضل خوارزميات Stable-Baselines3 مثل PPO وSAC وTRPO).

الأداء: حقق R2PO أعلى متوسط مكافأة في 9 من أصل 10 بيئات وتعادل في العاشرة (MountainCarContinuous). وقد وصل إلى أقصى مكافأة ممكنة في CartPole (500)، وInvertedPendulum (1000)، وPong (3.0)، وNim (1.0).
الكفاءة: وصل R2PO إلى الأداء القريب من المثالي في وقت أبكر بكثير من خطوط الأساس (على سبيل المثال، وصل إلى أقصى مكافأة لـ CartPole في حوالي 500 محاولة، مقارنة بـ 4,000 لـ ProPS+ وSB3).
الاستقرار: حافظ R2PO على سياسات قوية بمجرد إيجادها، حيث أظهر فجوة أصغر بكثير بين المتوسط والأفضل مقارم بأساليب النماذج اللغبية السابقة، والتي كانت تظهر غالباً تبايناً عالياً وقفزات معزولة.
كفاءة الموارد: حتى عند مقارنته بنتائج ProPS التي تم الحصول عليها بميزانية تفاعل مضاعفة (8,000 محاولة) وباستخدام نموذج ملكية أكبر (GPT-4o)، فقد ضاهى R2PO (الذي تدرب على 4,000 محاولة باستخدام نموذج 20B مفتوح) خطوط الأساس في 9 من أصل 10 بيئات.

الأهمية والادعاءات

يزعم البحث أن التعامل مع المسارات كـ أدلة سياقية من الدرجة الأولى، بدلاً من اختزالها في عوائد قياسية، يغير جذرياً كيفية بحث النماذج اللغبية الكبيرة في فضاءات السياسة. وتتمثل المساهمات الرئيسية في:

الدقة التشخيصية: يتيح R2PO للنماذج اللغبية التعلم بشكل أسرع وتشخيص الفشل بدقة أكبر من خلال الاستفادة من الأدلة السلوكية، متجاوزاً بذلك عملية الضبط القائمة على التجربة والخطأ.
تخفيف انحيازات النماذج اللغبية: ينجح إطار العمل في التخفيف من "انحياز البروز" المتأصل في استدلال النماذج اللغبية عند التعامل مع مصادر أدلة متعددة، وذلك باستخدام الإحصائيات التجميعية والمسارات الوسيطة بدلاً من المسارات الخام للأسوأ.
سهولة الوصول: تثبت النتائج أن هذه المزايا لا تقتصر على النماذج الضخمة المملوكة لشركات، حيث إن نموذج 20B مفتوح الأوزان كافٍ للتفوق على خوارزميات التعلم التعزيزي العميق وطرق التحسين السابقة القائمة على النماذج اللغبية عند تصميم البنية بشكل صحيح.

يشير المؤلفون إلى وجود قيود، وتحديداً أن الطريقة تركز حالياً على فئات السياسات المدمجة (الخطية والجدولية) وتتطلب معايرة يدوية خشنة لعتبة المراجعة $\tau_c$ . ويُقترح في العمل المستقبلي توسيع نطاق R2PO ليشمل السياسات العصبية عالية الأبعاد وتطوير آليات معايرة تكيفية.