🤖 AI

Gated-BEPO: Confidence-Gated Bellman Credit Assignment for Large Language Model Agents

يُعد Gated-BEPO إطار عمل تدريب مبتكر لوكلاء النماذج اللغوية الكبيرة يعمل على تحسين تخصيص الائتمان طويل الأمد عبر اشتقاق مزايا على مستوى الخطوة من رسوم بيانية تجريبية للمسارات عبر تقدير النقطة الثابتة لـ Bellman، ودمجها تكيفياً مع مكافآت مستوى الحلقة باستخدام بوابة ثقة لدمج إشارات مستوى الخطوة بشكل انتقائي فقط عند ملاحظة تنوع كافٍ في الحالة.

المؤلفون الأصليون: Hongxi Yan, Ziyue Huang, Shichao Fan, Qingjie Liu

نُشر 2026-08-10

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Hongxi Yan, Ziyue Huang, Shichao Fan, Qingjie Liu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تعلم روبوتاً كيف يلعب لعبة فيديو طويلة ومعقدة للغاية. الروبوت لا يتلقى عبارة "عمل جيد" أو "حاول مرة أخرى" بعد كل حركة يقوم بها، بل يحصل فقط على نتيجة نهائية في نهاية المستوى: إما أن يفوز باللعبة، أو يخسرها. هذه مشكلة صعبة للعلماء؛ فإذا فاز الروبوت، كيف نعرف أي حركة محددة كانت هي الحركة العبقرية؟ وإذا خسر، كيف نعرف أي حركة كانت هي الخطأ؟ هذا المجال من العلم يسمى التعلم المعزز (Reinforcement Learning)، حيث يتعلم "الوكيل" (agent) عن طريق التجربة والخطأ. وهناك مفهوم رئيسي يسمى تخصيص الائتمان (Credit Assignment): وهو تحديد أي الأفعال في سلسلة طويلة تستحق "الائتمان" أو الفضل في النتيجة النهائية. وهناك فكرة رئيسية أخرى وهي النموذج اللغوي الكبير (LLM)، وهو نوع من الذكاء الاصطناعي يمكنه قراءة التعليمات والتحدث مثل البشر، ويُستخدم الآن كدماغ لهذه الروبوتات التي تلعب الألعاب. السؤال الكبير الذي يحاول الباحثون حله هو: كيف نعلم هذه الروبوتات الذكية اتخاذ قرارات أفضل خطوة بخطوة عندما لا تحصل إلا على مكافأة غامضة وبعيدة عند خط النهاية؟

هنا يأتي دور Gated-BEPO، وهي طريقة جديدة تعمل كمدرب فائق الذكاء لهؤلاء الوكلاء من الذكاء الاصطناعي. وجد الباحثون أن طرق التدريب القديمة كانت فضفاضة للغاية؛ فقد كانت تنظر إلى لعبة فائزة وتقول: "عمل رائع يا روبوت! كل حركة قمت بها كانت مثالية"، حتى لو ارتكب الروبوت بعض الأخطاء السخيفة في الطريق. وعلى العكس، إذا خسر الروبوت، فإنها تلوم كل حركة قام بها، حتى الجيدة منها. هذا يشبه معلماً يعطي درجة امتياز (+A) لطالب أجاب بشكل صحيح بمحض الصدفة لمجرد أنه حصل على الإجابة الصحيحة، أو يرسب طالباً درس بجد ولكنه أخطأ في سؤال واحد فقط.

يغير Gated-BEPO قواعد اللعبة عبر بناء خريطة للاحتمالات من محاولات الروبوت الماضية. تخيل أن الروبوت يحاول حل لغز 8 مرات؛ أحياناً يسلك طريقاً مختصراً، وأحياناً يعلق، وأحياناً يجد باباً سرياً. يقوم Gated-BEPO برسم رسم بياني يربط كل هذه المسارات. ثم يستخدم خدعة رياضية ذكية (تسمى نقطة بلمان الثابتة - Bellman fixed point) لحساب "القيمة الحقيقية" للتواجد في أي نقطة محددة على الخريطة، بناءً على ما حدث بعد تلك النقطة. إذا كان الروبوت عند مفترق طرق رأى فيه ثلاثة مسارات مختلفة تؤدي إلى النجاح ومسار واحد يؤدي إلى طريق مسدود، فإن النظام يعرف بالضبط أي مسار هو الأفضل. وهذا يعطي الروبوت "درجة" دقيقة "خطوة بخطوة" لتحركاته، بدلاً من مجرد درجة غامضة "فوز أو خسارة".

ومع ذلك، كان الباحثون حذرين من الثقة في هذه الخريطة بشكل أعمى. فقد أدركوا أن الخريطة قد تكون فارغة أو مربكة أحياناً. إذا كان الروبوت قد رأى مساراً واحداً فقط من نقطة معينة، فلا توجد طريقة لمعرفة ما إذا كان هذا خياراً جيداً أم سيئاً. لذا، يحتوي Gated-BEPO على بوابة ثقة (Confidence Gate). فكر في هذا كـ "مفتاح أمان"؛ إذا كان الروبوت عند مفترق طرق لديه الكثير من الأدلة (رأى مسارات متعددة من قبل)، تفتح البوابة، ويستمع الروبوت إلى النصائح التفصيلية خطوة بخطوة. ولكن إذا كان الروبوت في مكان لم يره من قبل، أو حيث رأى مساراً واحداً فقط، تغلق البوابة. في هذه الحالة، يتجاهل الروبوت الخريطة المتطورة ويكتفي بالاستماع إلى نتيجة "الفوز أو الخسارة" البسيطة للعبة بأكملها. هذا يمنع الروبوت من الارتباك بسبب التخمينات السيئة.

اختبر الباحثون هذه الط രീതി على ثلاثة تحديات مختلفة: رحلة تسوق افتراضية عبر الإنترنت (WebShop)، ومهمة لروبوت منزلي (ALFWorld)، ولغز دفع الكتل البصرية (Sokoban). وتشير النتائج إلى أن Gated-BEPO يساعد الروبوت على التعلم بشكل أسرع والفوز بشكل متكرر أكثر من الطرق السابقة. على سبيل المثال، في المهام المنزلية، حسّن نسبة النجاح بنحو 3% إلى 4% مقارنة بأفضل طريقة تالية. كما أجرى الباحثون اختبارات "تشخيصية" لإثبات أن خدعهم الرياضية المحددة هي سبب النجاح، حيث أظهروا أن "بوابة الثقة" و"بناء الخريطة" كانا كلاهما جزءاً أساسياً من اللغز. باختصار، يعلم Gated-BEPO وكلاء الذكاء الاصطناعي كيف يكونون أكثر ذكاءً في تحديد التحركات التي يجب مدحها والتي يجب إصلاحها، ولكن فقط عندما يمتلكون أدلة كافية ليكونوا متأكدين.

ملخص تقني: Gated-BEPO

بيان المشكلة

يتطلب تدريب وكلاء النماذج اللغوية الكبيرة (LLM) في البيئات ذات الأفق الطويل عملية فعالة لتعيين الائتمان (credit assignment): أي ربط المكافآت النهائية المتفرقة (النجاح/الفشل) بالخطوات الفردية المتخذة خلال المسار. تعتمد الأساليب الحالية الخالية من الناقد (critic-free)، مثل GRPO، عادةً على تخصيص نفس ميزة النتيجة على مستوى المسار لكل خطوة. هذا التخصيد الخشن يعزز الأفعال غير الفعالة في المسارات الناجحة ويعاقب الأفعال المفيدة في المسارات الفاشلة، مما يبطئ التعلم ويحد من الأداء النهائي.

تحاول أساليب المستوى الخطوي (step-level) الحديثة تحسين ذلك عبر بناء مجموعات من الخطوات عبر مطابقة الحالة أو التاريخ (مثل GiGPO وHGPO) أو باستخدام مقاييس المسافة القائمة على الرسوم البيانية (مثل GraphGPO). ومع ذلك، تواجه هذه الأساليب قيودًا محددة:

غالبًا ما تعتمد على دمج ذي أوزان ثابتة بين ائتمان الخطوة وائتمان المسار دون آليات تكيفية.
يمكن للأساليب القائمة على الرسوم البيانية أن تعاني من التشابه الإدراكي (perceptual aliasing)، حيث تتوافق الملاحظات المتطابقة مع حالات خفية مختلفة أساسًا، مما يؤدي إلى تقديرات قيم هشة.
تفتقر إلى آلية قائمة على الأدلة لتحديد متى تكون المقارنات المحلية على مستوى الخطوة موثوقة بما يكفي لتجاوز أو استكمال نتائج المسار الخشنة.

المنهجية: Gated-BEPO

Gated-BEPO (تعيين ائتمان بيلمان المعتمد على بوابة الثقة) هو أسلوب خالٍ من الناقد يشتق ائتمان المستوى الخطوي من رسوم بيانية تجريبية للمسارات (rollout graphs) ويدمجه تكيفيًا مع ائتمان مستوى المسار بناءً على الثقة المحلية.

1. بناء الرسم البياني التجريبي

لكل مجموعة مسارات (مجموعة من المسارات الناتجة عن نفس المهمة الأولية)، تدمج الطريقة الحالات الملحوظة المتطابقة في رسم بياني مشترك للحالة. يحتفظ هذا الرسم البياني بتعدد الانتقالات الملحوظة (الحواف). تُعامل الحالات النهائية (نجاح، فشل، انقطاع) كحالات امتصاص بقيمة صفرية.

2. تقدير قيمة نقطة التثبيت لـ "بيلمان" (Bellman Fixed-Point)

بدلاً من تعلم شبكة ناقد، يقوم Gated-BEPO بتقدير قيم الحالة مباشرة من الرسم البياني التجريبي باستخدام نقطة تثبيت بيلمان ذات النسخ المتوسط (mean-backup Bellman fixed point).

التهيئة: يتم تهيئة القيم باستخدام عوائد مونت كارلو (Monte-Carlo returns).
التحديث: يتم تحديث قيمة الحالة غير النهائية $s$ عبر متوسط العوائد للانتقالات الخارجة الملحوظة منها:
$V^{(k+1)}(s) = \frac{1}{|E(s)|} \sum_{(r, s') \in E(s)} [r + \gamma V^{(k)}(s')]$
حيث $E(s)$ هي المجموعة متعددة الأطقم للانتقالات الخارجة. هذا العامل هو عملية انكماش (contraction)، مما يضمن وجود نقطة تثبيت فريدة تعكس توزيع الأفعال التجريبي للسياسة الحالية.
بواقي الفرق الزمني (TD Residuals): بمجرد الوصول إلى نقطة التثبيت، تحسب الطريقة بواقي TD لكل انتقال: $\delta_i = r_i + \gamma V(s'_i) - V(s_i)$ . تقيس هذه البواقي ما إذا كان انتقال معين أفضل أو أسوأ من المتوسط التجريبي للحواف الخارجة من تلك الحالة.

3. تقدير الميزة العامة (GAE)

يتم نشر بواقي TD للخلف عبر كل مسار أصلي باستخدام GAE لالتقاط التأثيرات الفورية والمستقبلية:
$\hat{A}^{FP}_i = \delta_i + \gamma \lambda \hat{A}^{FP}_{next(i)}$
ينتج عن ذلك ميزة الخطوة بنقطة التثبيت ( $\hat{A}^{FP}$ ) التي يتم توحيدها عبر مجموعة المسارات.

4. خلط الائتمان المعتمد على البوابة (Confidence-Gated Credit Mixing)

الابتكار الجوهري هو آلية بوابة تكيفية تحدد مدى الثقة في إشارة بيلمان المحلية مقابل نتيجة المسار العالمية.

تعريف البوابة: يتم تفعيل بوابة ثنائية $\rho(s)$ $ρ (s)$ فقط إذا كانت الحالة $s$ $s$ تمتلك أدلة محلية كافية:
1. زيارات متكررة ( $n(s) \ge n_{min}$ ).
2. تفرع ملحوظ ( $|Succ(s)| \ge b_{min}$ ، أي وجود عدة ناجحات متميزة).
قاعدة الخلط: الميزة النهائية $\hat{A}_i$ $\hat{A}_{i}$ هي مجموع مرجح لميزة النتيجة ( $\hat{A}^{out}$ $\hat{A}^{o u t}$ ) وميزة نقطة التثبيت ( $\hat{A}^{FP}$ $\hat{A}^{F P}$ ):
$\hat{A}_i = \eta_i \hat{A}^{out}_i + w \rho(s_i) \hat{A}^{FP}_i$
- الحالات غير الموثوقة ( $\rho=0$ ): تعتمد الطريقة بالكامل على ميزة النتيجة ( $\eta_i = 1$ ).
- الحالات الموثوقة ( $\rho=1$ ): يتم تفعيل ميزة نقطة التثبيت، ويتم خفض وزن ميزة النتيجة ( $\eta_i = \eta_{min}$ ) لمنع ميزة النتيجة من طغيان إشارة الخطوة الأكثر معلوماتية.

المساهمات الرئيسية

مُقدر نقطة تثبيت بيلمان الخالي من الناقد: طريقة لاستخلاص قيم الحالة وميزات المستوى الخطوي مباشرة من الرسوم البيانية التجريبية للمسارات دون تدريب شبكة قيمة منفصلة، مما يقلل الضجيج والحساسية للتشابه الإدراكي مقارنة بطرق المسافة الرسومية.
الخلط المعتمد على بوابة الثقة: آلية تستخدم الأدلة الرسومية المحلية (التفرع والتكرار) لضبط تطبيق ائتمان المستوى الخطوي. هذا يمنع التقديرات المحلية غير المدعومة من إفساد تحديثات السياسة مع ضمان عدم ضياع إشارات الخطوة الموثوقة بسبب نتائج المسار الخشنة.
التحقق التجريبي: إظهار تحسينات مستمرة عبر بيئات نصية (WebShop, ALFWorld) وبيئات لغوية بصرية (Sokoban) باستخدام ركائز LLM متنوعة (Qwen2.5, Qwen3).

النتائج التجريبية

أُجريت التجارب على WebShop و ALFWorld و Visual Sokoban باستخدام نماذج Qwen2.5 (1.5B, 7B) و Qwen3 (1.7B).

مكاسب الأداء: تفوق Gated-BEPO باستمرار على الأساليب المرجعية القوية بما في ذلك GRPO و GiGPO و HGPO و GAGPO.
- في ALFWorld (1.5B)، حقق تحسنًا في معدلات النجاح بنسبة 2.78% عن HGPO.
- في WebShop (1.5B)، حقق تحسنًا في النجاح بنسبة 3.51% عن HGPO، وفي درجات المهام بنسبة 6.9% عن GRPO.
- في Visual Sokoban، حقق نسبة نجاح 80.03%، متجاوزًا GRPO و GiGPO بفوارق كبيرة.
سرعة التعلم: تشير منحنيات التدريب إلى تقارب أسرع ومعدلات نجاح نهائية أعلى مقارنة بأساليب مستوى المسار.
المتانة تجاه التشابه (Aliasing): في تجربة محكومة على ALFWorld باستخدام ملاحظات خام (بدون معلومات حالة معززة)، فشل GraphGPO في التعلم بسبب التشابه الإدراكي، بينما ظل Gated-BEPO فعالاً. يُعزى ذلك إلى استخدامه لبواقي TD الخاصة بالانتقال بدلاً من أقصر مسافة على الرسوم البيانية المدمجة.
دراسات الاستئصال (Ablation Studies):
- ساهمت المكونات الثلاثة (ائتمان نقطة التثبيت، بوابة الثقة، خفض وزن النتيجة) بشكل إيجابي في الأداء.
- وُجد أن النسخ المعتمد على "المتوسط" (Mean) لـ Bellman backup يتفوق على نسخ "الحد الأقصى" (Max) أو "Softmax" التي تضخم الانتقالات النادرة.
- كانت البوابة الثنائية التي تتطلب ناجحات متميزة أكثر فعالية من درجات الثقة المستمرة أو البوابات القائمة على التكرار فقط.

الأهمية

تفترض الورقة أن Gated-BEPO يعالج المقايضة الأساسية في التعلم المعزز الخالي من الناقد للوكلاء: الموازنة بين استقرار نتائج مستوى المسار ودقة التعلم على مستوى الخطوة. من خلال اشتقاق القيم من الرسوم البيانية التجريبية وتطعيم تطبيقها بناءً على الأدلة المحلية، توفر الطريقة إشارة أكثر موثوقية لتحسين السياسة في المهام ذات الأفق الطويل. وهي تثبت أنه يمكن تحقيق ائتمان دقيق دون التكلفة الحسابية أو عدم الاستقرار المرتبط بالنقاد المتعلمين، بشرط أن يتمكن النظام من التمييز بين الحالات التي يكون فيها المقارنة المحلية مدعومة تجريبيًا وتلك التي لا تكون كذلك.