💬 NLP

GAGPO: Generalized Advantage Grouped Policy Optimization

تقترح الورقة البحثية "تحسين السياسة المجمعة للميزة المعممة" (GAGPO)، وهي طريقة للتعلم التعزيزي خالية من الناقد، تتيح تخصيص الائتمان الزمني بدقة ومحاذاة الخطوات في وكلاء النماذج اللغوية متعددة الجولات، وذلك عبر بناء بدائل قيم مجمعة غير معلمية من عينات المسارات، مما يؤدي إلى التفوق على النماذج المرجعية الحالية في بيئات مثل ALFWorld وWebShop.

المؤلفون الأصليون: Siyuan Zhu, Chao Yu, Rongxin Yang, Zongkai Liu, Jinjun Hu, Qiwen Chen, Yibo Zhang

نُشر 2026-05-14

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Siyuan Zhu, Chao Yu, Rongxin Yang, Zongkai Liu, Jinjun Hu, Qiwen Chen, Yibo Zhang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تعلم روبوتاً كيفية التنقل في متاهة معقدة للعثور على كنز. في الماضي، كان الروبوت يتجول عشوائياً، ويقوم بمئات الحركات الصغيرة، وفي النهاية فقط يتلقى رسالة واحدة مثل "عمل جيد!" أو "فشل". المشكلة؟ الروبوت لا يملك أدنى فكرة عن أي منعطف أو خطوة محددة أدت إلى العثور على الكنز. قد يعتقد: "ربما كان عليّ الالتفاف يساراً عند الخطوة 50"، بينما في الواقع، الخطأ حدث عند الخطوة 5.

هذه هي المشكلة الجوهرية التي تحاول ورقة GAGPO (تحسين السياسة المجمعة للميزة المعممة - Generalized Advantage Grouped Policy Optimization) حلها لوكلاء الذكاء الاصطناعي (مثل برامج الدردشة المتقدمة التي يمكنها اتخاذ إجراءات في العالم الحقيقي).

إليك شرح مبسط لكيفية عملها، باستخدام تشبيهات من الحياة اليومية:

1. المشكلة: حلقة "التغذية الراجعة العمياء"

في التدريب التقليدي، إذا اتخذ وكيل الذكاء الاصطناعي 50 خطوة لإنهاء مهمة وحصل على مكافأة في النهاية، فإن التغذية الراجعة تكون "متفرقة" (قليلة جداً) و"متأخرة" (بعد فوات الأوان).

الطريقة القديمة: تشبه طالباً خاض امتحاناً نهائياً وحصل على درجة 85%. هو يعلم أنه نجح، لكنه لا يعرف أي المسائل الرياضية تحديداً أجاب عليها بشكل صحيح أو خاطئ. قد يدرس الأشياء الخاطئة في المرة القمة.
معاناة الذكاء الاصطناعي: غالباً ما تحاول طرق الذكاء الاصطناعي الحالية تخمين قيمة كل خطوة باستخدام "ناقد" (Critic) معقد (وهو نموذج ذكاء اصطناعي ثانٍ يعمل كحكم). لكن بناء وتدريب هذا الحكم مكلف وغالباً ما يكون غير دقيق.

2. الحل: "الذاكرة المجمعة" لـ GAGPO

إن GAGPO هي طريقة "خالية من الناقد" (critic-free)، مما يعني أنها لا تحتاج إلى نموذج ذكاء اصطناعي ثانٍ ليحكم على الخطوات. بدلاً من ذلك، تستخدم خدعة ذكية تسمى الوكيل القيمي المجمع (Grouped Value Proxy).

التشبيه: "الخريطة القائمة على التعهيد الجماعي"
تخيل أنك تقوم بتدريب موظف جديد. بدلاً من توظيف مدير لمراقبة كل حركة، تنظر إلى سجلات 100 موظف آخر قاموا بنفس الوظيفة.

التجميع: إذا كان 50 من هؤلاء الموظفين واقفين في "المطبخ" (حالة محددة) في وقت ما، فإن GAGPO تجمع كل تلك اللحظات معاً.
الوكيل (The Proxy): تسأل: "في المتوسط، كيف كان أداء الناس بعد التواجد في المطبخ؟" إذا كان معظم الناس الذين وقفوا في المطبخ قد استمروا في طريقهم للعثور على الكنز، فإن المطبخ مكان "جيد". إذا تاهوا، فهو مكان "سيء".
لا يوجد حكم إضافي: هي تبني هذه الخريطة من بيانات المحاولات نفسها، دون الحاجة إلى ذكاء اصطناعي منفصل لتخمين القيمة.

3. السحر: "الائتمان عبر الزمن" (Time-Traveling Credit)

بمجرد أن تعرف GAGPO أي "الحالات" (مثل المطبخ) جيدة أو سيئة، فإنها تحتاج لإخبار الذكاء الاصطناعي متى يجب أن يشعر بالسعادة أو الحزن تجاه أفعاله.

التشبيه: "تأثير التموج" (The Ripple Effect)
في الطرق القديمة، إذا حصلت على مكافأة في النهاية، فغالباً ما يتم لصق هذه المكافأة على كل خطوة بشكل متساوٍ.

نهج GAGPO: يستخدم منطق "السفر عبر الزمن" (يسمى الفرق الزمني أو GAE). إنه يعمل بشكل عكسي من النهاية.
- إذا كانت النتيجة النهائية رائعة، فإنه يرسل موجة "عمل جيد!" عائدة عبر الزمن.
- ومع ذلك، فإن هذه الإشارة تتلاشى كلما رجعت للخلف. الخطوة التي سبقت النجاح مباشرة تحصل على "عمل جيد!" قوية. أما الخطوة التي سبقتها بـ 10 حركات، فتحصل على "كنت على المسار الصحيح" أضعف.
- يضمن هذا أن يتعلم الذكاء الاصطناعي بالضبط أي أفعال محددة أدت إلى الفوز، بدلاً من لوم أو مدح الرحلة بأكملها بالتساوي.

4. "الزي الموحد للفريق" (التطبيع المجموعي - Group Normalization)

تذكر الورقة أيضاً تقنية تسمى PPO المعتمد على التطبيع المجموعي (Group-Normalized PPO).

التشبيه: "التقييم بالمنحنى" (Grading on a Curve)
تخيل فصلاً دراسياً حيث خاض بعض الطلاب اختباراً صعباً وآخرون اختباراً سهلاً. إذا نظرت فقط إلى الدرجات الخام، سيبدو طلاب الاختبار السهل كأنهم عباقرة.

تقوم GAGPO بالنظر إلى مجموعة محددة من المحاولات (دفعة/Batch) وتطبع الدرجات داخل تلك المجموعة.
تسأل: "ضمن هذه المجموعة المحددة من المحاولات، أي الأفعال كانت أفضل من غيرها؟" هذا يحافظ على استقرار التدريب ويمنع الذكاء الاصطناعي من الارتباك بسبب التقلبات الضخمة في درجات المكافأة.

5. النتائج: تعلم أسرع وأكثر سلاسة

اختبر المؤلفون هذا على مهمتين معقدتين:

ALFWorld: منزل افتراضي حيث يتعين على الوكيل العثور على أشياء، تنظيفها، ووضعها في أماكن محددة.
WebShop: متجر إلكتروني افتراضي حيث يتعين على الوكيل البحث والمقارنة وشراء العناصر بناءً على تعليمات.

ماذا حدث؟

بداية أسرع: تعلمت GAGPO بشكل أسرع بكثير في البكسات الأولى مقارنة بالطرق الأخرى. لقد اكتشفت الحركات "الجيدة" في وقت مبكر.
رحلة أكثر سلاسة: كان التدريب أقل "تذبذباً". الطرق الأخرى قد تشهد صعودات وهبوطات حادة في الأداء؛ أما GAGPO فقد صعدت بشكل مستقر.
درجات أفضل: في كل من المنزل والمتجر، حقق الذكاء الاصطناعي المدرب بواسطة GAGPO معدلات نجاح ودرجات أعلى من أفضل الطرق السابقة (مثل PPO و GRPO و GiGPO).

الملخص

GAGPO هي طريقة جديدة لتعليم وكلاء الذكاء الاصطناعي كيفية لعب ألعاب متعددة الخطوات. بدلاً من توظيف نموذج ذكاء اصطناعي "ناقد" مكلف لانتقاد كل حركة، فإنها تنظر إلى مجموعات من المحاولات الماضية لمعرفة المواضع الجيدة في اللعبة. ثم، ترسل "تموجاً" من الائتمان (الاستحقاق) رجوعاً من الفوز إلى الخطوات المحددة التي تسببت فيه. هذا يجعل الذكاء الاصطناعي يتعلم بشكل أسرع، وأكثر دقة، وبارتباك أقل، وكل ذلك دون الحاجة إلى موارد حوسبية إضافية لتدريب نموذج الناقد.

ملخص تقني: تحسين السياسة المجموعاتية للميزة المعممة (GAGPO)

بيان المشكلة

أصبح التعلم التعزيزي (RL) نموذجاً مهيمناً لتدريب النماذج اللغوية الكبيرة (LLMs) في مرحلة ما بعد التدريب، لا سيما في التفاعلات متعددة الأدوار. ومع ذلك، لا تزال هناك عقبة حرجة تتمثل في: تخصيص الائتمان (Credit Assignment) في البيئات متعددة الأدوار. في هذه الإعدادات، تتلقى الوكلاء عادةً مكافآات متفرقة على مستوى المسار (trajectory-level) فقط عند نهاية الحلقة (episode). وهذا يجعل من الصعب تحديد أي الأفعال الوسيطة المحددة أدت إلى النجاح أو الفشل.

تواجه الحلول الحالية مقايضة بين:

الأساليب القائمة على الناقد (Critic-based methods): تُدخل مُقدِّرات قيمة مساعدة أو نماذج مكافأة عملياتية لتوفير تغذية راجعة أكثر كثافة على مستوى الخطوة. ورغم فعاليتها، إلا أنها تزيد من تعقيد التدريب وأخطاء التقدير.
الأساليب الخالية من الناقد (Critic-free methods): تعتمد على التحسين المجموعاتي النسبي للمسار أو أسلوب مونت كارلو (مثل GRPO و GiGPO). ورغم بساطتها الهيكلية، إلا أنها غالباً ما تنتج إشارات عالية التباين وإشرافاً ضعيف الانتشار، مما يؤدي إلى الفشل في مواءمة تخصيص الائتمان مع حدود القرار الفعلية للوكيل (خطوات البيئة) بدلاً من توليد الرموز (tokens).

التحدي الجوهري هو تحقيق تخصيص ائتمان متوافق زمنياً ومحاذٍ للخطوات في تدريب الوكلاء متعدد الأدوار دون الاعتماد على ناقد متعلم أو إجراءات بحث متخصصة.

المنهجية: GAGPO

يقترح المؤلفون تحسين السياسة المجموعاتية للميزة المعممة (GAGPO)، وهو طريقة تعلم تعزيزي خالية من الناقد مصممة لتمكين تخصيص ائتمان دقيق ومتوافق مع الخطوات. تعمل GAGPO عبر ثلاث مراحل رئيسية:

1. تجميع المسارات وتجميع الحالات (Rollout Grouping and State Aggregation)

على عكس التحديثات القياسية على مستوى الرمز (token)، تعامل GAGPO كل خطوة بيئة كوحدة أساسية لتخصيص الائتمان. تشترك جميع الرموز ضمن إجراء واحد للوكيل (سلسلة من الرموز) في ميزة واحدة على مستوى الخطوة.

وكيل القيمة المجموعاتي (Grouped Value Proxy): تستخدم الطريقة وكيل قيمة غير معلمي (non-parametric) عبر تجميع جميع حالات حدوث نفس حالة البيئة $s$ عبر المسارات التي تم أخذ عينات منها. بالنسبة لحالة $s$ ، يجمع المجموعة $G(s)$ جميع الخطوات $(i, t)$ حيث تتطابق الحالة.
تقدير القيمة: يتم حساب وكيل القيمة $\bar{V}(s)$ كمتوسط العوائد المخصومة لجميع الخطوات في $G(s)$ :
$\bar{V}(s) = \frac{1}{|G(s)|} \sum_{(j,u) \in G(s)} \hat{R}^{(j)}_u$
يتم إجراء هذا التجميع بالكامل من المسارات التي تم جمعها، مما لا يتطلب أي تكلفة تدريب إضافية أو ناقد متعلم.

2. تخصيص الائتمان الزمني على مستوى الخطوة

تحسب GAGPO المزايا الزمنية بشكل تكراري، محاكيةً تقدير الميزة المعممة (GAE) ولكن باستخدام الوكيل $\bar{V}$ غير المعلمي بدلاً من دالة القيمة المتعلمة.

باقي الفرق الزمني (TD Residual): بالنسبة للخطوة $(i, t)$ ، يكون باقي الفرق الزمني هو:
$\delta^{(i)}_t = r^{(i)}_t + \gamma \bar{V}(s^{(i)}_{t+1}) - \bar{V}(s^{(i)}_t)$
(حيث تكون $\bar{V}$ مساوية لـ 0 للحالات النهائية).
الانتشار التكراري: يتم حساب الميزة على مستوى الخطوة $\hat{A}^{(i)}_t$ بشكل تكراري مع معامل موازنة بين الانحياز والتباين $\lambda$ :
$\hat{A}^{(i)}_t = \delta^{(i)}_t + \gamma \lambda \hat{A}^{(i)}_{t+1}$
يسمح هذا للإشراف الناتج عن المخرجات بالانتشار إلى الوراء عبر الزمن، مما يخصص الائتمان للقرارات الوسيطة بناءً على المكافآت المتأخرة.

3. تحديث PPO المجموعاتي المعياري (Group-Normalized PPO Update)

لض ضمان الاستقرار والتحسين المحلي:

التنميط المجموعاتي (Group Normalization): بدلاً من التنميط عبر الدفعة بأكملها (الذي يخلط المهام غير المتجانسة)، يتم توحيد المزايا داخل كل مجموعة مسار $B$ :
$A^{(i)}_t = \frac{\hat{A}^{(i)}_t - \mu_B}{\sigma_B + \epsilon}$
نسبة الأهمية على مستوى التسلسل: بما أن الإجراء $a_t$ يتكون من رموز متعددة، تقوم GAGPO بحساب نسبة أهمية واحدة لتسلسل الإجراء بالكامل عن طريق متوسط لوغاريتم النسب الفردية للرموز، بدلاً من قص النسب لكل رمز بشكل مستقل. هذا يمنع "تمزق التدرج" (gradient tearing) داخل إجراء واحد.
الهدف (Objective): الهدف النهائي هو خسارة PPO المقصوصة (clipped) باستخدام هذه المزايا المحاذية للتسلسل والمعيرة مجموعاتياً.

المساهمات الرئيسية

الانتشار الزمني الخالي من الناقد: تقدم GAGPO طريقة لحساب المزايا الزمنية بأسلوب TD/GAE دون الحاجة إلى ناقد متعلم، وذلك باستخدام وكيل قيمة مجموعاتي غير معلمي مستمد من بيانات المسارات.
تخصيص الائتمان المتوافق مع الخطوات: تنقل وحدة التحسين من الرموز إلى خطوات البيئة، مما يضمن تخصيص الائتمان لحدود القرار الفعلية للوكيل.
ديناميكيات التحسين المستقرة: من خلال الجمع بين التكرار الزمني والتنميط المجموعاتي ونسب الأهمية على مستوى التسلسل، تستخرج GAGPO إشارات تحسين مستقرة ومنخفضة التباين مباشرة من المسارات متعددة الأدوار.
التفوق التجريبي: تظهر الطريقة تحسينات ثابتة على القواعد المرجعية القوية لتعلم التعزيزي (PPO, RLOO, GRPO, GiGPO) في الاختبارات المعقدة متعددة الأدوار.

النتائج التجريبية

قيم المؤلفون GAGPO على ALFWorld (مهام منزلية مجسدة) و WebShop (تسوق عبر الإنترنت) باستخدام نماذج خلفية من نوع Qwen2.5-1.5B-Instruct و Qwen2.5-7B-Instruct.

مكاسب الأداء: تفوقت GAGPO باستمرار على جميع القواعد المرجعية.
- في ALFWorld (نموذج 7B)، حققت درجة إجمالية قدرها 95.6، متجاوزةً أقوى قاعدة مرجعية (GiGPO بنسبة 88.8) بمقدار 6.8 نقطة.
- في WebShop (نموذج 7B)، حسنت الدرجة من 86.3 إلى 90.3 ومعدل النجاح من 66.4% إلى 77.5%.
ديناميكيات التعلم: كشف تحليل أول 120 خطوة تدريب أن GAGPO تتعلم بشكل أسرع في المراحل المبكرة وتحافظ على فجوة أداء طوال فترة التدريب مقارنة بـ GiGIO و GRPO.
كفاءة التفاعل: حققت وكلاء GAGFA إكمال المهام بنجاح في عدد خطوات تفاعل أقل (أطوال حلقات أقصر) في المتوسط.
استقرار التحسين:
- معيار التدرج (Gradient Norm): أظهرت GAGPO ديناميكيات تدرج أكثر سلاسة وأقل تقلبًا مقارنة بالتقلبات عالية السعة التي شهدتها GiGIO.
- تباين الميزة: كان توزيع المزايا على مستوى الخطوة في GAGPO أكثر تركيزاً بشكل ملحوظ (مدى ربيعي أقل وقيم متطرفة أقل) من GiGIO، مما يشير إلى إشارات تعلم أقل تباينًا.

الأهمية والادعاءات

يزعم البحث أن GAGPO توفر إطار عمل بسيطاً وفعالاً للغاية للتعلم التعزيزي الوكيل متعدد الأدوار. وتكمكم أهميتها الأساسية في إثبات أن:

يمكن توسيع الطرق الخالية من الناقد بفعالية لتشمل الوكلاء التفاعليين للنماذج اللغوية الكبيرة إذا تم تخصيص الائتماد على مستوى خطوات البيئة بدلاً من الرموز.
الانتشار الزمني للمكافآت المتفرقة عبر وكيل غير معلمي كافٍ للتغلب على مشكلة تخصيص الائتمان دون الأعباء الإضافية لتدريب نماذج قيمة مساعدة.
التنميط المجموعاتي والمحاذاة على مستوى التسلسل أمران حاسمان لاستقرار تحسين السياسات متعددة الأدوار، مما يمنع التباين العالي وعدم الاستقرار الذي يصاحب غالباً تحديثات المجموعات بأسلوب مونت كارلو.

يخلص المؤلفون إلى أن GAGPO توفر إشارة تدريب متوافقة مع الخطوات، ومتسقة زمنياً، ومستقرة، مما يمكن الوكلاء من تحسين أدائهم من خلال البحث والتفاعل بكفاءة أكبر. كما يشيرون إلى وجود قيود تتعلق بالاعتماد على مطابقة الحالة الدقيقة (والتي تعمل في بيئات النصوص الحتمية ولكنها قد تتطلب تقريباً في الإعدادات العشوائية أو المستمرة) ونطاق التقييم المحدود بنماذج واختبارات معينة.