🤖 machine learning

GROW: Aligning GRPO with State-Action Modeling for Open-World VLM Agents

تقدم الورقة البحثية إطار العمل GROW، وهو إطار للتعلم التعزيزي يعمل على تكييف تحسين السياسة النسبية للمجموعة (GRPO) لوكلاء نماذج الرؤية واللغة في العوالم المفتوحة من خلال تفكيك المسارات الكاملة إلى عينات حالة-فعل للتغلب على قيود طول السياق، محققةً أداءً هو الأفضل على الإطلاق في أكثر من 800 مهمة في ماينكرافت.

المؤلفون الأصليون: Xiongbin Wu, Zhihao Luo, Shanzhe Lei, Lechao Zhang, Xuhong Wang, Jie Yang, Zhonglong Zheng, Yuanjie Zheng, Xin Tan, Wei Liu

نُشر 2026-05-21

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Xiongbin Wu, Zhihao Luo, Shanzhe Lei, Lechao Zhang, Xuhong Wang, Jie Yang, Zhonglong Zheng, Yuanjie Zheng, Xin Tan, Wei Liu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تعلم روبوتًا كيف يلعب لعبة فيديو معقدة مثل Minecraft. يمتلك الروبوت كاميرا (عينيه) ويمكنه الكتابة على لوحة المفاتيح وتحريك الفأرة (يديه). هدفه هو إكمال مهام مثل "بناء منزل"، "تعدين الذهب"، أو "هزيمة وحش".

لفترة طويلة، كانت أفضل طريقة لتعليم هذه الروبوتات هي الضبط الدقيق الخاضع للإشراف (SFT). فكر في الأمر كأنك تعرض على الروبوت فيديو للاعب بشري خبير يلعب اللعبة بشكل مثالي وتقول له: "انسخ تمامًا ما فعله". المشكلة هي أن العثور على ساعات من اللعب البشري المثالي أمر مكلف، وإذا قام الروبوت بمجرد حفظ الفيديو، فسيصاب بالارتباك عندما تتغير اللعبة قليلًا.

بعد ذلك، جرب الباحثون التعلم التعزيزي (RL)، وتحديدًا خوارزمية تسمى GRPO. هذا يشبه ترك الروبوت يلعب اللعبة، يفشل، ينجح، ويتعلم من النتائج. ومع ذلك، كان لـ GRPO القياسي عيب رئيسي عند تطبيقه على الألعاب ذات العوالم المفتوحة: فقد تعامل مع جلسة اللعب بأكملها كدرس واحد طويل.

المشكلة: الدرس "الطويل جدًا"

تخيل أنك تحاول تعلم كيفية خبز كعكة.

GRPO القياسي يشبه تسليمك كتابًا مكونًا من 500 صفحة يتضمن قصة طفولتك، ونشرة الطقس قبل ثلاثة أيام، والوصفة، وقصة كلب جارك، وكل ذلك مختلط معًا. يخبرك الكتاب: "لقد خبزت كعكة جيدة في النهاية، لذا فإن كل شيء في هذا الكتاب المكون من 500 صفحة كان جيدًا".
في الورقة البحثية، يُطلق على هذا اسم "المسار الكامل" (full trajectory). بينما يلعب الروبوت Minecraft، يصبح تاريخ ما رآه وفعله أطول وأطول. وفي النهاية، يصبح "الكتاب" ضخمًا جدًا ومليئًا بالضجيج غير ذي الصلة (مثل المشي ذهابًا وإيابًا لمدة 10 دقائق قبل العثور على كتلة)، مما يجعل الروبوت يشعر بالإرهاق ولا يستطيع معرفة أي حركة محددة أدت إلى النجاح.

الحل: GROW (نهج "بطاقة الوصفة")

يقترح المؤلفون إطار عمل جديد يسمى GROW (محاذاة GRPO مع نمذجة الحالة-الإجراء).

بدلاً من إعطاء الروبوت الكتاب المكون من 500 صفحة بالكامل، يقوم GROW بتقسيم جلسة اللعب إلى قطع صغيرة تشبه بطاقات الوصفة.

تفكيك الحالة-الإجراء (State-Action Decomposition): يقوم GROW بتفكيك جلسة اللعب الطويلة إلى لحظات فردية: "انظر إلى الكتلة" + "انقر بالفأرة" + "ضربة المعول".
التغذية الراجعة الذكية: إذا نجح الروبوت في النهاية، لا يقول GROW "كل شيء في اللعبة بأكملها كان رائعًا". بدلًا من ذلك، ينظر إلى البطاقات المحددة التي أدت إلى الفوز. يقول: "الحركة التي قمت بها قبل 5 ثوانٍ من العثور على الذهب كانت جيدة جدًا. أما الحركة التي قمت بها قبل 20 دقيقة عندما كنت تمشي فقط؟ فقد كانت جيدة فحسب".

كيف يعمل (التشبيه)

فكر في مدرب يدرب لاعب كرة قدم.

الطريقة القديمة (GRPO القياسي): يشاهد المدرب المباراة بأكملها لمدة 90 دقيقة، ويرى اللاعب يسجل هدفًا، ثم يصرخ: "عمل رائع! لقد فعلت كل شيء بشكل صحيح من الدقيقة الأولى حتى الأخيرة!" يصاب اللاعب بالارتباك لأنه في الواقع قام بتمريرة سيئة للغاية في الدقيقة العاشرة كادت أن تضيع المباراة.
طريقة GROW: يقوم المدرب بتفكيك المباراة. "تلك التمريرة في الدقيقة العاشرة كانت مهملة. لكن الركضة التي قمت بها في الدقيقة 80؟ مثالية. والركلة في الدقيقة 89؟ عبقرية". يتعلم اللاعب تحديدًا أي إجراءات يجب عليه تكرارها.

"السحر" الرياضي

تتضمن الورقة البحثية برهانًا رياضيًا (التحليل البديل - Surrogate Analysis) لطمأنتنا بأن نهج "تقطيع الدرس" هذا لا يزال صالحًا.

المخاوف: تتطلب الرياضيات المعتادة لهذا النوع من التعلم عادةً مقارنة محاولات مختلفة من نفس نقطة البداية تمامًا. يقوم GROW بمقارنة لحظات مختلفة في الوقت، وهي جميعًا مختلفة.
النتيجة: أثبت المؤلفون أنه على الرغم من اختلاف نقاط البداية، فإن "الدرجة" التي يحصل عليها الروبوت لا تزال تعكس بدقة مدى جودة استراتيجيته. إنه يشبه تقييم طالب في اختبار رياضيات: حتى لو كانت الأسئلة مختلفة، فإن الدرجة النهائية لا تزال تخبرك ما إذا كان يتحسن في الرياضيات أم لا.

النتائج: هزيمة اللعبة

اختبر الفريق نظام GROW على أكثر من 800 مهمة مختلفة في Minecraft، تتراوح بين التنقل في الكهوف إلى صنع الأدوات ومحاربة الوحوش.

معدل النجاح: تفوق GROW بشكل كبير على الطرق السابقة. على سبيل المثال، في "مهام واجهة المستخدم الرسومية" (GUI tasks) (استخدام قوائم اللعبة لصنع العناصر)، قفز النجاح من حوالي 39% إلى 68%.
الكفاءة: لم يربح الروبوت أكثر فحسب؛ بل ربح بسرعة أكبر. لقد استغرق خطوات أقل لإكمال المهام لأنه تعلم تجاهل "الضجيج" والتركيز على الحركات التي تهم حقًا.
التعميم: لم يقم الروبوت بمجرد حفظ الألعاب المحددة التي تدرب عليها. لقد تعلم مهارات عامة (مثل كيفية البحث عن هدف أو كيفية استخدام القائمة) سمحت له بالنجاح في مهام جديدة وغير مرئية لم يسبق له رؤيتها من قبل.

باختصار

GROW هو طريقة أذكى لتعليم وكلاء الذكاء الاصطناعي لعب ألعاب العوالم المفتوحة. بدلاً من إرهاقهم بتواريخ طويلة وفوضوية لجلسات لعبهم بأكملها، يقوم بتفكيك اللعبة إلى خطوات صغيرة وواضحة. يساعد هذا الذكاء الاصطناعي على فهم أي الإجراءات تؤدي إلى النجاح بالضبط، مما يسمح له بالتعلم بشكل أسرع، واللعب بشكل أفضل، والتعامل مع التحديات الجديدة دون ارتباك.

ملخص تقني: GROW – مواءمة GRPO مع نمذجة الحالة-الإجراء لوكلاء VLM في العوالم المفتوحة

1. بيان المشكلة

أظهرت وكلاء نماذج الرؤية واللغة (VLM) إمكانات كبيرة في مهام العالم المفتوح (مثل Minecraft)، والتي تتطلب إدراكًا بصريًا متعدد الدورات وتنفيذًا للأفعال. وبينما يعد الضبط الدقيق الخاضع للإشراف (SFT) على عروض الخبراء هو نموذج التدريب المهيمن، إلا أنه يعاني من ارتفاع تكاليف جمع البيانات ومحدودية القابلية للتوسع. علاوة على ذلك، غالبًا ما يتخلف الـ SFT عن أداء أساليب التعلم التعزيزي (RL).

على الرغم من ظهور خوارزمية تحسين السياسة النسبية لمجموعات العينات (GRPO) كخوارزمية تعلم تعزيزي فعالة للنماذج التأسيسية — حيث تلغي الحاجة إلى نموذج قيمة منفصل عبر حساب المزايا عبر مجموعات من المخرات التي تم أخذ عينات منها — إلا أن التطبيق المباشر لـ GRPO القياسي على مهام العالم المفتوح يطرح تحديات كبيرة:

طول السياق: يعامل GRPO القياسي مسار التفاعل الكامل كعينة تدريب واحدة. في بيئات العالم المفتوح، تتراكم هذه المسارات سياقات مفرطة الطول، مما يتجاوز غالبًا حدود الرموز (tokens).
الضجيج: تحتوي المسارات الكاملة على كمية كبيرة من المعلومات غير ذات الصلة والضجيج، مما يؤدي إلى تدهور جودة تقدير تدرج السياسة.
عدم التطابق النظري: يفترض GRPO القياسي أن العينات المجموعة هي استجابات مختلفة لنفس المطالبة (prompt). في مهام العالم المفتوح، يعني تفكيك المسارات أن العينات المجموعة مشروطة بحالات محلية مختلفة، مما ينتهك هذا الافتراض.

2. المنهجية: إطار عمل GROW

يقترح المؤلفون GROW (GRPO للعالم المفتوح لوكلاء VLM)، وهو إطار عمل يكيف GRPO لتناسب إعدادات العالم المفتوح من خلال تفكيك المسارات إلى عينات حالة-إجراء دقيقة.

2.1 تفكيك المسار

بدلاً من تحسين المسارات الكاملة، يقوم GROW بتفكيك مسارات التدفق (rollout trajectories) المجموعة $\tau = \{(s_1, a_1), \dots, (s_H, a_H)\}$ إلى أزواج فردية من الحالة-الإجراء.

نشر المكافأة: نظرًا لأن المكافآت في هذه البيئات نادرة ويمكن التحقق منها فقط عند اكتمال المهمة ( $R(\tau)=1$ للنجاح، و $0 $خلاف ذلك)، يتم نشر المكافأة عكسيًا على طول المسار باستخدام عامل خصم$ \gamma$:
$r_{i,t} = \gamma^{H_i - t} R(\tau_i)$
يضمن هذا أن عينات الحالة-الإجراء الأقرب إلى النتيجة الناجحة تتلقى إشارات تعلم أقوى.

2.2 حساب ميزة الحالة-الإجراء

ضمن مجموعة تدفق مكونة من $G$ من البيئات المتوازية، يحسب GROW المزايا النسبية عبر عينات الحالة-الإجراء المفككة بدلاً من المسارات الكاملة.

يتم حساب الميزة $A_{i,t}$ عن طريق تطبيع المكافآت المخصومة $r_{i,t}$ عبر المجموعة:
$A_{i,t} = \frac{r_{i,t} - \mu}{\sigma}$
حيث $\mu$ و $\sigma$ هما المتوسط والانحراف المعياري لمجموعة المكافآت داخل المجموعة.
يتبع هدف التدريب هدف PPO المقطوع القياسي ولكنه يعمل على وحدات الحالة-الإجراء هذه:
$J = \mathbb{E} \left[ \frac{1}{G} \sum_{i=1}^G \frac{1}{H_i} \sum_{t=1}^{H_i} \min(\rho_{i,t}(\theta) A_{i,t}, \text{clip}(\rho_{i,t}(\theta), 1-\epsilon, 1+\epsilon) A_{i,t}) \right]$

2.3 التحليل البديل

يعالج المؤلفون القلق النظري المتمثل في أن العينات المجموعة في GROW مشروطة بحالات محلية مختلفة ( $s_{i,t}$ ) بدلاً من مطالبة متطابقة. تحت افتراضات تبسيطية (طول مسار موحد $H$ وخطوات تفاعل متسقة)، يستنتجون تحليلًا بديلًا يوضح أن الهدف يتفكك إلى حدين:

$J_{traj}$ : يحافظ على التفضيل على مستوى المسار من خلال مقارنة مكافآت المسار $R(\tau_i)$ مقابل متوسط المجموعة $S$ .
$J_{step}$ : يلتقط تأثيرات الخصم الزمني، مما يعمل على صقل تخصيص الائتمان (credit assignment) داخل المسارات الناجحة للتركيز على القرارات المرتبطة مباشرة بالنجاح النهائي.
يخلص التحليل إلى أنه رغم الابتعاد عن افتراض المطالبة المتطابقة، فإن الهدف يحتفظ بإشارة تحسين سياسة نسبية صالحة وفعالة.

3. المساهمات الرئيسية

اقتراح إطار العمل: تقديم GROW، وهو إطار عمل للتعلم التعزيزي يجمع بين التدريب للبداية الباردة (cold-start) على عينات الحالة-الإجراء مع صقل السياسة القائم على GRPO عبر تفكيك المسار.
التبرير النظري: تقديم تحليل بديل يثبت أن تحسين السياسة النسبي يظل فعالاً حتى عندما تكون العينات المجموعة مشروطة بحالات محلية مختلفة، بشرط تحقق تقريبات التتبع المعقولة.
التحقق التجريبي: اختبار واسع النطاق على أكثر من 800 مهمة في Minecraft، مما أظهر أن إطار العمل يحقق أداءً هو الأفضل حاليًا (SOTA) في كل من معدل النجاح وكفاءة التنفيذ.

4. النتائج التجريبية

أُجريت التجارب في Minecraft (نسخة Java) باستخدام معيار MCU، والذي يغطي ثلاث فئات: المهام المتجسدة (الملاحة/التعدين)، مهام واجهة المستخدم الرسومية (GUI) (الصناعة/الصهر)، ومهام القتال. النموذج الأساسي هو Qwen2-VL-7B-Instruct.

مكاسب الأداء: حقق GROW نتائج SOTA عبر جميع الفئات:
- المتجسدة (Embodied): تحسن معدل النجاح (ASR) من 50.4% (الأفضل سابقًا) إلى 59.6%.
- واجهة المستخدم (GUI): تحسن معدل النجاح (ASR) من 39.1% إلى 68.4%.
- القتال (Combat): تحسن معدل النجاح (ASR) من 39.2% إلى 49.0%.
الكفاءة: انخفض متوسط عدد الخطوات المطلوبة لإكمال المهام بشكل كبير (على سبيل المثال، من 263 إلى 128 خطوة في المهام المتجسدة).
التعميم: أظهر GROW قدرة قوية على التعميم للمهام غير المرئية (RL-unseen)، محققًا تحسنًا ملحوًا في معدلات النجاح مقارنة بالسياسة الأولية دون الإفراط في التخصيص (overfitting) لمجموعة التدريب.
دراسات الاستئصال (Ablation Studies):
- مقابل PPO: تفوق GROW على PPO في كل من معدلات النجاح وسرعة التقارب.
- عامل الخصم ( $\gamma$ ): أعطت القيمة $\gamma=0.995$ أفضل توازن بين تخصيص الائتمان طويل الأمد والكفاءة المحلية.
التحليل السلوكي: كشفت المهام التشخيصية أن GROW حسن مهارات محددة مثل التثبيت المستقر للهدف، وإعادة الاستحواذ النشط على الهدف (البحث عن الأهداف المفقودة)، والتشغيل القوي لواجهة المستخدم المقاوم للمشتتات.

5. الأهمية والادعاءات

يدعي البحث أن GROW يضع معيارًا جديدًا (SOTA) لوكلاء VLM في العوالم المفتوحة من خلال سد الفجوة بفعالية بين خوارزميات التعلم التعزيزي المتقدمة (GRPO) والقيود المحددة لبيئات العالم المفتوح (المسارات الطويلة والمشوشة).

الإنجاز الجوهري: نجح إطار العمل في التخفيف من مشكلات تراكم السياق المفرط والضجيج المتأصلة في التعلم التعزيزي للمسارات الكاملة مع الحفاظ على إشارة التحسين النسبية الأساسية لـ GRPO.
اكتساب المهارات: تشير النتائج إلى أن GROW يعزز استراتيجيات التفاعل القابلة لإعادة الاستخدام (مثل البحث النشط، والتعامل القوي مع واجهة المستخدم) بدلاً من مجرد حفظ المسار.
القابلية للتوسع: من خلال تفكيك المسارات، تقدم الطريقة مسارًا قابلاً للتوسع لتدريب وكلاء VLM في بيئات معقدة متعددة الخطوات حيث يكون تقدير القيمة مكلفًا وغير مستقر.

يشير المؤلفون إلى القيود، بما في ذلك الافتقار الحالي إلى وحدة ذاكرة للمهام طويلة الأمد جدًا والاعتماد على محاكيات محددة (Minecraft)، مما يشير إلى أن العمل المستقبلي يمكن أن يستكشف تلخيص التاريخ والتوسع في بيئات عالم مفتوح متنوعة.