💻 computer science

Temporal GRPO: Beyond Trajectory-Level Credit in Vision-Language-Action Reinforcement Learning

يعزز GRPO الزمني تعلم التعزيز للرؤية واللغة والعمل من خلال التخفيف من حدة التباس الائتمان على مستوى المسار عبر مواءمة الميزة المحددة لكل مرحلة، مما يؤدي إلى تحسين نجاح المهام وكفاءة العينات مقارنة بالطرق التقليدية على مستوى التدفق.

المؤلفون الأصليون: Yao Zhou, Hang Gao, Fengge Wu, Changwen Zheng, Wenwen Qiang

نُشر 2026-08-14

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Yao Zhou, Hang Gao, Fengge Wu, Changwen Zheng, Wenwen Qiang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تعلم روبوتًا كيفية طهي وجبة معقدة، مثل عشاء مكون من ثلاث درجات. في عالم الروبوتات والذكاء الاصطناعي، يُسمى هذا "تعلم الرؤية واللغة والحركة" (Vision-Language-Action). يمتلك الروبوت أعينًا (الرؤية)، وعقلًا يفهم التعليمات (اللغة)، وأذرعًا للتحرك (الحركة). عادةً ما نعلم هذه الروبوتات من خلال عرض فيديوهات لبشر يقومون بالمهمة، لكن هذه الطريقة بطيئة ومكلفة. هناك طريقة أحدث وأكثر روعة تسمى "التعلم المعزز" (Reinforcement Learning)، حيث يجرب الروبوت الأشياء بمفرده. إذا نجح، يحصل على "هاي فايف" (مكافأة)؛ وإذا فشل، يحصل على تنبيه لطيف بـ "حاول مرة أخرى" (عقوبة).

المشكلة هي أن الحياة الواقعية فوضوية. قد يقوم الروبوت بتقطيع الخضروات بدقة، وتشويح البصل، وتنسيق الطبق، ثم يسقط قطعة التزيين النهائية فقط. في الطريقة القديمة لتعليم الروبوتات، سينظر الكمبيوتر إلى تلك السقطة الأخيرة ويقول: "لقد فشلت في الوجبة بأكملها!" وسيعاقب الروبوت على كل ما فعله، حتى تقطيع الخضروات وتشويح البصل المثاليين. إنه يشبه الحصول على درجة سيئة في اختبار رياضيات لمجرد أنك ارتكبت خطأً صغيرًا في الخطوة الأخيرة، مما يمحو كل الفضل الذي حصلت عليه في الإجابات الصحيحة السابقة. تعالج هذه الورقة البحثية هذا الظلم، وتقترح طريقة أذكى لمنح الائتمان (التقدير)، بحيث يعرف الروبوت بالضبط ما الذي سار بشكل خاطئ دون أن ينسى ما فعله بشكل صحيح.

فخ "الكل أو لا شيء"

تعرف على الطريقة القديمة لتدريب الروبوتات، والتي يسميها المؤلفون "الائتمان على مستوى المسار" (Trajectory-Level Credit). تخيل روبوتًا يحاول تكويم المكعبات. لقد نجح في التقاط المكعب الأول، ونقله إلى الطاولة، وتكويمه. ولكن عند المكعب الأخير، انزلق وأسقط البرج بأكمله.

في الطريقة القياسية (المسماة GRPO)، ينظر الكمبيوتر إلى النتيجة النهائية: البرج سقط. ويخصص "درجة فشل" واحدة لكامل تسلسل الأفعال. هذا يعني أن عقل الروبوت يتلقى إشارة تقول: "لا تلتقط المكعبات، ولا تحركها، ولا تكومها". إنه يعاقب الحركات الناجحة المبكرة بنفس شدة الحركة الأخيرة الفاشلة. يسمي المؤلفون هذا "تداخل الائتمان على مستوى المسار" (trajectory-level credit aliasing). إنه يشبه معلمًا يقيم مقال طالب من خلال النظر فقط إلى الجملة الأخيرة؛ فإذا كانت النهاية سيئة، يحصل المقال بأكمله على درجة (F)، حتى لو كانت المقدمة والفقرات الموضوعية رائعة. هذا يربك الروبوت ويجعل من الصعب عليه تعلم المهام الطويلة والمعقدة.

الفكرة الجديدة: Temporal GRPO

تقدم الورقة طريقة جديدة تسمى Temporal GRPO (والتي تعني تحسين السياسة النسبي للمجموعات، ولكن لنسمها ببساطة "معلم السفر عبر الزمن"). بدلًا من النظر إلى القصة كاملة ككتلة واحدة كبيرة، تقوم هذه الطريقة بتقسيم المهمة إلى فصول أو "مراحل" واضحة يمكن اكتشافها.

فكر في وظيفة الروبوت كأنها لعبة فيديو ذات مستويات:

المستوى 1: التقط الكوب الأحمر.
المستوى 2: انقل الكوب إلى الرف.
المستوى 3: ضع الكوب على الرف.

مع Temporal GRPO، لا يكتفي الكمبيوتر بالنظر إلى شاشة "نهاية اللعبة" النهائية فحسب، بل يراقب الروبوت وهو يلعب عبر كل مستوى.

إذا فشل الروبوت في المستوى 3 (سقوط الكوب)، يقول الكمبيوتر: "عمل رائع في المستويين 1 و2! لقد حافظت على ثبات الكوب ونقلته جيدًا. لكنك أخطأت في عملية الوضع النهائية".
بعد ذلك، يمنح "هاي فايف" (ائتمان إيجابي) خصيصًا للأفعال التي تمت في المستويين 1 و2، و"حاول مرة أخرى" (ائتمان سلبي) فقط للأفعال في المستوى 3.

توضح الورقة أن هذا يتم من خلال إنشاء قائمة من "المراحل القابلة للاكتشاف" بناءً على التعليمات. ثم يتم مواءمة أفعال الروبوت مع هذه المراحل. إذا فشل الروبوت في الوصول حتى إلى المستوى 2، فلا تتم مقارنته بروبوت وصل إلى المستوى 3. يتم مقارنتهم فقط مع الروبوتات التي كانت في نفس المرحلة. هذا يضمن أن يتعلم الروبوت من أخطائه الصحيحة دون أن يمحو نجاحاته.

ماذا أظهرت التجارب

اختبر الباحثون هذه الطريقة الجديدة في ساحتين مختلفتين لتدريب الروبوتات: RoboTwin 2.0 و LIBERO-Long.

على RoboTwin 2.0، التي تحتوي على مهام ذات أطوال متفاوتة (قصيرة، متوسطة، وطويلة جدًا)، عملت الطريقة الجديدة بشكل أفضل بكثير.

سجلت الطرق القديمة (مثل Trajectory-GRPO القياسي) معدل نجاح بلغ حوالي 46.4% في المتوسط.
حققت طريقة Temporal GRPO الجديدة معدل نجاح بلغ 75.8%.
كان هذا التحسن ثابتًا عبر جميع أطوال المهام، ولكنه كان مفيدًا بشكل خاص في المهام الطويلة والمعقدة حيث يحدث خطأ "الكل أو لا شيء" عادةً.

كما أجرت الورقة اختبارًا خاصًا على LIBERO-Long لمعرفة أين يتعلم الروبوت بالضبط. ووجدوا أنه مع الطريقة القديمة، أصبح الروبوت في الواقع أسوأ في الخطوات الأولى (مثل التقاط الشيء) لأنه كان يُعاقب بسبب الفشل اللاحق. أما مع Temporal GRPO، فقد حافظ الروبوت على مهاراته المبكرة حادة وركز تعلمه فقط على الخطوة المحددة التي كان يفشل فيها.

لماذا يهم هذا الأمر

هذا ليس مجرد أمر يتعلق بروبوتات تكوم الأكواب؛ بل يتعلق بتعليم الآلات كيفية التعامل مع الوظائف الطويلة والمعقدة دون ارتباك. من خلال إصلاح الطريقة التي نمنح بها الائتمان، يتعلم الروبوت بشكل أسرع وأكثر كفاءة. يشير المؤلفون إلى أن هذا النهج يمكن أن يساعد الروبوتات على إتقان المهام التي تتطلب خطوات عديدة متتالية، مثل تجميع الأثاث أو طهي وجبة كاملة، من خلال ضمان عدم ضياع عملهم الجيد لمجرد زلة صغيرة في النهاية.

ومع ذلك، تشير الورقة إلى أن هذه الطريقة تعتمد حاليًا على القدرة على تحديد هذه "المراحل" بوضوح. إذا كانت المهمة فوضوية للغاية أو لم تكن الخطوات واضحة، فقد يواجه النظام صعوبة في معرفة أين ينتهي مرحلة وأين تبدأ الأخرى. ولكن بالنسبة للمهام ذات البداية والمنتصف والنهاية الواضحة، يبدو أن "معلم السفر عبر الزمن" هذا هو تغيير جذري لجعل الروبوتات أكثر ذكاءً وموثوقية.

ملخص تقني: Temporal GRPO

بيان المشكلة: تداخل الائتمان على مستوى المسار (Trajectory-Level Credit Aliasing)

في التعلم المعزز (RL) القائم على النتائج لنماذج الرؤية واللغة والعمل (VLA)، يتم عادةً تدريب السياسات لاحقاً باستخدام تحسين السياسة النسبي للمجموعة (GRPO). يقوم GRPO القياسي بأخذ عينات لعدة مسارات كاملة لمهمة ما، ويحسب ميزة نسبية للمجموعة بناءً على النجاح أو الفشل النهائي للمسار بأكمله، ثم يبث هذه الميزة (التي هي عبارة عن قيمة عددية مفردة) لكل إجراء داخل ذلك المسار.

تحدد الورقة خللاً حرجاً في هذا النهج لمهام المناولة طويلة الأمد، يُطلق عليه اسم تداخل الائتمان على مستوى المسار. في المهام المعقدة التي تتضمن مراحل متسلسلة (مثل: الإمساك، التحريك، ثم الوضع)، قد ينجح مسار في إكمال عدة مراحل تمهيدية، لكنه يفشل في مرحلة لاحقة. بموجب نظام GRPO القياسي، سيتلقى هذا المسار نفس الميزة السلبية للمسار كمسار آخر فشل فوراً في المرحلة الأولى. نتيجة لذلك، يتم تعيين الإشارة السلبية بشكل موحد لجميع الإجراءات، بما في ذلك الإجراءات التي نفذت المراحل التمهيدية بنجاح. هذا "التداخل" يعمل على كبح السلوكيات السابقة الصحيحة، ويزيح تحديثات السياسة عن تقدم المهمة المحلي، ويضعف كفاءة العينات واستقرار المهارات الفرعية.

المنهجية: Temporal GRPO

لحل مشكلة تداخل الائتمان، يقترح المؤلفون إطار عمل Temporal GRPO، وهو إطار ينقل تخصيص الائتمان من مستوى المسار إلى مستوى المرحلة. تعمل الطريقة من خلال ثلاث آليات أساسية:

1. بناء مراحل قابلة للكشف (Detectable Stage Construction)

بالنظر إلى تعليمات المهمة والملاحظة الأولية، يقوم النظام ببناء تسلسل مرتب من مراحل المهمة القابلة للكشف ( $m_1, m_2, \dots, m_K$ ).

التوليد: يقترح نموذج لغوي كبير مجمد (RynnBrain-4B) مراحل دلالية مرشحة.
التجميع (Compilation): يقوم "مجمع المراحل" (Stage Compiler) بتطبيع هذه المرشحات في هيكل متطلب سابق خطي ( $m_1 \to m_2 \to \dots \to m_K$ ). ويقوم بترجمة الأوصاف المجردة إلى شروط إتمام يمكن التحقق منها وحل حالات الغموض.
المحاذاة: يقوم كاشف العلاقة بتقييم المسار مقابل هذه الشروط. ويحدد الخطوة الزمنية المحددة ( $T_{i,k}$ ) التي اكتملت فيها المرحلة بشكل مستقر. وهذا يربط تسلسل الإجراءات المستمر بفترات المراحل المنفصلة ( $B_{i,k}$ ).

2. التجميع المشروط بالمرحلة (Stage-Conditioned Grouping)

بدلاً من مقارنة جميع المسارات في المجموعة، يقوم Temporal GRPO بإجراء مقارنة مشروطة بالمرحلة.

تصفية المتطلبات السابقة: بالنسبة لمرحلة معينة $k$ ، تُعتبر فقط المسارات التي أكملت بنجاح جميع المراحل السابقة ( $m_1$ حتى $m_{k-1}$ ) أنها قد "دخلت" وتُدرج في مجموعة المقارنة. أما المسارات التي فشلت في مراحل مبكرة، فيتم استبعادها من الحساب للمرحلة $k$ بدلاً من اعتبارها حالات فشل لتلك المرحلة المحددة.
تقدير النتيجة: بالنسبة للمجموعة الصالحة التي دخلت المرحلة $k$ ، يتم حساب نتيجة ثنائية (نجاح أو فشل في إكمال $m_k$ ). ويتم حساب ميزة نسبية للمجموعة ( $\hat{A}_{i,k}$ ) بناءً على هذه النتائج الخاصة بالمرحلة.

3. تخصيص الائتمان الزمني المجزأ (Piecewise Temporal Credit Assignment)

يتم تعيين ميزة المرحلة المحسوبة فقط للفترة الزمنية للإجراءات المقابلة لتلك المرحلة.

إذا نجح المسار في المرحلة $k$ ، يتم تطبيق الميزة الإيجابية على الإجراءات في الفترة $B_{i,k}$ .
إذا فشل في المرحلة $k$ ، يتم تطبيق الميزة السلبية فقط على $B_{i,k}$ ، مما يترك ميزات المراحل السابقة الناجحة ( $B_{i,1} \dots B_{i,k-1}$ ) دون تغيير (أو مستمدة من مقارناتها الخاصة).
تستبدل دالة الهدف النهائية ميزة المسار الموحدة بهذه الميزة المتغيرة زمنياً والمجزأة، مما يؤدي إلى تحسين سياسة VLA واحدة.

المساهمات الرئيسية

توصيف تداخل الائتمان: تحدد الورقة رسمياً تداخل الائتمان على مستوى المسار في RL الخاص بـ VLA القائم على النتائج، وتوضح كيف يتم دمج أنماط التقدم في المراحل المختلفة في إشارة فشل واحدة، مما يؤدي إلى كبح المهارات السابقة الناجحة.
إطار عمل Temporal GRPO: تقديم إطار عمل لتخصيص الائتمان المشروط بالمرحلة يقوم ببناء مراحل مرتبة قابلة للكشف، وتجميع المسارات حسب المرحلة التي دخلتها، وتعيين المزايا بدقة للفترات الزمنية المقابلة.
التحقق التجريبي: إثبات أن Temporal GRPO يحسن نجاح المهمة وكفاءة العينات دون تعديل بنية VLA أو إدخال نموذج قيمة جديد.

النتائج التجريبية

تم تقييم الطريقة على RoboTwin 2.0 و LIBERO-Long.

أداء RoboTwin 2.0: في ظل ميزانيات تدريب متطابقة، حقق Temporal GRPO معدل نجاح متوسط قدره 75.8%، متفوقاً على أقوى خط أساس مضبوط (SimpleVLA-RL الذي حقق 68.8%) بمقدار 7.0 نقاط مئوية. كما أظهر مكاسب ثابتة (6.2–8.3 نقطة) عبر الآفاق الزمنية القصيرة والمتوسطة والطويلة/الطويلة جداً.
كفاءة العينات: تشير منحنيات التعلم إلى أن Temporal GRPO يحقق معدلات نجاح أعلى بنفس عدد تفاعلات البيئة مقارنة بـ Trajectory-GRPO، لا سيما في المهام طويلة الأمد حيث تعقد النتائج المتأخرة عملية تخصيص الائتمان.
تحليل الائتمان المنضبط (LIBERO-Long): كشف تحليل تحديثات السياسة أن Trajectory-GRPO القياسي يتسبب في تغييرات سلبية في احتمالات إكمال المراحل السابقة المشتركة (مما يؤدي إلى تدهور المهارات المتعلمة سابقاً). في المقابل، أبقى Temporal GRPO التغييرات في المراحل السابقة قريبة من الصفر وركز التحديثات الإيجابية على المرحلة المحددة التي تباينت فيها نتائج المسارات.
دراسات الاستئصال (Ablation Studies): أدى إزالة مكونات مثل "مجمع المراحل" أو "بوابة المرحلة المدخلة" إلى انخفاض كبير في الأداء، مما يؤكد ضرورة المتطلبات السابقة المرتبة ومنطق التجميع الصارم.

الأهمية والقيود

تزعم الورقة أن Temporal GRO يوفر طريقة قابلة للتوسع لتدريب سياسات VLA لاحقاً عن طريق إعادة بناء الائتمان على مستوى المسار إلى ائتمان زمني على مستوى المرحلة. تكمن أهميته الأساسية في الحفاظ على السلوكيات السابقة المكتسبة مع تركيز تحديثات السياسة على الإجراءات المحددة المسؤولة عن اختلاف النتائج، مما يحسن الاستقرار في عمليات المناولة طويلة الأمد.

يشير المؤلفون إلى قيود متواضعة: يعتمد النهج الحالي على محمولات (predicates) مراحل موثوقة وترتيب مراحل خطي محدد مسبقاً. قد يواجه تحديات عندما تكون حدود المراحل غامضة، أو عندما يتضمن تقدم المهمة تفرعاً، أو مراحل متكررة، أو استعادة (recovery) من خلال مراحل سابقة. ويُقترح في العمل المستقبلي استكشاف الكشف عن المراحل المدرك لعدم اليقين ومخططات المراحل الديناميكية.