Prism-GRPO: Faster VLA Policy Optimization via Splitting Same-outcome Groups
يعمل Prism-GRPO على تسريع تحسين سياسة الرؤية واللغة والعمل (Vision-Language-Action) من خلال تعزيز مكافآت النجاح الثنائية بدرجات جودة التنفيذ لتقسيم مجموعات النتائج المتماثلة، مما يؤدي إلى استعادة إشارات التدريب من المخرات المستبعدة وتحقيق ما يصل إلى 56% أقل من عدد المخرات للوصول إلى معدلات النجاح المستهدفة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
لم تعد الروبوتات التي يمكنها الرؤية، وفهم اللغة، والتحرك بهدف، مجرد خيال علمي. فهي تُبنى حالياً باستخدام نوع من الذكاء الاصطناعي يسمى نموذج (الرؤية-اللغة-الفعل). تعمل هذه الأنظمة كجسر بين ما يراه الروبوت وما يُطلب منه فعله. تخيل روبوتاً يسمع "التقط الكوب الأحمر" ويرى كوباً على طاولة؛ يجب عليه حينها حساب الحركات الدقيقة لذراعه ليمسك به. ولتعليم هذه الروبوتات كيف تصبح أفضل، غالباً ما يستخدم الباحثون طريقة تسمى "التعلم التعزيزي". في هذه العملية، يجرب الروبوت مهمة ما، وإذا نجح، يحصل على مكافأة، أما إذا فشل، فلا يحصل على شيء. ومن خلال آلاف المحاولات، يتعلم الربوت أي الأفعال تؤدي إلى النجاح. ومع ذلك، فإن عملية التعلم هذه مكلفة للغاية؛ ففي كل مرة يجرب فيها الروبوت مهمة ما، فإنه يستهلك وقتاً وقدرة حوسبية. وإذا فشل الروبوت بشكل متكرر، أو إذا نجح بطريقة خرقاء، فإن الكمبيوتر غالباً ما يتخلص من تلك المحاولة، معتبراً إياها بيانات عديمة الفائدة. هذا الهدر يمثل عقبة رئيسية، مما يبطئ تطوير روبوتات يمكنها العمل بأمان وكفاءة في العالم الحقيقي.
لقد طور فريق من الباحثين نهجاً جديداً لمعالجة هذا الهدر، محولين ما كان يُعتبر سابقاً بيانات مهدرة إلى دروس قيمة. طريقتهم، التي تسمى (Prism-GRT)، تغير كيفية تقييم الروبوت لمحاولاته. في الطريقة القياسية للتدريب، يُعطى الروبوت درجة بسيطة تعتمد على النجاح أو الفشل؛ فإذا نجحت مجموعة من المحاولات جميعها، تحصل جميعها على الدرجة الكاملة نفسها، وإذا فشلت جميعها، تحصل جميعها على الصفر نفسه. ولأن الدرجات متطابقة، لا يستطيع الكمبيوتر التمييز بين أي محاولة كانت أفضل من غيرها، لذا يتخلص من المجموعة بأكملها لتوفير الوقت. أدرك الباحثون أنه حتى عندما يفشل الروبوت، أو حتى عندما ينجح، غالباً ما تكون هناك اختلافات دقيقة في كيفية أدائه. فقد تكون إحدى المحاولات الناجحة سلسة ولطيفة، بينما كانت أخرى متقطعة وتسببت في قلب أشياء قريبة. وقد تكون إحدى المحاولات الفاشلة قريبة من الهدف، بينما كانت أخرى بعيدة تماماً عن الهدف. ومن خلال تجاهل هذه التفاصيل الدقيقة، كانت الطريقة القديمة تلقي بالمعلومات اللازمة لتعليم الروبوت أن يكون أكثر دقة في سلة المهملات.
تحل الطريقة الجديدة هذه المشكلة عبر إضافة طبقة ثانية من التغذية الراجعة. فبدلاً من الاكتفاء بسؤال "هل نجح الأمر؟"، يسأل النظام أيضاً "ما مدى جودة نجاحه؟". حيث يقوم بتخصيص درجة جودة بناءً على التنفيذ الفيزيائي للمهمة، مثل مقدار القوة المستخدمة، أو مدى سلاسة الحركات، أو ما إذا كان الروبوت قد اصطدم بالخطأ بأشياء لم يكن من المفترض لمسها. يتم دمج هذه الدرجة مع نتيجة النجاح أو الفشل. الآن، حتى لو نجحت مجموعة من المحاولات جميعها، يمكن للنظام رؤية أن إحداها كانت أكثر نظافة وسلاسة من غيرها ومكافأتها بناءً على ذلك. وبالمثل، إذا فشلت مجموعة منها جميعاً، يمكن للنظام تحديد أي فشل كان الأقل ضرراً واستخدامه كإشارة للتعلم. هذا التغيير البسيط يعني أن لا توجد بيانات تُهدر تقريباً؛ فالروبوت يتعلم من كل محاولة، وليس فقط من المحاولات النادرة التي ينجح بعضها ويفشل البعض الآخر.
اختبر الباحثون هذه الفكرة على أربع مهام روبوتية مختلفة، تراوحت بين رفع قدر باستخدام ذراعين، وتحريك علبة ووضعها بجانب قدر. ووجدوا أن طريقتهم الجديدة سمحت للروبوت بالوصول إلى نفس مستوى النجاح باستخدام عدد محاولات أقل بنسبة تصل إلى 56 بالمائة مقارنة بالطريقة القياسية. وهذا يوفر وقتاً وقدرة حوسبية كبيرة. والأهم من ذلك، أن الروبوتات التي تم تدريبها بهذه الطريقة الجديدة لم تتعلم النجاح فحسب، بل تعلمت النجاح ببراعة. فقد كانت أقل عرضة لتطوير "طرق مختصرة" أو حيل. فعلى سبيل المثال، في إحدى المهام حيث كان المطلوب من الروبوت رفع علبة ووضعها بجانب قدر، علمت الطريقة القديمة الروبوت أحياناً أن يقوم ببساطة بدفع القدر نحو العلبة بدلاً من رفع العلبة. لقد حقق هذا شرط النجاح لدى الكمبيوتر، لكنه لم يكن ما طلبه الإنسان. أما الطريقة الجديدة، ومن خلال معاقبة حركة الدفع الخشنة، فقد علمت الروبوت القيام بفعل الرفع والوضع الصحيح واللطيف.
وعندما أخذ الباحثون أفضل الروبوتات أداءً من المحاكاة ووضعوها على روبوت فيزيائي حقيقي، صمدت النتائج. كانت الروبوتات المدربة بالطريقة الجديدة أكثر موثوقية وأقل عرضة للقيام بالطرق المختصرة الخرقاء التي نجحت في المحاكاة ولكنها فشلت في العالم الحقيقي. وتظهر الدراسة أنه من خلال الاهتمام بجودة الفعل، وليس فقط بالنتيجة النهائية، يمكننا تدريب الروبوتات بشكل أسرع وجعلها أكثر أماناً. لقد أثبت الباحثون رياضياً أن هذا النهج لا يضر أبداً بقدرة الروبوت على تعلم المهمة الأساسية، وأكدت تجاربهم أنه يحسن باستمرار كلاً من السرعة والسلوك. ويشير هذا العمل إلى مسار واضح نحو جعل الروبوتات ليست قادرة على أداء وظيفة فحسب، بل قادرة على أدائها بالعناية والدقة المطلوبة للعمل جنباً إلى جنب مع البشر.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.