💻 computer science

DyGRO-VLA: Cross-Task Scaling of Vision-Language-Action Models via Dynamic Grouped Residual Optimization

تقدم هذه الورقة DyGRO-VLA، وهو إطار تحسين ثنائي المراحل يعزز قدرة نماذج الرؤية واللغة والعمل (Vision-Language-Action) على التعميم عبر المهام من خلال التقاط التمثيلات الكامنة العابرة للمهام، وتحسين تحسين السياسة ديناميكيًا عبر مزيج من بقايا التعلم المعزز (mixture-of-RL-residuals)، مما يقلل من التداخل ويحسن الأداء في ظل تغيرات التوزيع.

المؤلفون الأصليون: Sixu Lin, Yunpeng Qing, Litao Liu, Ming Zhou, Ruixing Jin, Xiaoyi Fan, Guiliang Liu

نُشر 2026-05-19

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Sixu Lin, Yunpeng Qing, Litao Liu, Ming Zhou, Ruixing Jin, Xiaoyi Fan, Guiliang Liu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم روبوت ليكون "سيداً في جميع المهن". تريد منه أن يكون قادراً على الطبخ، والتنظيف، وإصلاح صنبور يسرب الماء، وبناء رف، وكل ذلك باستخدام نفس العقل. هذا هو هدف نماذج VLA (الرؤية-اللغة-الفعل): روبوتات يمكنها الرؤية، وفهم اللغة، وتحريك أذرعها للقيام بالأشياء.

ومع ذلك، هناك مشكلة كبيرة. عندما يحاول الباحثون جعل هذه الروبوتات أفضل باستخدام التعلم التعزيزي (RL) — وهي طريقة يتعلم فيها الروبوت من خلال التجربة والخطأ، حيث يحصل على "مكافأة" عند النجاح — فإنهم غالباً ما يصطدمون بمفارقة.

المشكلة: فخ "المتخصص"

تخيل عقل الروبوت كمكتبة من المعرفة. عندما تقوم بتدريبه لأول مرة، فإنه يتعلم قواعد عامة (مثل "الإمساك بالشيء"). ولكن عندما تبدأ في استخدام التعلم التعزيزي (RL) لتعليمه مهمة محددة، مثل "رص المكعبات الحمراء"، يصبح الروبوت مركزاً جداً على تلك الوظيفة الواحدة لدرجة أنه يبدأ في إعادة كتابة مكتبته الخاصة.

الأمر يشبه طالباً يدرس بجد شديد من أجل اختبار في الرياضيات لدرجة أنه ينسى كيف يقرأ. تطلق الورقة البحثية على هذا اسم "النسيان الكارثي".

الطريقة القديمة: إذا قمت بتدريب الروبوت على 10 مهام مختلفة، فسيصبح جيداً في واحدة منها ولكنه سينسى المهام التسعة الأخرى. كلما أضفت مهاماً أكثر، ساء أداؤه الإجمالي. الأمر يشبه محاولة التلاعب بـ 20 كرة في وقت واحد؛ في النهاية ستسقطها جميعاً لأن عقلك يحاول أن يكون متخصصاً في أشياء كثيرة جداً في آن واحد.

الحل: DyGRO-VLA

يقترح المؤلفون طريقة جديدة تسمى DyGRO-VLA. لفهم كيفية عملها، تخيل رئيس طهاة ماهر يدير مطبخاً مزدحماً.

المرحلة 1: "رئيس الطهاة الماهر" (التدريب المسبق غير المتصل - Offline Pre-training)

أولاً، يتعلم الروبوت من مكتبة ضخمة من الفيديوهات التي تظهر بشرًا يقومون بمختلف المهام.

الحيلة: بدلاً من مجرد حفظ كل فيديو، يتعلم الريد لتصفية "الضجيج". فهو يتجاهل الأشياء التي لا تهم بالنسبة للحركة (مثل لون الجدران أو الإضاءة) ويركز فقط على المعلومات الأساسية (أين الكوب، ومدى ثقله).
التشبيه: هذا يشبه تعلم رئيس الطهاة الماهر أساسيات الطبخ. فهو يتعلم أن "الحرارة تذيب الجبن" و"السكاكين تقطع"، بغض النظر عما إذا كان يصنع بيتزا أو حساءً. هذا يخلق أساساً مشتركاً يعمل لكل شيء.

المرحلة 2: "فريق المتخصصين" (الضبط الدقيق المتصل - Online Fine-tuning)

الآن، يحتاج الروبوت ليصبح أفضل في مهام محددة في العالم الحقيقي. وبدلاً من إعادة كتابة عقل رئيس الطهاة الماهر، يقوم DyGRO-VLA بإضافة فريق من المساعدين المتخصصين (يُطلق عليهم "الخبراء المتبقون" أو Residual Experts).

كيف يعمل: يقوم رئيس الطهاة الماهر (النموذج الأساسي) بوضع تخمين لما يجب فعله. ثم يقوم "الموجه" (مثل رئيس الطهاة) بالنظر إلى المهمة الحالية والسؤال: "من هو أفضل مساعد لهذه الوظيفة المحددة؟"
- إذا كانت المهمة هي "رص الأطباء"، فإنه يستدعي "مساعد الرص".
- إذا كانت المهمة هي "دق مسمار"، فإنه يستدعي "مساعد الدق".
السحر: هؤلاء المساعدون لا يقومون إلا بـ تصحيحات صغيرة (بواقي/residuals) لخطة رئيس الطهاة الماهر. هم لا يعيدون كتابة الكتاب بأكمله؛ بل يضيفون فقط ملاحظة لاصقة تقول: "حرك يدك بمقدار بوصتين إلى اليسار".
لماذا يساعد هذا: لأن عقل رئيس الطهاة الماهر يظل دون تغيير تقريباً، فإن الروبوت لا ينسى كيفية القيام بالمهام الأخرى. "مساعد الرص" لا يتداخل مع "مساعد الدق". إنهما يعملان معاً دون أن يقفا في طريق بعضهما البعض.

النتائج

اختبر الباحثون هذا على تحديين رئيسيين للروبوتات:

LIBERO: مجموعة اختبار رقمية تحتوي على 130 مهمة مختلفة (مثل تحريك الأشياء، الرص، وتسلسلات طويلة من الإجراءات).
RoboTwin2: اختبار في العالم الحقيقي باستخدام روبوت ذو ذراعين.

النتيجة:

أفضل من البقية: تفوق DyGRO-VLA على جميع الطرق الرائدة الأخرى. وفي المهام الأصعب (تسلسلات طويلة من الإجراءات)، حسن معدلات النجاح بنسبة تقارب 10%.
النجاح في العالم الحقيقي: عندما نقلوا الروبوت من المحاكاة الحاسوبية إلى روبوت مادي حقيقي، ظل يؤدي بشكل أفضل من المنافسين، حيث أكمل بنجاح مهام مثل التقاط الزجاجات ورص الأطباء.

الملخص

بكلمات بسيطة، حاولت الطرق السابقة تحويل الروبوت إلى "متخصص فائق" لكل مهمة، مما تسبب في نسيانه لكل شيء آخر. أما DyGRO-VLA فيبقي الروبوت كـ "عام" (رئيس الطهاة الماهر) ويقوم ببساطة باستئجار فريق ديناميكي من المتخصصين للمساعدة فقط عند الحاجة. بهذه الطريقة، يصبح الروبوت أفضل في كل شيء دون أن ينسى كيفية القيام بأي شيء آخر.

ملخص تقني: DyGRO-VLA

1. بيان المشكلة

تتناول الورقة البحثية عقبة حرجة في قابلية التوسع عند تدريب نماذج الرؤية واللغة والأفعال (VLA) للتحكم في الروبوتات العامة. وبينما أدت التطورات الأخيرة في التعلم التعزيزي (RL) إلى تحسين دقة التحكم ومعدلات النجاح للمهام الفردية، فإن تطبيق التعلم التعزيزي بعد مرحلة التدريب المسبق (post-training) في بيئات متعددة المهام غالبًا ما يؤدي إلى النسيان الكارثي والتداخل بين المهام.

يكشف التحليل التجريبي على معيار LIBERO أنه مع زيادة عدد المهام، تتدهور أداء المحسنات القياسية للتعلم التعزيزي (مثل Soft Actor-Critic). وتحديدًا:

تشويه التمثيل (Representation Distortion): يؤدي الضبط الدقيق للتعلم التعزيزي للمهمة الواحدة إلى تشويه فضاء الميزات المشترك الذي تم تعلمه أثناء التدريب المسبق، مما يعزل التجارب الخاصة بكل مهمة ويقلل من التوافق مع المهام الأخرى.
تدهور الأداء: النماذج التي يتم تحسينها لمهام محددة تعاني غالبًا من انخفاض كبير في الأداء في المهام غير ذات الصلة، كما يصبح تدريب التعلم التعزيزي متعدد المهام غير مستقر بشكل متزايد مع نمو عدد المهام.
المقايضة: هناك صراع جوهري بين تحقيق مهارة عالية في مهام محددة وبين الحفاظ على القدرة على التعميم عبر المهام، وهو أمر ضروري للروبوتات العامة.

2. المنهجية: DyGRO-VLA

لحل المقايضة بين المهارة والقدرة على التعميم، يقترح المؤلفون إطار عمل DyGRO-VLA (التحسين المتبقي المجموع ديناميكيًا)، وهو إطار تحسين يتكون من مرحلتين.

المرحلة الأولى: التدريب المسبق غير المتصل بالإنترنت باستخدام عنق زجاجة المعلومات (IB)

تركز المرحلة الأولى على تعلم تمثيل كامن مشترك وقوي عبر المهام $p(z|o)$ من العروض التوضيحية غير المتصلة بالإنترنت (offline demonstrations).

البنية: تستخدم خلفية VLM (مثل DINOv2، SigLIP، Qwen2.5-0.5B) لتشفير الملاحظات البصرية والتعليمات اللغوية، مدمجة مع بيانات الحس العميق (proprioceptive data).
الهدف: يتم تدريب النموذج باستخدام هدف عنق زجاجة المعلومات المتغير (VIB). الهدف هو تعظيم المعلومات المتبادلة بين التمثيل الكامن $Z$ والفعل $A$ ( $I(Z; A)$ ) مع تقليل المعلومات المتبادلة بين الملاحظة $O$ و $Z$ ( $I(O; Z)$ ).
الآلية: هذا يجبر المشفر على الاحتفاظ فقط بالمعلومات المتعلقة بالمهمة (مثل هندسة الكائن، العلاقات المكانية) مع التخلص من العوامل المشتتة (مثل الخلفية المزدحمة، الإضاءة)، مما يخلق فضاءً كامنًا مدمجًا مناسبًا للتعميم.
الدالة الخاسرة (Loss): يتم اشتقاق حد سفلي متغير لجعل هدف IB قابلاً للتطبيق، ويتضمن ذلك ناقدًا عصبيًا $T_\psi$ لتقدير حدود المعلومات المتبادلة.

المرحلة الثانية: الضبط الدقيق عبر الإنترنت عبر مزيج من البواقي التعزيزية (MoRR)

تعمل المرحلة الثانية على تحسين السياسة لأداء متعدد المهام دون تعطيل التمثيل المشترك الذي تم تعلمه في المرحلة الأولى.

التعلم المتبقي (Residual Learning): بدلاً من تحديث السياسة الأساسية مباشرة، يتنبأ محسن التعلم التعزيزي بـ باقٍ ( $\Delta a$ ) لتنقيح كتلة الفعل الأساسية ( $a_{base}$ ). هذا يحافظ على المعرفة السابقة المدربة مسبقًا مع السماح بتصحيحات خاصة بالمهمة.
التوجيه الديناميكي (MoE): للتعامل مع مهام متعددة، يستخدم إطار العمل بنية "مزيج من الخبراء" (Mixture-of-Experts) مع $N$ $N$ من خبراء البواقي.
- تضمينات المهام (Task Embeddings): يتعلم هدف التعلم التبايني ( $L_{CL}$ ) تضمينات المهام ( $\tilde{z}_T$ ) التي تشفر أنماط تحديد المهام، وهي متميزة عن التمثيل الكامن $z$ ذي الصلة بالقرار.
- الموجه (Router): تعمل شبكة بوابة (gating network) بناءً على تضمين المهمة لاختيار وتوزين أفضل $m$ من الخبراء ديناميكيًا لمهمة معينة.
أهداف التدريب: تجمع الدالة الخاسرة الإجمالية بين:
1. خسارة التعلم التعزيزي ( $L_{RL}$ ): خسارة الممثل-الناقد القياسية للسياسة المعززة.
2. الخسارة التباينية ( $L_{CL}$ ): تضمن أن تكون تضمينات المهام مميزة لعملية التوجيه.
3. موازنة الحمل ( $L_{LB}$ ): منظم يعتمد على الإنتروبيا لمنع انهيار الخبراء وضمان الاستخدام المتوازن لـ MoE.
أخذ العينات المدرك للصعوبة: يميل عملية أخذ العينات نحو المهام التي لم تُحل بعد للتركيز على السيناريوهات الصعبة.

3. المساهمات الرئيسية

تحليل قيود التعلم التعزيزي: تقدم الورقة دليلًا تجريبيًا يوضح أن الضبط الدقيق القياسي للتعلم التعزيزي يسبب نسيانًا كارثيًا وتشويهًا في التمثيل في إعدادات VLA متعددة المهام، مما يسلط الضوء على الحاجة للحفاظ على الميزات عبر المهام.
إطار عمل DyGRO-VLA: تقديم إطار عمل جديد يتكون من مرحلتين يجمع بين التدريب المسبق بعنق زجاجة المعلومات مع "مزيج من البواقي التعزيزية" الديناميكية للضبط الدقيق عبر الإنترنت.
التحسين المجموع الديناميكي: تصميم آلية توجيه تقوم بتكوين خبراء تعلم تعزيزي متخصصين ديناميكيًا بناءً على تضمينات المهام، مما يقلل بفعالية من صراعات التدرج بين المهام المتنوعة.
التحقق الشامل: تقييم واسع النطاق عبر LIBERO (130 مهمة)، وRoboTwin2 (ذراع مزدوجة)، ونقل Sim2Real في العالم الحقيقي، مما أظهر تحسينات مستمرة على النماذج المرجعية القوية.

4. النتائج التجريبية

قيم المؤلفون DyGRO-VLA على معايير LIBERO وRoboTwin2، مقارنة بنماذج مرجعية قوية بما في ذلك Octo، وOpenVLA، و $\pi_0$ ، ومختلف طرق الضبط الدقيق للتعلم التعزيزي.

معيار LIBERO:
- حقق DyGRO-VLA معدل نجاح متوسط بنسبة 97.1% عبر جميع المجموعات، متفوقًا على النموذج الأساسي غير المتصل بالإنترنت بنسبة +4.4%.
- لوحظ تحسن ملحوظ في مجموعة LIBERO-Long الصعبة، حيث ارتفعت معدلات النجاح من 85.2% إلى 95.0% (زيادة قدرها 9.8% مطلقة).
- تفوق على غيره من النماذج المرجعية القائمة على التعلم التعزيزي (مثل TGRPO، وVLA-RL، وRIPT-VLA) التي عانت في التدريب المشترك متعدد المهام.
تحليل صراع التدرج: أظهرت تصورات تشابه جيب التمام للتدرج (gradient cosine similarity) أنه بينما تظهر بواقي MLP القياسية ارتباطات سلبية قوية (صراعات) بين مجموعات المهام، قلل MoRR الخاص بـ DyGRO-VLA من هذه الصراعات بشكل كبير مع الحفاظ على التآزر داخل المجموعة الواحدة.
دراسات الاستئصال (Ablation Studies):
- أدى إزالة هدف IB أو هدف التعلم التبايني إلى انخفاض في الأداء، مما يؤكد ضرورة تعلم التمثيل المشترك والتوجيه التمييزي.
- أدى زيادة عدد الخبراء (من 1 إلى 8) إلى تحسين الأداء باستمرار، حيث حقق 8 خبماء أفضل النتائج.
العالم الحقيقي (RoboTwin2):
- في نقل Sim2Real، حقق DyGRO-VLA أفضل نجاح محاكاة إجمالي (79.2%) وتفوق على نماذج RFT في التجارب الواقعية، خاصة في المهام المعقدة ثنائية الأذرع وطويلة الأمد.

5. الأهمية والادعاءات

تدعي الورقة أن DyGRO-VLA يوفر حلاً قابلاً للتوسع والقوة للضبط الدقيق الفعال للتعلم التعزيزي متعدد المهام. تكمن أهميته الأساسية في:

الحفاظ على التعميم: من خلال فصل تعلم التمثيلات المشتركة عن الصقل الخاص بالمهمة عبر التعلم المتبقي، فإنه يمنع "الفرط في التخصيص" (overfitting) الذي يصيب محسنات التعلم التعزيزي في تدريب VLA متعدد المهام.
سد الفجوة: نجح في سد الفجوة بين التحكم عالي الأداء في المهمة الواحدة وقدرات التعميم المطلوبة للروبوتات العامة.
القابلية للتطبيق العملي: يثبت المنهج أن سياسات التعلم التعزيزي المعقدة متعددة المهام يمكن نقلها بفعالية إلى الأنظمة الروبوتية في العالم الحقيقي دون نسيان كارثي.

يقر المؤلفون بوجود قيود، بما في ذلك الحساسية لندرة المكافأة أثناء التدريب عبر الإنترنت، والاعتماد على معرفة هويات المهام للتوجيه، والحاجة إلى تقييم أوسع في العالم الحقيقي عبر نماذج متنوعة. ومع ذلك، فإنهم يضعون DyGRO-VLA كخطوة تأسيسية نحو أنظمة روبوتية عامة قادرة على التعامل مع مهام متنوعة في العالم الحقيقي باستخدام نموذج موحد.