Emergent Compositional Skills in Mixture-of-Experts VLAs
تُثبت هذه الورقة أن نموذج الرؤية واللغة والعمل (VLA) المجهز برأس عمل يعتمد على "خليط من الخبراء" (MoE) مبسط، يمكنه تعلم تفكيك مهام الروبوت المعقدة إلى بدائيات منخفضة المستوى قابلة لإعادة الاستخدام والتفسير واستراتيجيات تسلسل عالية المستوى بشكل انبثاقي من خلال عروض الخبراء وحدها، محققاً أداءً يضاهي النماذج أحادية البنية مع توفير قدر أكبر من الوحدات النمطية وقابلية التفسير.
تخيل عالماً لا تكتفي فيه الروبوتات باتباع نص جامد ومكتوب مسبقاً، بل يمكنها فعلياً "التفكير" في كيفية حل لغز ما عن طريق تفكيكه إلى قطع أصغر يمكن إدارتها. هذا هو حلم الروبوتات الحديثة، وهو مجال يعلم فيه العلماء الآلات كيف ترى العالم، وتفهم لغة البشر، وتحرك أذرعها لإنجاز المهام. لفترة طويلة، كانت أذكى الروبوتات تشبه العباقرة المتميزين ولكن المتجانسين: يتم تدريبها كدماغ واحد عملاق وغير قابل للكسر. إذا أردت تعليمها خدعة جديدة، فغالباً ما يتعين عليك إعادة تدريب الدماغ بأكه، ومن الصعب معرفة كيف تقوم بذلك؛ فهي فقط تفعل ذلك. ولكن ماذا لو، بدلاً من دماغ واحد عملاق، استطعنا تعليم الروبوت أن يمتلك فريقاً من المتخصصين داخل رأسه؟ ماذا لو تعلم أن يقول: "حسناً، أحتاج للإمساك بهذا الكوب، ثم أحتاج لتحريكه، ثم أحتاج لتركه"، ويخصص كل خطوة من تلك الخطوات لـ "خبير" مختلف يعرف بالضبط كيفية القيام بتلك الوظيفة المحددة؟ هذا هو السؤال الكبير الذي يطرحه الباحثون: هل يمكننا بناء روبوتات تتعلم تنظيم مهاراتها الخاصة تلقائياً، فقط من خلال مراقبة البشر أثناء أداء المهام، دون أن نضطر لكتابة دليل لكل حركة بمفردنا؟
تستكشف هذه الورقة البحثية تلك الفكرة تحديداً باستخدام حيلة ذكية تسمى "خليط الخبراء" (Mixture-of-Experts - MoE). تخيل عقل الروبوت كمطبخ مزدحم. في الإعداد التقليدي، يكون لديك طاهٍ واحد عملاق يحاول القيام بكل شيء: التقطيع، والقلي، وتنسيق الأطباق، والتنظيف، دفعة واحدة. هذا يعمل، لكنه أمر فوضوي ويصعب فهمه. حاول المؤلفون شيئاً مختلفاً: لقد أعطوا الروبوت "رئيساً للطهاة" (يُسمى الموجّه/الراوتر) وفريقاً من "مساعدي الطهاة" المتخصصين (الخبراء). ينظر رئيس الطهاة إلى الموقف — ما يراه الروبوت، وما يقوله الإنسان، وأين ذراع الروبوت — ثم يقرر أي مساعد طهاة يجب أن يتولى القيادة للخطوة التالية. الجزء المذهل هو أن الروبوت لم يُخبر من هم هؤلاء المساعدون أو ما هي وظائفهم؛ فقد ترك العلماء الروبوت يتعلم من الصفر.
تشير النتائج إلى أن الروبوت قام بالفعل بشيء مذهل من تلقاء نفسه. لم يكتفِ بتقليد الإنسان فحسب، بل تعلم تفكيك المهام إلى مهارات متميزة وقابلة لإعادة الاستخدام. على سبيل المثال، تعلم أحد "الخبراء" أن يكون "الماسك" (grasper)، حيث برع في التقاط المقابض الرفيعة مثل الأكواب أو أوعية الموكا (moka pots). وأصبح خبير آخر "الواضع" (placer)، حيث ركز فقط على الحركة النهائية المتمثلة في وضع الشيء بلطف. وأصبح ثالث "المتراجع" (retractor)، حيث تعلم رفع الذراع للأعلى بعد ترك الشيء. لم تكن هذه السلوكيات عشوائية؛ بل كانت سلوكيات متسقة وقابلة لإعادة الاستخدام استخدمها الروبوت مراراً وتكراراً عبر مهام مختلفة، مثل وضع كوب في الميكروويف أو وعاء على الموقد. تعلم "رئيس الطهاة" كيفية التبديل بين هؤلاء الخبراء بسلاسة، وربطهم معاً لحل أهداف معقدة وطويلة الأمد.
والأمر الأكثر إثارة للاهتمام هو أن الروبوت لم يكن بحاجة إلى قائمة مهارات معدة مسبقاً؛ فقد استنتج التسلسل الهرمي بنفسه. عندما فشل الروبوت في مهمة ما، لم يكتفِ بالدوران حول نفسه، بل كان يكرر نفس تسلسل المهارات المعروفة (مثل محاولة الإمساك، ثم التحريك، ثم الإطلاق) مراراً وتكراراً، مما جعل أخطاءه سهلة الفهم. وجد الباحثون أنه رغم استخدام الروبوت لنظام معقد، إلا أنه قدم أداءً يضاهي روبوتات "الدماغ العملاق" القياسية، ولكن مع الميزة الإضافية المتمثلة في كونه نظاماً نموذجياً وقابلاً للتفسير. يشير هذا إلى أننا قد لا نحتاج إلى بناء مخططات معقدة أو برمجة مكتبات مهارات يدوياً لجعل الروبوتات ذكية؛ بدلاً من ذلك، قد نحتاج فقط إلى منحها الهيكل المناسب وتركها تتعلم كيفية تركيب مهاراتها الخاصة من البيانات وحدها. وبينما كانت بعض المهارات لا تزال مرتبطة بمهام معينة، فإن الدراسة تشير بقوة إلى أن نهج "فريق الخبراء" هذا يعد خطوة واعدة نحو روبوتات يمكنها التكيف، وتفسير أفعالها، وتعلم أشياء جديدة بشكل طبيعي أكثر.
ملخص تقني: المهارات التركيبية الناشئة في نماذج الرؤية واللغة والعمل (VLA) القائمة على خليط الخبراء
بيان المشكلة
أظهرت نماذج الرؤية واللغة والعمل (VLAs) قدرة كبيرة على التعميم عبر مهام التلاعب الروبوتية المتنوعة. ومع ذلك، يتم تدريبها ونشرها عادةً كسياسات متجانسة (monolithic). وتفرض هذه البنية قيوداً: حيث يصعب تحديد المهارات القابلة لإعادة الاستخدام، أو تركيب السلوكيات بشكل هرمي، أو تكييف أجزاء معينة من السياسة دون إعادة تدريب النموذج بأكته. في المقابل، تنقسم العديد من المهام الروبوتية طبيعياً إلى أنماط سلوكية قابلة لإعادة الاستخدام (مثل: الوصول، الإمساك، الوضع). والسؤال المركزي لهذا العمل هو ما إذا كان يمكن اشتقاق بنية سياسة نمطية، تتعلم مثل هذه المهارات صراحةً، مباشرة من البيانات دون الحاجة إلى تفكيك مهام محدد مسبقاً، أو تسلسل هرمي، أو مكتبات مهارات محددة يدوياً.
المنهجية
يقترح المؤلفون تدريب سياسة عمل قائمة على "خليط الخبراء" (Mixture-of-Experts - MoE) فوق نماذج VLA مدربة مسبقاً، وتحديداً π0 و SmolVLA. تعتمد كلتا البنيتين على "مطابقة التدفق" (flow matching) لتوليد الأفعال. وتتحدد المنهجية من خلال خيارين تصميميين رئيسيين:
خليط الخبراء باستخدام LoRA: تستبدل بنية MoE فقط طبقة الشبكة التغذية الأمامية (FFN) لكل طبقة عمل، بينما تظل آلية الانتباه الذاتي مشتركة بين جميع الخبراء. يتم تحقيق كل خبير كإزاحة ذات رتبة منخفضة (LoRA) بقيمة (r=16) تُطبق على الـ FFN الأساسي. وتُصاغ السياسة كالتالي: FFNℓ(x)=FFNℓbase(x)+e∈R∑we(FFNℓ(e)(x)−FFNℓbase(x)) هنا، R هي مجموعة الخبراء الموجهين مع أوزان we المعاد تطبيعها. يتم تهيئة مصفوفات LoRA B بـالصفر، مما يضمن أن السياسة تعيد إنتاج النموذج الأساسي بدقة عند الخطوة صفر، مما يسمح للتخصص بالظهور حول نموذج سابق قوي بدلاً من البدء من الصفر.
التوجيه عبر التمرير الأمامي الكامل: على عكس نماذج Transformer التقليدية التي توجه (route) لكل رمز (token) لكل طبقة، يقوم هذا النهج بالتوجيه مرة واحدة لكل تمرير أمامي للسياسة. يأخذ موجه (router) بسيط من نوع MLP متجه سياق يرمز للحالات البصرية واللغوية والحسية (proprioceptive)، ويصدر قيم لوجيت (logits) على E من الخبراء. يتم تطبيق اختيار واحد (top-$k) بشكل موحد عبر جميع طبقات خبراء الأفعال. يضمن ذلك أن يعمل كل خبير كسلوك متماسك وشامل (end-to-end) أو "مهارة"، بدلاً من كونه مجرد مجموعة من القرارات المستقلة لكل طبقة.
هدف التدريب: يتم تدريب النموذج باستخدام خسارة "تقليد السلوك" (behavior-cloning) الخاصة بمطابقة التدفق للنموذج الأساسي، مدمجة مع حد إضافي لموازنة الحمل (λLB=0.01) لمنع انهيار التوجيه على خبير واحد.
النتائج الرئيسية والتحليل
يقيم المؤلفون النهج باستخدام معيار LIBERO-10، معالجين أربعة أسئلة جوهرية حول طبيعة المهارات المتعلمة:
ظهور مهارات متميزة نوعياً: تعلم الموجه تلقائياً اختيار الخبراء الذين يتوافقون مع سلوكيات منخفضة المستوى متميزة. ويكشف التحليل النوعي عن تخصص الخبراء في مراحل محددة من التلاعب، مثل "نقل جسم ممسوك"، أو "الإفلات والارتداد"، أو "الاقتراب والإمساك بالمقابض الرفيعة". تُعاد استخدام هذه المهارات عبر مهام مختلفة هيكلياً (مثل وضع كوب مقابل وضع وعاء "موكا بوت")، مما يشير إلى أن الخبراء يشفرون مهارات على مستوى المرحلة وليس سياسات خاصة بمهمة معينة.
الخبراء القابلون لإعادة الاستخدام مقابل الخبراء الخاصين بالمهام: يكشف تحليل ترددات الاختيار عن دور مزدوج للخبراء. فبعض الخبراء (مثل الخبير A و B) يُعاد استخدامهم بشكل متكرر (بمعدل اختيار 35-45%) عبر مهام متعددة، حيث يعملون كبدائيات عامة. بينما هناك خبراء متخصصون للغاية، ينشطون حصرياً لمهام محددة (مثل الخبير C في المهمة T5)، مما يعالج الحالات الشاذة بدقة ويحافظ على "حدة" الخبراء القابلين لإعادة الاستخدام.
تركيب البدائيات: يعمل الموجه كمُسلسل (sequencer) ضمني عالي المستوى، حيث يربط هذه البدائيات في مسارات طويلة الأمد. على سبيل المثال، قد تتضمن المهمة الخبير C (الإمساك) يليه الخبير A (الوضع). ومن الملاحظ أنه حتى في حالات الفشل، تظهر السياسة سلوكاً قابلاً للتفسير، حيث تستدعي مراراً وتكراراً بدائيات معروفة (مثل محاولة الإمساك والإفلات عدة مرات) بدلاً من التدهور إلى ضجيج عشوائي.
التحقق من التوجيه اليدوي: للتحقق من أن المهارات متأصلة في الخبراء وليست نتاجاً للموجه، أجرى المؤلفون تجارب توجيه يدوية. أدت استبدال اختيار الموجه بخبير محدد (مثل فرض خبير "الإمساك" في سياق لم يكن مختاراً فيه أصلاً) إلى السلوك النوعي المتوقع. وهذا يؤكد أن الخبراء يمتلكون قدرات قابلة لإعادة الاستخدام والتعميم بشكل مستقل عن اختيار الموجه الافتراضي.
الأداء: تحقق سياسة MoR أداءً في المهام يضاهي خط الأساس المتجانس (dense/monolithic) الذي تم ضبطه بدقة من نفس نقطة الفحص. وهذا يثبت أنه يمكن تحقيق تخصص المهارات دون التضحية بالكفاءة في المهام.
الأهمية والادعاءات
يزعم البحث أن التعلم الهرمي القائم على المهارات للروبوتات لا يتطلب بالضرورة آليات إضافية مثل المخططات عالية المستوى، أو أطر الخيارات (options frameworks)، أو مكتبات المهارات المدربة مسبقاً. بدلاً من ذلك، يمكن لبنية MoE بسيطة مطبقة على التعلم بالتقليد القياسي أن تحقق:
التركيبية الناشئة: يتعلم النموذج تفكيك المهام إلى مجموعة صغيرة من البدائيات النمطية والقابلة لإعادة الاستخدام.
القابلية للتفسير: يمكن فهم النجاحات والإخفاقات كتسلسلات من البدائيات المعروفة، مما يجعل السياسة أكثر شفافية.
النمطية القائمة على البيانات: تنشأ البنية التركيبية حصرياً من بيانات العرض، مدفوعة بالتفاعل بين الموجه والخبراء المتخصصين.
يقر المؤلفون بوجود بعض القيود، مشيرين إلى أن بعض المهارات المتعلمة تظل خاصة بمهام معينة أو غير قابلة للتفسير، وأن الربط بين الخبراء والبدائيات ليس دقيقاً دائماً. ومع ذلك، يمثل هذا العمل خطوة نحو سياسات روبوتية نمطية وقابلة للتفسير تنشأ من البيانات وحدها.