LAR-MoE: Latent-Aligned Routing for Mixture of Experts in Robotic Imitation Learning

إليك ملخص تقني مفصل لورقة البحث بعنوان "LAR-MoE: التوجيه المحاذي الكامن لخليط الخبراء في التعلم بالتقليد الروبوتي".

1. بيان المشكلة

يتيح التعلم بالتقليد (IL) للروبوتات اكتساب المهارات من خلال العروض التوضيحية، ولكن نشر سياسة واحدة عبر مهام ذات ديناميكيات متباينة (مثل المهام الجراحية التي تتضمن الوصول، والإمساك، والشد) يظل أمراً صعباً. تميل النماذج القياسية إلى متوسط الأنماط السلوكية المتميزة بدلاً من التخصص، مما يؤدي إلى أداء دون المستوى الأمثل.

توفر بنيات خليط الخبراء (MoE) حلاً عبر تفعيل شبكات فرعية متخصصة، لكنها تواجه عقبتين حرجتين في مجال الروبوتات:

1. الاعتماد على التوجيه (Routing Dependency): يتطلب الـ MoE الفعال تفكيكاً ذا معنى للمهارات (توجيه الخبراء) لتحديد الخبير الذي يجب تفعيله.
2. ندرة الإشراف (Supervision Scarcity): تعتمد الطرق الحالية غالباً على تسميات توضيحية لمراحل المهام أو تعريفات بدائية يدوية، وهي موارد مكلفة ونادرة في مجالات مثل الروبوتات الجراحية.
3. انهيار الخبير (Expert Collapse): غالباً ما تؤدي عملية التدريب القياسية إلى "انهيار الخبير"، حيث تهيمن عدد قليلة من الخبراء بينما يقل استخدام الخبراء الآخرين، أو يحدث فرط في التخصيص (overfitting) بسبب تحديثات التدرج غير المتوازنة.

2. المنهجية: LAR-MoE

يقترح المؤلفون LAR-MoE، وهو إطار عمل مكون من مرحلتين يفصل بين اكتشاف المهارات غير الخاضع للإشراف وبين تعلم السياسة. الابتكار الجوهري هو التوجيه المحاذي الكامن (Latent-Aligned Routing)، والذي يستخدم فضاءً كامناً غير خاضع للإشراف لتوجيه اختيار الخبير دون الحاجة إلى تسميات مراحل صريحة.

المرحلة 1: التدريب المسبق غير الخاضع للإشراف (التدريب المشترك للطالب والمعلم)

الهدف هو تعلم تمثيل كامن مشترك يلتقط العلاقة بين الملاحظات البصرية ومسارات الحركة المستقبلية.

• شبكة المعلم (Teacher Network): تستقبل كل من الملاحظة الحالية ($o_t$) وكتلة العمل المستقبلية ($a_{t:t+H}$). وتتعلم إعادة بناء كتلة العمل من متجه كامن $z_t$.
• شبكة الطالب (Student Network): تستقبل فقط الملاحظة الحالية ($o_t$) وتحاول التنبؤ بالمتجه الكامن $\hat{z}_t$.
• الهدف (Objective): يقلل الطالب من متوسط مربع الخطأ (MSE) بين المتجه الكامن المتوقع $\hat{z}_t$ والمتجه الكامن للمعلم $z_t$. هذا يجبر الطالب على تعلم فضاء كامن مهيكل يشفر ضمنياً مراحل المهمة والحركات المستقبلية بناءً على المدخلات البصرية فقط.

المرحلة 2: ما بعد التدريب والتوجيه (Post-training & Expert Routing)

في هذه المرحلة، يوجه الهيكل الكامن المتعلم سياسة الـ MoE.

• البنية (Architecture): تتكون السياسة من مشفر رؤية/لغة يليه $N$ من خبراء العمل (المنفذة كأجهزة فك تشفير Transformer).
• البوابة الناعمة (Soft Gating): يتنبأ نموذج الطالب المجمد من المرحلة الأولى بالمتجه الكامن $\hat{z}_t$. وتقوم شبكة التوجيه برسم هذا المتجه إلى توزيع احتمالي $p_t$ عبر الخبراء باستخدام آلية بوابة ناعمة (Softmax مع درجة حرارة قابلة للتعلم).
• استراتيجية التنظيم (Regularization Strategy): لمنع انهيار الخبير وفرض التخصص، يتم تنظيم التوجيه ليتماشى مع هندسة الفضاء الكامن المتعلم.
  • فقدان اتساق المسافة ($L_{DC}$): يشجع توزيع احتمالات اختيار الخبراء على مطابقة المسافات بين المتجهات الكامنة في الفضاء المدرب مسبقاً. إذا كانت ملاحظتان قريبتين في الفضاء الكامن، فيجب أن تُفعلان خبراء متشابهين.
  • تنظيم الإنتروبيا ($L_H$): يشجع الخبراء على التخصص (إنتروبيا منخفضة) بدلاً من العمل بشكل موحد.
  • التنظيم المتناثر المجموعاتي ($L_G$): يعزز الاستقرار من خلال تجميع الخبراء المتجاورين، مستوحى من تقنيات MoE في تصنيف الصور.

3. المساهمات الرئيسية

1. استراتيجية التدريب المشترك غير الخاضعة للإشراف: نهج "طالب-معلم" مبتكر لتعلم فضاء كامن مشترك وصفي للملاحظات والحركات المستقبلية دون إشراف صريح على المراحل.
2. التوجيه المحاذي الكامن: تقنية تنظيم تثبت توجيه الخبراء الناعم على هيكل الفضاء الكامن المتعلم. هذا يمنع انهيار الخبير ويحسن كفاءة المعلمات بشكل كبير.
3. التعميم الصفري (Zero-Shot Generalization): إثبات أن هياكل التوجيه يمكن تعلمها بحت من خلال محاذاة الملاحظة مع الحركة المستقبلية، وتم التحقق من ذلك في كل من اختبارات المحاكاة والمهام الجراحية المعقدة طويلة المدى على أجهزة حقيقية.

4. النتائج التجريبية

اختبار المحاكاة (LIBERO)

• الأداء: حقق LAR-MoE متوسط معدل نجاح بنسبة 95.2% في اختبار LIBERO.
• الكفاءة: رغم امتلاكه 150 مليون معلمة فقط، إلا أنه تفوق على عدة نماذج الرؤية-اللغة-الفعل (VLA) ذات أعداد المعلمات الأكبر بكثير (مثل OpenVLA بـ 8 مليار، و $\pi_0$ بـ 3.5 مليار) واقترب من أداء $\pi_0.5$ (3.5 مليار).
• دراسات الاستئصال (Ablation Studies):
  • أدى تجميد مشفر الطالب وتطبيق تنظيم المحاذاة الكامنة إلى تحسن بنسبة 16.4% عن النموذج الأساسي.
  • توسع الأداء بشكل جيد حتى 16 خبيراً؛ بينما أظهر وجود 32 خبيراً تراجعاً، ويرجع ذلك على الأرجب إلى عدم كفاية دورات التدريب.

التجارب على الأجهزة (إمساك وشد الأمعاء جراحياً)

• المهمة: مهمة جراحية معقدة مكونة من 5 مراحل تتطلب تفاعلاً منسقاً بين الروبوت والجراح.
• البيانات: تم التدريب على 120 عرضاً توضيحياً بدون أي تسميات للمراحل.
• النتائج:
  • حقق معدل نجاح يضاهي نموذج MoE الخاضع للإشراف الأساسي (الذي تطلب تسميات مراحل صريحة) على نموذج محاكاة للأمعاء (bowel phantom).
  • النقل الصفري (Zero-Shot Transfer): نجح في الانتقال إلى أنسجة خنزير خارج الجسم (ex vivo) بمعدل نجاح 45% (9/20 تجربة)، مما أظهر المتانة تجاه التحولات في المجال البصري والميكانيكي دون إعادة تدريب.
  • القابلية للتفسير: أظهرت أنماط تفعيل الخبراء توافقاً زمنياً ومكانياً قوياً مع مراحل المهمة المحددة بشرياً، على الرغم من عدم التدريب عليها أبداً. تخصصت الخبراء المختلفة في مناطق متميزة من مساحة المهمة (مثل الاقتراب مقابل الشد).

5. الأهمية

• تحول في النموذج (Paradigm Shift): يقدم LAR-MoE بديلاً مبدئياً لتفكيك المهارات الخاضع للإشراف. لقد أثبت أن السلوكيات الروبوتية المعقدة يمكن تفكيكها إلى خبراء متخصصين باستخدام بيانات غير مصنفة، مما يقلل بشكل كبير من الحاجة إلى التسميات اليدوية المكلفة في مجالات مثل الروبوتات الجراحية.
• كفاءة المعلمات: يوضح أن السياسات الروبوتية عالية الأداء لا تتطلب أعداداً هائلة من المعلمات (بالمليارات) إذا كانت البنية تستفيد بفعالية من الحوسبة المتناثرة والتمثيلات الكامنة المهيكلة.
• التعميم القوي: إن القدرة على تعلم تمثيلات مهارات قابلة للنقل وتعميمها من المحاكاة/النماذج المحاكية إلى الأنسجة البيولوجية الحقيقية (ex vivo) تسلط الضوء على إمكانية نشر هذه الأساليب في السيناريوهات الطبية الواقعية حيث تكون البيانات شحيحة والتصنيف صعباً.