ملخص تقني: DISC – فك الارتباط بين التعليمات والتحكم المشروط بالحالة عبر توليد السياسات

1. بيان المشكلة

تتناول الورقة البحثية قيداً جوهرياً في سياسات التلاعب الروبوتية الحالية المعتمدة على اللغة: تشابك المهمة والحالة (task-state entanglement). تعالج البنى التحتية الحالية (مثل Transformers وDiffusion Policies) تعليمات اللغة الطبيعية والملاحظات البصرية من خلال معاملات شبكة مشتركة. ويرى المؤلفون أن هذا التصميم يؤدي إلى فشلين حرجين:

1. التوتر في التحسين (Optimization Tension): يجب على المعاملات المشتركة أن تتعلم في آن واحد فهم اللغة الدلالي (الذي يتطلب التجريد) والتحكم الحركي البصري الدقيق (الذي يتطلب حساسية مكانية)، مما يؤدي إلى أهداف تحسين متضاربة.
2. تسرب الملاحظة (Observation Leakage): في مجموعات البيانات الروبوتية المحدودة، غالباً ما يرتبط السياق البصري بقوة بهوية المهمة. تستغل البنى المتشابكة هذا الأمر عبر تعلم "اختصارات من المشهد إلى الفعل" (scene-to-action)، متجاوزةً تعليمات اللغة تماماً. وبناءً على ذلك، تنجح السياسات في المشاهد المألوفة ولكنها تفشل عند تغير التعليمات أو ظهور غموض بصري، لأنها تعتمد على الأولويات البصرية بدلاً من تأصيل (grounding) المواصفات اللغوية للمهمة.

2. المنهجية: بنية DISC

الحل المقترح، DISC، يعمل هيكلياً على فك ارتباط مواصفات المهمة (اللغة) عن التحكم المشروط بالحالة. بدلاً من تكييف سياسة عالمية موحدة مع اللغة، يستخدم DISC شبكة فائقة (hypernetwork) لتوليد مجموعة المعاملات الكاملة لسياسة حركية بصرية خاصة بمهمة محددة بناءً على التعليمات فقط.

المكونات الأساسية

• الشبكة الفائقة ($H_\phi$): تأخذ تضمين تعليمات اللغة ($e_l$) وتخرج الأوزان ($\theta_\pi$) لسياسة مستهدفة. تستقبل السياسة المستهدفة ($\pi_{\theta_\pi}$) الملاحظات البصرية ($o_t$) فقط وتخرج الأفعال ($a_t$). ولأن السياسة المستهدفة لا تملك وصولاً مباشراً للغة، يجب ترميز دلالات المهمة بالكامل داخل الأوزان المولدة، مما يلغي هيكلياً تسرب الملاحظة.
• التوليد على مرحلتين: يعد توليد أوزان عالية الأبعاد ومتماسكة أمراً صعباً. لذا يستخدم DISC عملية من مرحلتين لضمان جودة المعاملات:
  1. شبكة تهيئة الأوزان (WIN): تقوم برسم خريطة لتضمين اللغة إلى نقطة خشنة ومعلومات دلالية في فضاء المعاملات (على سبيل المثال، التمييز بين الإمساك والدفع).
  2. وحدة الصقل التكراري (Iterative Refinement Module): تقوم بصقل التهيئة من خلال $T$ من الخطوات المتعلمة. تحاكي هذه الوحدة هيكل التحسين القائم على التدرج (التمرير الأمامي، تقدير التدرج الزائف، تحديث المعاملات) ولكنها تعمل كشبكة عصبية أمامية بالكامل (feed-forward). وهي تدمج انحيازاً استقرائياً للتحسين دون تحمل التكلفة الحسابية لعملية الانحدار التدريجي الفعلي أثناء الاستدلال.
• السياسة المستهدفة: متحكم مدمج وخفيف الوزن (مُنفذ كـ MLP بسيط) يتم تكوينه بواسطة الأوزان المولدة.

التدريب والتكيف

• التدريب: يتم تدريب النظام بالكامل (end-to-end) عبر استنساخ السلوك (behavior cloning). يتم تمرير الخطأ (backpropagation) عبر السياسة المستهدفة والشبكة الفائقة لتحديث معاملات الشبكة الفائقة ($\phi$).
• التكيف سريع التعلم (Few-Shot Adaptation): بالنسبة للمهام الجديدة، تولد الشبكة الفائقة تهيئة بناءً على التعليمات الجديدة. هذه التهيئة، التي أصبحت بالفعل متوافقة دلالياً مع مجال المهمة، يتم صقلها بعد ذلك باستخدام عدد قليل من العروض التوضيحية. وهذا يحول التكيف من بحث عالمي إلى صقل محلي، مما يحسن كفاءة العينات بشكل كبير.

3. المساهمات الرئيسية

• الفصل الهيكلي: تقدم الورقة ضماناً هيكلياً ضد تسرب الملاحظة من خلال ضمان أن الدلالات اللغوية تؤثر على السلوك فقط من خلال المعاملات المولدة، وليس عبر طبقات المعالجة المشتركة.
• الشبكة الفائقة المستوحاة من التحسين: تصميم مبتك لشبكة فائقة يستخدم عملية صقل أمامية متعلمة لتوليد أوزان سياسة متماسكة وعالية الأبعاد، مما يسد الفجوة بين القدرة التعبيرية ودقة التحكم.
• المجال المعاملاتي الدلالي (Semantic Parameter Manifold): تتعلم الطريقة مجال معاملات حيث تتكتل المهام المتشابهة دلالياً هندسياً، مما يتيح تكيفاً قوياً وسريع التعلم وتعمماً على التعليمات المعاد صياغتها.

4. النتائج التجريبية

قيم المؤلفون DISC على معايير المحاكاة (LIBERO-90, Meta-World) وعلى معيار واقعي تركيبي.

• أداء تعدد المهام:
  • في LIBERO-90، حقق DISC نسبة نجاح إجمالية قدرها 94.3%، متفوقاً على أقوى خط أساس مدرب من الصفر (OTTER, 86.6%) بنسبة 7.7%.
  • تتسع فجوة الأداء مع تعقيد المهمة: يتفوق DISC على خطوط الأساس بنسبة +8.4% في المهام طويلة الأمد.
  • يتفوق DISC على النموذج المدرب مسبقاً واسع النطاق $\pi_0$ (91.6%) رغم تدريبه من الصفر، ويظل منافساً لـ $\pi_{0.5}$ (95.7%).
  • في Meta-World، حقق DISC نسبة 92.2% إجمالية، متفوقاً على جميع خطوط الأساس.
• تخفيف تسرب الملاحظة (في الواقع):
  • في اختبار واقعي حيث تشترك 9 مهام في سياقات بصرية متطابقة (تختلف فقط باللغة)، حقق DISC نسبة نجاح بلغت 86.4%.
  • انخفضت خطوط الأساس المتشابكة (مثل Octo) إلى 78.5%، وغالباً ما تفشل في التمييز بين المهام ذات الإعدادات البصرية المتطابقة ولكن التعليمات المختلفة، مما يؤكد أن فصل DISC يمنع الاختصارات البصرية.
• التكيف سريع التعلم (Few-Shot Adaptation):
  • أظهر DISC كفاءة فائقة في العينات. مع عرض توضيحي واحد إلى 3 عروض فقط، حقق معدلات نجاح غير ضئيلة بينما تعاني طرق الانتشار (diffusion-based) بالقرب من 0%.
  • وصل إلى التقارب بسرعة (خلال 200 خطوة) مقارنة بخطوط الأساس التي تتطلب مراحل "إحماء" أطول.
• التأصيل اللغوي (Language Grounding):
  • تحت التباين اللغوي (التعليمات المعاد صياغتها)، حافظ DISC على أداء عالٍ (85.4% في LIBERO-90)، بينما أظهرت النماذج المتشابكة تدهوراً كبيراً، مما يشير إلى أن DISC يؤصل معنى المهمة بدلاً من حفظ صياغات محددة.

5. الأهمية والادعاءات

تدعي الورقة أن مكان دخول اللغة في بنية السياسة يهم أكثر من كيفية ترميزها. يرى المؤلفون أن تشابك حالة المهمة هو خلل هيكلي لا يمكن حله بالكامل بمجرد زيادة حجم البيانات أو حجم النموذج.

• الضمان الهيكلي: من خلال توليد معاملات خاصة بالمهمة، يوفر DISC ضماناً هيكلياً بأن دلالات المهمة مدمجة في كامل المتحكم، مما يمنع الشبكة من تعلم الاختصارات التي تتجاوز اللغة.
• الكفاءة مقابل التدريب المسبق: تشير النتائج إلى أن الانحيازات الاستقرائية الهيكلية (الفصل) يمكنها استعادة الكثير من الفوائد المنسوبة للتدريب المسبق واسع النطاق، مما يسمح للنماذج المدربة من الصفر بمنافسة أو حتى تجاوز نماذج الرؤية واللغة والفعل (VLA) الضخمة المدربة مسبقاً.
• المتانة: هذه البنية المفصولة ذات قيمة خاصة في السيناريوهات المعقدة، طويلة الأمد، أو الغامضة بصرياً حيث تفشل السياسات المتشابكة بسبب تراكم أخطاء التأصيل.

خلص المؤلفون إلى أنه بينما تعد نماذج VLA الضخمة المدربة مسبقاً مكملة في البيئات الغنية بالبيانات، فإن DISC يقدم نهجاً متفوقاً للسيناريوهات التي تتطلب تأصيلاً موثوقاً، وتحكماً فعالاً، وتكيفاً من بيانات روبوتية محدودة.