ملخص تقني: الفضاءات الجزئية الأولية تتوسط عملية النقل في التعلم من أمثلة قليلة لنماذج VLA

بيان المشكلة

يواجه نشر سياسات نماذج الرؤية واللغة والعمل (VLA) في البيئات الصناعية حالياً عائقاً يتمثل في التكاليف المرتفعة لإعادة التدريب. تتضمن وصفة النشر القياسية جمع عينات توضيحية خاصة بالمهمة ثم إجراء ضبط دقيق (fine-tuning) لنموذج VLA لكل مهمة جديدة أو متغير للمنتج. هذا النهج يتوسع خطياً مع تكلفة الجمع ويتطلب بنية تحتية كبيرة، مما يجعله غير عملي في السياقات التي تشهد تغييرات مستمرة في العمليات. تبحث الورقة فيما إذا كان بإمكان نماذج VLA اكتساب مهام جديدة وقت الاختبار، مشروطة بعدد قليل من العينات التوضيحية، دون أي تحديث للأوزان. وتفترض الورقة أن هيكلية بيانات التدريب مهمة؛ حيث يزعم المؤلفون أن نماذج VLA المدربة باستخدام إشراف صريح على مستوى العناصر الأولية (primitives) تتعلم تمثيلات أكثر تركيبية مقارنة بتلك المدربة على مسارات مهام مسطحة، مما يتيح نقلاً أفضل في سياق الأمثلة القليلة (few-shot transfer).

المنهجية

التصميم التجريبي

أجرى المؤلفون تجربة منضبطة باستخدام تصميم $2 \times 2$ متقاطع مع بنيتين مختلفتين لـ VLA:

1. OpenVLA: نموذج توليدي ذاتي الانحدار بـ 7 مليارات معلمة يعتمد على Llama-2.
2. $\pi_0.5$: سياسة مطابقة التدفق (flow-matching) بـ 16 خطوة من كتل الأفعال (action chunks) تعتمد على PaliGemma.

تم ضبط كلتا البنيتين باستخدام وصفات LoRA متطابقة (الرتبة 32، $\alpha=64$، معدل تعلم $5 \times 10^{-5}$) مع تثبيت المعلمات الفائقة عبر ثلاث بذور تدريب. المتغير الوحيد كان منظور بيانات التدريب:

• التدريب المسطح (Flat Training): كانت الحلقات عبارة عن أزواج مهام متصلة (مثل "الالتقاط والإدخال") مع مطالبات لغوية عالية المستوى.
• تدريب العناصر الأولية (Primitive Training): تم تقسيم الحلقات إلى أفعال أولية منفردة (مثل "الالتقاط" أو "الإدخال") مع مطالبات لغوية خاصة بكل عنصر أولي.

مجموعات البيانات والتقييم

• المجموعة الأساسية: REASSEMBLE، وهي مجموعة بيانات تجميع صناعي غنية بالتلامس تعتمد على معيار NIST Assembly Task Board 1.
• مجموعة إعادة الإنتاج: LIBERO-Long، وهي معيار للتلاعب بالأدوات المنزلية مع هياكل مهام متعددة الخطوات.
• المهام المستبعدة: تم استبعاد ست تركيبات محددة من (كائن، تسلسل مهمة) تماماً من التدريب. تباينت هذه المهام من حيث الكائن (كائنات تحتوي على عناصر أولية شوهدت في التدريب ولكن في تركيبات جديدة)، وتسلسل المهمة (عناصر أولية بترتيبات جديدة)، والمسافة التركيبية. كما تم اختبار فئة خارج نطاق المفردات (تتطلب نوعاً من العناصر الأولية غير موجود في التدريب).
• بروتوكول الأمثلة القليلة (Few-Shot Protocol): في وقت الاختبار، تلقت النماذج وصفاً لمهمة عالية المستوى و $m \in \{0, 1, 3, 5, 10\}$ من حلقات العينات التوضيحية. تم ترميز العينات التوضيحية عبر ميزات مشفر الرؤية وإلحاقها بالمطالبة اللغوية. النماذج نفذت الأفعال دون تحديث للأوزان.

التدخل السببي

لإثبات السببية، استخدم المؤلفون تدخل استئصال الفضاء الجزئي (subspace-ablation intervention):

1. الاختبار الخطي (Linear Probing): قاموا بتدريب مجسات خطية على الحالات المخفية لتحديد الاتجاهات التي تشفر هوية العنصر الأولي.
2. الاستئصال (Ablation): في وقت الاستنتاج، قاموا بإسقاط الحالات المخفية على المتمم العمودي للفضاء الجزئي الذي يمكن فك تشفير العناصر الأولية فيه (الطبقة 24)، مما أدى فعلياً إلى إزالة معلومات العناصر الأولية.
3. التحكم (Control): تم استئصال فضاء جزئي عشوائي بنفس الأبعاد لضمان أن التأثير خاص بتمثيلات العناصر الأولية وليس مجرد تأثير عام.

التصحيح المنهجي

حدد المؤلفون خطأً ناتجاً عن "تضخم شامل" (family-wise inflation) عند تقييم السياسات المجزأة (chunked policies). تطبيق بوابات نطاق الفعل أحادية الخطوة بشكل عنصري على كتل مكونة من 16 خطوة أنتج معدلات فشل كاذبة بنسبة 40-42% مقابل عينات البشر المرجعية. اقترحوا ونفذوا بوابة مصححة على مستوى العنصر تمت معايرتها مقابل توزيعات الكتل المرجعية لضمان تقييم عادل.

النتائج الرئيسية

كفاءة النقل في الأمثلة القليلة

أظهرت النماذج المدربة على العناصر الأولية ميزة كبيرة في كفاءة العينات مقارنة بالنماذج المدربة على المسارات المسطحة:

• فجوة الأداء: عند $m=3$ من العينات التوضيحية، حققت النماذج المدربة على العناصر الأولية معدلات نجاح بلغت 0.62–0.66، بينما حققت النماذج المدربة على المسارات المسطحة 0.31–0.34 فقط (تفوق بنحو ضعفين).
• التشبع: وصلت النماذج المدربة على العناصر الأولية إلى حالة التشبع عند $m=5$، محققة 78% من الحد الأعلى للضبط الدقيق الكامل. تطلبت النماذج المدربة على المسارات المسطحة $m=10$ للوصść إلى نفس مستوى الأداء، مما يشير إلى فجوة في كفاءة العينات بنحو 3 أضعاف.
• المتانة: تكررت هذه الميزة عبر كلتا البنيتين (OpenVLA و $\pi_0.5$)، وثلاث بذور تدريب، وعلى مجموعة بيانات إعادة الإنتاج LIBERO-Long.

الدليل السببي

أكد تدخل استئصال الفضاء الجزئي ضرورة تمثيلات العناصر الأولية:

• أدى استئصال الفضاء الجزئي القابل لفك تشفير العناصر الأولية إلى انخفاض قدره 32 نقطة مئوية في نجاح الأمثلة القليلة (على سبيل المثال، من 0.62 إلى 0.30 لنموذج OpenVLA).
• أدى استئصال فضاء جزئي عشوائي بنفس الأبعاد إلى تأثير ضئيل (ضمن ضوضاء أخذ العينات)، مما يؤكد أن تمثيل العناصر الأولية ضروري سببياً للنقل، وليس مجرد ارتباط.

مقارنات خط الأساس

تفوق النقل القائم على العناصر الأولية في سياق الأمثلة القليلة بشكل كبير على عدة خطوط أساس عند $m=3$:

• تسلسل العناصر الأولية بدون أمثلة (Zero-shot primitive sequencing): +35 نقطة مئوية.
• النموذج المعتمد على العينات التوضيحية بأسلوب Octo: +21 إلى 22 نقطة مئوية.
• سياسة الانتشار (Diffusion Policy): تم التفوق عليها بفارق كبير.

القيود وأنماط الفشل

تشير الورقة إلى أن التدريب الواعي بالعناصر الأولية لا يحسن الأداء عالمياً. في المهام التي تتطلب عناصر أولية خارج نطاق المفردات (مثل فعل "الدوران للتعشيق" غير الموجود في مفردات التدريب)، كان أداء النماذج المدربة على العناصر الأولية أقل من النماذج المدربة على المسارات المسطحة. يفترض المؤلفون أن النماذج المدربة على العناصر الأولية تحاول ربط العينات التوضيحية الجديدة بأقرب عنصر أولي معروف، بينما قد تكون النماذج المدربة على المسارات المسطحة أكثر مرونة في تعلم السلوك الجديد.

الأهمية والادعاءات

تدعي الورقة أنها تقدم أول مقارنة منضبطة تثبت أن التدريب الواعي بالعناصر الأولية ينتج أثراً قابلاً للنقل: وهو مكتبة من المهارات الفرعية التي يمكن تركيبها وقت الاستنتاج.

• الآلية: يثبت المؤلفون أن الإشراف الصريح على العناصر الأولية أثناء التدريب يفصل تمثيلات المهارات الفرعية عن سياقات المهام، مما يخلق "فضاءً جزئياً قابلاً لفك تشفير العناصر الأولية" في الحالات المخفية، وهو أمر ضروري سببياً للنقل في الأمثلة القليلة.
• الأثر العملي: بالنسبة للنشر الصناعي، تشير النتائج إلى أن التدريب باستخدام تقسيم العناصر الأولية يسمح لنموذج VLA باستعادة حوالي 90% من أداء الضبط الدقيق الكامل باستخدام 5 عينات توضيحية فقط، مما يقلل بشكل كبير من التكلفة ووقت التوقف المرتبط بإعادة التدريب للمتغيرات الجديدة للمهام.
• النطاق: النتائج متواضعة فيما يتعلق بالتعميم؛ حيث تظل الميزة قائمة للمهام التي تعيد تركيب أنواع العناصر الأولية المعروفة، لكنها تنعكس عندما تتطلب المهام عناصر أولية جديدة كلياً غائبة عن مفردات التدريب. تقتصر النتائج حالياً على المحاكاة (REASSEMBLE و LIBERO-Long) وبنيتين محددتين.