💻 computer science

Rethinking VLM Representation for VLA Initialization

تستقصي هذه الورقة الاستراتيجيات المثلى لتهيئة نماذج الرؤية واللغة والعمل (VLA) من نماذج الرؤية واللغة (VLM) سابقة التدريب، كاشفةً أن الحفاظ على تمثيل نموذج الرؤية واللغة الأصلي مع استخدام تدريب مرحلي قائم على تقنية "LoRA" مع التدريب المسبق ببيانات الروبوت يحقق الأداء الأكثر فعالية في تعلم العمل.

المؤلفون الأصليون: Weifeng Lin, Siyuan Huang, Hao Li, Tingwei Chen, Ruichuan An, Xinyu Wei, Jianbo Liu, Hongsheng Li

نُشر 2026-05-26

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Weifeng Lin, Siyuan Huang, Hao Li, Tingwei Chen, Ruichuan An, Xinyu Wei, Jianbo Liu, Hongsheng Li

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم روبوت كيفية القيام بالأعمال المنزلية، مثل التقاط كوب أو طي الملابس. للقيام بذلك، تمنح الروبوت "دماغاً" يعرف بالفعل الكثير عن العالم — مثل كيفية التعرف على قطة، أو فهم جملة، أو معرفة شكل المطبخ. يسمى هذا الدماغ نموذج الرؤية واللغة (Vision-Language Model - VLM).

يطرح البحث سؤالاً بسيطاً ولكنه صعب: كيف يجب علينا تعديل هذا الدماغ المدرب مسبقاً ليصبح "دماغ روبوت" جيداً (نموذج VLA) دون كسر الأشياء الجيدة التي يعرفها بالفعل؟

يعامل المؤلفون هذا الأمر كأنه تجربة محكومة في مطبخ، حيث يختبرون ثلاثة مكونات رئيسية لمعرفة ما الذي يصنع وصفة الروبوت المثالية.

1. مكون "التدريب المتخصص" (Embeded VQA)

تخيل أن دماغ الروبوت هو طباخ عام يعرف كيف يطبخ أي شيء. أنت تريد تعليمه ليكون طباخاً "روبوتياً". يمكنك إعطاؤه دورة تدريبية مكثفة في مهارات محددة، مثل "كيفية الإمساك بملعقة" أو "أين يوجد الصابون".

التجربة: أعطى الباحثون دماغ الروبوت أنواعاً مختلفة من "الواجبات المنزلية" (تسمى VQA، أو الإجابة عن الأسئلة البصرية) بناءً على سبع مهارات مختلفة، مثل فهم المساحة، أو معرفة أماكن الأشياء، أو التنبؤ بزوايا الكاميرا.
المفاجأة: لم يكن مجرد إعطاء الروبوت المزيد من الواجبات المنزلية مفيداً دائماً.
- إذا كان الروبوت جيداً بالفعل في مهمة ما، فإن الواجبات الإضافية ساعدته.
- إذا كان الروبوت يعاني في نوع آخر من المهام، فإن نفس الواجبات جعلته أسوأ في الواقع.
- النقطة المثالية: جاءت أفضل النتائج من خلال مزيج محدد: تعليم الروبوت أين توجد الأشياء (Grounding) وما الذي يفعله الروبوت نفسه (Egocentric Understanding). إضافة مهارات كثيرة جداً (مثل التنبؤ بزوايا الكاميرا أو التخطيط لخطوات معقدة) أربكت الروبوت بالفعل، تماماً مثل محاولة تعلم خمس لغات جديدة في وقت واحد.

2. مكون "مدى صعوبة الدراسة" (استراتيجية التحديث)

بمجرد أن يبدأ الروبوت في واجباته المنزلية، ما مقدار التغيير الذي يجب أن نجريه في دماغه؟

"إعادة الكتابة الكاملة" (Full Fine-tune): هذا يشبه قولك للروبوت: "انسَ كل ما كنت تعرفه من قبل. أعد كتابة دماغك بالكامل للتركيز فقط على مهام الروبوت الجديدة هذه".
- النتيجة: غالباً ما أدى ذلك إلى نتائج عكسية. تعلم الروبوت المهام الجديدة ولكنه نسي المعرفة العامة التي ساعدته في فهم العالم في المقام الأول. لقد أصبح متخصصاً لا يستطيع التفكير خارج الصندوق.
"النقرة اللطيفة" (LoRA): هذا يشبه إعطاء الروبوت مجموعة صغيرة من الملاحظات اللاصقة (adapters) لتوضع على دماغه. إنه يتعلم مهام الروبوت الجديدة دون مسح معرفته القديمة.
- النتيجة: كان هذا يعمل بشكل أفضل بكثير. احتفظ الروبوت بذكائه العام لكنه تعلم مهارات الروبوت المحددة. وجد البحث أن الحفاظ على الدماغ الأصلي كان أكثر أهمية من إعادة تشكيله بالكامل.

3. مكون "الممارسة في العالم الحقيقي" (التدريب المسبق لبيانات الروبوت)

أخيراً، سأل الباحثون: هل يجب أن نعلم الروبوت باستخدام الصور والأسئلة فقط، أم يجب أن نعرض عليه أيضاً فيديوهات لروبوتات تتحرك فعلياً؟

النتيجة: أظهر عرض فيديوهات لحركات حقيقية (بيانات الروبوت) للروبوت أنه ساعد، ولكن فقط إذا تم ذلك بعناية.
الوصفة الفائزة: كانت الاستراتيجية الفائزة هي عملية تتكون من خطوتين:
1. أولاً، قم بنقرة لطيفة للدماغ باستخدام واجبات "أين توجد الأشياء" و"ماذا أفعل" (باستخدام طريقة LoRA اللطيفة).
2. ثانياً، اترك الروبوت يتدرب باستخدام بيانات الحركة الحقيقية، باستخدام طريقة النقرة اللطيفة أيضاً.
- كان محاولة القيام بكل شيء في وقت واحد (خلط جميع الواجبات المنزلية والممارسة الحقيقية معاً) أقل فعالية من القيام بها على مراحل.

الخلاصة الكبرى

يخلص البحث إلى أن بناء دماغ روبوت جيد لا يتعلق بإلقاء كل شيء عليه. بل يتعلق بـ التوازن:

لا تمسح الماضي: المعرفة العامة التي كان يمتلكها الروبوت في الأصل مفيدة جداً لتعلم مهام الروبوت الجديدة. لا تمسحها.
اختر الواجب المنزلي المناسب: علم الروبوت فقط المهارات المحددة التي تناسب الوظيفة التي يحتاجها. تعليم كل شيء في وقت واحد يسبب الارتباك.
تمهل: استخدم التحديثات اللطيفة (مثل الملاحظات اللاصقة) بدلاً من إعادة كتابة الدماغ بالكامل، وقدم المهارات الجديدة على مراحل.

باختصار، أفضل طريقة لتحويل ذكاء اصطناعي عام ذكي إلى روبوت ذكي هي إضافة مهارات جديدة بعناية دون حذف المهارات القديمة.

ملخص تقني: إعادة التفكير في تمثيل نماذج الرؤية واللغة والعمل (VLM) لتهيئة نماذج الرؤية واللغة والعمل (VLA)

بيان المشكلة

عادةً ما تقوم نماذج الرؤية واللغة والعمل (VLA) بتهيئة نماذج السياسة (Policy Backbones) الخاصة بها من نماذج الرؤية واللغة (VLMs) سابقة التدريب لوراثة التمثيلات البصرية-اللغوية. ومع ذلك، لا يزال من غير الواضح ما هي الخصائص المحددة لتمثيل الـ VLM سابقة التدريب التي تشكل تهيئة فعالة لمهام الـ VLA. وبينما استكشفت الأعمال الحديثة نماذج هيكلية (Backbones) أقوى ووحدات عمل (Action Modules) أكثر تطوراً، فإن اختيار التهيئة غالباً ما يُعامل كخطوة افتراضية بدلاً من كونه متغيراً تصميمياً خاضعاً للتحكم. تعالج هذه الورقة السؤال الجوهري: ما نوع تمثيل الـ VLM سابقة التدريب الذي يجعل تهيئة الـ VLA مفيدة؟

يجادل المؤلفون بأن مجرد اعتماد VLM أقوى أو تطبيق تكييف تجسيدي (Embodied Adaptation) واسع النطاق لا يضمن بالضرورة سياسات عمل أفضل. بدلاً من ذلك، هم يصيغون تهيئة الـ VLA كـ مشكلة تصميم تمثيل محكومة يجب أن توازن بين حقن الإشارات ذات الصلة بالعمل وبين الحفاظ على المعرفة الأصلية القابلة للنقل لنموذج الـ VLM.

المنهجية

تتقصى الدراسة تهيئة الـ VLA عبر ثلاثة محاور رئيسية باستخدام خط إنتاج تدريبي يتكون من مرحلتين:

المرحلة الأولى (تشكيل التمثيل): تكييف نموذج VLM أساسي على بيانات الأسئلة والأجوبة البصرية (VQA) المتجسدة أو بيانات مسارات الروبوت.
المرحلة الثانية (تعلم العمل): تهيئة سياسة VLA من نسخة المرحلة الأولى التدريبية وتدريبها على مسارات العمل.

محاور التحقيق الثلاثة هي:

1. نطاقات الـ VQA المتجسدة على مستوى القدرات

ينظم المؤلفون بيانات الـ VQA المتجسدة إلى سبعة نطاقات موجهة حسب القدرة لاختبار أي الإشارات تنتقل بشكل إيجابي إلى تعلم العمل:

المكاني (Spatial): العلاقات النسبية/المطلقة، التوجه، المسافة.
التأصيل (Grounding): الإشارة المكانية، تحديد مواقع الأشياء/المناطق.
التخطيط والاستدلال (Plan & Reasoning): تفكيك الأهداف، الشروط المسبقة، ترتيب الخطوات.
توقع الكاميرا (Camera Prediction): تقدير الخصائص الداخلية/الخارجية/تغيرات وجهة النظر.
الفهم من منظور الذات (Egocentric Understanding): وضع اليد/القابض، الأشياء المحمولة، إمكانية الوصول.
الفهم الزمني (Temporal Understanding): ترتيب الأفعال، حدود الأحداث، السببية.
توقع الرمز التالي للعمل (Action Next-Token Prediction - Action-NTP): معاملة مسارات العمل كرموز لغوية.

يقومون بتقييم التكيف أحادي النطاق، والتكوينات الثنائية، والتكوينات متعددة النطاقات.

2. استراتيجية تحديث المعلمات (Parameter-Update Strategy)

تقارن الورقة بين استراتيجيتين للتكيف في المرحلة الأولى لتحليل المقايضة بين التخصص والحفاظ على النموذج:

الضبط الدقيق الكامل (Full Fine-tune - Full FT): تحديث جميع المعلمات، مما يعيد تشكيل التمثيل بشكل هجومي.
LoRA (التكيف منخفض الرتبة): تحديث مجموعة صغيرة فقط من معلمات المهايئ (Adapter)، مما يحافظ على معظم أوزان الـ VLM الأصلية ويحد من انحراف التمثيل.

3. التدريب المسبق ببيانات الروبوت

تدرس الدراسة دور الإشراف من جانب العمل باستخدام بيانات مسارات الروبوت (AgiBot-World-Beta) كإشارة تدريب مسبق. يقارنون بين:

التدريب المسبق ببيانات الروبوت فقط.
التدريب المشترك لبيانات الروبوت وVQA.
التدريب المرحلي (تكييف VQA يليه التدريب المسبق ببيانات الروبوت).

الإعداد التجريبي

النماذج الأساسية: Qwen3-VL-4B (الأساسي)، Qwen3-VL-2B، وPaliGemma2-3B.
البنى الهيكلية (Architectures): نمط OpenVLA-OFT (رأس MLP) ونمط $\pi_0$ (Diffusion Expert).
الاختبارات المرجعية (Benchmarks): Libero-10 (طاولات طويلة الأمد)، SimplerBridge (من الواقع إلى المحاكاة)، وRoboCasa GR1 Tabletop (بشرية عالية الأبعاد).
المقاييس: متوسط معدل النجاح عبر ثلاث بذور تقييم (Evaluation Seeds).

النتائج الرئيسية

1. الدور الحاسم للتمثيلات سابقة التدريب

أدى تدريب سياسات VLA من الصفر إلى انخفاض في الأداء بأكثر من 20% عبر جميع الاختبارات المرجعية مقارنة بالتهيئة من VLM سابقة التدريب. وهذا يؤكد أن تمثيل الـ VLM الأصلي سابقة التدريب هو المصدر الرئيسي لأداء العمل.

2. المنفعة المشروطة لـ VQA المتجسد

لا يؤدي تكييف الـ VQA المتجسد إلى مكاسب موحدة؛ ففعاليته تعتمد على الاختناق (Bottleneck) في المهام اللاحقة والقدرة المحقونة تحديداً:

الاعتماد على الاختبار المرجعي: في Libero-10، تحسن معظم النطاقات الأداء. أما في SimplerBridge (من الواقع إلى المحاكاة)، فقد أدى معظم النطاقات إلى تدهور الأداء مقارنة بالنموذج المرجعي، مع ظهور مكاسب طفيفة فقط في نطاق التأصيل (Grounding) تحت نموذج Diffusion Expert.
خصوصية القدرة: توفر نطاقات التأصيل (Grounding)، والفهم من منظور الذات (Egocentric Understanding)، وAction-NTP أكثر إشارات النقل قوة. تظهر النطاقات الأخرى (مثل المكاني، والتخطيط والاستدلال) انتقالاً غير متسق أو سلبياً اعتماداً على الاختبار المرجعي.
عدم التراكمية (Non-Additivity): دمج النطاقات ليس عملية تراكمية بسيطة. يأتي أقوى تحسن من التكوين الثنائي {التأصيل + الفهم من منظور الذب ذات}. إضافة المزيد من النطاقات (مثل التكوين الموحد المكون من 7 نطاقات) يؤدي غالباً إلى التشبع أو انخفاض الأداء، مما يشير إلى أن التغطية الأوسع يمكن أن تضعف الإشراف المفيد أو تسبب تداخلاً.

3. الحفاظ مقابل التخصص (LoRA مقابل Full FT)

تفوق LoRA: يوفر LoRA باستمرار تهيئة VLA أقوى من الضبط الدقيق الكامل (Full FT). غالباً ما ينخفض أداء Full FT عن النموذج المرجعي، مما يشير إلى أن إعادة تشكيل التمثيل بشكل هجومي لمهام VQA يمكن أن يمحو المعلومات المفيدة لتعلم العمل اللاحق.
قوة النموذج الأساسي: تبرز ميزة LoRA بشكل أوضح مع نماذج VLMs الأقوى. ومع ضعف النموذج الأساسي (مثلاً من Qwen3-VL-4B إلى PaliGemma2-3B)، تتضاءل مكاسب LoRA، ويصبح تدهور Full FT أكثر حدة. يشير هذا إلى أن التكيف القائم على المهايئات (Adapter-based adaptation) يكون أكثر فعالية عندما يكون هناك تمثيل عالي الجودة سابقة التدريب ليتم الحفاظ عليه.

4. التدريب المسبق ببيانات الروبوت والتكيف المرحلي

إشارات جانب العمل: يحسن التدريب المسبق ببيانات الروبوت من التهيئة، لكن تفاعله مع إشراف VQA معقد.
التنافس في التدريب المشترك: يمكن أن يؤدي التدريب المشترك على بيانات الروبوت وVQA باستخدام LoRA إلى أداء أقل من التدريب ببيانات الروبوت فقط، ويرجع ذلك على الأرجح إلى التنافس بين الأهداف ضمن سعة المهايئ المحدودة.
النهج المرحلي: يتم تحقيق أفضل أداء عبر المسار المرحلي: أولاً تكييف الـ VLM باستخدام {التأصيل + الفهم من منظور الذات} من VQA، ثم الاستمرار بالتدريب المسبق لبيانات الروبوت باستخدام LoRA. يصل هذا النهج إلى أعلى معدلات النجاح (55.2% في RoboCasa)، مما يشير إلى أن الحقن المتسلسل للإشارات يخفف من التنافس مع الحفاظ على تمثيل الـ VLM الأساسي.

الأهمية والادعاءات

تعيد هذه الورقة صياغة تهيئة الـ VLA من مجرد اختيار نموذج هيكلي افتراضي أو خطوة لتوسيع البيانات إلى مشكلة تصميم تمثيل محكومة. يدعي المؤلفون أن نتائجهم توفر إرشادات عملية لبناء تهيئة VLA فعالة:

حقن الإشارات: تتطلب التهيئة الفعالة حقن إشارات ذات صلة بالعمل (تحديداً التأصيل والفهم من منظور الذات) تتوافق مع الاختناق في المهام اللاحقة.
الحفاظ على التمثيل: من الضروري الحفاظ على تمثيل الـ VLM سابقة التدريب الذي يظل مفيداً لتعلم العمل. إعادة تشكيل التمثيل بشكل هجومي عبر الضبط الدقيق الكامل (Full Fine-tuning) أمر ضار.
استراتيجية التكيف: التحديثات المقيدة القائمة على المهايئات (LoRA) تتفوق على تحديثات جميع المعلمات في الموازنة بين التخصص والحفاظ على النموذج.
التدريب المرحلي: خط الإنتاج التدريبي المرحلي (تكييف VQA يليه التدريب المسبق ببيانات الروبوت) أكثر فعالية من التدريب المشترك، لأنه يتجنب التنافس بين الإشارات ويستفيد من نقاط القوة في كل من الإشراف من جانب الإدراك والإشراف من جانب العمل.

يخلص المؤلفون إلى أن هذه الرؤى تقدم فهماً دقيقاً لمساحة التصميم لتهيئة الـ VLA، متجاوزة الافتراض القائل بأن "المزيد من البيانات المتجسدة" أو "النماذج الهيكلية الأقوى" تؤدي تلقائياً إلى سياسات أفضل.