💻 computer science

PVI: Plug-in Visual Injection for Vision-Language-Action Models

تقدم الورقة البحثية وحدة "حقن المرئيات الإضافي" (PVI)، وهي وحدة خفيفة الوزن ومستقلة عن نوع المشفر، تعمل على تعزيز نماذج الرؤية واللغة والأداء عبر حقن ميزات الفيديو الزمنية من خلال مسارات متبقية ذات تهيئة صفرية، مما يحسن الأداء في مهام المناولة المعقدة ومتعددة المراحل دون الحاجة إلى تغييرات هيكلية واسعة أو تدريب متعدد المراحل.

المؤلفون الأصليون: Zezhou Zhang, Songxin Zhang, Xiao Xiong, Junjie Zhang, Zejian Xie, Jingyi Xi, Zunyao Mao, Zan Mao, Zhixin Mai, Zhuoyang Song, Jiaxing Zhang

نُشر 2026-03-17

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Zezhou Zhang, Songxin Zhang, Xiao Xiong, Junjie Zhang, Zejian Xie, Jingyi Xi, Zunyao Mao, Zan Mao, Zhixin Mai, Zhuoyang Song, Jiaxing Zhang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تعلم خادمًا آليًا فائق الذكاء كيفية طي قميص أو طرق مسمار. لديك أداتان رئيسيتان لهذه المهمة:

"الدماغ" (النموذج اللغوي البصري - VLM): هذا ذكاء اصطناعي فائق الذكاء يفهم اللغة والمفاهيم العامة. هو يعرف ما هو "القميص" وماذا يعني "الطي بدقة". ومع ذلك، فهو يشبه الفيلسوف الذي قرأ كل الكتب في المكتبة لكنه لم يلمس قطعة قماش قط. هو يفهم "فكرة" المهمة، لكنه يفتقر إلى التفاصيل الفيزيائية الدقيقة (مثل أين توجد التجاعيد بالضبط في القماش أو كيف يتحرك المطرقة).
"الأيدي" (خبير الحركة): هذا هو الجزء المسؤول عن تحريك الأذرع. هو بارع جدًا في الرياضيات والتوقيت، لكنه يعتمد كليًا على "الدماغ" ليخبره بما يجب فعله.

المشكلة: "التسليم الضبابي"

في تصميمات الروبوتات الحالية، يتحدث "الدماغ" إلى "الأيدي". ولكن نظرًا لأن الدماغ يركز على الأفكار الكبيرة، فإنه غالبًا ما يسقط التفاصيل الصغيرة والحاسمة.

الافتقار إلى الهندسة: قد يقول الدماغ: "اطوِ القميص"، لكنه لا يخبر الأيدي بالضبط أين تقع حافة الكم.
الافتقار إلى الحركة: الدماغ عادة ما ينظر إلى لقطة واحدة ثابتة. هو لا يرى الحركة. هو لا يعرف أن القميص ينزلق أو أن المطرقة على وشك الاصطدام. الأمر يشبه محاولة قيادة سيارة بينما تنظر فقط إلى صورة واحدة للطريق؛ ستفقد حركة المرور من حولك.

بسبب هذا، غالبًا ما تخفق "الأيدي" في الإمساك بالهدف، أو تفقد التوازن، أو تتحرك بخرق شديد.

الحل: PVI (الحقن البصري الإضافي)

ابتكر مؤلفو هذه الورقة البحثية، Plug-in Visual Injection (PVI)، حلاً ذكيًا. بدلًا من محاولة إعادة تدريب الروبوت بالكامل (وهو أمر مكلف ومحفوف بالمخاطر)، قاموا ببناء "كابل تجاوز" خاص.

إليك كيف يعمل، باستخدام تشبيه إبداعي:

تشبيه "كابل التجاوز"

تخيل أن "أيدي" الروبوت (خبير الحركة) هم طباخ ماهر يطهو طبقًا معقدًا. "الدماغ" (VLM) هو كتاب الوصفات.

الطريقة القديمة: يقرأ الطباخ كتاب الوصفات. يقول الكتاب "أضف الملح"، لكنه لا يخبر الطباخ كم الكمية أو متى يرش الملح بناءً على ما يحدث للطعام الآن وهو يئز في المقلاة. يضطر الطباخ للتخمين.
طريقة PVI: يقوم المؤلفون بتثبيت كاميرا ثانية عالية التقنية بجانب يدي الطباخ مباشرة. هذه الكاميرا ترى الطعام بدقة عالية وعرض بطيء.
- هذه الكاميرا متصلة بمساعد ذكي صغير (وحدة PVI).
- هذا المساعد يهمس بالتفاصيل الدقيقة مباشرة في أذن الطباخ: "القماش ينزلق لليسار"، أو "المطرقة تبعد بوصتين".
- والأهم من ذلك، أن الطباخ ليس عليه تغيير أسلوبه في الطبخ أو إعادة تعلم كيفية الإمساك بالسكين. المساعد يضيف فقط هذه "الهمسات" الإضافية إلى أفكار الطباخ الموجودة بالفعل.

لماذا يعد هذا أمرًا بالغ الأهمية؟

تقدم الورقة البحثية ثلاث "قوى خارقة" لهذا النظام:

ترقية "وصل وشغل" (Plug-and-Play): لا تحتاج إلى إعادة بناء دماغ الروبوت أو يديه. أنت فقط "توصل" هذه الوحدة البصرية الجديدة. الأمر يشبه إضافة عدسة جديدة لكاميرا دون تغيير جسم الكاميرا نفسه.
إنه يعشق "الفيديو" أكثر من "الصور": اختبر الباحثون نوعين من المعلومات للمساعد:
- الصور الثابتة (DINOv2): صورة واحدة عالية الجودة.
- مقاطع الفيديو (V-JEPA2): مقطع فيديو قصير يظهر الحركة.
- النتيجة: الفيديو فاز في كل مرة. تمامًا كما يحتاج الإنسان لرؤية كرة تتحرك ليمسك بها، يحتاج الروبوت لرؤية الحركة ليطوي قميصًا أو يطرق مسمارًا. بيانات الفيديو منحت الروبوت دفعة هائلة في معدلات النجاح (من حوالي 36% نجاح إلى حوالي 60% في الاختبارات).
يعمل في العالم الحقيقي: لم يختبروا هذا في محاكاة حاسوبية فحسب، بل وضعوه على روبوت حقيقي بذرعين ونجحوا في جعله يطوي قطعة من القماش. هذه مهمة صعبة لأن القماش مرن وغير متوقع، ويتطلب تنسيقًا مثاليًا بين الذراعين. وقد فعل الروبوت ذلك بسلاسة.

الخلا الخلاصة

PVI هي خدعة بسيطة وخفيفة الوزن تعالج نقطة عمياء رئيسية في تعلم الروبوتات. إنها تدرك أنه بينما يكون "دماغ" الروبوت رائعًا في فهم الكلمات، فإن "أيدي" الروبوت تحتاج إلى رؤية الحركة والتفاصيل الدقيقة للقيام بالعمل البدني.

من خلال إضافة "كابل تجاوز" يغذي بيانات الحركة المستمدة من الفيديو مباشرة إلى الأيدي، يصبح الروبوت أكثر مهارة ودقة وقدرة على التعامل مع المهام المعقدة في العالم الحقيقي، مثل طي الغسيل أو البناء بالمكعبات، وكل ذلك دون الحاجة إلى إعادة تدريبه بالكامل.

إليك ملخص تقني مفصل لورقة البحث بعنوان "حقن الرؤية الملحق (PVI) لنماذج الرؤية واللغة والأفعال" (PVI).

1. بيان المشكلة

أصبحت نماذج الرؤية واللغة والأفعال (VLA)، التي تجمع بين نموذج رؤية-لغة (VLM) مدرب مسبقاً مع خبير أفعال يعتمد على مطابقة التدفق (flow-matching) أو الانتشار (diffusion)، نموذجاً مهيمناً في مجال التحكم الروبوتي. ومع ذلك، تعاني هذه البنية من عنق زجاجة هيكلي:

الضغط الدلالي (Semantic Compression): يتم تحسين نموذج (VLM) لإنتاج تجريد دلالي عالي المستوى ومحاذاة لغوية. ونتيجة لذلك، يميل إلى ضغط أو إضعاف الإشارات الهندسية الدقيقة (مثل حواف الأجسام، العمق، وإمكانيات الإمساك) ويفتقر إلى الأدلة الزمنية الصريحة (مثل استمرارية الحركة، وانتقالات التلامس).
القيود الساكنة: تعتمد معظم الطرق الحالية التي تحقن ميزات بصرية مساعدة على تخفيف هذا الأثر على تمثيلات مكانية ساكنة (صور مفردة) أو تتطلب تعديلات هيكلية جوهرية على العمود الفقري المدرب مسبقاً لاستيعاب المدخلات الزمنية.
الفجوة: هناك نقص في وجود طريقة خفيفة الوزن، وتدخلها الأدنى، لحقن معلومات بصرية واعية زمنياً في خبير أفعال مجمد دون إعادة تدريب النظام بأكمله من الصفر.

2. المنهجية: حقن الرؤية الملحق (PVI)

يقترح المؤلفون PVI، وهو وحدة خفيفة الوزن وغير مرتبطة بنوع المشفر (encoder-agnostic)، مصممة لحقن التمثيلات البصرية المساعدة مباشرة في خبير الأفعال المجمد لنموذج (VLA) المدرب مسبقاً.

البنية الأساسية

يعمل (PVI) عبر تصميم ثنائي المسارات يحافظ على السلوك الأصلي المدرب مسبقاً مع تقديم فرع جانبي قابل للتدريب:

المسار الرئيسي المجمد: يظل نموذج (VLM) الأصيم وخبير الأفعال (DiT) الرئيسي (Diffusion Transformer) مجمدين. يقومان بمعالجة التعليمات اللغوية والمدخلات البصرية القياسية كالمعتاد.
فرع النسخة القابل للتدريب: يتم إنشاء "نسخة" من بنية (DiT) بنفس الأوزان المدربة مسبقاً. ومع ذلك، بدلاً من الاعتماد على تضمينات (VLM) ( $z_{vl}$ )، يعتمد هذا الفرع على ميزات بصرية مساعدة مسقطة ( $\tilde{z}_{aux}$ ) مستخرجة من مشفر خارجي (مثل مشفرات الفيديو أو الصور).
الحقن المتبقي على مستوى الطبقات (Layer-wise Residual Injection):
- يتم رسم خرائط للحالات الخفية للفرع النسخة إلى فضاء تضمين (DiT) الرئيسي عبر طبقات حقن خطية تبدأ من الصفر ( $Z_i$ ).
- تُضاف هذه الميزات المخططة بشكل متبقٍ (residually) إلى الطبقات المقابلة في (DiT) الرئيسي المجمد.
- التهيئة من الصفر (Zero-Initialization): يتم تهيئة طبقات الحقن لتكون صفراً، مما يضمن أن النموذج يتصرف تماماً مثل (VLA) الأصلي المدرب مسبقاً في بداية التدريب. وهذا يسمح بصقل مستقر أحادي المرحلة حيث يتم دمج الإشارة المساعدة تدريجياً دون تعطيل المعرفة المدربة مسبقاً.

الميزات الرئيسية

غير مرتبط بالمشفر (Encoder-Agnostic): تقبل واجهة الحقن أي مشفر بصري (صور ساكنة مثل DINOv2، أو فيديوهات زمنية مثل V-JEPA2، أو مزيج منهما) دون تعديل بنية خبير الأفعال.
صقل أحادي المرحلة: يتم تدريب طبقة الإسقاط، والفرع النسخة، وطبقات الحقن فقط. بينما يظل العمود الفقري ونموذج (VLM) مجمدين.
الحفاظ على السلوك: يضمن التصميم المتبقي أن يبدأ النموذج من سياسة جيدة معروفة ويتعلم تدريجياً استخدام الإشارات البصرية الجديدة.

3. المساهمات الرئيسية

إطار عمل PVI: إطار عمل مستقر، وأدنى تدخلاً، لحقن التمثيلات البصرية المساعدة في نماذج (VLA) المدربة مسبقاً. وهو يفصل بين اختيار التمثيل البصري وخبير الأفعال، مما يتيح مقارنة منهجية.
مقارنة التصميم المنهجي: قيم المؤلفون (PVI) مقابل أربع استراتيجيات حقن بديلة (Concat، وControlNet-style، وReferenceNet-style، وControlVLA-style). تفوق (PVI) بشكل كبير على هذه الخطوط المرجعية.
دراسة التمثيل (الزمني مقابل الساكن): باستخدام (PVI) كمنصة اختبار محكومة، أظهرت الدراسة أن ميزات الفيديو الزمنية (V-JEPA2) تتفوق باستمرار على ميزات الصور الساكنة القوية (DINOv2)، خاصة في المهام التي تتطلب تتبع الحالة وتنسيق مراحل متعددة.

4. النتائج التجريبية

أُجريت التجارب على نموذج GR00T N1.5 باستخدام محاكي RoboTwin 2.0 وأجهزة حقيقية.

أ. مقارنة استراتيجية الحقن (المحاكاة)

الخط المرجعي: حقق نموذج (GR00T N1.5) الذي تم صقله معدل نجاح متوسط قدره 35.7% عبر 20 مهمة ثنائية اليد.
أداء PVI: حقق (GR00T + PVI) متوسط نجاح قدره 59.7% (+24.0 نقطة مئوية).
المقارنة: تفوق (PVI) بشكل كبير على الاستراتيجيات الأخرى:
- Concat: 43.6%
- ControlVLA-style: 37.0%
- ControlNet-style: 34.4%
- ReferenceNet-style: 37.4%
الاستنتاج: آلية الحقن المتبقي على مستوى الطبقات والبدء من الصفر أمر بالغ الأهمية للاستقرار والأداء.

ب. دراسة التمثيل (الزمني مقابل الساكن)

الساكن (DINOv2): حسن النجاح إلى 56.8% (+17.0 نقطة مئوية).
الزمني (V-JEPA2): حسن النجاح إلى 69.4% (+29.6 نقطة مئوية).
المزيج: حقق 68.9%، مما يشير إلى أن الميزات الزمنية تلتقط معظم الإشارة الضرورية، مع إضافة ضئيلة من الميزات الساكنة.
الاستنتاج: الديناميكيات الزمنية (الحركة، انتقالات التلامس) حاسمة للمناولة الدقيقة، خاصة في المهام متعددة المراحل.

ج. دراسات الاستئصال (Ablation Studies)

السياق الزمني: وفرت 2-4 إطارات أفضل أداء (71.6–7.1.8%)، رغم أن 8 إطارات (المستخدمة في التجارب الرئيسية) ظلت فعالة للغاية.
التهيئة من الصفر: ضرورية للتدريب المستقر؛ أدى إزالتها إلى نتائج نهائية مماثلة لكنها عرضت عملية التهيئة لخطر عدم الاستقرار.
تجميد المسقط (Projector): تسبب تجميد طبقة الإسقاط في انخفاض كبير (إلى 55.3%)، مما يشير إلى أن تعلم كيفية محاذاة الميزات في فضاء تضمين خبير الأفعال أمر حيوي.

د. التحقق في العالم الحقيقي

المهمة: طي القماش طويل الأمد باستخدام يدين على منصة Airbot ثنائية الأذرع.
النتيجة: نجحت السياسة المعززة بـ (PVI) في تنفيذ تسلسل طي مكون من 8 مراحل في حلقة مغلقة، مع التعامل مع مناولة الأجسام القابلة للتشوه المعقدة (القرص، الانزلاق، التحكم في الشد) دون الحاجة لإعادة ضبط يدوية أو هندسة خاصة بالمهمة.

5. الأهمية

تحول في النموذج: يتحدى (PVI) الفكرة القائلة بأن تحسينات (VLA) تتطلب إعادة تدريب هائلة أو تغييرات هيكلية شاملة. إنه يثبت أن كيفية حقن المعلومات لا تقل أهمية عن ماهية المعلومات المحقونة.
الوعي الزمني: يوفر هذا العمل دليلاً تجريبياً على أن التمثيلات الفيديوية الزمنية تتفوق على الصور الساكنة في المناولة الماهرة، مما يعالج فجوة حرجة في أبحاث (VLA) الحالية.
العملية: من خلال تمكين الصقل أحادي المرحلة على الأنظمة الخلفية المجمدة، يوفر (PVI) مساراً قابلاً للتوسع ومنخفض التكلفة لترقية أنظمة (VLA) الحالية بإشارات بصرية أغنى، مما يسد الفجوة بين المحاكاة والنشر في العالم الحقيقي للمهام المعقدة طويلة الأمد.