🤖 machine learning

Contrastive Representation Regularization for Vision-Language-Action Models

تقدم هذه الورقة البحثية فقدان التباين المدرك لحالة الروبوت (RS-CL)، وهو تقنية خفيفة الوزن لتنظيم التمثيل تعمل على محاذاة تمثيلات نماذج الرؤية واللغة والعمل مع حالات الاستقبال الحسي الخاص بالروبوت، مما يحسن الأداء بشكل كبير في كل من معايير الاختبار للمناولة في البيئات المحاكية والواقعية.

المؤلفون الأصليون: Taeyoung Kim, Jimin Lee, Myungkyu Koo, Dongyoung Kim, Kyungmin Lee, Changyeon Kim, Younggyo Seo, Jinwoo Shin

نُشر 2026-05-29

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Taeyoung Kim, Jimin Lee, Myungkyu Koo, Dongyoung Kim, Kyungmin Lee, Changyeon Kim, Younggyo Seo, Jinwoo Shin

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

الصورة الكبيرة: "العقل الذكي" مقابل "الأيدي الخرقاء"

تخيل أنك قمت ببناء روبوت يمتلك عقلاً ذكياً للغاية فيما يتعلق بالعالم؛ فقد قرأ ملايين الكتب ورأى مليارات الصور. هو يعرف شكل "باب الخزانة"، ويعرف معنى كلمة "افتح"، ويمكنه وصف ذلك بلغة إنجليزية مثالية. هذا هو نموذج الرؤية واللغة (VLM).

ومع ذلك، عندما تطلب من هذا الروبوت أن يفتح الخزانة فعلياً، فإنه يعاني. لماذا؟ لأنه بينما يفهم عقله مفهوم الباب، إلا أنه لا يملك أدنى فكرة عن شعور أذرعه وهي تتحرك. إنه لا يفهم "الحس العميق" (proprioception) — أي الإحساس الداخلي بمكان مفاصله، وكمية القوة التي يستخدمها، أو مكان يده بالضبط في الفراغ.

تجادل الورقة البحثية بأن الروبوتات الحالية تشبه طباخاً ماهراً لم يلمس سكيناً قط. هو يعرف كيف يجب أن تبدو السلطة، لكنه لا يستطيع تقطيع الخضروات لأنه يفتقر إلى "الإحساس" الجسدي بالحركة.

المشكلة: "الفخ البصري"

وجد الباحثون أن هذه الروبوتات عندما تحاول التعلم، فإنها تتشتت بالمنظر المحيط بها.

الطريقة القديمة: إذا عرضت على الروبوت فيديو لفتح خزانة في مطبخ بجدار أحمر، وفيديو آخر لفتح خزانة في مطبخ بجدار أزرق، فإن عقل الروبوت سيعتقد: "هذه مهمتان مختلفتان تماماً!". فهو يصنفها بناءً على لون الخلفية أو نمط الأثاث.
الواقع: حركة ذراع الروبوت متطابقة تقرياً في كلتا الحالتين. "الإحساس" بحركة الذراع للأعلى والإمساك بالمقبض هو نفسه، حتى لو تغير لون الجدار.

لأن عقل الروبوت يركز على البصريات (الجدار الأحمر مقابل الجدار الأزرق) بدلاً من الحالة الفيزيائية (موضع الذراع)، فإنه يرتكب أخطاءً خرقاء، خاصة عندما يحتاج إلى الدقة، مثل التقاط كوب دون إسقاطه.

الحل: "خسارة التباين الواعية بحالة الروبوت" (RS-CL)

قدم المؤلفون حيلة تدريبية جديدة تسمى RS-CL. فكر في هذا كـ "فحص للواقع الفيزيائي" لعقل الروبوت.

1. تشبيه "الإشراف الناعم"

تخيل أنك تعلم طالباً كيفية رسم دائرة.

الطريقة القديمة: تقول له فقط: "ارسم دائرة". ينظر الطالب إلى صورة لدائرة على ملصق ويحاول تقليد الحبر.
طريقة RS-CL: تمسك يد الطالب وتقول له: "اشعر كيف تتحرك معصمك؟ عندما تكون يدك هنا، تكون الدائرة صغيرة. وعندما تكون يدك هناك، تكون الدائرة كبيرة".

تقوم تقنية RS-CL بهذا الأمر رقمياً. فهي تنظر إلى مستشعرات الروبوت الداخلية (حالة الحس العميق) وتخبر العقل: "إذا كانت ذراع الروبوت في الموضع (أ)، وفي وقت آخر كانت في الموضع (ب)، وكان هذان الموضعان متشابهين جداً، فيجب على خريطة عقلك الداخلية أن تعامل هاتين اللحظتين كحالتين متشابهتين، حتى لو بدا الخلف مختلفاً تماماً".

وهي تستخدم نظام أوزان "ناعم". إذا كانت ذراع الروبوت في مكان قريب جداً من مكان آخر، يتلقى العقل دفعة لطيفة ليعامل الصورتين كشيء متشابه. وإذا كانت الذراع بعيدة، يتلقى دفعة ليعاملهما كشي-ئين مختلفين. هذا يجبر العقل على الاهتمام بـ الحركة أكثر من المشهد.

2. حيلة "قطع الرؤية" (View Cutoff)

غالباً ما تمتلك الروبوتات كاميرات متعددة (مثل كاميرا المعصم وكاميرا الغرفة).

المشكلة: إذا دربت الروبوت عبر إظهار الرؤية الكاملة، فقد يعتمد كثيراً على كاميرا المعصم ويتجاهل الغرفة، أو العكس.
الحل: ابتكر الباحثون طريقة تسمى View Cutoff. تخيل أنك تدرس خريطة، لكنك تغطي نصفها بيدك. أنت تجبر عقلك على فهم الصورة كاملة باستخدام النصف المرئي فقط.
كيف تعمل: يقوم الكمبيوتر بـ "حجب" (masking out) أحد مشاهد الكاميرا عشوائياً أثناء التدريب. هذا يجبر عقل الروبوت على تعلم تمثيل يعمل حتى لو كانت إحدى الكاميرات محجوبة أو إذا تغيرت الزاوية. هذا يجعل فهم الروبوت "ثابتاً تجاه زاوية الرؤية" (لا يهم من أي زاوية تراه؛ فالحركة هي نفسها).

النتائج: من "الخرق" إلى "الدقة"

اختبرت الورقة هذا الأسلوب في مطبخ محاكى (RoboCasa-Kitchen) وعلى ذراع روبوت حقيقي.

المحاكاة: قبل هذا الإصلاح، نجحت أفضل الروبوتات بنسبة 65.7% تقريباً. مع تقنية RS-CL، قفزت النسبة إلى 69.7%.
فوز "الالتقاط والوضع": كان التحسن الأكبر في المهام التي تتطلب دقة، مثل التقاط جسم صغير ووضعه في وعاء. ارتفعت نسب النجاح من 30.3% إلى 41.5%. هذا يشبه الانتقال من روبوت يسقط الكوب نصف المرات إلى روبوت ينجح في المهمة دائماً تقريباً.
الروبوت الحقيقي: على ذراع روبوت حقيقي، ارتفعت نسبة النجاح في المهام الصعبة من 45.0% إلى 58.3%.

لماذا هذا مهم (وفقاً للورقة البحثية)

تدعي الورقة أن هذه الطريقة خفيفة الوزن وسهلة الإضافة. لست بحاجة لإعادة بناء عقل الروبوت من الصفر أو تغذيته بملايين الفيديوهات الجديدة لروبوتات تتحرك. أنت فقط تضيف هذا "الفحص للواقع الفيزيائي" (RS-CL) إلى عملية التدريب الحالية.

إنها تسد الفجوة بين "معرفة ماهية الباب" (الرؤية واللغة) وبين "معرفة كيفية تحريك الذراع لفتحه" (الحركة). من خلال إجبار عقل الروبوت على مواءمة أفكاره مع أحاسيسه الجسدية، يصبح الروبوت أفضل بكثير في القيام بالمهمة الفعلية لتحريك الأشياء.

الملخص في جملة واحدة

تعلم هذه الورقة الروبوتات التوقف عن النظر إلى المناظر الطبيعية في الخلفية والبدال في الانتباه إلى كيفية تحرك أجسادها، مما يؤدي إلى حركات جسدية أكثر سلاسة ودقة.

ملخص تقني: تنظيم التمثيل التبايني لنماذج الرؤية واللغة والعمل (VLA)

بيان المشكلة

أظهرت نماذج الرؤية واللغة والعمل (VLA) إمكانات كبيرة في التحكم الروبوتي من خلال الاستفظادة من التمثيلات الدلالية الغنية لنماذج الرؤية واللغة (VLMs) سابقة التدريب. ومع ذلك، لا يزال هناك قصور حرج مستمر: فالتمثيلات المستمدة من نماذج VLMs العامة غالبًا ما تكون دون المستوى الأمثل للتحكم الروبوتي. فبينما يتم تدريب نماذج VLMs على مجموعات بيانات تعليمات بصرية واسعة النطاق، إلا أنها تفتقر إلى التعرض الصريح للأنماط الروبوتية، وتحديدًا إجراءات التحكم منخفضة المستوى والمعلومات الحسية الخاصة (proprioceptive information) (مثل مواضع المفاصل، وحالات النهاية الطرفية).

وبناءً على ذلك، عندما يتم ضبط نماذج VLA بناءً على تمثيلات نماذج VLM المجمدة، تميل التضمينات (embeddings) إلى أن تهيمن عليها المظاهر البصرية (مثل تخطيط المشهد، وأنسجة الخلفية) بدلاً من العوامل ذات الصلة بالتحكم. ويؤدي هذا عدم الاتساق إلى تمثيلات تفشل في التقاط الحالة الفيزيائية للروبوت أو الإشارات الضرورية للتنبؤ الدقيق بالعمل، مما يؤدي إلى أداء دون المستوى في المهام التي تتطلب تحديد المواقع بدقة.

المنهجية: خسارة التباين المدركة لحالة الروبوت (RS-CL)

لمعالجة عدم الاتساق بين تمثيلات VLM والإشارات الروبوتية، يقترح المؤلفون خسارة التباين المدركة لحالة الروبوت (RS-CL). وهي تقنية بسيطة وفعالة لتنظيم التمثيل، مصممة لسد الفجوة بين تضمينات VLM والحالات الحسية الخاصة للروبوت دون الحاجة إلى مراحل تدريب إضافية أو مجموعات بيانات منسقة.

المكونات الأساسية

تعزيز مستوى التمثيل (قطع العرض - View Cutoff):
بدلاً من إجراء عمليات تعزيز مكلفة على مستوى البيانات تتطلب تمريرات متعددة عبر نموذج VLM، قدم المؤلفون عملية "قطع العرض". تقوم هذه العملية بتغطية شريحة الميزة المقابلة لمنظر ملاحظة واحدة عشوائيًا من مخرجات VLM. وهذا ينشئ تضمينات بديلة على مستوى التمثيل بأقل تكلفة حسابية، مما يسمح ببناء أزواج تباينية متنوعة بكفاءة.
رمز التلخيص القابل للتعلم (Learnable Summarization Token):
للتعامل مع التكلفة الحسابية العالية لتطبيق التعلم التبايني على تسلسلات VLM الكاملة (التي تكون طويلة عادةً)، يتم إلحاق رمز تلخيص قابل للتعلم بمخرجات VLM. يقوم المحول (adapter) بمعالجة هذا الرمز لإنتاج تضمين تمثيلي مدمج ( $z$ ) يُستخدم للتعلم التبايني، بينما تظل التضمينات الأصلية ( $h$ ) متاحة لمفكك شفرة العمل (action decoder).
هدف التباين ذو الأوزان الناعمة (Soft-Weighted Contrastive Objective):
تستخدم RS-CL إطار عمل تبايني مُشرف يعتمد على خسارة InfoNCE. وخلافًا لخسائر التباين القياسية التي تعامل جميع الأزواج السلبية بالتساوي، تقوم RS-CL بتعيين أوزان ناعمة لدرجات التشابه بناءً على المسافة الإقليدية بين الحالات الحسية الخاصة للروبوت ( $q_i, q_j$ ).

الآلية: يتم تعيين أوزان أعلى للأزواج ذات المسافات الحسية الصغيرة (الحالات الفيزيائية المتشابهة)، مما يشجع النموذج على جذب تضميناتها لتكون أقرب في فضاء التمثيل. أما الأزواج ذات المسافات الكبيرة، فيتم تعيين أوزان أقل لها.
الصيغة: تُعرف الخسارة كمتغير مرجح من InfoNCE:
$\mathcal{L}_{RS-CL} = - \sum_{i,j} w_{ij} \log \frac{\exp(\text{sim}(z_i, \tilde{z}_j)/\tau)}{\sum_k \exp(\text{sim}(z_i, \tilde{z}_k)/\tau)}$
حيث يتم حساب $w_{ij}$ من المسافة النسبية بين الحالات الحسية الخاصة.

التكامل في التدريب:
تعمل RS-CL كهدف إضافي بجانب خسارة التنبؤ بالعمل القياسية (مثل خسارة مطابقة التدفق - flow-matching loss). الهدف الإجمالي هو $\mathcal{L} = \mathcal{L}_{FM} + \lambda \mathcal{L}_{RS-CL}$ . يتم تقليل معامل الوزن $\lambda$ عبر التدريب، مما يركز على صقل التمثيل في المراحل المبكرة والتركيز على التنبؤ الدقيق بالعمل في المراحل اللاحقة. وهذا يسم يسمح بتدريب مرحلة واحدة متكامل (end-to-end) متوافق مع مسارات VLA الحالية.

المساهمات الرئيسية

هدف مبتكر: تقديم RS-CL، التي تعمل على محاذاة تمثيلات VLM صراحةً مع الحالات الحسية الخاصة للروبوت باستخدام إشراف ناعم مستمر قائم على المسافة.
تصميم فعال: تطوير استراتيجية تعزيز على مستوى التمثيل ("قطع العرض") تتيح تعلمًا تباينيًا خفيف الوزن ومستقرًا دون الحاجة إلى تمريرات إضافية لنموذج VLM.
التوافق: إثبات أن RS-CL متوافقة تمامًا مع مسارات تدريب VLA القياسية، ولا تتطلب تنسيق بيانات إضافي أو عمليات تدريب متعددة المراحل.

النتائج التجريبية

قيم المؤلفون RS-CL عبر اختبارات المحاكاة وتجارب الروبوت الحقيقي.

اختبارات المحاكسة

RoboCasa-Kitchen: حققت RS-CL معدل نجاح قياسي بلغ 69.7% (باستخدام 300 عرض توضيحي)، متفوقة على خط الأساس GR00T N1.5 (65.7%) وغيرها من الخطوط المرجعية القوية مثل $\pi_0$ (62.5%). ومن الجدير بالذكر أنها حققت مكاسب كبيرة في مهام الالتقاط والوضع (pick-and-place)، حيث تحسنت معدلات النجاح من 30.3% إلى 41.5% (+11.2%)، وهي فئة تتطلب تحديدًا دقيقًا للمواقع.
LIBERO: حسنت RS-CL متوسط معدل النجاح من 95.7% إلى 96.4%، مما أظهر قوة عبر مجموعات المهام المتعددة المختلفة.
الكفاءة: مقارنة بشبكات التباين الزمني (TCN)، حققت RS-CL معدلات نجاح أعلى مع تكلفة حسابية أقل بكثير (2.91 $\times 10^{12}$ FLOPs مقابل 7.53 $\times 10^{12}$ لـ TCN)، حيث تتجنب تنقيب البيانات المهيكل زمنيًا والتمريرات الأمامية الإضافية.

تجارب الروبوت الحقيقي

الإعداد: أُجريت التجارب على ذراع Franka Research 3 مع قابض Robotiq 2F-85.
الأداء: في مهام المناولة الصعبة، حسنت RS-CL معدل النجاح من 45.0% إلى 58.3% (+13.3%).
التعميم: أظهرت الطريقة تحسنًا في المتانة تجاه التغيرات البصرية، وتغيرات الخصائص الفيزيائية (أجسام غير مرئية سابقًا)، وظروف الإضاءة، والربط اللغوي. كما أظهرت أداءً محسنًا في المهام ذات الحجب الجزئي (مثل إغلاق غطاء)، وهو ما يُعزى إلى التمثيلات الثابتة تجاه تغير المنظور (view-invariant).

التدريب من الصفر

عند تدريب نماذج VLA من الصفر على مختلف نماذج VLM سابقة التدريب (Qwen2.5-VL, SigLIP2, GR00T N1.5)، حسنت RS-CL الأداء باستمرار عبر جميع البنى المعمارية. لقد تفوقت على الخطوط المرجعية التي تعتمد على مزيد من التدريب لنماذج VLMs على بيانات روبوتية (مثل RoboBrain, VeBrain)، مما يشير إلى أن المحاذاة الصريحة عبر RS-CL أكثر فعالية من مجرد التكيف العام مع المجال وحده.

الأهمية والادعاءات

يدعي البحث أن RS-CL تعالج بفعالية "فجوة النمط" (modality gap) بين نماذج VLMs العامة والمتطلبات المحددة للتحكم الروبوتي. ومن خلال محاذاة التمثيلات صراحةً مع الحالات الحسية الخاصة، تقوم الطريقة بإعادة تشكيل فضاء التضمين لالتقاط الإشارات ذات الصلة بالتحكم (مثل تقدم المهمة ووضعية الروبوت) بدلاً من مجرد المظهر البصري.

يؤكد المؤلفون أن هذا النهج خفيف الوزن وسلس، حيث يتجنب الحاجة إلى تدريب معقد متعدد المراحل أو مجموعات بيانات روبوتية منسقة واسعة النطاق. وتشير النتائج إلى أن دمج إشارات حالة الروبوت مباشرة في عملية تعلم التمثيل أمر بالغ الأهمية للتنبؤ الدقيق بالعمل، خاصة في المهام التي تتطلب تحديد مواقع دقيق. ويشجع هذا العمل الأبحك المستقبلية على دمج إشارات استشعار أخرى (مثل وضع الجسم، أو التغذية الراجعة اللمسية) لتعزيز قدرات VLA بشكل أكبر.