🤖 machine learning

Grounding Bodily Awareness in Visual Representations for Efficient Policy Learning

تقدم هذه الورقة البحثية ICon، وهي طريقة تعلم تبايني لنماذج المحولات الرؤية (Vision Transformers) تعمل على فصل الرموز الخاصة بالوكيل عن الرموز الخاصة بالبيئة لإنشاء تمثيلات بصرية مدركة للجسم، مما يعزز كفاءة تعلم السياسات وقابلية النقل عبر الروبوتات في مهام المناولة الروبوتية.

المؤلفون الأصليون: Junlin Wang, Zhiyun Lin

نُشر 2026-02-17

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Junlin Wang, Zhiyun Lin

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تعلم روبوتًا القيام بالأعمال المنزلية، مثل وضع غطاء على قدر أو إغلاق درج. أنت تعرض للروبوت آلاف الفيديوهات لإنسان يقوم بهذه المهام. يمتلك الروبوت كاميرا (عينيه) وعقلاً (شبكة السياسة الخاصة به) يحاول من خلالها معرفة ما يجب فعله تالياً.

المشكلة: معضلة "الضجيج الزائد"
المشكلة هي أن كاميرا الروبوت ترى كل شيء: ذراع الروبوت، الطاولة، القدر، والجدار في الخلفية، والإضاءة. الأمر يشبه محاولة تعلم قيادة سيارة بينما تنظر إلى أفق المدينة بأكمله، والسيارات الأخرى، والأشجار، والطريق جميعاً في آن واحد. هذا يجعل الروبوت يتشتت. إنه يكافح للفصل بين "أنا" (ذراع الروبوت) و"العالم" (كل شيء آخر).

في التدريب التقليدي للذكاء الاصطناعي، يحاول الروبوت تعلم كل شيء دفعة واحدة. وأحياناً، قد يركز الروبوت بشدة على تفاصيل الخلفية (مثل لون الجدار) لدرجة أنه ينسى الانتباه لذراعه. هذا يجعل التعلم بطيئاً وخرقاً.

الحل: ICon (التباين بين الرموز - Inter-token Contrast)
ابتكر مؤلفا هذه الورقة البحثية، جونلين وانغ وزيهيون لين، حيلة ذكية تسمى ICon. فكر في ICon كـ "مدرب للوعي الذاتي" للروبوت.

إليك كيف يعمل، باستخدام تشبيه بسيط:

1. "دماغ الموزاييك" (محولات الرؤية - Vision Transformers)

غالباً ما تستخدم الروبوتات الحديثة نوعاً من الذكاء الاصطناعي يسمى Vision Transformer. تخيل أن تغذية كاميرا الروبوت ليست مجرد صورة كبيرة واحدة، بل هي موزاييك (فسيفساء) عملاق مكون من آلاف القطع الصغيرة (تسمى "الرموز" أو tokens).

بعض القطع تظهر ذراع الروبوت.
بعض القطع تظهر القدر.
بعض القطع تظهر الخلفية.

2. لعبة "التجميع" (Clustering)

تعلم طريقة ICon الروبوت كيف يلعب لعبة فرز القطع.

القاعدة: "القطع التي تظهر أنا (الروبوت) يجب أن تبدو متشابهة جداً مع بعضها البعض. القطع التي تظهر العالم يجب أن تبدو متشابهة مع بعضها البعض أيضاً. لكن 'أنا' و'العالم' يجب أن يبدوا مختلفين تماماً، مثل الزيت والماء".
النتيجة: يتعلم عقل الروبوت إنشاء حدود ذهنية واضحة. يتوقف عن التشتت بالخلفية ويركز بكثافة على حركات جسده. هذا ما يسمى الوعي بالجسم أو الإدراك الحسي البصري العميق.

3. حيلة "النقطة الأبعد"

للتأكد من أن الروبوت لا يكتفي باختيار بضع قطع عشوائية من ذراعه للتعلم منها، يستخدم المؤلفون تقنية تسمى أخذ العينات بالنقطة الأبعد (Farthest Point Sampling - FPS).

التشبيه: تخيل أنك تحاول وصف ملعب كرة قدم لشخص لم يره من قبل. إذا اخترت ثلاث نقاط فقط بجانب المرمى مباشرة، فسيكون وصفك منحازاً.
الحل: تجبر تقنية FPS الروبوت على اختيار قطع موزعة عبر كامل جسده. هذا يضمن أن يفهم الروبوت شكله الكامل، وليس مجرد جزء صغير منه.

4. الغوص العميق "متعدد المستويات"

عادةً ما يتعلم الذكاء الاصطناعي في طبقات، مثل تقشير البصل. الطبقات الخارجية ترى الأشكال البسيطة (الحواف)، والطبقات الداخلية ترى الأجسام المعقدة.

أدرك المؤلفون أن مجرد تعليم لعبة "الذات مقابل العالم" هذه في الطبقة الأخيرة ليس كافياً.
لذا، طبقوا هذه القاعدة في كل طبقة من طبقات الدماغ، من الحواف البسيطة إلى الأشكال المعقدة. هذا يضمن فهم الروبوت لجسده عند كل مستوى من مستويات التفاصيل، من "شكل الذراع" إلى "حركة القابض".

لماذا يهم هذا؟

اختبر المؤلفون هذه الطريقة على 8 مهام مختلفة (مثل تكديس المكعبات أو فتح الأبواب) مع 3 أنواع مختلفة من الروبوتات.

أداء أفضل: تعلمت الروبوتات بشكل أسرع وكانت أكثر نجاحاً في مهامها.
قدرة أفضل على الانتقال: هذا هو الجزء الأروع. إذا قمت بتدريب روبوت على ذراع "Franka"، ثم أعطيته لذراع "Kinova" (والتي تبدو مختلفة)، فإن الروبوت يتكيف بسرعة أكبر بكثير. لأنه تعلم مفهوم "جسدي" بدلاً من مجرد حفظ "ذراع فرانكا"، يمكنه تطبيق تلك المعرفة على أجسام جديدة بسهولة.
الاستقرار: على عكس الطرق الأخرى التي تحاول "إعادة بناء" الصورة (والتي يمكن أن تجعل التدريب غير مستقر وتؤدي إلى الانهيار)، فإن ICon هي مجرد دفعة لطيفة تحافظ على التدريب سلساً ومستقراً.

الخلاصة

تتعلق هذه الورقة البحثية بتعليم الروبوتات معرفة نفسها. من خلال إجبار الذكاء الاصطناعي على التمييز بوضوح بين "أنا" و"العالم" في كل صورة يراها، يصبح الروبوت متعلماً أفضل، وأسرع، وأكثر قدرة على التكيف. إنه الفرق بين طالب يتشتت بضجيج الفصل الدراسي وطالب يركز تماماً على حركاته الخاصة.

إليك ملخص تقني مفصل للورقة البحثية بعنوان "تأصيل الوعي بالجسم في التمثيلات البصرية لتعلم السياسات بكفاءة" (Grounding Bodily Awareness in Visual Representations for Efficient Policy Learning) من تأليف جونلين وانغ وزييون لين.

1. بيان المشكلة

تواجه عملية تعلم سياسة التحكم الروبوتي في المناولة تحديًا جوهريًا: استخراج المعلومات الواعية بالجسم (الحس العميق البصري) من المدخلات البصرية عالية الأبعاد.

المشكلة: في التعلم البصري الحركي (visuomotor) من طرف إلى طرف (حيث يتم تحسين المشفرات البصرية وشبكات السياسة بشكل مشترك)، غالبًا ما تتقارب النماذج نحو "عنق زجاجة" يقوم بتصفية الإشارات "غير ذات الصلة بالمهمة". ومن المفارقات أن هذا يشمل الإشارات البصرية المتعلقة بجسم الوكيل نفسه، وهي إشارات حاسمة لفهم ديناميكيات الجسم وتنفيذ الحركات بمرونة.
قصور الطرق الحالية: تحاول الأساليب السابقة فصل الوكيل عن البيئة باستخدام خسائر إعادة بناء مساعدة (مثل إعادة بناء صور RGB أو أقنعة الوكيل). ومع ذلك، يرى المؤلفون أن خسائر إعادة البناء يمكن أن تؤدي إلى عدم استقرار التدريب وقد لا تكون الطريقة الأكثر طبيعية لاستخلاص تمثيلات منفصلة دون التضحية بأداء السياسة.
الهدف: تطوير طريقة تشجع صراحةً المشفر البصري على تعلم تمثيلات متمحورة حول الوكيل (تمييز الروبوت عن البيئة) لتحسين كفاءة تعلم السياسة، واستقرارها، وقابليتها للنقل، دون المساس باستقرار التدريب.

2. المنهجية: التباين بين الرموز (Inter-token Contrast - ICon)

يقترح المؤلفون ICon، وهو إطار عمل للتعلم التبايني مصمم لـ محولات الرؤية (Vision Transformers - ViTs). بدلاً من إعادة بناء البكسلات، يفرض ICon انفصالًا في فضاء الميزات بين الرموز (tokens) التي تمثل الوكيل والرموز التي تمثل البيئة.

المكونات الأساسية:

أقنعة الوكيل على مستوى الرمز:
- تتم معالجة صورة RGB المدخلة بواسطة ViT لتوليد ميزات على مستوى الرمز.
- يقوم قناع تقسيم ثنائي (تم توليده عبر نماذج مثل SAM) بتحديد بكسلات الوكيل.
- يتم تحويل هذا القناع ذو المستوى البكسلي إلى "رقع" (patchified) ليتوافق مع رموز ViT. يحدد عتبة $\beta$ ما إذا كان الرمز مهيمنًا من قبل الوكيل أم مهيمنًا من قبل البيئة.
خسارة التباين بين الرموز:
- توليد الاستعلام (Query Generation): يتم حساب متوسط ميزات جميع رموز الوكيل لتشكيل استعلام الوكيل ( $q_a$ )، ويتم حساب متوسط رموز البيئة لتشكيل استعلام البيئة ( $q_e$ ).
- اختيار المفاتيح عبر أخذ العينات بالنقطة الأبعد (FPS): لضمان التنوع، قام المؤلفون بتكييف أخذ العينات بالنقطة الأبعد (Farthest Point Sampling - FPS) من السحب النقطية ثلاثية الأبعاد إلى شبكة الرموز ثنائية الأبعاد.
  - بدلاً من أخذ العينات العشوائي، يختار FPS مفاتيح موزعة مكانيًا بشكل جيد عبر مناطق الوكيل والبيئة.
  - يضمن ذلك أن الميزات المختارة تلتقط جوانب هيكلية متنوعة بدلاً من التكتل في مناطق صغيرة.
- حساب الخسارة: يتم تطبيق خسارة InfoNCE بشكل متماثل:
  - يتم سحب $q_a$ ليصبح أقرب إلى مفاتيح الوكيل ( $K_a$ ) ودفعه بعيدًا عن مفاتيح البيئة ( $K_e$ ).
  - يتم سحب $q_e$ ليصبح أقرب إلى مفاتيح البيئة ( $K_e$ ) ودفعه بعيدًا عن مفاتيح الوكيل ( $K_a$ ).
التباين متعدد المستويات (Multi-Level Contrast - MLC):
- غالبًا ما يُطبق التعلم التبايني القياسي فقط عند الطبقة النهائية. يمدد ICon ذلك ليشمل جميع طبقات مشفر المحول (Transformer Encoder Layers).
- تُستخدم مجموع أوزان الخسائر عبر الطبقات، حيث تتلقى الطبقات الأعمق (التي تشفر ميزات دلالية أكثر) أوزانًا أعلى عبر المعامل $\gamma$ . يضمن هذا الفصل التام عبر تسلسل الشبكة الهرمي.
التكامل مع تعلم السياسة:
- يتم دمج ICon كـ هدف مساعد في تدريب سياسة الانتشار (Diffusion Policy) (وهي خوارزمية تعلم تقليد متطورة).
- دالة الخسارة الإجمالية هي: $L = L_{diffusion} + \lambda L_{ICon}$ .
- يسمح هذا للسياسة بتعلم تمثيلات مهيكلة للوكيل والبيئة مباشرة من البكسلات الخام مع الحفاظ على التدريب من طرف إلى طرف.

3. المساهمات الرئيسية

إطار عمل ICon: طريقة تعلم تبايني مبتكرة تفصل صراحةً بين ميزات الوكيل وميزات البيئة على مستوى الرمز في محولات الرؤية (ViTs)، مما يدمج انحيازات استقرائية خاصة بالجسم.
أخذ العينات بالنقطة الأبعد (FPS) ثنائي الأبعاد: تكييف FPS مع شبكات الرموز ثنائية الأبعاد لاختيار مفاتيح متنوعة وممثلة للتعلم التبايني، مما يمنع تكتل الميزات ويحسن جودة التمثيل.
التفكيك متعدد المستويات: تصميم يطبق قيود التباين عبر مستويات متعددة من طبقات المحول، مما يضمن تعلم الفصل بين الوكيل والبيئة في مستويات مختلفة من التجريد.
الاستقرار: على عكس المهام المساعدة القائمة على إعادة البناء (مثل Crossway)، يحافظ ICon على استقرار تدريب عالٍ ولا يؤدي إلى تدهور أداء السياسة الأساسي.

4. النتائج التجريبية

تم تقييم الطريقة على 8 مهام مناولة عبر معيارين (RLBench و Robosuite) باستخدام 3 روبوتات مختلفة (Franka و Kinova و KUKA).

تحسن الأداء:
- تفوقت السياسات المعززة بـ ICan (ICon-Diff-C و ICon-Diff-T) باستمرار على سياسات الانتشار الأساسية (Diff-C و Diff-T) والأساليب القائمة على إعادة البناء (Crossway-Diff).
- شملت المكاسب الملحوظة تحسنًا مطلقًا بنسبة 21.3% في مهمة "Open Box" و تحسنًا بنسبة 13.3% في مهمة "Close Microwave" في RLBench.
- في المهام طويلة الأمد حيث فشلت النماذج القائمة على CNN (بنسبة نجاح 0%)، حققت ICon-Diff-T معدلات نجاح إيجابية.
نقل السياسة (التعلم القليل - Few-Shot):
- أظهرت السياسات المدربة مسبقًا على روبوت Franka والتي تم ضبطها بدقة على روبوتات Kinova أو KUKA أن ICan حسنت معدلات نجاح النقل بشكل كبير مقارنة بالنماذج المرجعية.
- يشير هذا إلى أن ICan تتعلم ميزات غير مرتبطة بالشكل (morphology-agnostic) وتعمم بشكل أفضل عبر أجسام الروبوتات المختلفة.
استقرار التدريب:
- أظهرت التجارب أنه بينما حققت الطرق القائمة على إعادة البناء (Crossway) أداءً ذرويًا عاليًا، إلا أن متوسط أدائها انخفض بشكل كبير، مما يشير إلى عدم الاستقرار.
- حافظ ICan على معدل نجاح متوسط مرتفع طوال فترة التدريب، مما أظهر قوة فائقة.
دراسات الاستئصال (Ablation Studies):
- عتبة القناع ( $\beta$ ): أعطت القيمة 0.5 أفضل النتائج؛ وأي انحراف عنها أدى إلى تدهور الأداء بشكل كبير.
- أخذ عينات المفاتيح: كان استخدام FPS أمرًا بالغ الأهمية؛ حيث أدى أخذ العينات العشوائي إلى تدهور الأداء.
- التباين متعدد المستويات: تسبب إزالة MLC في انخفاض ملحوظ في الأداء، مما يؤكد الحاجة إلى التفكيك في الطبقات العميقة.

5. الأهمية والعمل المستقبلي

الأهمية: يثبت هذا العمل أن تأصيل "الوعي بالجسم" في التمثيلات البصرية هو استراتيجية قابلة للتطبيق وفعالة لتعلم الروبوتات. إنه يقدم حلاً لمشكلة "تصفية الذات" في التعلم من طرف إلى طرف دون عدم استقرار خسائر إعادة البناء. إنه يسد الفجوة بين الإدراك البصري والحس العمق، مما يتيح سياسات أكثر كفاءة وقابلية للنقل.
القيود: تنطوي عملية التنفيذ الحالية على عبء حسابي بسبب عملية FPS، مما يجعلها أقل كفاءة للبيانات الضخمة. التجارب حاليًا محدودة في بيئة المحاكاة.
الاتجاهات المستقبلية: يخطط المؤلفون لاختبار ICan في بيئات العالم الحقيقي مع وجود ضوضاء ومشتتات، ويهدفون إلى تحقيق نقل السياسة الصفري (zero-shot policy transfer) عبر روبوتات ذات أشكال بنيوية مختلفة تمامًا.