💻 computer science

Generalizable Coarse-to-Fine Robot Manipulation via Language-Aligned 3D Keypoints

تقترح الورقة البحثية إطار عمل "سياسة التلاعب المتوافقة لغويًا من الخشن إلى الناعم" (CLAP)، وهو إطار يدمج تفكيك المهام، والضبط الدقيق للنماذج اللغوية البصرية الكبيرة (VLM) للتنبؤ بنقاط الارتكاز ثلاثية الأبعاد، والتمثيلات المدركة ثلاثية الأبعاد لتحقيق تعميم فائق في عمليات التلاعب الروبوتية بعدد أقل بكثير من عروض التدريب مقارنة بالطرق الرائدة.

المؤلفون الأصليون: Jianshu Hu, Lidi Wang, Shujia Li, Yunpeng Jiang, Xiao Li, Paul Weng, Yutong Ban

نُشر 2026-02-24

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Jianshu Hu, Lidi Wang, Shujia Li, Yunpeng Jiang, Xiao Li, Paul Weng, Yutong Ban

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تعلم روبوتًا كيفية صنع شطيرة.

إذا قلت للروبوت فقط، "اصنع شطيرة"، وعرضت عليه فيديو واحدًا وأنت تفعل ذلك، فقد يرتبك الروبوت إذا كان الخبز على اليسار بدلاً من اليمين، أو إذا كان السكين بلون مختلف. الأمر يشبه محاولة اتباع خريطة تعمل ليوم واحد محدد فقط.

تقدم هذه الورقة البحثية طريقة جديدة لتعليم الروبوتات تسمى CLAP (سياسة التحكم المتوافقة لغويًا من المستوى الكلي إلى التفصيلي). فكر في CLAP كـ مدير مشروع ذكي يساعد العامل الروبوت على إنجاز المهمة، حتى عندما تتغير الظروف.

إليك كيف يعمل، مقسمًا إلى ثلاث خطوات بسيطة:

1. تقسيم "الوصفة" (تفكيك المهمة)

تحاول معظم الروبوتات حفظ فيلم المهمة بأكمله دفعة واحدة. لكن CLAP مختلف؛ فهو يعمل مثل طاهٍ يفكك وصفة معقدة إلى خطوات صغيرة وبسيطة.

الطريقة القديمة: "اذهب إلى الثلاجة، أحضر الحليب، صبّه، ثم أعد الغطاء." (إذا كانت الثلاجة في مكان مختلف، يصاب الروبوت بالذعر).
طريقة CLAP: يقوم بتفكيك المهمة الكبيرة إلى تعليمات لغوية صغيرة:
1. "ابحث عن مقبض الثلاجة."
2. "أمسك المقبض."
3. "اسحب الباب."
4. "ابحث عن علبة الحليب."
5. "أمسك علبة الحليب."

من خلال تقسيم المهمة الكبيرة إلى "خطوات لغوية" صغيرة، يمكن للروبوت دمج وخلط المهارات. فإذا عرف كيفية "الإمساك بمقبض"، يمكنه استخدام تلك المهارة على درج، أو باب، أو خزانة، حتى لو لم يسبق له رؤية هذا الشيء المحدد من قبل.

2. "تسليط الضوء" (من الكلي إلى التفصيلي)

تخيل أنك تبحث عن إبرة صغيرة في كومة قش. إذا نظرت إلى كومة القش بأكملها مرة واحدة، فسيكون من الصعب رؤيتها. ولكن إذا قام شخص ما بتسليط تسليط ضوء على المكان الدقيق الذي توجد فيه الإبرة، فسيصبح الأمر سهلاً.

الخطوة "الكلية" (Coarse): ينظر "عقل" الروبوت (نموذج ذكاء اصطناعي فائق الذكاء) أولاً إلى الغرفة بأكملها ويقول: "حسنًا، الإبرة موجودة في مكان ما داخل كومة القش هذه". إنه يختار منطقة عامة.
الخطوة "التفصيلية" (Fine): بعد ذلك يقوم الروبوت بعمل "زوم" (تقريب)، مثل عدسة الكاميرا التي تركز، فقط على كومة القش المحددة تلك. الآن، يمكنه رؤية الإبرة بوضوح والإمساك بها.

هذا يوفر على الروبوت عناء محاولة معالجة الغرفة بأكملها بتفاصيل عالية، مما يجعله أسرع وأكثر كفاءة.

3. المساعد "المنطقي" (التوافق اللغوي)

هذه هي الخدعة السحرية. تستخدم الورقة البحثية ذكاءً اصطناعيًا مدربًا مسبقًا (مثل دردشة ذكية جدًا قرأت كل ما هو موجود على الإنترنت) للمساعدة في توجيه الروبوت.

المشكلة: عادة ما تكون الروبوتات سيئة في فهم لماذا تفعل شيئًا ما. إنها تكتفي فقط بتقليد ما تراه.
حل CLAP: قبل أن يتحرك الروبوت، يقوم "المساعد" (الذكاء الاصطناي) بالتفكير بصوت عالٍ. يقول: "يحتاج الروبوت لفتح الدرج. أولاً، يجب أن يجد المقبض. ثم يجب أن يسحب."

الروبوت لا يخمن فحسب؛ بل يتبع خطة منطقية يولدها الذكاء الاصطناعي. إذا غيرت المهمة إلى "افتح الدرج العلوي" بدلاً من "السفلي"، فإن الذكاء الاصطناعي يفهم الفرق فورًا لأنه يفهم الكلمات، وليس مجرد الصورة.

لماذا يعد هذا أمرًا مهمًا؟

اختبر الباحثون هذا على معيار يسمى GemBench، وهو بمثابة "امتحان نهائي" للروبوتات لمعرفة ما إذا كان بإمكانها التعامل مع مواقف جديدة.

النتيجة: كان CLAP أفضل بنسبة 12% من أفضل الروبوتات الموجودة حاليًا في التعامل مع الأشياء والمهام الجديدة.
الكفاءة: إليك المفاجأة: تعلم CLAP كل هذا باستخدام خُمس (1/5) فقط من بيانات التدريب التي احتاجتها الروبوتات الأخرى.
- تشبيه: إذا احتاجت الروبوتات الأخرى لمشاهدة 100 فيديو لتعلم خدعة ما، فإن CLAP احتاج فقط لمشاهدة 20 فيديو.
الواقع العملي: لقد اختبروه أيضًا على روبوت حقيقي مادي. مع 10 تجارب تدريبية فقط، استطاع الروبوت التعامل مع أشياء جديدة (مثل كوب بلون مختلف) ومهام جديدة (مثل رص المكعبات بترتيب جديد) لم يسبق له رؤيتها من قبل.

الملخص

CLAP يشبه إعطاء الروبوت مدير مشروع ذكي ومتحدث.

يفكك المهام الكبيرة إلى خطوات صغيرة ومفهومة.
يستخدم تسليط الضوء للتركيز بدقة على ما يجب القيام به.
يستخدم اللغة للتفكير المنطقي عبر المشكلات الجديدة، حتى لا يضطر الروبوت لإعادة تعلم كل شيء من الصفر في كل مرة تتغير فيها البيئة.

هذا يعني أن الروبوتات يمكنها أخيرًا الخروج من المختبرات إلى منازلنا ومصانعنا، حيث الأمور فوضوية، وغير متوقعة، وتتغير باستمرار.

إليك ملخص تقني مفصل لورقة البحث "Generalizable Coarse-to-Fine Robot Manipulation via Language-Aligned 3D Keypoints" (CLAP)، المنشورة في ICLR 2026.

1. بيان المشكلة

أظهر تعلم الروبوتات عبر التعلم بالتقليد (Imitation Learning) واعداً في التعامل ثلاثي الأبعاد، لكنه يواجه تحديين حرجين في التعميم:

التعميم على تغيرات البيئة (G1): القدرة على العمل في إعدادات جديدة ذات مظهر أشياء أو خلفيات أو مواضع مختلفة.
التعميم التركيبي للمهارات (G2): القدرة على معالجة مهام جديدة طويلة المدى من خلال تركيب مهارات تم تعلمها مسبقاً.

توفر السياسات من الخشن إلى الدقيق (coarse-to-fine policies) الحالية (التي تتنبأ بنقطة مفتاحية ثلاثية الأبعاد للتركيز عليها لتنفيذ إجراء دقيق) كفاءة عالية في العينات ودقة عالية. ومع ذلك، فإنها غالباً ما تفشل في التعميم لأنها:

تعتمد على التدريب من الصفر، وتفتقر إلى قدرات الاستنتاج التي تمتلكها نماذج الرؤية واللغة (VLMs) سابقة التدريب.
تربط المسار بأكمله بوصف مهمة رفيع المستوى واحد، مما يحد من الاستدلال التركيبي.
يوجد انزياح نطاق (domain shift) بين نماذج VLMs سابقة التدريب (المدربة على صور الإنترنت) وبيانات الروبوتات ثلاثية الأبعاد، مما يؤدي إلى ضعف التنبؤ بالنقطة المفتاحية ثلاثية الأبعاد.
تفتقر غالباً إلى الاستدلال المكاني ثلاثي الأبعاد الصريح، وتعتمد بشكل كبير على المدخلات البصرية ثنائية الأبعاد.

2. المنهجية: إطار عمل CLAP

يقترح المؤلفون CLAP (Coarse-to-fine Language-Aligned manipulation Policy)، وهو إطار عمل هرمي يدمج تفكيك المهام، وضبط نماذج VLM، والتمثيلات المدركة للأبعاد الثلاثية.

أ. المستوى العالي: مخطط المهام الخشن (Coarse Task Planner)

بدلاً من التنبؤ بنقطة مفتاحية مباشرة من وصف مهمة رفيع المستوى، يستخدم CLAP نموذج VLM سابق التدريب (تحديداً Qwen 2.5 VL-3B) كـ "مخطط مهام خشن" مع مسار استنتاج مبتكر:

تفكيك المهمة: يقوم الـ VLM بتفكيك تعليمات رفيعة المستوى (مثل "افتح الدرج") إلى سلسلة من التعليمات اللغوية الخطوية (مثل "اخفض الذراع"، "أمسك المقبض"، "اسحب للخلف"). هذا يعزز التعميم التركيبي للمهارات (G2).
بروتوكول الاستنتاج ثنائي الجولات:
- الجولة الأولى (نص فقط): يولد الـ VLM خطة لغوية كاملة ( $L$ ) بناءً على وصف المهمة.
- الجولة الثانية (بصري + نصي): يأخذ الـ VLM الملاحظة الحالية والخطة المولدة للتنبؤ بـ تعليمات الخطوة الحالية ( $\ell_{tk}$ ) والنقطة المفتاحية ثلاثية الأبعاد ( $p_{tk}$ ) المقابلة لها.
الاستدلال بسلسلة الأفكال (CoT): لسد الفجوة بين نماذج VLMs ثنائية الأبعاد والروبوتات ثلاثية الأبعاد، يتم تدريب الـ VLM على إجراء عملية استدلال متسلسلة:
- الخطوة 1: تحديد موقع الأشياء المتعلقة بالمهمة (التنبؤ بمواقع الأشياء ثلاثية الأبعاد).
- الخطوة 2: توليد تعليمات الخطوة المحددة.
- الخطوة 3: التنبؤ بالنقطة المفتاحية ثلاثية الأبعاد.
التدريب المساعد: يتم تدريب الـ VLM بشكل مشترك مع مجموعة بيانات مواقع الأشياء (الكشف عن الأشياء ثلاثية الأبعاد) لتعزيز التعميم الصفري (zero-shot) على الأشياء الجديدة وتحسين الفهم المكاني.
الذاكرة قصيرة المدى: للمهام طويلة المدى، يتلقى النموذج تعليمات الخطوة السابقة كمدخل للحفاظ على السياق ومنع أخطاء التكرار.

ب. المستوى المنخفض: متنبئ الإجراء الدقيق (Fine-Grained Action Predictor)

بمجرد أن يحدد الفرع الخشن منطقة الاهتمام (ROI) عبر النقطة المفتاحية ثلاثية الأبعاد، يتنبأ الفرع الدقيق بالإجراء النهائي.

المدخلات: تعليمات الخطوة المحددة ( $\ell_{tk}$ ) وصور RGB-D المحسنة والمقصوصة متعددة المشاهد.
التمثيل المدرك للبعد الثالث:
- المحاذاة البصرية-اللغوية: يستخدم مشفراً بصرياً-لغوياً سابق التدريب (SigLIP) لمحاذاة تعليمات الخطوة مع الميزات البصرية (RGB).
- البنية الهندسية: يستخدم مشفراً مخصصاً (DINOv2) لصور العمق لالتقاط الحواف والخطوط الهندسية.
- التضمين المكاني: يولد تضمينات المواقع ثلاثية الأبعاد من الإحداثيات ثلاثية الأبعاد لكل بكسل لحقن الوعي المكاني صراحةً.
الدمج: يتم دمج جميع التضمينات عبر Transformer متعدد المشاهد للتنبؤ بالإجراء النهائي. يضمن هذا الهيكل استفادة النموذج من النماذج سابقة التدريب المتخصصة في كل من اللغة والهندسة ثلاثية الأبعاد، مما يتغلب على مشكلات انزياح النطاق في نماذج VLMs القياسية.

3. المساهمات الرئيسية

بنية مبتكرة: تقديم سياسة من الخشن إلى الدقيق حيث يعمل الفرع عالي المستوى كـ مخطط مهام خشن يقوم بتفكيك المهام إلى تعليمات لغوية خطوية، مما يتيح التعميم التركيبي.
مسار تكيف VLM: تصميم استراتيجية ضبط دقيق محددة لنماذج VLMs تتضمن الاستدلال بسلسلة الأفكار (تحديد موقع الأشياء $\leftarrow$ توليد التعليمات $\leftarrow$ التنبؤ بالنقطة المفتاحية) ومهام الكشف عن الأشياء المساعدة لمواءمة نماذج VLMs مع المعالجة ثلاثية الأبعاد.
التمثيل المدرك للبعد الثالث: تطوير متنبئ إجراء دقيق يدمج الميزات البصرية المحاذية للغة مع تضمينات المواقع ثلاثية الأبعاد الصريحة، مما يحسن الدقة وكفاءة العينات بشكل كبير.
أداء رائد (SOTA): إثبات تعميم فائق في كل من بيئات المحاكاة والواقع الفعلي بعدد أقل بكثير من عينات التدريب.

4. النتائج التجريبية

المحاكاة (GemBench)

تم التقييم على GemBench، وهو معيار مصمم لاختبار التعميم عبر أربعة مستويات:

L1: مواضع جديدة.
L2: أشياء صلبة جديدة (شكل/لون).
L3: أشياء مفصلية جديدة.
L4: مهام جديدة طويلة المدى.
الأداء: حقق CLAP متوسط معدل نجاح قدره 62.0%، متفوقاً على أفضل النتائج السابقة (BridgeVLA) بنسبة 12%.
كفاءة العينات: حقق CLAP هذه النتيجة باستخدام 20 مساراً تدريبياً فقط لكل مهمة (خُمس المسارات الـ 100 التي استخدمتها النماذج المرجعية).
المهام طويلة المدى: أظهر CLAP مكسباً هائلاً في مهام المستوى 4 (31.4% مقابل ما يقرب من 0% للعديد من النماذج المرجعية)، مما يثبت فعالية تفكيك المهام.

التجارب في العالم الحقيقي

الإعداد: تم التدريب على روبوت حقيقي (كاميرا Intel RealSense) باستخدام 10 عروض توضيحية فقط لكل مهمة.
التعميم: تم الاختبار تحت تأثير الاضطرابات البصرية (الإضاءة، الخلفية، المشتتات) وتغيرات المهام (استبدال الأشياء، تركيب المهارات).
النتائج: حقق CLAP متوسط معدل نجاح قدره 77.3%، مقارنة بـ 22.5% للنموذج المرجعي RVT2. والجدير بالذكر أن CLAP نجح في مهام فشل فيها RVT2 تماماً (على سبيل المثال، 0% نجاح لـ RVT2 في مهمة "وضع الشكل في الكوب" مقابل 80% لـ CLAP).

5. الأهمية والأثر

جسر الفجوة: يجسّر CLAP الفجوة بفعالية بين نماذج VLMs القوية وعامة الأغراض وبين المتطلبات الخاصة للروبوتات التي تعاني من ندرة البيانات.
كفاءة البيانات: من خلال الاستفادة من المعرفة سابقة التدريب وتفكيك المهام، يقلل CLAP عبء جمع البيانات بعامل يتراوح بين 5 إلى 10 أضعاف مقارنة بالطرق الحالية، مما يجعل النشر في العالم الحقيقي أكثر جدوى.
الاستدلال التركيبي: إن الانتقال من وصف المهام الأحادي إلى التعليمات اللغوية الخطوية يسمح للروبوتات بـ "التفكير" عبر المهام المعقدة متعددة الخطوات، وهي خطوة حاسمة نحو روبوتات عامة الغرض حقاً.
المحاذاة ثلاثية الأبعاد: توفر الطريقة مخططاً قوياً لتكييف النماذج الأساسية التي تركز على البعد الثنائي مع مهام الاستدلال المكاني ثلاثي الأبعاد دون الحاجة إلى كميات ضخمة من بيانات التدريب المخصصة للبعد الثالث.

في الختام، يمثل CLAP تقدماً كبيراً في تعلم الروبوتات من خلال الجمع بين التخطيط الهرمي، والتفكيك الموجه لغوياً، والتمثيل المدرك للبعد الثالث لتحقيق تعميم قوي بأقل قدر من البيانات.