💻 computer science

RoTri-Diff: A Spatial Robot-Object Triadic Interaction-Guided Diffusion Model for Bimanual Manipulation

تقترح الورقة البحثية RoTri-Diff، وهو إطار عمل للتعلم بالتقليد قائم على الانتشار، يعمل على نمذجة العلاقة الثلاثية المكانية بين ذراعين آليين وجسم ما بشكل صريح لتوليد مسارات تلاعب ثنائية اليد مستقرة ومنسقة، متفوقاً بذلك على النماذج المرجعية المتطورة في كل من مهام المحاكاة والمهام الواقعية.

المؤلفون الأصليون: Zixuan Chen, Nga Teng Chan, Yiwen Hou, Chenrui Tie, Zixuan Liu, Haonan Chen, Junting Chen, Jieqi Shi, Yang Gao, Jing Huo, Lin Shao

نُشر 2026-03-10

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Zixuan Chen, Nga Teng Chan, Yiwen Hou, Chenrui Tie, Zixuan Liu, Haonan Chen, Junting Chen, Jieqi Shi, Yang Gao, Jing Huo, Lin Shao

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول نقل كعكة ثقيلة وهشة من طاولة إلى رف. أنت بحاجة إلى شخصين (أو ذراعين آليتين) للقيام بذلك. يجب على أحد الشخصين إمالة الكعكة قليلاً، بينما يقوم الشخص الآخر بتمرير يده تحتها ليلتقطها.

إذا لم يتحدث الشخصان مع بعضهما البعض، أو إذا ركز كل منهما فقط على يديه دون النظر إلى الكعكة، فستقع الكارثة: تنزلق الكعكة، أو تصطدم الأيدي ببعضها، أو تُسحق الكعكة.

هذا هو بالضبط ما يحله بحث RoTri-Diff. إليك تفصيل الأمر بكلمات بسيطة:

1. المشكلة: "الراقصون الخرقاء"

أساليب تعلم الروبوتات الحالية تشبه الراقصين الخرقاء. فهي تقع في ثلاث عادات سيئة:

راقص "الوضعيات الرئيسية": هم ينظرون فقط إلى نقاط البداية والنهاية (مثل مدرب رقص يقول "ابدأ هنا، وانتهِ هناك"). هم لا يهتمون بالخطوات التي تقع بينهما، لذا غالباً ما يتعثرون بأقدامهم (يصطدمون) أو يسقطون الشيء.
راقص "التدفق المستمر": يحاولون حفظ كل حركة صغيرة بدقة متناهية. ولكن إذا تغير الموقف قليلاً (مثل أن تكون الكعكة مزاحة بمقدار مليمتر واحد لليسار)، فإنهم يرتبكون ويفشلون لأنهم جامدون للغاية.
راقص "الشيء فقط": يركزون تماماً على الكعكة، متجاهلين كيفية وضع أيديهم بالنسبة لها. قد يحاولون الإمساك بالكعكة بينما يدهم الأخرى تعترض طريقهم بالفعل.

النتيجة: تفشل الروبوتات في المهام التي تتطلب تنسيقاً دقيقاً، مثل التقاط طبق حيث تقوم إحدى الأذرع بإمالته بينما تمسكه الأخرى.

2. السر البشري: "المثلث الثلاثي"

عندما نقوم بهذا العمل كبشر، نحن لا نفكر فقط في "يدي اليسرى" و"يدي اليمنى". نحن نفكر غريزياً في مثلث يتكون من ثلاث نقاط:

اليد اليسرى
اليد اليمنى
الشيء (الكعكة/الطبق)

نحن نعدل هذا المثلث باستمرار. إذا مالت الكعكة، نعرف فوراً كيف نحرك أيدينا للحفاظ على استقرار المثلث. نحن ندرك العلاقة بين الثلاثة جميعاً، وليس مجرد الأجزاء.

3. الحل: RoTri-Diff

ابتكر المؤلفون إطار عمل جديد للذكاء الاصطناعي يسمى RoTri-Diff يعلم الروبوتات التفكير مثل البشر من خلال نمذجة هذا "التفاعل الثلاثي".

RoTri (التفاعل الثلاثي بين الروبوت والشيء): هذه هي "الخريطة الذهنية" للروبوت لذلك المثلث. بدلاً من معرفة مكان الأيدي في الغرفة فحسب، يقوم الروبوت بحساب العلاقة ثلاثية الأبعاد الدقيقة بين اليد (أ)، واليد (ب)، والشيء. إنه يعاملهم كوحدة واحدة متصلة.
نموذج الانتشار (Diffusion Model): تخيله كـ "نحات". تخيل كتلة من الرخام (ضجيج عشوائي). يقوم النحات بنحت الزوائد ليكشف عن تمثال. نموذج الانتشار يبدأ بخطة عشوائية وفوضوية لكيفية تحرك الروبوت، ثم يقوم بـ "نحت" الأفكار السيئة خطوة بخطوة حتى تتبقى خطة حركة مثالية وسلسة وخالية من الاصطدامات.

4. كيف يعمل (الوصفة)

يستخدم RoTri-Diff نهجاً هرمياً (متعدد الطبقات)، مثل مشروع بناء:

المخطط الهندسي (الوضعيات الرئيسية): أولاً، يحدد المعالم الرئيسية (مثلاً: "يجب أن يكون الذراع (أ) هنا، والذراع (ب) هناك").
الحركة (تدفق الشيء): يتنبأ بكيفية تحرك الشيء (مثلاً: "الطبق سيميل بزاوية 15 درجة").
الغراء (RoTri): هذا هو المكون السحري. فهو يتحقق باستمرار من "المثلث" بين الذراعين والشيء. يضمن أنه أثناء تحرك الروبوت، لا تصطدم الأذرع ببعضها البعض ولا ينزلق الشيء.

إنه يجمع كل هذه الإشارات في عقل واحد قوي يولد "رقصة" مستمرة وسلسة لأذرع الروبوت.

5. النتائج: من المحاكاة إلى الواقع

اختبر الفريق هذا النظام في محاكاة حاسوبية على 11 مهمة صعبة مختلفة (مثل وضع كمبيوتر محمول في درج أو كنس الغبار في وعاء) ثم على روبوتات حقيقية مادية.

في الكمبيوتر: تفوق على أفضل الروبوتات السابقة بفارق كبير (نسبة نجاح أعلى بـ 10.2%). لقد حل مهام فشلت فيها الروبوتات الأخرى تماماً، مثل مهمة "التقاط الطبق" المعقدة.
في العالم الحقيقي: اختبروه على أذرع روبوتية حقيقية وكاميرات حقيقية. نجحوا في التقاط الطماطم، وغسل الأطباق، ورفع سلال ثقيلة دون إسقاط أي شيء أو الاصطدام.

الخلاصة

RoTri-Diff يشبه منح الروبوت "حاسة سادسة" للعلاقات المكانية. فبدلاً من رؤية ذراعين وشيء كأشياء منفصلة، فإنه يراهم كفريق متصل. من خلال تعليم الروبوت صراحةً كيفية الحفاظ على "المثلث" الهندسي بين يديه والشيء، يمكنه القيام بمهام دقيقة ومنسقة كانت مستحيلة سابقاً على الآلات.

باختصار: لقد أوقفوا الروبوتات عن كونهم راقصين خرقاء وعلموهم أن يكونوا فرقة رقص متناغمة وواعية.

إليك ملخص تقني مفصل لورقة البحث بعنوان: "RoTri-Diff: نموذج انتشار موجه بالتفاعل الثلاثي المكاني بين الروبوت والشيء للتحكم ثنائي اليد في المناولة".

1. بيان المشكلة

تتطلب المناولة ثنائية اليد تنسيقاً دقيقاً ومستمراً بين ذراعين روبوتيين لأداء مهام معقدة (مثل رفع صينية، أو التقاط طبق). وبينما يعد "التعلم بالتقليد" (Imitation Learning - IL) هو النموذج السائد لاكتساب هذه المهارات، إلا أن الأساليب الحالية تعاني من قيود حرجة:

الأساليب المتمحورة حول الروبوت: غالباً ما تعتمد على وضعيات مفتاحية (keyposes) متفرقة (مما يؤدي إلى ضعف في التحكم في الحالة المتوسطة والاصطدامات)، أو أفعال مستمرة كثيفة (مما يؤدي إلى فرط التخصيص للمسارات وضعف الإدراك).
الأساليب المتمحورة حول الشيء: تدمج حركة الشيء ولكنها تفشل في نمذجة العلاقة الهندسية الديناميكية بين الذراعين والشيء بشكل صريح.
الفجوة الجوهرية: تفتقر الأنظمة الحالية إلى الوعي الثلاثي المكاني. فهي لا تدرك صراحةً علاقات الوضعية (6D poses) النسبية بين الذراع اليسرى، والذراع اليمنى، والشيء الذي يتم التعامل معه في آن واحد. يؤدي هذا إلى الفشل في المهام التي تتطلب تنسيقاً دقيقاً، مثل إمالة أحد الذراعين لشيء ما بينما يمسكه الآخر، مما ينتج عنه سقوط الأشياء، أو اصطدام الذراعين ببعضهما، أو عدم استقرار القبضة.

2. المنهجية: RoTri-Diff

يقترح المؤلفون RoTri-Diff، وهو إطار عمل للتعلم بالتقليد يعتمد على الانتشار الهرمي (hierarchical diffusion) والذي يعمل على نمذجة التفاعل الثلاثي بين الروبوت والشيء (RoTri) بشكل صريح.

أ. التمثيل الجوهري: RoTri

الابتكار المركزي هو متجه RoTri، الذي يشفر الوضعيات النسبية (6D poses) بين الطرفين النهائيين (end-effectors) والشيء.

التعريف: $R_t = [p_{left \to right}, p_{left \to obj}, p_{right \to obj}] \in \mathbb{R}^{21}$ .
البنية: يتكون من ثلاثة مكونات سباعية الأبعاد (موقع ثلاثي الأبعاد + كواتيرنيون رباعي الأبعاد) تمثل الوضعية النسبية للذراع اليسرى بالنسبة للذراع اليمنى، وللشيء، وللذراع اليمنى بالنسبة للشيء.
الوظيفة: يخلق هذا قيداً هندسياً مثلثياً مستمراً، مما يسمح للسياسة (policy) بالحفاظ على علاقات مكانية مستقرة وتجنب الاصطدامات ديناميكياً.

ب. بنية الانتشار الهرمية

يعمل RoTri-Diff كنموذج انتشار هرمي يدمج ثلاث إشارات توجيهية:

الوضعيات المفتاحية للروبوت (Robot Keyposes): نقاط مسار عالية المستوى للتخطيط طويل المدى.
تدفق النقاط للشيء (Object Pointflow): الحركة المتوقعة للسحابة النقطية للشيء (للتعامل مع الانسداد والديناميكيات).
علاقة RoTri: القيود المكانية المستمرة بين الأذرع والشيء.

تتضمن عملية التنبؤ بالفعل ثلاث مراحل:

التنبؤ المتزامن: يتنبأ النموذج بـ تدفق النقاط للشيء المستقبلي وقطاع RoTri مستمر (تطور العلاقة الثلاثية).
توليد الوضعيات المفتاحية: باستخدام تدفق النقاط المتوقع وحالة RoTri عند لحظات زمنية محددة للوضعيات المفتاحية، يقوم النموذج بتوليد وضعيات الأطراف النهائية المستهدفة (keyposes).
توليد الفعل المستمر: يدمج النموذج تدفق النقاط المتوقع، وقطاع Roটি الكامل، والوضعيات المفتاحية المولدة لتقليل الضجيج (denoise) وتوليد تسلسل كثيف من الأفعال المستمرة.

ج. الإدراك البصري والتدريب

الإدراك: يستخدم مستخرج سمات ثلاثي الأبعاد (يجمع بين DINOv2 للسمات الدلالية وPointNet++ للضغط الهندسي) لمعالجة مدخلات RGB-D متعددة الرؤى.
استراتيجية التدريب: يتعلم النموذج التنبؤ بـ التغير ( $\Delta R_t$ ) في تمثيل RoTri بشكل تدريجي، بدلاً من الوضعيات المطلقة، مما ينقل التركيز إلى ديناميكيات التفاعل النسبية.
دالة الخسارة (Loss Function): هي مجموع مرجح لخسائر الأفعال المستمرة، والوضعيات المفتاحية، وتدفق نقاط الشيء، وتغيرات تنبؤ RoTri.

3. المساهمات الرئيسية

تمثيل RoTri: تقديم تمثيل تفاعل ثلاثي جديد يشفر صراحةً الوضعيات النسبية (6D poses) لذراعين وشيء، مما يضع قيوداً هندسية مستمرة لتنسيق مستقر.
إطار عمل RoTri-Diff: نموذج انتشار هرمي يجمع بشكل تآزري بين وضعيات الروبوت المفتاحية، وديناميكيات الشيء، وقيود RoTri. وهو أول إطار عمل للتعلم بالتقليد ثنائي اليد يدمج الإشارات الثلاث (الوضعيات المفتاحية، حركة الشيء، والتفاعل بين الروبوت والشيء).
الأداء المتفوق (SOTA): تحقق نتائج واسعة النطاق تظهر أداءً فائقاً في كل من المحاكاة والسيناريوهات الواقعية، خاصة في المهام التي تتطلب تنسيقاً دقيقاً وغير متزامن.

4. النتائج التجريبية

المحاكاة (معيار RLBench2)

المهام: تم التقييم على 11 مهمة تمثيلية ثنائية اليد تغطي التنسيق المتماثل، والمتزامن، وغير المتزامن (مثل: التقاط الطبق، تسليم عنصر، رفع الصينية).
الأداء: حقق RoTri-Diff متوسط معدل نجاح قدره 80.9%، متفوقاً على أفضل النتائج السابقة (PPI) بنسبة 10.2%.
النجاحات الرئيسية:
- التقاط الطبق (Pick Plate): حقق 40.7% مقابل 0.0% لـ PPI (الذي فشل بسبب غياب الوعي الثلاثي).
- التسليم (Handover - الصعب): حقق 52.3% مقابل 15.0% لـ AnyBimanual.
- وضع عنصر في الدرج: 87.0% مقابل 52.7% لـ 3D Diffuser Actor.

التجارب في العالم الحقيقي

الإعداد: روبوتان من نوع xArm6 مع كاميرات متعددة الرؤى (Intel RealSense) لأداء أربع مهام صعبة: التقاط الطماطم والموز، التقاط الطبق، غسل الطبق، ورفع السلة.
النتائج:
- التقاط الطماطم والموز: 5/5 نجاح (تنسيق متماثل).
- التقاط الطبق: 3/5 نجاح (غير متماثل/متتابع: أحد الذراعين يميل والآخر يمسك).
- غسل الطبق: 4/5 نجاح.
- رفع السلة: 4/5 نجاح (رفع متزامن تحت الحمل).
الأهمية: أثبت المتانة في التعامل مع القيود المكانية الصارمة والتبعيات الزمنية في بيئات العالم الحقيقي غير المنظمة.

دراسات الاستئصال (Ablation Studies)

ضرورة الهيكلية: أدى إزالة إما وحدة الوضعيات المفتاحية أو وحدة الفعل المستمر إلى تدهور الأداء بشكل كبير، مما يثبت أن كلاً من التخطيط عالي المستوى والتنفيذ منخفض المستوى مطلوبان.
كثافة التوجيه: وُجد أن توجيه RoTri الكثف لكل خطوة زمنية يتفوق على التوجيه المتفرق، مما يمنع تراكم الأخطاء والانجراف.

5. الأهمية والخاتمة

يعالج RoTri-Diff فجوة أساسية في الروبوتات ثنائية اليد: وهي نقص النمذجة الصريحة لـ العلاقة المكانية بين وكيلين وشيء ما. من خلال معاملة نظام (الروبوت-الشيء) ككيان ثلاثي وفرض القيود الهندسية عبر عملية انتشار، يحقق الأسلوب استقراراً يشبه استقرار البشر في مهام المناولة المعقدة.

الأثر: يُمكّن الروبوتات من أداء مهام كانت تُعتبر سابقاً غير مستقرة للغاية بالنسبة لأساليب التعلم بالتقليد الحالية، مثل إمالة جسم بذراع بينما يمسكه الآخر.
القيود: يعتمد النهج الحالي على افتراضات الأجسام الصلبة وتقدير دقيق للوضعية (6D pose)، مما يحد من تطبيقه على الأجسام القابلة للتشوه أو البيئات شديدة عدم التنظيم.
العمل المستقبلي: توسيع التمثيل الثلاثي للتعامل مع الأجسام القابلة للتشوه وتمكين الانتقال عبر مختلف الأجساد الروبوتية (cross-embodiment transfer).

باختصار، يمثل RoTri-Diff خطوة كبيرة للأمام في مهارة اليد الروبوتية، حيث يتجاوز مجرد الرؤى المتمحورة حول الذراع أو الشيء إلى منظور التفاعل الثلاثي الشامل.