From Slots to Relations: Object-Centric Graph World-Action Models for Relational Robot Manipulation
تقدم هذه الورقة نماذج عالم-فعل ذات مركزية كائنية (OC-GWAM)، والتي ترمز صراحةً الهندسة المستمرة وعلاقات الكائنات النوعية عبر محولات الرسوم البيانية (graph transformers) لتحسين دقة نموذج العالم والتعميم في التركيب العلاقاتي في مهام التلاعب الروبوتي بشكل كبير، على الرغم من أن أداء التحكم المباشر في الأفعال يظل منافسًا للنماذج المرجعية الأبسط التي تعتمد على الهندسة فقط أو الانتباه الضمني.
لتعليم الروبوت التحرك بهدف محدد، يجب على المهندسين حل مشكلة تتجاوز مجرد التعرف على الأشياء. يحتاج الروبوت ليس فقط إلى معرفة وجود كوب وصحن، بل إلى فهم كيفية ارتباطهما ببعضهما البعض في الفراغ: هل الكوب موضوع فوق الصحن، أم إلى يساره، أم ربما داخل درج؟ إن هذا الفهم للعلاقات هو الجسر الواصل بين رؤية المشهد والعمل داخله. لسنوات، حاول الباحثون بناء ذكاء اصطناعي يمكنه التنبؤ بالحالة المستقبلية للعالم، وهي قدرة تُعرف باسم "نموذج العالم"، ومن ثم استخدام ذلك التنبؤ لتحديد الإجراء الذي يجب اتخاذه تالياً. والسؤال المركزي الذي يقود الأبحاث الحديثة هو ما إذا كانت هذه النماذج بحاجة إلى رسم خرائط صريحة للروابط بين الأشياء لتنجح، أم أنها تستطيع استنتاج الحركات الضرورية بمجرد النظر إلى الأشياء ومواقعها.
شرع باحث في الإجابة على ذلك من خلال بناء نوع جديد من "أدمغة الروبوتات" التي تعامل العالم كشبكة من العناصر المتصلة. لقد أنشأ نظاماً حيث يمثل كل جسم عقدة، ويتم وصف المساحة بينها بقواعد محددة، مثل "ملامس لـ"، أو "يدعم"، أو "إلى يسار". هذا النهج، الذي يسميه "نموذج عالم الفعل العالمي المرتكز على الأشياء والرسوم البيانية"، يسمح للروبوت برؤية المشهد كشبكة مهيكلة من العلاقات بدلاً من مجرد مجموعة من العناصر المنفصلة. وللتأكد مما إذا كانت هذه الخرائط الصريحة تساعد الروبوت فعلياً على الأداء بشكل أفضل، أجرى الباحث سلسلة من التجارب المنضبطة. فقد بنى أربعة إصدارات مختلفة من عقل الروبوت: نسخة ترى الأشياء فقط، ونسخة ترى المسافات بينها فقط، ونسخة ترى أنواع العلاقات فقط، ونسخة أخيرة تجمع كل هذه المعلومات معاً. ثم وضع هذه النسخ في مواجهة بعضها البعض في مجموعة متنوعة من المهام المحاكية، بدءاً من اختيار الأشياء البسيط وصولاً إلى سيناريوهات معقدة حيث يتعين على الروبوت معرفة أي جسم يجب أن يمسك بناءً على مجموعة من التعليمات.
كشفت النتائج عن حقيقة دقيقة حول كيفية تعلم الروبوتات للتحكم في بيئتها. ففي الحالات التي قيل فيها للروبوت تحديد الجسم المستهدف بدقة، أدى الإصدار الذي اعتمد فقط على المسافات الهندسية أداءً يضاهي النماذج الأكثر تعقيداً عندما تعلق الأمر بتحريك ذراعه. في هذه الحالات، كان معرفة الموقع الدقيق للهدف كافياً؛ ولم تجعل طبقة بيانات العلاقات الإضافية الحركة أكثر دقة. ومع ذلك، تغيرت القصة عندما أزال الباحث التعليمات التي تخبر الروبوت بأي جسم يختار. في هذه الاختبارات، كان على الروبوت استنتاج الهدف بناءً على علاقة، مثل "اختر الجسم الموجود إلى يسار المكعب الأحمر". وهنا، تفوق النموذج الذي جمع بين المسافات الهندسية وأنواع العلاقات بشكل كبير على غيره؛ فقد ارتكب أخطاءً أقل في تحديد الجسم الصحيح وتنبأ بالمواقع المستقبلية للعناصر بدقة أعلى بكثير.
دفع الباحث بهذا الأمر إلى أبعد من ذلك عبر اختبار النماذج في مهام لم يسبق لها رؤيتها، مثل مشاهد تحتوي على عدد أشياء أكثر مما واجهه الروبوت أثناء التدريب، أو تعليمات تدمج قاعدتين مختلفتين من قواعد العلاقات. في هذه السيناريوهات الصعبة، أثبت النموذج الذي يمتلك الفهم العلائقي الكامل أنه الأكثر متانة؛ فقد حافظ على قدرته على إيجاد الهدف الصحيح والتنبؤ بالحالات المستقبلية حتى مع زيادة عدد الأشياء أو عندما تطلبت التعليمات دمج شروط متعددة. ومن المثير للاهتمام أنه بينما كان النموذج ذو الخريطة العلائقية الكاملة هو الأفضل في فهم العالم والتنبؤ بما سيحدث لاحقاً، إلا أن هذا الفهم المتفوق لم يترجم دائماً إلى معدل نجاح مثالي في المهمة الفيزيائية في كل تجربة على حدة. ففي اختبار نهائي باستخدام محاكاة روبوتية قياسية، حقق النموذج ذو الخريطة العلائقية الكاملة والنموذج الذي اعتمد فقط على الهندسة معدلات نجاح متقاربة جداً في إكمال المهام، بل إن النموذج الذي يعتمد على الهندسة فقط نجح في محاولات أكثر قليلاً.
تشير هذه النتيجة إلى أنه بينما يعد رسم خرائط العلاقات بشكل صريح أمراً حاسماً لفهم الروبوت للعالم وإجراء تنبؤات دقيقة، إلا أنه ليس دائماً العامل الحاسم في نجاح حركة بسيطة. فإذا كان بإمكان الروبوت بالفعل رؤية الأشياء ومواقعها بوضوح، فغالباً ما يمكنه استنتاج الحركة الصحيحة دون الحاجة إلى خريطة مفصلة لعلاقاتها. ومع ذلك، عندما تتطلب المهمة التفكير في كيفية تفاعل الأشياء أو العثور على جسم بناءً على وصف معقد، يصبح هذا المعرفة العلائقية الصريحة ضرورية. وتخلص الدراسة إلى أن النهج الأفضل يعتمد على صعوبة الاستدلال المطلوب؛ فبالنسبة للحركات البسيطة، يكفي رؤية الأشياء، ولكن لفهم الشبكة المعقدة من التفاعلات التي تحدد المشهد، يحتاج الروبوت إلى رؤية الروابط بينها. يساعد هذا التمييز في توضيح كيفية بناء ذكاء اصطناعي أفضل: نحن لسنا بحاجة لإجبار كل روبوت على فهم العلاقات العميقة لكل مهمة، ولكن يجب أن نمنحه هذه القدرة عندما تتطلب المهمة ذلك.
ملخص تقني: من الفتحات إلى العلاقات: نماذج عالم-فعل المتمحورة حول الكائنات للروبوتات ذات العلاقات المكانية
بيان المشكلة
يتطلب التحكم الروبوتي للأغراض العامة نماذج يمكنها تحديد الكيانات ذات الصلة بالمهمة، والحفاظ على حالات مستوى الكائنات، وفهم العلاقات بين الكائنات، وتوقع كيفية تغيير الأفعال لتلك العلاقات. وبينما تقوم نماذج "العالم-الفعل" (World-Action Models - WAMs) بربط التنبؤ بالسياسة مع التنبؤ بالحالة المستقبلية، فإن المتغيرات الحالية المتمحورة حول الكائنات غالباً ما تترك العلاقات الهيكلية الزوجية ضمنية. السؤال البحثي المركزي هو ما إذا كان التمثيل الصريح للهندسة المستمرة وعلاقات الكائنات النوعية داخل نموذج (WAM) يوفر قيمة ملموسة مقارنة بتفكيك الكائنات والاهتمام الضمني بالكائنات، وتحديداً عندما يتم التحكم بصرامة في السعة والبيانات والاشتراط.
المنهجية
يقترح المؤلف نماذج عالم-فعل المتمحورة حول الكائنات (OC-GWAM)، وهو إطار عمل يشفر الرسوم البيانية للكائنات باستخدام محول رسوم بيانية مدرك للحواف، ومشفر زمني، ومهايئات منفصلة للسياسة والتنبؤ بالعالم.
البنية الهيكلية
التمثيل البياني: تُنمذج المشاهد كرسوم بيانية موجهة ذات سمات Gt=(Vt,Et)، حيث تمثل العقد الكائنات/الروبوتات مع حالات مستمرة (الموضع، الكينماتيكا) وتمثل الحواف الهندسة الزوجية والعلاقات الفئوية متعددة الملصقات (مثل: يسار، يمين، دعم، تلامس).
الترميز: يستخدم النموذج محول رسوم بيانية مدرك للحواف حيث تؤثر ميزات الحافة على درجات الاهتمام ومحتوى الرسائل. يقوم مشفر مكاني-زماني مشترك بمعالجة تاريخ مكون من H=4 إطارات، ويغذي مهايئات متبقية مفككة للتنبؤ بالفعل (السياسة) والتنبؤ بحالة الرسم البياني المستقبلي (نموذج العالم).
الاشتراط: تعمل استعلامات المهام (مثل "الكائن يسار المرجع") على تعديل تمثيلات العقد قبل التجميع، مما يسمح للنموذج باستنتاج الأهداف بناءً على بنود علاقاتية.
التصميم التجريبي
تستخدم الدراسة تجربة استبعاد تمثيل رباعية الاتجاه عبر ثلاثة اختبارات معيارية اصطناعية وتحقق واحد من محاكي خارجي. تشترك جميع المتغيرات في نفس البنية الأساسية وعدد المعلمات، وتختلف فقط في المدخلات الزوجية:
Slot-WAM: عقد الكائنات فقط؛ تم تصفير الحواف الزوجية (يعتمد على الاهتمام الذاتي الضمني).
Geom-WAM: الهندسة الزوجية المستمرة فقط؛ تم تصفير العلاقات النوعية.
Type-WAM: قنوات العلاقات النوعية فقط؛ تم تصفير الهندسة المستمرة.
OC-GWAM: كل من الهندسة المستمرة والعلاقات النوعية.
الاختبارات المعيارية
RelGraph-v3: يختبر استبعاد التمثيل مع توفير أدوار الهدف والمرجع.
RelComp-v1A: اختبار مع حجب الهدف يتطلب استنتاج هدف من علاقة ذرية واحدة ومرجع. يختبر التعميم في عدد الكائنات (3–4 كائنات تدريب مقابل 5–11 كائناً للاختبار).
RelComp-v1B: اختبار محجوب للارتباطات ثنائية البنود مع حالات سلبية صلبة. يختبر التعميم لأزواج علاقات غير مرئية وأعداد كائنات غير مرئية.
LIBERO-Spatial OracleGraph-v1: تحقق خارجي باستخدام 500 عرض توضيحي رسمي عبر عشر مهام. يستخدم حالة المحاكي (Oracle State) لبناء الرسوم البيانية، مع تقييم الأداء على المسارات المستبعدة من التدريب التجريبي وتجربة أولية مغلقة الحلقة.
النتائج الرئيسية
الاختبارات المعيارية الاصطناعية
RelGraph-v3 (الهدف متوفر): عندما تكون هوية الهدف معروفة، يحقق Geom-WAM أدنى خطأ مباشر في الفعل، بينما يحقق OC-GWAM أعلى F1 لتوقع الحواف. يشير هذا إلى أنه بالنسبة لخرائط الحركة البسيطة، فإن الهندسة الصريحة كافية، بينما تساعد العلاقات أساساً في دقة حالة العالم.
RelComp-v1A (الهدف محجوب): عندما يجب استنتاج الهدف، يتفوق OC-GWAM على جميع المتغيرات في جميع المقاييس (Action L1: 0.01437، Position Error: 0.00562، Edge F1: 0.93591). ويحافظ على تفوقه عبر جميع أعداد الكائنات (3–11) والعلاقات الذرية، مما يقلل الخطأ بنسبة ~18–20% مقارنة بـ Slot-WAM وGeom-WAM.
RelComp-v1B (الارتباطات المحجوبة):
التنبؤ بالفعل: حقق Slot-WAM بشكل مفاجئ أدنى خطأ مباشر في الفعل في معظم النظم، مما يشير إلى أن الاهتمام الضمني كافٍ بمجرد تحديد الهدف لمسارات الاقتراب البسيطة.
التنبؤ بالعالم: يحقق OC-GWAM باستمرار أعلى Micro-F1 للحواف عبر جميع التقسيمات.
التركيب: في تقسيم التركيب المحجوب (Comp-ID)، يقلل OC-GWAM بشكل كبير من خطأ الفعل مقارنة بـ Geom-WAM وType-WAM (الفواصل الزمنية للتمهيد الهرمي تستبعد الصفر)، مما يثبت أن الجمع بين الهندسة والأنواع غير زائد عن الحاجة للتركيب العلاقي.
التحقق الخارجي (LIBERO-Spatial)
مقاييس عدم الاتصال (Offline): في 5,323 نافذة من المسارات المستبعدة من التدريب، حقق OC-GWAM أفضل النتائج في المقاييس الثلاثة: Action L1 (0.083132)، Position Error (0.003256)، وEdge F1 (0.993989).
تجربة أولية مغلقة الحلقة: في تجربة أولية من 240 حلقة (حالتان أوليتان لكل مهمة)، حقق Geom-WAM نسبة نجاح 53.3% وحقق OC-GWAM نسبة 51.7%. الفرق (نجاح واحد في 60 حلقة) ليس ذا دلالة إحصائية، والفواصل الزمنية للثقة تتداخل بشكل كبير. ومع ذلك، أظهر OC-GWAM تباينًا أقل بين البذور (Seed-to-seed variability).
الأهمية والادعاءات
يخلص البحث إلى أن مساهمة العلاقات الصريحة هي تكاملية وتعتمد على السياق، وليست متفوقة عالمياً لجميع مهام التحكم.
دقة نموذج العالم مقابل كفاية السياسة: توفر العلاقات الصريحة (المستمرة والفئوية) تمثيلاً أكثر دقة للحالات العلاقية للعالم وتحسن الأداء في التركيبات العلاقية المحجوبة. ومع ذلك، بالنسبة للتحكم الحركي المباشر حيث يتم تحديد هوية الهدف، يمكن للاهتمام الضمني بالكائنات أو الهندسة وحدها أن يكون كافياً، بل ويؤدي أحياناً إلى خطأ فعل أقل من نماذج الرسم البياني الصريحة.
التحيز الاستقرائي للتركيب: يعد الجمع بين الهندسة والأنواع أمراً ضرورياً للتعميم القوي عندما تتطلب المهام استنتاج الأهداف من بنود علاقاتية معقدة أو التوسع لأعداد كائنات غير مرئية.
محدودية الأدلة الحالية: يدعي المؤلف بتواضع أنه بينما ثبت تحسن دقة نموذج العالم، فإن هذا لا يترجم تلقائياً إلى ميزة ذات دلالة إحصائية في معدلات النجاح في الحلقة المغلقة ضمن نطاق التجربة الأولية الحالي. يعتمد التحقق الخارجي على حالة المحاكي (Oracle state) وليس على الإدراك المتعلم، كما أن تجربة الحلقة المغلقة ذات قدرة إحصائية منخفضة.
تؤسس هذه الدراسة أن الرسوم البيانية العلاقية الصريحة هي انحياز استقرائي قوي للاستدلال العلاقي ونمذجة العالم، لكن ضرورتها للتحكم المباشر تعتمد على تعقيد المهمة ومدى كفاية آليات الاهتمام الضمني. ويتجه العمل المستقبلي نحو استبدال الرسوم البيانية المستمدة من المحاكي باستخراج بصري متعلم وتوسيع نطاق تقييمات الحلقة المغلقة على روبوتات فيزيائية.