Filling the Pareto-Optimal Front for Affordance Segmentation on Embedded Devices Using RGB-D Cameras
تقترح هذه الورقة نهجين يعتمدان على الوعي بالأجهزة لدمج بيانات RGB-D في شبكات عميقة مدمجة لتقسيم الإمكانيات (affordance segmentation) على الأجهزة المدمجة، محققةً بنجاح أداءً في الوقت الفعلي ضمن حدود الطاقة المتوافقة مع الهواتف الذكية مع تحديد الحلول المثلى في منحنى باريتو التي توازن بين دقة التعميم والقيود العتادية.
المؤلفون الأصليون:Edoardo Ragusa, Giovanni Paolo Canuti, Simone Lugani, Rodolfo Zunino, Paolo Gastaldo
تخيل أنك تعلم يدًا روبوتية كيفية التقاط كوب قهوة. لا يمكنك ببساطة أن تقول لها "أمسكي الكوب"؛ بل يجب عليك إخبارها أين تمسك به. فإذا أمسكت بالمقبض، قد ينقلب الكوب؛ وإذا أمسكت بالقاعدة، فقد ينزلق. هذه هي مهمة "تجزئة الإمكانات" (affordance segmentation): وهو مصطلح معقد لتعليم الكمبيوتر كيف ينظر إلى جسم ما ويحدد بالضبط الأجزاء الآمنة للمس والأجزاء غير الآمنة.
لفترة طويلة، اعتمدت الروبوتات على الكاميرات القياسية (RGB) للقيام بذلك، وهي ترى العالم بالألوان. لكن الألوان قد تكون مخادعة؛ فإذا وُضع كوب أزرق على طاولة زرقاء، قد يرتبك نظام الكاميرا الملونة ويعتقد أن الكوب جزء من الطاولة. وهنا يأتي دور مستشعرات العمق. فكر في مستشعر العمق كعينين يمكنهما أيضًا قياس المسافة، مما ينشئ خريطة ثلاثية الأبعاد للعالم. هو لا يهتم إذا كان الكوب أزرق أو الطاولة زرقاء؛ هو يعرف أن الكوب أقرب إلى الكاميرا. ومع ذلك، فإن التحدي الكبير هو أن الروبوتات غالبًا ما تحتاج أن تكون صغيرة، محمولة، وتعمل بالبطارية. إن تشغيل برامج رؤية ثلاثية الأبعاد معقدة على شريحة صغيرة يشبه محاولة تشغيل كمبيوتر خارق داخل ساعة ذكية—عادة ما يؤدي ذلك إلى ارتفاع درجة الحرارة أو استنزاف البطارية فورًا. لقد حاول العلماء جاهدين معرفة كيفية جعل هذه "الأدمغة المدركة للبعد الثالث" صغيرة بما يكفي لتناسب روبوتًا يمكن ارتداؤه دون استهلاك كل طاقته.
تعالج هذه الورقة البحثية هذه المعضلة تحديدًا. أراد الباحثون معرفة ما إذا كان بإمكانهم بناء دماغ روبوت صغير وفعال يستخدم كلًا من بيانات اللون (RGB) والعمق (D) لمعرفة كيفية الإمساك بالأشياء، كل ذلك أثناء العمل على جهاز محمول. لم يكتفوا بالتخمين؛ بل صمموا "مهندسين معماريين" مختلفين لتصميم هذه الأدمغة. النهج الأول كان "البحث عن بنية عصبية مدركة للأجهزة" (HW-NAS). تخيل هذا كمهندس معماري روبوتي فائق السرعة وآلي، يجرب آلاف التصميمات المختلفة للأدمغة، ويختبر كل منها ليرى أيها يناسب أفضلًا شريحة صغيرة محددة مع بقائه ذكيًا بما يكفي للإمساك بكوب. أما النهج الثاني فكان طريقة "الضبط الدقيق" (fine-tuning)، وهي تشبه أخذ دماغ كان بارعًا جدًا في الرؤية ثنائية الأبعاد (اللون فقط) وتعليمه بلطف كيفية فهم العمق ثلاثي الأبعاد، بدلًا من بناء دماغ جديد من الصفر.
اختبر الفريق هذه الأفكار على مجموعات بيانات واقعية تحتوي على آلاف الصور لأجسام يومية مثل الملاعق، والمطارق، والأكواب. ووجدوا أن إضافة معلومات العمق جعلت الروبوت أكثر ذكاءً في معظم الحالات. فعلى سبيل المثال، عند محاولة تحديد "ملعقة غرف"، كان النموذج الذي يستخدم بيانات العمق أكثر دقة بنسبة 31.6% من النموذج الذي يستخدم الألوان فقط. كان هذا مفيدًا بشكل خاص عندما كانت الإضاءة سيئة أو عندما كانت الأجسام ذات ألوان تندمج مع الخلفية. كما أثبت الباحثون أن تصميماتهم الجديدة تقع على "جبهة باريتو المثلى" (Pareto optimal front). وباللغة البسيطة، هذا يعني أنهم وجدوا النقطة المثالية: هذه النماذج ذكية قدر الإمكان بالنسبة لكمية الطاقة والذاكرة التي تستخدمها. لا يمكنك الحصول على نموذج أكثر ذكاءً دون جعله أكبر أو أبطأ بكثير، ولا يمكنك جعله أصغر دون جعله أقل ذكاءً.
أخيرًا، وضعوا أفضل نماذجهم تحت الاختبار باستخدام نموذج أولي حقيقي: لوحة Jetson Nano (وهي كمبيوتر صغير يُستخدم غالبًا في الروبوتات) متصلة بكاميرا RealSense RGB-D. قاموا بقياس سرعة تفكير النظام واستهلاكه للبطارية. كانت النتائج واعدة؛ فحتى مع العمل الإضافي لمعالجة بيانات العمق ثلاثية الأبعاد، استطاع النظام معالجة الصور في الوقت الفعلي (بواقع يصل إلى 16 إطارًا في الثانية مع التحسين) والعمل ضمن ميزانية طاقة تتوافق مع بطاريات الهواتف الذكية القياسية. تشير الورقة البحثية إلى أنه باستخدام هذه التصميمات الذكية المدركة للعمق، يمكننا جعل الروبوتات القابلة للارتداء ليست فقط أكثر دقة في الإمساك بالأشياء، بل وأيضًا خفيفة وفعالة في استهلاك الطاقة بما يكفي ليرتديها الناس في حياتهم اليومية.
ملخص تقني: ملء جبهة باريتو المثلى لتقسيم القدرة الاستيعابية (Affordance Segmentation) على الأجهزة المدمجة
بيان المشكلة تتطلب الروبوتات القابلة للارتداء قدرات تحكم شبه ذاتية، لا سيما لمهام الإمساك والتحكم، لتخفيف الأعباء الشاقة أو الخطرة عن المستخدمين. ويعد "تقسيم القدرة الاستيعابية" (Affordance Segmentation - AS) مكونًا حاسمًا في خط أنابيب التحكم هذا، حيث يحدد الأجزاء الوظيفية للجسم لتمكين التحكم الدقيق. وبينما تعد الشبكات العصبية العميقة (DNNs) هي المعيار لعملية التقسيم هذه، فإن نشرها على الأجهزة المدمجة المحمولة والمحدودة الطاقة يمثل تحديًا كبيرًا. تعتمد الحلول الحالية غالبًا إما على نماذج "صغيرة جدًا" محسنة للمتحكمات الدقيقة (والتي قد تفتقر إلى المتانة) أو نماذج عالية الأداء غير مقيدة (والتي تكون ثقيلة جدًا على الأجهزة المحمولة). علاوة على على ذلك، فإن دمج مستشعرات العمق (D) التي توفر معلومات هندسية ضرورية للإمساك غير التلامسي في الشبكات العصبية العميقة خفيفة الوزن لعملية تقسيم القدرة الاستيعابية لا يزال غير مستكشف بشكل كافٍ. وغالبًا ما يؤدي الدمج الساذج لبيانات RGB وDepth إلى تحسينات طفيفة أو زيادة التكاليف الحسابية بشكل باهظ. وتتمثل المشكلة الجوهرية في تصميم نظام يستفيد بفعالية من بيانات RGB-D لتحسين التعميم مع الالتزام الصارم بقيود الطاقة والحجم والوقت الفعلي للأجهزة المدمجة.
المنهجية يقترح البحث استراتيجيتين مختلفتين للتصميم بهدف توليد شبكات عصبية عميقة فعالة من حيث الأجهزة لتقسيم القدرة الاستيعابية لـ RGB-D، بهدف تحديد الحلول الموجودة على جبهة باريتو المثلى (الموازنة بين الدقة والمتطلبات العتادية مثل العمليات الحسابية بنقطة عائمة (FLOPs) وعدد المعلمات).
البحث عن بنية عصبية واعية بالعتاد (HW-NAS):
أعاد المؤلفون صياغة HW-NAS باستخدام مساحة بحث جديدة مصممة خصيصًا لمدخلات RGB-D.
تعتمد البنية على هيكل ثنائي المسار حيث تعالج مشفرات منفصلة تدفقات RGB والعمق بشكل مستقل قبل دمجها في عمود فقري مشترك.
يقوم "المجمع" (Aggregator) بدمج مخرجات العمود الفقري مع التمثيلات الوسيطة من طبقات المشفر المتعددة، مما يتيح استخراج الميزات متعددة الدقة.
تسمح مساحة البحث باتصالات مرنة، بما في ذلك اتصالات التخطي (skip connections) من الطبقات المبكرة إلى المجمع، وتحسن معلمات مثل أحجام النواة (kernel sizes)، وعوامل التوسع، والخطوات (strides).
يستخدم التحسين خوارزمية تطورية لاختيار البنيات التي تقلل من خسارة التحقق مع تلبية القيود المتعلقة بوقت الاستدلال والذاكرة.
نهج الضبط الدقيق (Fine-Tuning):
كبديل أقل تكلفة حسابيًا، يقترح البحث تكييف الشبكات المدربة مسبقًا على RGB فقط (تحديدًا MobileNetV3) للتعامل مع مدخلات RGB-D.
يتم إدراج طبقة معالجة مسبقة مخصصة عند المدخل لدمج قناة العمق مع قنوات RGB، مما ينشئ تنسور رباعي القنوات (W×H×4).
تقوم طبقة تلافيفية واحدة (3 مرشحات، خطوة 1) بتقليص هذا التنسور إلى ثلاثة قنوات، مما يسمح لبقية البنية المدربة مسبقًا بمعالجة البيانات "كما هي".
تستفيد هذه الطريقة من التشابه الهيكلي بين خرائط العمق وصور RGB، مما يسمح للشبكة بتعديل الميزات منخفضة المستوى دون تغيير تكوين الأوزان الموجود مسبقًا بشكل كبير.
الإعداد التجريبي تم تقييم الطرق على مجموعتي بيانات من العالم الحقيقي:
UMD: تضم 28,843 صورة RGB-D موزعة على 7 فئات من الأشياء مع إطارات متنوعة.
IIT: تضم 8,835 صورة مع اختلافات في الإضاءة، والانسداد، والدقة. تم تحديد المهمة كتصنيف لكل بكسل لثلاث فئات: "إمساك" (grasp)، "عدم إمساك" (do not grasp)، و"خلفية" (background). تمت مقارنة النماذج مقابل خطوط الأساس المتطورة، بما في ذلك النماذج الصغيرة جدًا (HW-0.5s، HW-1s)، ومتغيرات MobileNetV3 المخصصة، والنماذج القائمة على المحولات (SegFormer)، والشبكات العصبية التلافيفية الكبيرة (EfficientNet، VGG16). تم اختبار النشر على لوحة Jetson Nano متصلة بكاميرا RealSense RGB-D.
النتائج الرئيسية
تحسين الأداء: أظهر كلا النهجين المقترحين أن دمج معلومات العمق يحسن أداء التعميم، لا سيما لفئتي "الإمساك" و"عدم الإمساك". وفي مجموعة بيانات UMD، أظهر نهج HW-NAS مع RGB-D مكاسب في الدقة تصل إلى 2.8% مقارنة بنظيراتها التي تعتمد على RGB فقط.
مثالية باريتو: وجدت النماذج المولدة نفسها باستمرار على جبهة باريتو المثلى عند رسم أداء التعميم مقابل حجم النموذج وعدد العمليات الحسابية (FLOPs). لقد تفوقت على النهج الفعالة عتاديًا الموجودة (النماذج الصغيرة) مع الحفاظ على متطلبات موارد أقل بكثير من النماذج الكبيرة غير المقيدة.
الكفاءة العتادية:
وقت الاستدلال: حققت النماذج المحسنة (باستخدام تكميم TensorRT float16) أداءً في الوقت الفعلي على Jetson Nano، بمعدلات إطارات تتراوح بين 8-16 إطارًا في الثانية اعتمادًا على النموذج ووضع الطاقة (5W مقابل 10W).
استهلاك الطاقة: عمل النظام ضمن ميزانية طاقة متوافقة مع بطاريات الهواتف الذكية القياسية (إجمالي طاقة النظام حوالي 7-11 واط)، مما يسمح بحوالي 3.5 ساعة من التشغيل باستخدام بطارية بسعة 5000 مللي أمبير.
الذاكرة: كانت النماذج المولدة عبر HW-NAS أكثر كفاءة في استخدام الذاكرة من النماذج القائمة على MobileNetV3، حيث استخدمت حوالي 300 ميجابايت من ذاكرة الوصول العشوائي (RAM) مقارنة بـ ~400 ميجابايت للأخيرة.
المتانة: ثبت أن معلومات العمق حاسمة في السيناريوهات ذات الإضاءة غير المثالية أو عندما تتطابق ألوان الأشياء مع الخلفية (مثل مغرفة زرقاء مقابل خلفية زرقاء)، مما عزز دقة التقسيم بشكل كبير.
الأهمية والادعاءات يزعم البحث أن مساهمته الرئيسية هي استراتيجية تصميم تنجح في سد الفجوة بين النماذج "الصغيرة جدًا" والمسرعات عالية الأداء، وتحديدًا للروبوتات القابلة للارتداء. ومن خلال تقديم مساحة بحث HW-NAS مخصدة لبيانات RGB-D، وآلية ضبط دقيق خفيفة الوزن، أثبت المؤلفون أنه من الممكن:
استخراج المعلومات الدلالية عالية المستوى مباشرة من كاميرات RGB-D على الأجهزة الذكية ذات الطاقة المحدودة.
توليد بنيات مثالية وفق جبهة باريتو، مما يوفر أفضل مقايضة بين الدقة والقيود العتادية.
تحقيق استدلال في الوقت الفعلي على الأجهزة المحمولة (Jetson Nano) مع ملفات تعريف طاقة مناسبة للروبوتات القابلة للارتداء التي تعمل بالبطارية.
يؤكد المؤلفون أنه بينما تضيف معالجة العمق تعقيدًا حسابيًا، فإن أساليبهم تتوسع بفعالية لإدارة هذه التكاليف، مما يثبت أن النماذج متوسطة المدى والمخصصة للتطبيقات هي حل حيوي وفعال لخطوط أنابيب التحكم شبه الذاتية القابلة للارتداء. وقد تم تحديد العمل المستقبلي ليشمل دمج تحديد موقع الأشياء لأتمتة التأطير وتوسيع هذه التقنيات لتشمل النماذج القائمة على المحولات (Transformers).