Zero-Shot Transfer of Force Map Estimation Across GelSight Mini Sensors

في عالم الروبوتات، يمثل منح الآلات القدرة على الشعور تحدياً اعتمد لفترة طويلة على الأيدي البشرية. وبينما تستطيع الروبوتات الرؤية والسمع بتطور متزايد، فإن حاسة اللمس لديها غالباً ما تظل مسألة هشة ومصنوعة خصيصاً. يبني الباحثون مستشعرات متخصصة تشبه العيون المطاطية الناعمة، تلتقط صوراً لما تلمسه لفهم الملمس والضغط. ومع ذلك، فإن صنع هذه المستشعرات لا يشبه إنتاج قطع متطابقة على خط مصنع؛ فبما أنها غالباً ما تُجمع يدوياً في المختبرات، لا يوجد مستشعران متطابقان تماماً. قد يكون أحدهما بلون خلفية مختلف قليلاً، أو بطبقة هلامية (جل) أسمك بجزء من المليمتر من الآخر. هذا النقص في التجانس يخلق عقبة كبيرة: فبرنامج الكمبيوتر المدرب على فهم "ملمس" مستشعر معين غالباً ما يفشل تماماً عندما يُقدم له وحدة أخرى، حتى لو بدت متطابقة تقريباً. ولحل هذه المشكلة، يضطر العلماء عادةً إلى جمع كميات هائلة من البيانات الجديدة وإعادة تدريب نماذجهم لكل مستشعر جديد يبنونه، وهي عملية بطيئة ومكلفة تعيق تقدم البراعة الروبوتية.

اقترح فريق من الباحثين في جامعة أليكانتي طريقة لكسر هذه الحلقة، مما يسمح للكمبيوتر بتعلم كيفية قراءة لمس مستشعر واحد ثم تطبيق تلك المعرفة على أي مستشعر آخر من النوع نفسه، دون الحاجة لرؤية مثال جديد واحد أولاً. يركز عملهم على نوع محدد من الأجهزة يسمى "جيل سيت ميني" (GelSight Mini)، والذي يستخدم كاميرا لالتقاط صور لسطح شفاف ناعم أثناء ضغطه على الأجسام. عندما يلمس جسم ما السطح، فإنه يخلق نمطاً فريداً من الضوء والظل يكشف عن شكل وقوة التلامس. طور الباحثون نظاماً يتكون من خطوتين: الأولى تنظف صورة اللمس، وتزيل "البصمة" الفريدة لذلك المستشعر المحدد، ثم تستخدم تلك الصورة المنظفة لحساب مقدار القوة المطبقة بدقة في كل اتجاه. ومن خلال القيام بذلك، أظهروا أن نموذجاً تم تدريبه على مستشعر واحد فقط يمكنه التنبؤ بدقة بالقوى على مستشعرات مختلفة تماماً، حتى تلك التي تمتلك خلفيات بألوان مختلفة، محققاً مستوى من الدقة يضاهي الأنظمة المدربة باستخدام علامات خاصة.

يكمن جوهر اكتشافهم في منهجية تعامل مع الاختلافات بين المستشعرات كمسألة ترجمة وليس كعائق. تخيل أنك تحاول فهم قصة مكتوبة بلهجة لا تتحدثها؛ بدلاً من تعلم كل لهجة جديدة من الصفر، تقوم أولاً بترجمة القصة إلى لغة قياسية تعرفها جيداً، ثم تقرؤها. طبق الباحثون هذا المنطق على الصور اللمسية؛ حيث بنوا نظاماً يأخذ الصورة الخام من مستشعر جديد وغير مألوف ويعيد بناءها لتصبح صورة "عامة" تبدو وكأنها قادمة من مستشعر قياسي ومثالي. تستخدم المرحلة الأولى نوعاً من الذكاء الاصطناعي المدرب على مجموعة كبيرة من الصور من مستشعر واحد، حيث تعلمت الآلة التعرف على الميزات الأساسية للمس مع تجاهل لون الخلفية الخاص أو العيوب الطفيفة لتلك الوحدة تحديداً. والنتيجة هي صورة نظيفة ومعيارية تجرد المستشعر من سماته الفريدة، ولا تترك سوى المعلومات النقية حول الجسم الذي يتم لمسه.

بمجرد توحيد الصورة، يتولى النظام المرحلة الثانية لتحديد القوى الفيزيائية المؤثرة. وجد الباحثون أن مجرد النظر إلى الصورة المعاد بناؤها لم يكن كافياً؛ بل كانوا بحاجة إلى إبراز مكان حدوث التلامس بالضبط. وللقيام بذلك، قاموا بطرح خلفية الصورة المعاد بناؤها من الصورة الأصلية، مما خلق "صورة فرق" تظهر نقاط التلامس فقط. ثم تم تغذية هذه الصورة الواضحة وعالية التباين في شبكة عصبية ثانية مصممة للتنبؤ بخريطة القوة. تحسب هذه الشبكة مقدار الضغط المطبق في ثلاثة أبعاد: الضغط للأسفل، والضغط جانبياً في اتجاهين. اختبر الفريق هذا النهج باستخدام مجموعة بيانات تضم أكثر من 18,000 صورة، حيث كان عليهم أولاً إزالة علامات ملونة صغيرة كانت تُستخدم أصلاً لمساعدة الكمبيوتر على رؤية القوى. أنشأوا خوارزمية لمسح هذه العلامات رقمياً، تاركة وراءها صوراً نظيفة للمس، ثم دربوا نظامهم على التنبؤ بالقوى من هذه الصور الخالية من العلامات.

كانت نتائج هذه التجربة قوية بشكل مفاجئ. فعندما تم اختبار النظام على مستشعرات لم يسبق له رؤيتها من قبل، بما في ذلك وحدات ذات ألوان خلفية مختلفة وخصائص فيزيائية متباينة قليلاً، أظهر أداءً متسقاً بشكل ملحوظ. في المرحلة الأولى، حيث أعاد النظام بناء الصور اللمسية، حقق درجة عالية من التشابه مع الصور الحقيقية في العالم الواقعي، مع درجة تشير إلى أن الصور المعاد بناؤها كانت تكاد لا تختلف عن الصور الحقيقية من حيث الهيكل والتفاصيل. وفي المرحلة الثانية، عند التنبؤ بالقوى الفعلية، كانت الأخطاء التي ارتكبها النظام صغيرة جداً، حيث بلغ متوسط الفرق ما يزيد قليًلا عن نيوتن واحد عن القوة الحقيقية. ولتوضيح السياق، فإن النيوتن الواحد يعادل تقريباً وزن تفاحة صغيرة، مما يعني أن تخمين النظام كان مخطئاً بمقدار وزن تفاحة واحدة عبر كامل سطح المستشعر. وقد تحقق هذا المستوى من الدقة رغم أن النظام لم يتم تدريبه على المستشعرات المحددة التي كان يختبرها، مما يثبت أن المنهجية يمكن أن تعمم عبر وحدات الأجهزة المختلفة.

قارن الباحثون أيضاً نهجهم الخالي من العلامات بالأنظمة التي لا تزال تستخدم العلامات الملونة التقليدية. ووجدوا أنه بينما تساعد العلامات في تقليل الأخطاء قليلاً، إلا أن الفرق لم يكن كبيراً بما يكفي لتبرير التعقيد والعائق البصري الذي تسببه. لقد كان النظام المدرب على صور نظيفة وخالية من العلامات يعمل بشكل جيد تقريباً مثل النظام الذي يستخدم العلامات، مما يشير إلى أن الإزالة الرقمية لهذه العلامات كانت استراتيجية ناجحة. علاوة على ذلك، كانت العملية برمتها سريعة بما يكفي للاستخدام في التطبيقات الفورية؛ إذ يمكن للنظام معالجة صورة وإخراج خريطة القوة في أقل من عشرين مللي ثانية، وهو وقت سريع بما يكفي لمواكبة السرعة التي تلتقط بها هذه المستشعرات الصور. وهذه السرعة أمر بالغ الأهمية للروبوتات التي تحتاج إلى التفاعل فوراً مع بيئتها، مثل يد روبوتية تعدل قبضتها على جسم هش.

رغم هذه النجاحات، كان الباحثون حذرين في الإشارة إلى حدود عملهم الحالي. فقد واجه النظام صعوبة عندما كانت القوى منخفضة للغاية، قريبة من الصفر، أو مرتفعة للغاية، تقترب من الحد الأقصى للمستشعر. كما واجه صعوبة في التنبؤ بالشكل الدقيق لمنطقة التلامس عندما تكون القوى مرتفعة جداً أو عندما يتم الضغط جانبياً بقوة كبيرة. هذه هي المجالات التي لا يزال فيها فهم النموذج لفيزياء اللمس غير مكتمل. ويقترح المؤلفون أن التحسينات المستقبلية قد تتضمن إضافة قواعد تدريب محددة لمساعدة الكمبيوتر على فهم هندسة التلامس بشكل أفضل، مما يضمن الحفاظ على شكل اللمس بدقة تماثل دقة القوة نفسها.

يمثل هذا العمل خطوة مهمة نحو جعل الاستشعار اللمسي عملياً للاستخدام على نطاق واسع. فمن خلال إثبات أن نموذجاً تم تدريبه على مستشعر واحد يمكنه التعميم على العديد من المستشعرات الأخرى، أزال الباحثون عقبة رئيسية في تطوير اللمس الروبوتي. وتظهر طريقتهم أنه من الممكن بناء "مترجم" عالمي للمس، يمكنه أخذ المخرجات الفوضوية والمتغيرة لمستشعرات العالم الحقيقي وتحويلها إلى إشارة نظيفة وموثوقة يمكن للروبوت فهمها. لا يتطلب هذا النهج مجموعات البيانات الضخمة أو ظروف التصنيع المثالية التي كان يُعتقد سابقاً أنها ضرورية، مما يوفر مساراً أكثر مرونة وكفاءة للجيل القادم من الآلات التي يمكنها حقاً الشعور بالعالم من حولها.