Utilizing Inpainting for Keypoint Detection for Vision-Based Control of Robotic Manipulators
تقدم هذه الورقة إطار عمل جديد للتحكم البصري (visual servoing) للمناولات الروبوتية، يستخدم مساراً لجمع البيانات يعتمد على تقنية "الترميم" (inpainting) لتوليد صور تدريب تلقائية التسمية وبدون علامات، مع نموذج ترميم وقت التشغيل مدمج مع مرشح كالمان غير المعطر (Unscented Kalman Filter) لتحقيق كشف ونظام تحكم في النقاط المفتاحية يتسم بالمتانة وخالٍ من النماذج تحت ظروف الرؤية الكاملة والانسداد الجزئي.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول تعليم ذراع آلي كيفية التقاط كوب وتكديسه. عادةً، لكي يفعل المهندسون ذلك، يضطرون لوضع ملصقات ساطعة وعالية التباين (مثل رموز QR أو علامات ArUco) في جميع مفاصل الروبوت حتى تتمكن الكاميرا من معرفة مكان "الأكواع" و"الأكتاف" بدقة. الأمر يشبه وضع شريط نيون على راقص لكي يتمكن المخرج من تتبع حركاته.
ولكن ماذا لو لم تتمكن من وضع ملصقات على الروبوت؟ ربما يكون الروبوت مصنوعاً من مادة ناعمة ومرنة، أو قد تعيق الملصقات المهمة المطلوبة. أو ربما يتحرك الروبوت بسرعة كبيرة تجعل الملصقات تبدو مشوشة.
تقدم هذه الورقة البحثية حلاً ذكياً: علم الروبوت كيف يرى نفسه دون أي ملصقات على الإطلاق، حتى عندما تحجب الأشياء الرؤية.
إليك كيف فعلوا ذلك، مقسماً إلى خطوات بسيطة مع بعض التشبيهات:
1. تدريب "الممحاة السحرية" (جمع البيانات)
لتعليم الروبوت كيف يبدو جسمه بدون ملصقات، استخدم الباحثون خدعة من خطوتين:
- الخطوة أ: قاموا بلصق العلامات الساطعة مؤقتاً على الروبوت والتقطوا آلاف الصور أثناء تحرك الروبوت.
- الخطوة ب: استخدموا أداة ذكاء اصطناعي خاصة تسمى Inpainting (فكر فيها كـ "ممحاة سحرية" أو خاصية "التعبئة المحسنة للمحتوى" في فوتوشوب) لطلاء العلامات رقمياً وتعبئة الفراغات الناتجة بجسم الروبوت الحقيقي ومفاصله.
النتيجة: أصبح لديهم الآن مكتبة ضخمة من الصور حيث يبدو الروبوت طبيعياً (بدون ملصقات)، ولكن الكمبيوتر يعرف تماماً أين توجد المفاصل لأنه يتذكر أين كانت الملصقات سابقاً. استخدموا هذه المكتبة لتدريب ذكاء اصطناعي يُدعى "محقق النقاط المفتاحية" (Keypoint Detective).
2. "محقق النقاط المفتاحية" (كشف النقاط المفتاحية)
بمجرد تدريبه، يمكن لهذا الذكاء الاصطناعي النظر إلى صورة الروبوت والإشارة فوراً إلى "مفاصله" (مثل الأكتاف، والأكواع، والمعاصم) بمجرد النظر إلى المنحنيات والظلال الطبيعية لذراع المعدن. الأمر يشبه نظرة الإنسان إلى ظل شخص ما ومعرفته بمكان أكواع هذا الشخص، حتى دون رؤية جلده.
3. "محرك الخيال" (التعامل مع الحجب)
هذا هو الجزء الصعب: ماذا لو قام صندوق، أو شخص، أو جزء آخر من الروبوت بحجب رؤية الكاميرا؟ قد يرتبك "محقق النقاط المفتاحية" ويقول: "لا أستطيع رؤية الكوع!".
لحل هذه المشكلة، أضاف الباحثون ذكاءً اصطناعياً ثانياً، وهو محرك الخيال (Imagination Engine).
- المشكلة: إذا كانت اليد مختبئة خلف كوب، فإن الكاميرا العادية ترى كوباً فقط.
- الحل: ينظر هذا الذكاء الاصطناعي إلى الأجزاء المرئية من الروبوت والمشهد المحيط، ثم يتخيل (يعيد بناء) الشكل الذي يجب أن يكون عليه الجزء المخفي. إنه يملأ الفراغات بجسم الروبوت المفقود بحيث يستطيع "محقق النقاط المفتاحية" رؤية المفاصل رغم كل شيء.
- التشبيه: تخيل أنك تنظر إلى صديق يقف خلف سياج؛ لا يمكنك رؤية سوى رأسه وقدميه. عقلك يقوم تلقائياً بـ "ملء" بقية جسده لتعرف أنه واقف هناك. هذا الذكاء الاصطناعي يفعل ذلك رياضياً وبشكل فوري.
4. "المُشغل السلس" (مرشح كالمان - Kalman Filter)
أحياناً، قد يخطئ "محرك الخيال" في تخيله، أو قد يصبح "محقق النقاط المفتاحية" مهتزاً قليلاً. لمنع الروبوت من الاهتزاز أو التحرك بشكل مفاجئ، أضافوا مرشح كالمان.
- التشبيه: فكر في هذا كـ نظام GPS تنبؤي. إذا كان ذراع الروبوت يتحرك بسلاسة نحو اليمين، وفجأة حدث خلل في الكاميرا لجزء من الثانية وأظهرت أن الذراع فجأة على اليسار، فإن نظام الـ GPS يعرف ويقول: "هذا مستحيل! الذراع كان يتحرك لليمين، لذا لا بد أنه لا يزال يتحرك لليمين". إنه يعمل على تنعيم الأخطاء والحفاظ على سلاسة الحركة.
5. "الطيار الأعمى" (التحكم)
أخيراً، يستخدم الروبوت كل هذه المعلومات لتحريك نفسه. هو لا يحتاج إلى خريطة ثلاثية الأبعاد، ولا يحتاج لمعرفة الفيزياء الدقيقة لمفاصله، ولا يحتاج إلى مسطرة. هو فقط ينظر إلى الكاميرا، ويرى أين توجد "مفاصله الطبيعية" (أو أين يجب أن تكون)، ويضبط محركاته للوصول إلى الهدف.
لماذا يعد هذا أمراً هاماً؟
- لا حاجة للملصقات: يمكنك استخدام هذه التقنية على الروبوتات اللينة، أو الروبوتات الرخيصة، أو الروبوتات في البيئات الفوضوية حيث قد تسقط الملصقات.
- لا حاجة لكاميرات ثلاثية الأبعاد: يمكنه العمل باستخدام كاميرا ثنائية الأبعاد بسيطة (مثل كاميرا الويب).
- القوة والمتانة: يستمر في العمل حتى عندما تحجب الأشياء الرؤية، وهو أمر بالغ الأهمية للمهام الواقعية مثل تكديس الأكواب أو تجميع القطع في مصنع مزدحم.
باخت-صريح: علم الباحثون الروبوت التعرف على أجزاء جسمه باستخدام "ممحاة سحرية" لإنشاء بيانات التدريب، و"محرك خيال" للرؤية عبر العوائق، و"مشغل سلس" للحفاظ على استقرار الحركات. وهذا يسمح للروبوت بالتحكم في نفسه باستخدام كاميرا بسيطة فقط، دون الحاجة إلى مستشعات باهظة الثمن أو علامات مادية.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.