RoboFind: Multi-Agent Personalized Object Search for People Who Are Blind or Have Low Vision
يُعد RoboFind إطار عمل متعدد الوكلاء يُمكّن المستخدمين المكفوفين وضعاف البصر من تحديد مواقع أشياء شخصية محددة من خلال الجمع بين واجهة تعليمية قائمة على الهاتف الذكي وقدرات البحث والتحقق الذاتي لروبوت رباعي الأرجل، مما يحقق معدلات نجاح وموثوقية أعلى بكثير من الطرق المرجعية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
بالنسبة للأشخاص المكفوفين أو ضعاف البصر، غالباً ما يتم التنقل في العالم من خلال الصوت واللمس والذاكرة. وبينما قدمت التكنولوجيا منذ فترة طويلة أدوات للمساعدة في الحركة، مثل الكلاب المرشدة أو العصي، لا يزال هناك نوع مختلف من التحديات: وهو العثور على غرض محدد في الغرفة. تعتمد الحلول الحالية غالباً على تجول المستخدم في المكان، حاملاً كاميرا، والأمل في لمح ما يبحث عنه. وإذا كان الغرض مخبأً خلف كرسي أو في زاوية، فإن الكاميرا لن تستطيع رؤيته، وتفشل عملية البحث. والسؤال الذي طرحه الباحثون هو: هل يمكن لروبوت أن يتولى العمل البدني للبحث، بالتحرك عبر المساحة للعثور على عنصر ما بينما يبقى المستخدم في مكانه بأمان، وكل ذلك دون الحاجة إلى رؤية النتيجة بأنفسهم؟
هذه هي المشكلة الجوهرية التي يعالجها نظام جديد يسمى "RoboFind". فقد قام الباحثون، الذين يعملون في معهد كارلسروه للتكنولوجيا في ألمانيا، ببناء إطار عمل يربط بين هاتف ذكي، يحمله المستخدم، وروبوت رباعي الأرجل يقوم بعملية البحث. تم تصميم النظام للتعامل مع صعوبة محددة للغاية: وهي العثور على عنصر معين، مثل حقيبة ظهر زرقاء مفضلة أو نظارة طبية محددة، بدلاً من مجرد العثور على أي غرض من هذا النوع. فالروبوت الذي يمكنه فقط العثيد على "حقيبة ظهر" قد يحضر الحقيبة الخاطئة، مما يترك المستخدم في حالة من الإحباط. يحل "RoboFind" هذه المشكلة عن طريق تقسيم المهمة إلى مرحلتين متمايزتين: تعليم الروبوت ما يجب أن يبحث عنه، ثم التحقق من أنه وجد الشيء الصحيح تماماً قبل إخبار المستخدم بأن المهمة قد اكتملت.
تبدأ العملية بتعليم المستخدم للروبوت. باستخدام تطبيق للهاتف الذكي مصمم ليكون متاحاً عبر الصوت واللمس، يقوم المستخدم بتسجيل مقاطع فيديو قصيرة للغرض الذي يريد العثود عليه. يوجه التطبيق المستخدم لتحريك الهاتف حول الغرض، لالتقاط صور له من الأمام، والجانب، والأعلى، وكذلك مقابل خلفية مختلفة. هذا ليس مجرد صورة بسيطة؛ إذ يقوم النظام بتحليل هذه الفيديوهات لإنشاء ملف تعريف رقمي مفصل للغرض. إنه يخزن مجموعة من المراجع المرئية التي تصف بدقة كيف يبدو ذلك الحقيبة المحددة، مما يميزها عن أي حقيبة أخرى في المنزل. وبمجرد حفظ هذا الملف، يمكن للمستخدم اختياره من قائمة وطلب البحث من الروبوت.
عندما يبدأ البحث، يدخل روبوت رباعي الأرجل، يشبه في شكله الكلب، إلى الغرفة. هو لا يعرف مكان الغرض، لذا يستخدم نظام ملاحة لاستكشاف البيئة، بالتحرك للأمام، والدوران، ومسح المساحة. وعندما يعتقد نظام الملاحة الخاص بالروبوت أنه وجد تطابقاً محتملاً، يتوقف. ومع ذلك، هنا يختلف النظام عن المحاولات السابقة؛ فبدلاً من الإعلان فوراً عن العثور على الغرض، يتوقف الروبوت ويرسل صورة لما يراه إلى الهاتف الذكي لإجراء فحص ثانٍ. يقوم جزء منفصل من البرنامج بمقارنة هذه الصورة الجديدة مع مرجع البيانات الأصلي الذي تم إنشاؤه خلال مرحلة التعليم. ويسأل سؤالاً بسيطاً: هل يبدو هذا تماماً مثل العنصر المحدد الذي علمني إياه المستخدم؟
إذا كانت الصورة تطابق المراجع المخزنة بشكل وثيق بما يكفي، يؤكد الروبوت العثور على الغرض ويبلغ النجاح للمستخدم. أما إذا كانت الصورة لا تطابق، على سبيل المثال إذا توقف الروبوت أمام حقيبة سوداء أخرى تبدو مشابهة ولكنها ليست الحقيبة الصحيحة، فإن النظام يرفض المرشح. لا يستسلم الروبوت؛ بل يمسح ذاكرته من تلك البقعة، ويلتف، ويواصل البحث حتى يجد العنصر الصحيح. هذه الحلقة من البحث، والتوقف، والتحقق، وإما القبول أو الاستمرار في البحث، هي جوهر النظام. إنها تضمن أن الروبوت لا يقوم بمجرد التخمين بناءً على وصف عام، بل يتحقق من هوية الغرض قبل إعلان اكتمال المهمة.
اختبر الباحثون هذا النظام في بيئات واقعية، بما في ذلك غرف النوم، وغرف المعيشة، والمطابخ، وحتى الحدائق. وقد أجروا اثنين وثلاثين مهمة منفصلة لعشرة أغراض مستهدفة مختلفة، تراوحت بين أشياء يمكن تحريكها مثل المظلات والمناشف، وأشياء ثابتة مثل الكراسي والمراحيض. وفي هذه التجارب، نجح النظام في العثور على الغرض الصحيح في 85 بالمائة من المحاولات. لفهم مدى فعالية ذلك، قارن الباحثون النظام بنهج أبسط حيث يتوقف الروبوت عند أول غرض يبدو صحيحاً نوعاً ما ويعلن الانتصار. نجحت هذه الطريقة الأبسط في 25 بالمائة فقط من المرات، وكانت خاطئة في ثلاثة أرباع الحالات، وغالباً ما تركت المستخدم مع الغرض الخاطئ. كما تفوق النظام الجديد على نسخة اعتمدت فقط على نموذج ذكاء اصطناعي قوي دون خطوة التحقق المحددة، والتي نجحت في أقل من نصف التجارب المشتركة.
أظهرت البيانات أن الوقت الإضافي الذي استُغرق في الفحص وإعادة البحث كان يستحق العناء. فبينما استغرقت المهام الناجحة في المتوسط حوالي ثلاث دقائق وخمس وأربعين ثانية، إلا أن النظام نادراً ما ارتكب خطأً. في المقابل، كانت الطرق الأبسط أسرع ولكنها أدت كثيراً إلى نجاحات كاذبة، حيث ادعى الروبوت أنه وجد الغرض بينما لم يكن كذلك. كانت خطوة التحقق حاسمة؛ فقد استبعدت جميع التوقفات غير الصحيحة تقريباً. وعندما توقف الروبوت في المكان الخطأ، رصد النظام الخطأ، وأرسل الروبوت للبحث مجدداً، ووجد في النهاية الغرض الصحيح. هذه القدرة على التعافي من الخطأ والاستمرار في البحث حتى العثور على التطابق الدقيق هي ما يجعل النظام موثوقاً لمستخدم لا يستطيع التأكيد بصرياً للنتيجة.
درست الدراسة أيضاً كيفية تعامل النظام مع أنواع مختلفة من الأشياء. بالنسبة للأصناف التي يمكن تحريكها، مثل الكوب أو حقيبة الظهر، اعتمد النظام على المظهر البصري للغرض نفسه. أما بالنسبة للأصناف التي تبقى في مكان واحد، مثل كرسي محدد عند مكتب، فقد تحقق النظام أيضاً من المحيط لضمان وجود الغرض في السياق المتوقع. سمح هذا التمييز للروبوت بالتعامل مع تعقيدات المنزل الحقيقي، حيث قد توجد العديد من الأشياء المتشابهة. وأشار الباحثون إلى أنه بينما يعد النظام فعالاً للغاية، فإنه ليس مثالياً؛ ففي بعض الحالات النادرة، واجه الروبوت صعوبة في التمييز بين عناصر متشابهة جداً أو واجه عوائق تقنية، لكن هذه كانت استثناءات وليست القاعدة.
في نهاية المطاف، يوضح هذا العمل أن الروبوت يمكن أن يكون شريكاً جديراً بالثقة للأشخاص الذين يعانون من ضعف البصر، ليس فقط من خلال نقلهم من مكان إلى آخر، ولكن من خلال البحث بنشاط عن ممتلكاتهم الشخصية. الابتكار الرئيسي هو فصل عملية البحث عن عملية التأكيد. فمن خلال ترك المهمة الثقيلة للروبوت في التحرك عبر المساحة، ثم استخدام فحص صارم لضمان العثور على الغرض الصحيح، يسد النظام الفجوة بين ما يراه الروبوت وما يحتاجه المستخدم. تشير النتائج إلى أنه مع هذا النوع من التحقق متعدد الخطوات، يمكن للروبوتات أن تتجاوز مجرد الملاوة لتصبح مساعدين موثوقين للمهام اليومية، مما يمنح المستخدمين الثقة في أنه عندما يقول الروبوت إنه وجد غرضهم، فإنه قد وجده حقاً.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.