Collaborative Deep Q-Network for Multi-Robot Coverage Path Planning in Complex Environments
تقترح هذه الورقة إطار عمل لشبكة كيو العميقة التعاونية (CD-DQN) يستفيد من آلية الانتباه متعدد الرؤوس وتخصيص المناطق الديناميكي لتمكين فرق الروبوتات المتعددة من تغطية البيئات المعقدة غير المعروفة بكفاءة مع قدرة عالية على التكيف مع أحجام الفرق وتخطيطات الخرائط المتغيرة، مع تقليل التكرار وصراعات الحركة إلى أدنى حد.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل فريقاً من الروبوتات الصغيرة أُرسلت إلى مستودع شاسع ومظلم لم تره من قبل. مهمتهم ليست مجرد العثور على عنصر معين، بل السير فوق كل بوصة مربعة من الأرضية، لضمان عدم تفويت أي جزء. هذه المهمة تُعرف باسم "تخطيط مسار التغطية". وفي العالم الحقيقي، تُستخدم هذه الطريقة في كيفية قيام الآلات بتنظيف مصنع كبير، أو رسم خرائط لمنطقة كوارث، أو فحص موقع بناء. التحدي يكمن في أن الروبوتات لا تستطيع رؤية الغرفة بأكملها في وقت واحد؛ فهي لا تعرف سوى ما يحيط بها مباشرة. وإذا عملت بمفردها، فقد تمر فوق نفس البقعة عدة مرات، مما يهدر الوقت والطاقة، أو قد تترك فجوات حيث تظل الأرضية غير مغطاة. ولحل هذه المشكلة، يجب على الروبوتات التحدث مع بعضها البعض، ومشاركة ما رأته، والقرار معاً من يذهب إلى أين.
لسنوات، حاول العلماء تعليم الروبوتات القيام بذلك باستخدام برامج حاسوبية تتعلم من الخبرة، تماماً كما يتعلم الشخص التنقل في مدينة جديدة عن طريق التجربة والخطأ. ومع ذلك، غالباً ما تواجه الأساليب الحالية صعوبة عندما يتغير حجم الفريق أو عندما تكون البيئة معقدة. تعتمد بعض الأنظمة على خرائط مرسومة مسبقاً لا وجود لها في الأماكن المجهولة، بينما ترتبك أنظمة أخرى عند إضافة روبوتات كثيرة إلى المجموعة، مما يؤدي إلى الفوضى وتكرار الخطوات. تكمن الصعوبة الجوهرية في جعل الروبوتات تفهم ليس فقط محيطها، بل وأيضاً نوايا ومواقع زملائها في الوقت الفعلي.
في دراسة حديثة، اقترح باحثون من جامعة هوبي للتكنولوجيا طريقة جديدة لحل هذه المشكلة باستخدام نظام يسمونه "شبكة كيو العميقة التعاونية" (Collaborative Deep Q-Network). وبدلاً من إعطاء الروبوتات مجموعة صارمة من القواعد، قام الباحثون ببناء نظام تعلم يسمح للروبوتات باكتشاف كيفية العمل معاً من تلقاء نفسها. درب الباحثون هذه الروبوتات الافتراضية في محاكاة حاسوبية حيث واجهت أعداداً مختلفة من الزملاء وتخطيطات غرف مختلفة، من المربعات الصغيرة إلى الشبكات الكبيرة المليئة بالعقبات. كان الهدف هو معرفة ما إذا كان بإمكان الروبوتات تعلم استراتيجية مرنة تعمل سواء كان عددها ثلاثة أو تسعة، وسواء كانت الغرفة صغيرة أو كبيرة.
إن قلب هذا النظام الجديد هو وسيلة تجعل الروبوتات تنتبه لبعضها البعض. تخيل مجموعة من الأشخاص في غرفة مزدحمة يحاولون تنظيفها؛ إذا نظر الجميع إلى أقدامهم فقط، فسيصطدمون ببعضهم البعض. وإذا صرخ الجميع في وقت واحد، فلن يسمع أحد أحداً. صمم الباحثون آلية تجعل كل روبوت يركز على المعلومات الأكثر صلة من زملائه. يسأل الروبوت نفسه: "من بالقرب مني؟ من قام بتنظيف هذه المنطقة بالفعل؟ من يتجه نحو بقعة يجب أن أذهب إليها؟" ومن خلال وزن هذه الأسئلة، يمكن للروبوت اتخاذ قرار يناسب الوضع الحالي، بدلاً من اتباع خطة ثابتة. تسمح آلية الانتباه هذه للفريق بالتكيف فوراً إذا علق روبوت ما أو ظهرت عقبة جديدة.
ولتوجيه الروبوتات نحو سلوك فعال، صمم الباحثون أيضاً نظاماً من المكافآت والعقوبات. فعندما يخطو الروبوت على بقعة من الأرض لم يزرها أحد بعد، يحصل على مكافأة. وإذا خطا على بقعة قام روبوت آخر بتنظيفها بالفعل، فإنه يتعرض لعقوبة بسبب إهدار الجهد. كما يشجع النظام الروبوتات على البقاء ضمن مناطقها المخصصة، والتي تتغير باستمرار مع تحرك الفريق. إذا دخل روبوت بعيداً جداً في منطقة زميله، فسيتم توجيهه بلطف للعودة. وهذا يخلق تقسيماً طبيعياً للعمل حيث تنتشر الروبوتات لتغطية المساحة بأكملها دون أن تتداخل مع بعضها البعض.
تم اختبار نتائج الدراسة في آلاف السيناريوهات المحاكية. ووجد الباحثون أن نظامهم الجديد يغطي باستمرار أكثر من 99 في المائة من مساحة الأرض المتاحة، بغض النظر عن عدد الروبوتات في المجموعة أو حجم الخريطة. وفي الاختبارات التي أجريت مع ثلاثة روبوتات على شبكة 30 في 30، أكملت الطريقة الجديدة المهمة في حوالي 618 خطوة، بينما استغرقت الطرق القديمة أكثر من 1,000 خطوة. والأهم من ذلك، قلل النظام الجديد من الحركة الضائعة بشكل كبير. وبينما كانت الطرق القديمة غالباً ما تجعل الروبوتات تسير فوق نفس البقع بانتظام، حافظ النهج الجديد على تقليل هذا التكرار إلى أقل من 10 في المائة. لقد تعلمت الروبوتات التنسيق بفعالية كبيرة بحيث تمكنت من إنهاء المهمة بشكل أسرع وبأقل قدر من التداخل مقارنة بالتقنيات السابقة.
ولضمان أن هذا لم يكن مجرد خدعة حاسوبية، اختبر الباحثون النظام أيضاً في محاكاة قائمة على الفيزياء تحاكي الحركة في العالم الحقيقي. استخدموا نموذجاً لروبوت صغير ذي عجلات يسمى "E-puck"، والذي يتحرك عن طريق تدوير عجلاته اليسرى واليمنى بسرعات مختلفة. نجح النظام في ترجمة القرار رفيع المستوى المتمثل في "الانتقال إلى المربع التالي" إلى الأوامر منخفضة المستوى اللازمة لتشغيل العجلات. تنقلت الروبوتات حول العوائق وتحركت بسلاسة عبر الأرضية، مما أثبت أن القرارات المجردة التي اتخذتها خوارزمية التعلم يمكن تنفيذها بواسطة آلات مادية.
يسلط البحث الضوء على أن مفتاح النجاح لم يكن في جزء واحد من النظام، بل في مزيج من عدة أجزاء تعمل معاً. فعندما أزال الباحثون الجزء الذي يسمح للروبوتات بالانتباه لبعضها البعض، انخفض الأداء بشكل حاد، وبدأت الروبوتات في تكرار مساراتها بشكل أكبر بكثير. وبالمثل، عندما أزالوا النظام الديناميكي الذي يخصص مناطق مختلفة للروبوتات المختلفة، أصبح الفريق غير منظم وغير فعال. وهذا يشير إلى أنه لكي تعمل مجموعة من الروبوتات بشكل جيد في بيئة مجهولة، فإنها تحتاج إلى كل من وسيلة لمشاركة المعلومات ووسيلة لتقسيم العمل في الوقت الفعلي.
بينما ركزت الدراسة على البيئات الثابتة ذات العقبات الثابتة، يقر الباحثون بأن سيناريوهات العالم الحقيقي يمكن أن تكون أكثر فوضوية، مع وجود أشياء متحركة أو روبوتات قد تتعطل. ويخططون لاختبار النظام مع فرق أكبر وفي بيئات أكثر تعقيداً ومتغيرة في المستقبل. وفي الوقت الحالي، يوضح هذا العمل أنه من خلال تعليم الروبوتات الاستماع إلى بعضها البعض وتكييف أدوارها في الوقت الفعلي، يمكننا إنشاء فرق أكثر كفاءة وموثوقية من تلك التي تتبع تعليمات مبرمجة مسبقاً وصارمة. ويقدم هذا النهج مساراً واعداً لنشر فرق الروبوتات في عمليات الإغاثة من الكوارث، والتنظيف واسع النطاق، واستكشاف المناطق المجهولة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.