💻 computer science

UDAQ: Unified Dynamic and Adaptive Q-iteration for Unknown Environment Path Planning and Exploration

تقدم هذه الورقة البحثية UDAQ، وهو إطار عمل موحد لعمليات تكرار Q مدفوع بالمكافأة، يتكيف ذاتياً مع فضاءات الحالات المتطورة ديناميكياً لتحسين كل من تخطيط المسار من نقطة إلى أخرى والاستكشاف الفعال للبيئة في آن واحد، متفوقاً بشكل كبير على المخططات واستراتيجيات الاستكشاف التقليدية في البيئات غير المعروفة دون معرفة مسبقة بالخريطة.

المؤلفون الأصليون: Nasr Abdalmanan, Kamarulzaman Kamarudin, Muqri Zinal, Mohd Rizal Manan, Victor Bennetts

نُشر 2026-07-30

📖 7 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Nasr Abdalmanan, Kamarulzaman Kamarudin, Muqri Zinal, Mohd Rizal Manan, Victor Bennetts

البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل روبوتًا أُلقي به في متاهة شديدة الظلمة لم يسبق له رؤيتها من قبل. أدواته الوحيدة هي زوج من "العيون" (مستشعرات) يمكنها الرؤية لبضع خطوات للأمام، وعقل يحتاج إلى اكتشاف شيئين في آن واحد: "كيف أصل إلى تلك البقعة المحددة هناك؟" و"كيف أرسم خريطة للمكان بأكل لكي لا أضيع؟". هذه هي الحياة اليومية لروبوت مستقل، وهو مجال علمي يسمى "روبوتات التنقل" (mobile robotics). لكي يتمكن الروبوت من البقاء في العالم الحقيقي، فإنه يحتاج إلى تخطيط المسار (رسم خط آمن من النقطة أ إلى النقطة ب) والاستكشاف (التحقق بشكل منهجي من المناطق غير المعروفة لبناء خريطة ذهنية). تقليديًا، تعامل المهندسون مع هذين الأمرين كوظيفتين منفصلتين، حيث يتم توظيف "برنامج" واحد ليقرر أين يذهب، و"برنامج" آخر ليعرف كيف يصل إلى هناك. ولكن في عالم يتغير بينما تنظر إليه، فإن إبقاء هذه الوظائف منفصلة يمكن أن يؤدي إلى الارتباك، مثل سائق يسأل راكبًا عن الاتجاهات بينما يحاول الراكب لا يزال قراءة الخريطة.

إليك UDAQ (التكرار الموحد الديناميكي والتكيفي لـ Q)، وهو إطار عمل جديد اقترحه الباحث نصر عبد المنان وفريقه من جامعة ماليزيا بيرليس وجامعة أوريبرو. فكر في UDAQ ليس كروبوت بـ "عقلين" منفصلين، بل كملاح واحد فائق التكيف يتعلم القيام بكل شيء من خلال لعبة "ساخن وبارد". بدلاً من التبديل بين أوضاع مختلفة، يستخدم UDAQ مجموعة واحدة من القواعد (نظام مكافأة) لتعليم الروبوت كيفية التصرف. إذا احتاج الروبوت للعثين على باب محدد، فإن "اللعبة" تكافئه للاقتراب من ذلك الباب. وإذا احتاج الروبوت لرسم خريطة لمبنى كامل، فإن "اللعبة" تكافئه لاكتشاف زوايا جديدة غير مستكشفة. الخدعة السحرية هي أن هذا النظام يعدل "إعدادات الصعوبة" الخاصة به تلقائيًا مع اكتشاف الروبوت لمزيد من العالم. إذا أصبحت المتاهة أكبر، يقوم UDAQ بتوسيع نطاق مكافآته حتى لا يشعر الروبوت بالإحباط أو الارتباك. وفي سلسلة من المحاكاة الحاسوبية، أثبت هذا النهج أنه طريقة أسرع وأسلس وأكثر كفاءة للروبوتات للتنقل في المساحات المجهولة مقارنة بالطرق القياسية المستخدمة حاليًا في الصناعة.

المشكلة: "الشخصية المنقسمة" للروبوت

تخيل أنك تحاول استكشاف كهف عملاق ومظلم. لديك مصباح يدوي يضيء فقط دائرة صغيرة حولك. للوصول إلى المخرج، تحتاج إلى معرفة المسار. لبناء خريطة، تحتاج إلى التجول في الظلام. غالبًا ما تقسم ملاحة الروبوتات التقليدية هذه المهام إلى فريقين منفصلين. فريق المستكشف يقول: "اذهب وابحث عن حافة العالم المعروف!". والفريق الآخر، المخطط، يقول: "حسنًا، الآن ارسم خطًا إلى تلك الحافة".

المشكلة هي أن هذين الفريقين لا يتواصلان جيدًا. قد يختار المستكشف هدفًا يبدو قريبًا ولكنه في الواقع خلف جدار، ويضطر المخطط لإضاعة الوقت في تحديد مسار التفافي. أو قد تتغير الخريطة بينما يعمل المخطط، مما يجعل الخطة القديمة عديمة الفائدة. إنه يشبه محاولة قيادة سيارة حيث يتم التحكم في نظام GPS وعجلة القيادة من قبل شخصين مختلفين يتجادلان حول الوجهة.

الحل: عقل واحد، حالات مزاجية متعددة

قرر الباحثون وراء UDAQ التوقف عن تقسيم الفريق. لقد بنوا نظامًا حيث يمتلك الروبوت عقلًا واحدًا يتعامل مع كل من الاستكشاف والتخطيط، ولكنه يغير "مزاجـه" بناءً على ما تريد القيام به. إنهم يسمونه إطار عمل التكرار الموحد الديناميكي والتكيفي للقيمة (Q).

إليك كيف يعمل، باستخدام تشبيه بسيط:

لعبة "الساخن والبارد"
تخيل أن الروبوت يلعب لعبة فيديو حيث يكسب نقاطًا (مكافآت) مقابل التحرك.

المزاج 1: مطارد الهدف. إذا قلت للروبوت "اذهب إلى الباب الأحمر"، تمنحه اللعبة كومة ضخمة من النقاط للاقتراب من الباب. كما تفرض عليه عقوبات صغيرة للمشي في دوائر. يتعلم الروبوت الاندفاع نحو الباب، ولكن إذا اصطدم بجدار، فإنه يعيد حساب أفضل مسار حوله فورًا.
المزاج 2: صانع الخريطة. إذا قلت للروبوت "استكشف كل شيء"، تتغير اللعبة. الآن، يحصل الروبوت على أكبر النقاط عند العثور على الحدود (frontiers) — وهي الحواف الضبابية حيث تلتقي الخريطة المعروفة بالظلام غير المستكشف. يتجاهل الباب الأحمر وبدلاً من ذلك يندفع نحو أقرب زاوية غير مستكشفة.
المزاج 3: المستكشف الموجه. يمكنك حتى أن تقول للروبوت "استكشف، ولكن توجه بشكل أساسي نحو الشمال". سيظل الروبوت يبحث عن مناطق جديدة، لكنه سيعطي الأولوية لتلك التي تقع في جهة الشمال، مما يخلق نمطًا محددًا من الاستكشاف.

عبقرية UDAQ تكمن في أنه لا يحتاج إلى تبديل البرامج لتغيير الأمزجة. إنه فقط يغير قواعد اللعبة (تكوين المكافأة) مع الحفاظ على تشغيل نفس العقل.

السر: المكافأة "المطاطية"

هناك مشكلة معقدة في هذه الألعاب. إذا كان الروبوت في غرفة صغيرة، فقد تبدو مكافأة قدرها "10 نقاط" ضخمة. ولكن إذا اكتشف الروبوت فجأة قاعة ضخمة، فقد تبدو نفس الـ "10 نقاط" صغيرة جدًا لتحفيزه على عبور الغرفة بأكملها. قد يرتبك الروبوت ويتوقف عن المحاولة، أو قد يتخذ قرارات سيئة لأن الحسابات لم تعد منطقية.

يحل UDAQ هذه المشكلة بآلية ديناميكية وتكيفية. فكر في الأمر كمسطرة مطاطية.

يقيس الروبوت باستمرار حجم المساحة التي اكتشفها حتى الآن. إنه يحسب أطول مسار ممكن يمكنه السير فيه عبر الخريطة المعروفة ("القطر الجيوديسي").
بناءً على هذا الحجم، يقوم تلقائيًا بإعادة ضبط نطاق المكافآت. إذا كانت الغرفة ضخمة، تكون النقاط ذات قيمة أكبر. وإذا كانت الغرفة صغيرة، تكون النقاط ذات قيمة أقل.
يضمن هذا أن يشعر الروبوت دائمًا بإشارات "الساخن والبارد" بشكل صحيح، بغض النظر عن مدى كبر حجم المتاهة. وهذا يمنع الروبوت من "التعثر" أو اتخاذ قرارات سيئة لمجرد أن البيئة تغيرت.

ماذا أظهرت عمليات المحاكاة

اختبر الباحثون UDAQ في ثلاثة عوالم افتراضية مختلفة، تتراوح من مستودع مفتوح بسيط إلى مبنى معقد يحتوي على ممرات ضيقة وغرف عديدة. وقارنوه بالطرق القياسية المستخدمة في الصناعة (مثل مخطط ROS 2 NavFn) واستراتيجيات استكشاف أخرى (مثل "تتبع الجدران" أو "المشي العشوائي").

1. الانتقال من أ إلى ب (تخطيط المسار)
عندما احتاج الروبوت للانتقال من نقطة بداية إلى نقطة هدف في بيئة غير معروفة:

وجد UDAQ مسارات أقصر بنسبة 8-12% من المخطط القياسي.
أنهى الرحلة أسرع بنسبة 20-30%.
حتى بدون معرفة الخريطة مسبقًا، كانت مسارات UDAQ جيدة تقريبًا مثل المسار "المثالي" الذي يمكن للإنسان رسمه إذا عرف الخريطة كاملة من البلى.

2. استكشاف الغرفة بأكملها (الاستكشاف)
عندما كان على الروبوت رسم خريطة للبيئة بأكملها:

كان UDAQ فائزًا واضحًا. فقد قطع مسافة أقل بنسبة 36-44% من الطريقة التقليدية القائمة على "الحدود" (وهي أفضل نهج تقليدي حاليًا).
أنهى الاستكشاف أسرع بنسبة 48-59%.
في الخريطة الأكثر تعقيدًا (الخريطة C)، علقت طريقة "المشي العشوائي" القياسية في ممر ضيق وفشلت في إتمام المهمة، بينما تنقل UDAQ بسلاسة وأكمل المهمة.

3. اختبار "الاتجاه"
في إحدى التجارب، أخبر الباحثون الروبوت أن يستكشف المبنى المعقد ولكن مع ميل نحو اتجاه معين (مثل "باتجاه الجنوب بشكل أساسي").

عندما تطابق الاتجاه مع تخطيط المبنى (مثل الجنوب)، كان الروبوت فعالاً للغاية، حيث سلك أقصر مسار.
عندما كان الاتجاه "خاطئًا" (مثل الغرب)، سلك الروبوت طريقًا أطول ومتعرجًا.
أثبت هذا أن UDAQ يمكن "توجيهه" للاستكشاف بترتيب معين، وهو أمر قد يكون مفيدًا إذا كنت تعرف أن بعض الغرف أكثر أهمية من غيرها.

الملاحظة: لا تزال مجرد محاكاة

على الرغم من أن النتائج مثيرة للإعجاب، إلا أن الباحثين حذرون من أن هذه الاختبارات تمت جميعها في محاكاة حاسوبية. لقد عاشت الروبوتات في عالم رقمي مثالي حيث لا تتعطل المستشعرات أبدًا، ولا تنزلق العجلات، وتكون الخرائط دقيقة دائمًا. في العالم الحقيقي، تواجه الروبوتات مشاكل فوضوية مثل الإضاءة السيئة، والأرضيات الزلقة، والمستشعرات المشوشة. تشير الورقة البحثية إلى أن UDAQ مرشح قوي جدًا للاستخدام في العالم الحقيقي، لكن لم يتم اختباره على روبوت مادي بعد. يخطط المؤلفون لأخذ "المسطرة المطاطية" لهذا العقل من الكمبيوتر إلى العالم الحقيقي في أعمال مستقبلية.

الخلاصة

يمثل UDAQ خطوة نحو روبوتات أقل شبهاً بالآلات الجامدة التي تتبع قائمة مهام، وأكثر شبهاً بالمستكشفين القادرين على التكيف. ومن خلال توحيد تخطيط المسار والاستكشاف في نظام واحد ذاتي التعديل، فإنه يسمح للروبوتات بالتنقل في المجهول بمستوى من الكفاءة والسلاسة تجد الروبوتات ذات الأنظمة المنفصلة صعوبة في مضاهاتها. إنه تذكير بأنه في بعض الأحيان، لا تكمن أفضل طريقة لحل مشكلة معقدة في بناء المزيد من الأدوات، بل في بناء طريقة أذكى لاستخدام الأداة التي تملكها بالفعل.

ملخص تقني: UDAQ – التكرار الموحد الديناميكي والتكيفي لـ Q في بيئات التخطيط والاستكشاف غير المعروفة

بيان المشكلة
يمثل التنقل الذاتي في البيئات غير المعروفة تحدياً مزدوجاً: يجب على الروبوت القيام في آن واحد بتخطيط مسار فعال من نقطة إلى أخرى واستكشاف كامل للبيئة بشكل موثوق دون معرفة مسبقة بالخريطة. عادةً ما تفصل البنى التقليدية بين هذه المهام، حيث تفصل بين طبقة الاستكشاف (تحديد أين يجب الذهاب) وطبقة تخطيط المسار (تحديد كيفية الوصول إلى هناك). هذا الفصل يؤدي غالباً إلى سلوك غير مثالي، حيث تختار طبقة الاستكشاف الأهداف دون مراعاة تعقيد المسار أو عدم اليقين في الخريطة، بينما تعمل طبقة التخطيط على لقطات خريطة قد تكون قديمة. علاوة على ذلك، فإن تطبيق التكرار القيمي الكلاسيكي أو البرمجة الديناميكية في البيئات غير المعروفة يعد أمراً صعباً لأن فضاء الحالة القابل للتنقل يتوسع ديناميكياً مع اكتشاف مناطق جديدة. كما أن قيم المكافآت الثابتة وتمثيلات فضاء الحالة الساكنة غالباً ما تفشل في الحفاظ على استقرار انتشار القيمة في مثل هذه البيئات المتطورة، مما يؤدي إلى ضعف التقارب وتدهور أداء السياسة.

المنهجية
يقترح البحث إطار عمل UDAQ (التكرار الموحد الديناميكي والتكيفي لـ Q)، وهو إطار يوحد التخطيط المحلي للمسارات، والاستكشاف الكامل للبيئة، والاستكشاف الموجه ضمن صياغة عملية ماركوف لاتخاذ القرار (MDP) مدفوعة بالمكافأة.

صياغة MDP الموحدة: يتم نمذجة المشكلة كعملية MDP $(S, A, P, R, \gamma, \pi)$ حيث يتم اشتقاق فضاء الحالة $S$ من شبكة إشغال ناتجة عن تقنية SLAM، مقسمة إلى بلاطات مربعة. تُصنف الحالات إلى: حرة، مشغولة، حدودية (الفاصل بين المعروف وغير المعروف)، هدف، أو غير معروفة. تتكون فضاء الأفعال من ثماني حركات منفصلة (حركات أساسية وحركات قطرية).
دوال مكافأة قابلة للتهيئة: يستخدم UDAQ إطار عمل تكرار قيمة موحد حيث يتم استحثاث سلوكيات مختلفة من خلال إعادة تهيئة دالة المكافأة $R(s, a, s')$ $R (s, a, s^{'})$ :
1. تخطيط من نقطة إلى نقطة: يكافئ الانتقالات نحو هدف محدد، مع مراعاة المسافة الإقليدية، ويفرض عقوبات على العوائق والخطوات غير الضرورية.
2. استكشاف البيئة: يزيل المكافآت الخاصة بالهدف، ويخصص مكافآت موحدة عالية للحالات الحدودية لتشجيع التغطية المنهجية.
3. الاستكشاف الموجه: يُدخل "هدفاً تخيلياً" خارج حدود البيئة لتوجيه الاستكشاف في اتجاه معين.
فضاء الحالة الديناميكي وتدرج المكافأة التكيفي: الابتكار التقني الجوهري هو التعامل مع فضاء الحالة المتطور ديناميكياً. مع توسع خريطة SLAM، يستخدم UDAQ آلية تدرج مكافأة تكيفية. يقوم النظام بتقدير القطر الجيوديسي ( $L$ ) لفضاء الحالة القابل للتنقل الحالي باستخدام الهيكل المحوري وتحويل مسافة تشيبيشيف. بعد ذلك، يتم تلقائياً تغيير حجم مقادير المكافآت (عقوبات الخطوات، عقوبات العوائق، ومكافآت الهدف/الحدود) بالنسبة لـ $L$ وعامل الخصم $\gamma$ . يضمن ذلك بقاء انتشار دالة القيمة مستقراً وذا معنى بغض النظر عن حجم البيئة أو تعقيدها الهيكلي، مما يمنع تدهور السياسة مع نمو الخريطة.
التشغيل بنظام الحلقة المغلقة: يعمل النظام كعملية حلقة مغلقة ذاتية التشغيل بالكامل. فهو يدمج تحديثات SLAM باستمرار، ويحدث تصنيفات الحالة، ويعيد حساب المكافآت بناءً على قطر الخريطة الحالي، ويجري تكرار Q حتى التقارب، ويولد أوامر الملاحة دون تدخل بشري.

المساهمات الرئيسية

إطار عمل موحد: يثبت أن السلوكيات الذاتية المتنوعة (الملاحة، الاستكشاف، الاستكشاف الموجه) يمكن تحقيقها ضمن صياغة واحدة من خلال تهيئة المكافأة، مما يلغي الحاجة إلى مخططات منفصلة أو استدلالات خاصة بكل مهمة.
التكيف مع فضاء الحالة الديناميكي: يقدم طريقة لجعل التكرار القيمي يعمل على فضاء حالة متوسع من خلال تعديل مقادير المكافآت ديناميكياً بناءً على القطر الجيوديسي المقدر للمنطقة القابلة للتنقل.
تدرج المكافأة التكيفي: يقترح استراتيجية ضبط تلقائي تضمن استقرار عمليات النسخ الاحتياطي لـ Bellman وجودة السياسة المتسقة مع الكشف التدريجي عن البيئة، مما يعالج مشكلة عدم فعالية المكافآت الثابتة في الخرائط الأكبر والأكثر تطوراً.

النتائج التجريبية
تم تقييم الطريقة في محاكاة ROS 2 عبر ثلاث بيئات متزايدة التعقيد (بسيطة، متوسطة، معقدة) وتمت مقارنتها بمخطط NavFn في ROS 2 (للملاحة) واستراتيجيات الاستكشاف القائم على الحدود، وتتبع الجدران، والمشي العشوائي (للاستكشاف).

الملاحة من نقطة إلى نقطة: تفوق UDAQ باستمرار على مخطط NavFn. حيث قلل متوسط مسافة السفر بنسبة تقارب 8-12% ومدة السفر بنسبة 20-30% عبر حالات الاختبار، مقترباً من الحلول المثلى العالمية رغم عدم امتلاكه معرفة مسبقة بالخريطة. كما أظهر قدرة قوية على إعادة التخطيط الديناميكي عند إدخال عوائق جديدة.
استكشاف البيئة: تفوق UDAQ بشكل كبير على جميع الطرق المرجعية. مقارنة بالاستكشاف القائم على الحدود (أقوى مرجع كلاسيكي)، قلل UDAQ مسافة السفر بنسبة 36-44% ووقت الاستكشاف بنسبة 48-59% عبر جميع البيئات. كما تجاوز بشكل كبير أداء استراتيجيات تتبع الجدران والمشي العشوائي. في البيئات المعقدة، حافظ UDAQ على مسارات سلسة وإنهاء ذاتي، بينما عانت الطرق الأخرى غالباً من عبور غير فعال أو الفشل في تغطية الخريطة بالكامل.
الاستكشاف الموجه: أظهرت التجارب مع ثماني إعدادات اتجاهية أن الانحياز الاتجاهي يؤثر بشكل كبير على كفاءة الاستكشاف. الإعدادات المتوافقة مع طوبولوجيا البيئة (مثل الجنوب في الخريطة المختبرة) قللت من التكرار في التنقل وقللت وقت الإنجاز، بينما زادت الإعدادات غير المتوافقة من تكرار المسار.

الأهمية والادعاءات
يزعم البحث أن UDAQ يوفر حلاً قوياً وفعالاً ومرناً للملاحة الذاتية في البيئات غير المعروفة. تكمن أهميته الأساسية في توحيد سلوكيات الملاحة المتعددة ضمن إطار عمل واحد مدفوع بالمكافأة، مما يسمح للسلوك بالظهور من خلال تهيئة المكافأة بدلاً من تبديل المخطط. ومن خلال العمل كنظام حلقة مغلقة ذاتي التشغيل يتكيف مع فضاءات الحالة المتطورة ديناميكياً، يعالج UDAQ القيود الهيكلية لبنى الاستكشاف والتخطيط المنفصلة.

يقر المؤلفون بأن النتائج تستند إلى محاكاة ROS 2 التي تفترض استشعار وتقدير حالة مثالياً. وبناءً على ذلك، وبينما يثبت الإطار فعاليته تحت ظروف محكومة، يذكر البحث أن العمل المستقبى مطلوب للتحقق من المتانة على منصات روبوتية فيزيائية تحت تأثير عدم اليقين في العالم الحقيقي مثل ضوضاء المستشعرات، وعدم دقة المشغلات، وانزياح تحديد الموقع.