💻 computer science

OGR-MARL: Option-Guided Residual Multi-Agent Reinforcement Learning for Heterogeneous USV Cooperative Pursuit in Constrained Port Waterways

تقترح هذه الورقة إطار عمل OGR-MARL، وهو إطار تعلم تعزيزي متعدد الوكلاء متبقي موجه بالخيارات ومنفصل، يعمل على تعزيز المطاردة التعاونية للمركبات السطحية غير المأهولة (USV) غير المتجانسة في الممرات المائية المرفئية المقيدة من خلال تمكين الوكلاء الموجهين بالقواعد من تعلم الإجراءات التصحيحية، محققاً معدلات أسر عالية وتعميماً صفري القدرة عبر مختلف هياكل التعلم التعزيزي متعدد الوكلاء (MARL).

المؤلفون الأصليون: Mao Jiayang, Wang Lanfeng, Peng Zhao-Han

نُشر 2026-08-14

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Mao Jiayang, Wang Lanfeng, Peng Zhao-Han

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل عالماً تتعلم فيه الروبوتات التفكير والتصرف ليس فقط باتباع دليل تعليمات جامد، بل من خلال لعب لعبة، وتجربة الأشياء، والتعلم من أخطائها. هذا هو جوهر التعلم التعزيزي متعدد الوكلاء (Multi-Agent Reinforcement Learning - MARL). فكر في الأمر كأنها مجموعة من الأصدقاء يتعلمون لعب رياضة جماعية معقدة معاً. بدهلاً من وجود مدرب واحد يخبر الجميع بما يجب فعله بالضبط في كل ثانية، يقوم كل لاعب بمراقبة اللعبة، وفهم ما يفعله زملاؤه، ويتعلم أفضل الحركات من خلال التجربة والخطأ. جزء "متعدد الوكلاء" يعني ببساطة أن هناك فريقاً كاملاً من هذه الروبوتات المتعلمة تعمل معاً، وليس مجرد ذئب منفرد.

الآن، تخيل أخذ هذا الفريق من الروبوتات المتعلمة ووضعه في بيئة معقدة ومزدحمة للغاية: ميناء مزدحم. هنا تصبح الأمور فوضوية. في المحيط المفتوح، تمتلك الروبوتات مساحة واسعة للتحرك، ولكن في الميناء، يتعين عليها تفادي السفن الأخرى، وتجنب الاصطدام بالشاطئ، واتباع مسارات حركة المرور الصارمة، والعمل معاً للإمساك بـ "المراوغ" (قارب يحاول الهروب) السريع. هذه لعبة "غميضة" عالية المخاطر حيث القواعد صارمة، والمساحة ضيقة، والفريق الآخر ذكي. يهتم العلماء بهذا الأمر لأننا إذا استطعنا تعليم الروبوتات كيفية التنقل في هذه المياه المزدحمة والخطيرة بأمان وفعالية، يمكننا استخدامها في وظائف حقيقية مثل دوريات الأمن، أو المراقبة البيئية، أو عمليات البحث والإنقاذ دون تعريض حياة البشر للخطر.

الفكرة الكبرى للورقة البحثية: "المدرب" و"اللاعب"

تقدم هذه الورقة طريقة جديدة لتعليم فرق الروبوتات هذه كيفية لعب لعبة "الإمساك بالمراوغ" في ميناء مزدحم. يطلق المؤلفون على نظامهم الجديد اسم OGR-MARL. لفهم ما يجعله مميزاً، دعونا نستخدم تشبيهاً.

تخما أنك تعلم مجموعة من لاعبي كرة القدم الجدد كيفية اللعب في ساحة خلفية صغيرة ومزدحمة. إذا قلت لهم فقط: "اذهبوا واركلوا الكرة!" وتركتهم يكتشفون الأمر بأنفسهم (وهو ما تفعله أنظمة الذكاء الاصطناعي القياسية غالباً)، فقد يقضون ساعات في الاصطدام بالسياج، والتعثر ببعضهم البعض، أو ركل الكرة إلى حديقة الجيران. قد لا يتعلمون اللعبة أبداً لأن القواعد مربكة للغاية والأخطاء مكلفة للغاية.

من ناحية أخرى، إذا أعطيتهم مدرباً صارماً يخبرهم بالضبط أين يركضون ومتى يركلون الكرة، فسوف يتبعون القواعد بدقة. ولكن المشكلة هي: إذا غير الفريق الآخر (المراوغ) استراتيجيته فجأة أو ركض في اتجاه غريب، فقد تفشل خطة المدرب الصارم لأنه لا يستطيع التكيف بسرعة كافبة.

OGR-MARL هو المزيج المثالي بين الاثنين. إنه يشبه امتلاك مدرب ذكي يعطي اللاعبين خطة لعب عامة ("توجيه الخيارات - Option Guidance") بينما يسمح للاعبين باستخدام عقولهم لإجراء تعديلات صغيرة وسريعة ("التعلم المتبقي - Residual Learning").

كيف يعمل الأمر: فريق الروبوتات

في هذه الدراسة، يتكون فريق الروبوتات من أنواع مختلفة من القوارب، تسمى USVs (المركبات السطحية غير المأهولة). إنهم ليسوا جميعاً متشابهين؛ إنهم فريق "غير متجانس"، مما يعني أن لديهم قدرات خارقة مختلفة:

المستكشفون (The Scouts): هذه قوارب أبطأ ولكن لديها عيون عملاقة (نطاق استشعار ضخم). مهمتهم هي رصد المراوغ من بعيد وتتبع مكانه.
المعتدلون (The Interceptors): هذه قوارب سريعة ذات عيون صغيرة. لا يمكنهم الرؤية بعيداً، لكنهم الوحيدون الذين يمتلكون السرعة الكافية للإمساك بالمراوغ فعلياً.

الهدف هو الإمساك بالمراوغ قبل هروبه من الميناء، مع الالتزام بقواعد صارمة: عدم الاصطدام بالشاطئ، وعدم الاصطدام بسفن الشحن الأخرى، والبقاء في مسارات حركة المرور الصحيحة.

السر الكامن: التعلم المتبقي الموجه بالخيارات

ابتكار الورقة الرئيسي هو كيفية الجمع بين "المدرب" و"اللاعب".

المدرب (توجيه الخيارات - Option Guidance): يستخدم النظام خوارزمية بسيطة قائمة على القواعد (مثل خريطة أساسية ومجموعة من قوانين المرور) لاقتراح هدف رفيع المستوى. على سبيل المثال، قد يقول المدرب: "أيها المستكشف، اذهب وابحث عن الهدف"، أو "أيها المعتدي، تحرك لغلق المخرج". هذا يعطي الروبوتات نقطة انطلاق آمنة حتى لا يضيعوا وقتهم في الاصطدام بالجدران.
اللاعب (التعلم المتبقي - Residual Learning): هنا يحدث سحر الذكاء الاصطناعي. الروبوتات لا تتبع المدرب بشكل أعمى؛ بل لديهم "عقل متبقٍ" يتعلم إجراء تعديلات تصحيحية صغيرة. إذا قال المدرب "اذهب يساراً"، ولكن المراوغ اندفع فجأة نحو اليمين، فإن عقل الروبوت يقول: "حسناً، سأذهب يساراً في الغالب، لكني سأعدل زاويتي قليلاً نحو اليمين للإمساك به".

هذا الجزء "المتبقي" أمر بالغ الأهمية. فهو يسم يسمح للروبوتات بتعلم سلوكيات تعاونية معقدة — مثل إبقاء المستكشفين للهدف تحت النظر بينما يتسلل المعتدون للإمساك به — دون الحاجة لتعلم كل شيء من الصفر في بيئة فوضوية.

ماذا وجدوا: النتائج

اختبر الباحثون نظام OGR-MARL الخاص بهم في ميناء محاكى (بناءً على مكان حقيقي يسمى شياجيمين في الصين). وضعوا نظامهم الجديد في مواجهة الطرق القديمة ووجدوا نتائج مثيرة للاهتمام:

الطرق القديمة عانت: عندما جربوا استخدام القواعد الصارمة فقط، أمسكت الروبوتات بالمراوغ بنسبة 35% فقط من الوقت. وعندما جربوا استخدام التعلم بالذكاء الاصطعي فقط بدون مساعدة المدرب، كانت نسبة النجاح سيئة للغاية (وصلت أحياناً إلى 1% أو 2%). لقد تاه الذكاء الاصطناعي، أو اصطدم، أو استسلم.
الطريقة الجديدة نجحت: عندما جمعوا بين المدرب والذكاء الاصطناعي، ارتفعت نسبة النجاح بشكل هائل. النسخة الأفضل من نظامهم، والتي تسمى OGR-MASAC، تمكنت من الإمساك بالمراوغ بنسبة 75% من الوقت.
لقد اتبعت القواعد: لم يمسكوا بالمراوغ أكثر من المعتاد فحسب، بل اتبعوا قواعد الميناء بشكل أفضل بكثير. لم يصطدموا بالشاطئ أو السفن الأخرى كما فعلت الطرق الأخرى.
عمل على خريطة حقيقية (بدون إعادة تدريب): الجزء الأكثر إثارة للإعجاب؟ أخذ الباحثون النظام الذي تم تدريبه على خريطة بسيطة ومجردة ونقلوه مباشرة إلى خريطة مفصلة وحقيقية للميناء (باستخدام بيانات حركة السفن الحقيقية). لم يعيدوا تدريب الروبوتات على الإطلاق. وحتى في هذا "النقل الصفري" (zero-shot transfer)، لا يزال النظام يمسك بالمراوغ بنسبة حوالي 66.7% من الوقت. وهذا يشير إلى أن النظام ذكي بما يكفي للتعامل مع فوضى العالم الحقيقي دون الحاجة إلى تعلم جديد.

لماذا هذا مهم

تشير الورقة البحثية إلى أنه من خلال منح روبوتات الذكاء الاصطناعي "شبكة أمان" من القواعد والأهداف رفيعة المستوى، يمكننا تعليمها حل مشكلات العمل الجماعي الصعبة للغاية بشكل أسرع وأكثر موثوقية. الأمر لا يتعلق فقط بجعل الروبوتات تمسك بقارب؛ بل يتعلق بإنشاء إطار عمل حيث يمكن لأنواع مختلفة من الروبوتات تعلم العمل معاً في بيئات معقدة من العالم الحقيقي مثل الموانئ المزدحمة.

بينما تعتمد النتائج على عمليات المحاكاة (وكان الاختبار في العالم الحقيقي لا يزال محاكاة باستخدام بيانات حقيقية)، يوضح المؤلفون أن هذا النهج خطوة واعدة للأمام. إنه يسد الفجوة بين السلامة القائمة على القواعد الجامدة وبين الذكاء الاصطناً المرن والذكي، ويثبت أن أفضل طريقة لتعليم الروبوت أحياناً هي إعطاؤه القليل من التوجيه وترك بقية التعلم يحدث أثناء العمل.

ملخص تقني: OGR-MARL للمطاردة التعاونية لمركبات سطحية غير مأهولة (USV) متباينة الخصائص

1. صياغة المشكلة

تتناول الورقة البحثية تحدي المطاردة التعاونية لمركبات سطحية غير مأهولة (USV) متباينة الخصائص ضمن ممرات الموانئ المقيدة. بخلاف سيناريوهات أعالي البحار، تفرض بيئات الموانئ قيوداً ملاحية صارمة، تشمل الممرات الضيقة، مناطق الإرساء، المناطق العازلة، وتدفقات حركة المرور في الاتجاهين.

تتضمن المشكلة المحددة فريقاً من أربعة مطاردين متباينين الخصائص مكلفين باعتراض مراوغ (evader) يحاول الهروب إلى حدود شرقية. يتكون الفريق من:

المعتدلين ( $P_1, P_2$ ): مركبات USV عالية السرعة ذات قدرة على الالتقاط ولكن بنطاق استشعار محدود.
المستكشفين ( $P_3, P_4$ ): مركبات USV أبطأ ذات أنصاف أقطار استشعار كبيرة، مهمتها الحفاظ على رؤية الهدف وتحديث حالة الاعتقاد المشتركة.

يتم نمذجة المراوغ كنقطة كتلة تستخدم مخططاً عالمياً من نوع A* ووحدة تجنب تصادم محلية تعتمد على حقل الجهد الاصطناعي (APF) للملاحة حول الشواطئ، وسفن الشحن المتحركة، والمطاردين. البيئة هي بيئة قابلة للملاحظة جزئياً؛ حيث يمكن للمستكشفين فقط اكتشاف المراوغ من مسافة بعيدة، مما يتطلب من الفريق الحفاظ على حالة اعتقاد مشتركة تتلاشى بمرور الوقت إذا لم يتم تحديثها.

يكمن الصعوبة الجوهرية في الموازنة بين الامتثال للقواعد (تجنب الشواطئ، انتهاكات حركة المرور، واعتداءات مناطق الإرساء) وفعالية المهمة (الالتقاط التكتيكي لمراوغ يعيد التخطيط) في ظل الملاحظة الجزئية والديناميكيات متباينة الخصائص.

2. المنهجية: OGR-MARL

يقترح المؤلفون OGR-MARL (التعلم المعزز متعدد الوكلاء المتبقي الموجه بالخيارات)، وهو إطار عمل مستقل عن الخوارزمية مصمم لفصل السلوكيات الموجهة بالقواعد عن عملية التعلم. يعمل الإطار تحت نموذج التدريب المركزي والتنفيذ اللامركزي (CTDE).

المكونات الهيكلية الرئيسية:

طبقة التوجيه بالخيارات (Option Guidance Layer):
- وحدة خفيفة الوزن قائمة على القواعد تقوم بتعيين "خيارات" (أنماط) عالية المستوى للوكلاء بناءً على دورهم، وثقة الاعتقاد، وحالة الامتثال للقواعد.
- الخيارات: {البحث (search)، التتبع (track)، الاعتراض (intercept)، الحجز (block)، الاستعادة (recover)}.
- الوظيفة: يختار المستكشفون البحث أو التتبع للحفاظ على التغطية؛ بينما يختار المعتدلون الاعتراض أو الحجز لتشكيل مناورات تطويق؛ ويقوم خيار الاستعادة بتوجيه الوكلاء بعيداً عن الانتهاكات.
- تولد هذه الطبقة هدفاً هندسياً وإجراءً عالي المستوى ( $a^{opt}$ ) مستقلاً عن خوارزمية MARL المحددة المستخدمة.
سياسة التعلم المتبقي (Residual Policy Learning):
- يقوم هيكل MARL عام (مثل MADDPG، أو MATD3، أو MAPPO، أو MASAC) بتعلم إجراء متبقٍ ( $a^{rl}$ ) مشروط بالملاحظات المحلية.
- الإجراء النهائي المنفذ ( $a_i$ ) هو مزيج محدود من إجراء الخيار الموجه بالقاعدة والإجراء المتبقي المتعلم:
  $a_i = \text{clip}((1 - \beta_i)a^{rl}_i + \beta_i a^{opt}_i, -1, 1)$
- يسمح هذا للوكيل MARL بتعلم الإجراءات التصحيحية (التوقيت، تعديلات الحركة المحلية، التنسيق) فوق الأساسات الآمنة والمتوافقة مع القواعد، بدلاً من استكشاف البيئة المقيدة من الصفر.
المكافأة المهيكلة والتعلم المنهجي (Curriculum Learning):
- تشكيل المكافأة (Reward Shaping): يتم تفكيك دالة المكافأة ( $r_{ind}$ $r_{in d}$ ) إلى:
  - تقدم المهمة: يشجع على مغادرة المرفأ، التتبع، وتشكيل التكتل (pincer formation).
  - الامتثال للقواعد: يعاقب على التعدي على الشواطئ/مناطق الإرساء وانتهاكات حركة المرور.
  - الأدوار متباينة الخصائص: تعزز السلوكيات التكاملية (المستكشفون يتتبعون، والمعتدلون يقلصون المسافة).
  - النهائية: يكافئ الالتقاط أو يعاقب على الهروب/انتهاء الوقت.
- التعلم المنهجي: يستمر التدريب عبر خمس مراحل ( $S_0$ إلى $S_4$ )، حيث تزداد سرعة المراوغ تدريجياً، ويضيق نصف قطر الالتقاط، وتشتد عقوبات القواعد لتوجيه الوكلاء من السلوكيات الأساسية إلى التنسيق الدقيق والمتوافق.

3. المساهمات الرئيسية

تحدد الورقة ثلاث مساهمات رئيسية:

سيناريو الاختبار المعياري: إنشاء سيناريو واقعي لممر مائي في ميناء مقيد (ميناء Xiazhimen مجرد) يتميز بمركبات USV متباينة الخصائص، حركة مرور متحركة، مناطق إرساء، وملاحظة جزئية.
إطار عمل OGR-MARL: اقتراح إطار عمل مستقل عن الخوارزمية يدميد الاعتقاد المشترك للمراوغ، وأهداف الخيارات المشروطة بالدور، وعقوبات القواعد التكيفية، وتعلم السياسة المتبقية. يتيح ذلك لخوارجات MARH المختلفة تعلم الإجراءات التصحيحية فوق السلوكيات الموجهة بالقواعد.
التقييم الشامل: تقييم صارم يتضمن مقارنات الهياكل الأساسية، ودراسات استئصال المكافأة (ablation studies)، والنقل من الصفر (zero-shot transfer) إلى خريطة حقيقية مستمدة من بيانات QGIS وAIS (نظام التعريف التلقائي).

4. النتائج التجريبية

أُجريت التجارب في نطاق مجرد (1000x400) وتم نقلها إلى خريطة حقيقية دون إعادة تدريب.

مقارنة الأداء:
- حققت المتحكمات القائمة على القواعد البحتة معدل التقاط بنسبة 35.0%.
- أدت نماذج MARL الأساسية (بدون توجيه الخيارات) أداءً ضعيفاً (1.0% – 16.0% معدلات التقاط)، حيث عانت من ندرة المكافآت وانتهاكات القواعد.
- تفوقت متغيرات OGR-MARL بشكل كبير على نظيراتها البسيطة.
- حقق OGR-MASAC (الذي تم فيه تطبيق OGR مع Soft Actor-Critic) أفضل أداء بنسبة التقاط بلغت 75.0%، وأقل متوسط تكلفة زمن المهمة (121.94 ثانية)، وأعلى درجة تنسيق متباين الخصائص (HCS: 0.6802).
- أظهر OGR-MATD3 أيضاً تحسناً كبيراً، حيث ارتفع من 1.0% إلى 59.0%.
دراسات الاستئصال (Ablation Studies):
- أدى إزالة مكافآت القواعد أو الأدوار إلى تدهور الأداء بشكل كبير (على سبيل المثال، انخفض معدل نجاح OGR-MASAC عند إزالة القواعد إلى 31.0%)، مما يؤكد ضرورة المكافآت المهيكلة للبيئات المقيدة.
النقل من الصفر (Zero-Shot Transfer):
- عند النقل إلى خريطة حقيقية لميناء Xiazhimen مستمدة من QGIS/AIS دون إعادة تدريب، حقق OGR-MASAC معدل التقاط بنسبة 66.67%.
- رغم أنها أقل من المحاكاة المجردة، إلا أن هذا يثبت إمكانات التعميم رغم التحديات مثل الخطوط الساحلية المنحنية وأنماط حركة المرور غير المنتظمة.
تحليل الفشل:
- عُزيت حالات الفشل أساساً إلى عدم كفاءة عملية الاقتراب النهائي للالتقاط بدلاً من الفقد الكلي لرؤية الهدف. أظهرت الحلقات الناجحة اقتراب المعتدين بشكل أكبر بكثير من المراوغ (متوسط مسافة 4.17) مقارنة بالحلقات الفاشلة (8.19).

5. الأهمية والادعاءات

تدعي الورقة أن OGR-MARL تجسر الفجوة بفعالية بين قابلية التفسير في الطرق القائمة على القواعد وقابلية التكيف في التعلم المعزز. ومن خلال فصل خوارزمية MARL عن منطق التحكم المحدد، يسمح الإطار للوكلاء بـ:

تعلم الإجراءات التصحيحية فوق السلوكيات الآمنة الموجهة بالقواعد، مما يتجنب عدم كفاءة استكشاف البيئات المقيدة من الصفر.
تحقيق تنسيق متباين الخصائص حيث يؤدي المستكشفون والمعتدلون أدواراً متكاملة بفعالية.
التعميم على سيناريوهات الموانئ المعقدة والحقيقية عبر النقل من الصفر، مما يشير إلى أن الإطار قوي تجاه التغيرات البيئية دون الحاجة لإعادة التدريب.

يخلص المؤلفون إلى أنه بينما تظهر الطريقة إمكانات واعدة، يجب أن يركز العمل المستقبلي على تحسين كفاءة العينات باستخدام نماذج العالم (world models) والتحقق من الأداء في بيئات بحرية أكثر واقعية أو فيزيائية.