🤖 AI

M $^{2}$ GRPO: Mamba-based Multi-Agent Group Relative Policy Optimization for Biomimetic Underwater Robots Pursuit

تقترح هذه الورقة البحثية M $^{2}$ GRPO، وهو إطار عمل مبتكر يجمع بين سياسات قائمة على نموذج Mamba وتحسين السياسة النسبي للمجموعات (GRPO) تحت نموذج التدريب المركزي والتعلم اللامركزي (CTDE) لتعزيز اتخاذ القرار طويل الأمد، والتنسيق بين الوكلاء، واستقرار التدريب لمهام المطاردة التعاونية في الروبوتات المائية المحاكية للأنظمة البيولوجية.

المؤلفون الأصليون: Yukai Feng, Zhiheng Wu, Zhengxing Wu, Junwen Gu, Junzhi Yu

نُشر 2026-04-22

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Yukai Feng, Zhiheng Wu, Zhengxing Wu, Junwen Gu, Junzhi Yu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم مدرسة من الأسماك الآلية كيف تعمل معاً للإمساك بـ "فريسة" سريعة، زلقة، وذكية في مسبح ضخم. هذا هو التحدي الذي واجهه الباحثون في هذه الورقة البحثية.

إليك قصة حلهم، M2GRPO، مقسمة إلى مفاهيم بسيطة وتشبيهات من الحياة اليومية.

1. المشكلة: "فقدان الذاكرة" و"الضجيج" في الأعماق

فرق الروبوتات التقليدية تشبه مجموعة من الأصدقاء يحاولون الإمساك بكرة في غرفة ضبابية.

الضباب (الملاحظة الجزئية): الروبوتات لا تستطيع رؤية المسبح بأكمله؛ هي ترى فقط ما أمامها مباشرة.
فقدان الذاكرة (قرارات المدى الطويل): إذا نسى الروبوت أين كانت الفريسة قبل 10 ثوانٍ، فلن يتمكن من التنبؤ بمكانها في المستقبل. أدمغة الروبوتات القديمة (تسمى MLPs) تشبه الذاكرة قصيرة المدى؛ فهي تنسى الماضي بسرعة.
الضجيج (التنسيق): إذا أصيب روبوت واحد بالذعر، فقد يرتبك الفريق بأكمله.

احتاج الباحثون إلى نظام يمكنه تذكر الماضي، والتواصل مع بعضهم البعض دون كلام، والتعلم بسرعة دون الحاجة إلى حاسوب خارق.

2. الدماغ: "Mamba" (الذاكرة فائقة القصر)

أعطى الباحثون الروبوتات نوعاً جديداً من الأدمغة يسمى Mamba.

التشبيه: تخيل أن دماغ الروبوت القياسي يشبه شخصاً يقرأ كتاباً صفحة بصفحة، وينسى الصفحة الأولى بحلول الوقت الذي يصل فيه إلى الصفحة العاشرة.
تطوير Mamba: Mamba يشبه شخصاً يمكنه قراءة الكتاب بأكمله، وتذكر دوافع كل شخصية، والتنبؤ بالنهاية، كل ذلك أثناء ركض ماراثون. إنه يستخدم آلية "فضاء الحالة الانتقائي". فكر في الأمر كأنه مرشح ذكي يحتفظ فقط بالذكريات المهمة (مثل "الفريسة اتجهت يساراً") وينسى الضجيج (مثل "فقاعة عابرة مرت بجانبه").
لماذا يهم هذا: هذا يسمح للروبوتات بالتخطيط للمستقبل البعيد. هم لا يطاردون موقع الفريسة الحالي فحسب، بل يطاردون المكان الذي ستكون فيه الفريسة في المستقبل.

3. العمل الجماعي: التعلم "النسبي للمجموعة"

عادةً، لتعليم فريق ما، تحتاج إلى مدرب (يسمى "الناقد") يقف على الخطوط الجانبية ليخبر الجميع بدقة مدى أدائهم. لكن في مجال الروبوتات تحت الماء، وجود مدرب أمر مكلف وبطيء.

استخدم الباحثون خدعة تسمى تحسين السياسة النسبي للمجموعة (GRPO).

التشبيه: تخيل فصلاً دراسياً حيث لا يعطي المعلم درجات بناءً على درجة اختبار مطلقة. بدلاً من ذلك، يقول المعلم: "من كان أفضل من متوسط الفصل اليوم؟".
كيف يعمل: تقوم الروبوتات بتشغيل لعبة المطاردة نفسها 10 مرات في نفس الوقت (بالتوازي). في النهاية، يقارنون نتائجهم. إذا أمسك الروبوت (أ) بالفريسة بشكل أسرع من متوسط المجموعة، فإنه يحصل على "هاي فايف" (مكافأة إيجابية). وإذا كان أبطأ، فإنه يحصل على "إبهام للأسفل".
الفائدة: هم لا يحتاجون إلى مدرب معقد لحساب الدرجة "المثالية". هم فقط يقارنون أنفسهم ببعضهم البعض. وهذا يجعل التدريب أسرع، وأرخص، وأكثر استقراراً.

4. البنية: CTDE ( "قاعة الدراسة" مقابل "الامتحان")

يستخدم النظام طريقة تسمى CTDE (التدريب المركزي، التنفيذ اللامركزي).

التدريب (قاعة الدراسة): خلال التدريب، يتشارك جميع الروبوتات ملاحظاتهم. يرون المسبح بأكمله ويتحدثون مع بعضهم البعض لتحديد أفضل استراتيجية معاً.
التنفيذ (الامتحان): عندما تبدأ اللعبة الحقيقية، يكون الروبوتات بمفردهم في الماء. لا يمكنهم التحدث إلى المدرب أو رؤية المسبح بأكمله. عليهم الاعتماد فقط على أعينهم وذاكرتهم (دماغ Mamba) لاتخاذ القرارات.
النتيجة: تتعلم الروبوتات استراتيجية فريق معقدة في قاعة الدراسة، لكن يمكنهم تنفيذها ببراعة حتى وهم بمفردهم في الظلام.

5. الاختبار الواقعي: القروش الآلية

لم يكتفِ الباحثون بمحاكاة ذلك على الكمبيوتر؛ بل صنعوا قروشاً آلية حقيقية.

هذه القروش لديها ذيول تتحرك مثل الأسماك الحقيقية، مما يجعلها هادئة ورشيقة.
وضعوها في مسبح بمساحة 4×4 متر.
النتيجة: حققت قروش M2GRPO نجاحاً مذهلاً. لقد أمسكت بـ "الفريسة" بنسبة 97% (مقارنة بـ 80-90% للطرق القديمة) وفعلت ذلك بشكل أسرع.
الاستراتيجية: في الفيديوهات، يمكنك رؤية القروش وهي تعمل مثل قطيع الذئاب. هم لا يركضون فقط في خط مستقيم؛ بل يقطعون طرق الهروب، ويحاصرون الفريسة، ويتبادلون الأدوار في المطاردة.

ملخص: لماذا يعد هذا أمراً هاماً؟

هذه الورقة البحثية تشبه منح مدرسة من الأسماك الآلية ذاكرة فائقة وروحاً جماعية لا تتطلب مديراً مركزياً.

الطريقة القديمة: الروبوتات قصيرة النظر، وتنسى، وتحتاج إلى حاسوب خارق للتنسيق.
الطريقة الجديدة (M2GRPO): الروبوتات تتذكر الماضي، وتتنبأ بالمستقبل، وتتعلم من خلال مقارنة أنفسهم بزملائهم، ويمكنهم العمل بكفاءة حتى مع طاقة محدودة.

يمكن استخدام هذه التكنولوجيا قريباً في مهام العالم الحقيقي مثل البحث عن الغواصين المفقودين، أو فحص خطوط الأنابيب تحت الماء، أو مراقبة صحة المحيطات، حيث تحتاج الروبوتات للعمل معاً بصمت وذكاء في المياه العميقة والمظلمة.

إليك ملخص تقني مفصل لورقة البحث بعنوان: "M2GRPO: تحسين سياسة المجموعة النسبية المتعددة الوكلاء القائم على نموذج Mamba لمطاردة الروبوتات المائية المحاكية للبيولوجيا."

1. بيان المشكلة

تتناول الورقة التحديات المتعلقة بمهام المطاردة والهروب التعاونية (PE) التي تشمل روبوتات مائية محاكية للبيولوجيا (تحديداً القروش الروبوتية). وتتمثل الصعوبات الجوهرية في هذا المجال فيما يلي:

اتخاذ القرار طويل الأمد: تتطلب مهام المطاردة تخطيطاً عبر أطر زمنية ممتدة، وهو أمر يصعب على النماذج القياسية التي تعاني مع الاعتمادات الزمنية طويلة المدى.
الإدراك الجزئي: تعمل الروبوتات بمدى استشعار محلي محدود، مما يتطلب منها الاعتماد على تسلسلات الملاحظات التاريخية لاستنتاج حالة البيئة والهارب.
التنسيق بين الوكلاء: يتطلب الالتقاط الفعال تنسيقاً ديناميكياً بين عدة مطاردين مع تضاريس تفاعل متطورة.
قيود الموارد: تمتلك الروبوتات المائية قدرة حوسبية محدودة، مما يستلزم خوارزميات تكون تعبيرية وفعالة حوسبياً في آن واحد.

تعتمد الطرق الحالية غالباً على الشبكات العصبية متعددة الطبقات (MLPs) التي تفشل في التقاط الاعتمادات الزمنية طويلة المدى، أو نماذج المحولات (Transformers) التي تترتب عليها تكاليف حوسبية عالية (تعقيد $O(N^2)$ ) غير مناسبة للنشر على متن الروبوتات.

2. المنهجية: M2GRPO

يقترح المؤلفون إطار عمل M2GRPO، الذي يدمج شبكة سياسة قائمة على Mamba مع تحسين سياسة المجموعة النسبية متعددة الوكلاء (MAGRPO) تحت نموذج التدريب المركزي مع التنفيذ اللامركزي (CTDE).

أ. شبكة السياسة القائمة على Mamba

بدلاً من الـ MLPs القياسية أو المحولات، تستخدم شبكة السياسة نموذج Mamba (نماذج فضاء الحالة الانتقائية) للتعامل مع البيانات الزمنية والارتباطية بكفاءة.

النمذجة الزمنية: تستخدم وحدة M2Mamba لمعالجة تسلسلات الملاحظات التاريخية ( $h_t$ ). وهي تستفيد من البوابات المعتمدة على المدخلات والتدخل المجزأ لالتقاط الاعتمادات الزمنية طويلة المدى بتعقيد زمني خطي، مستبدلة بذلك التعقيد التربيعي للمحولات.
النمذجة الارتباطية: تستخدم وحدة BiMamba2 (Mamba ثنائي الاتجاه) لمعالجة الملاحظات المحلية الحالية (الحالة الذاتية، معلومات الهارب، والميزات الجماعية للجيران) لاستخراج ميزات التفاعل.
الدمج: تقوم آلية الانتباه متعدد الرؤوس (MHA) بدمج الميزات الزمنية (المفتاح/القيمة) والميزات الارتباطية (الاستعلام) لإنشاء تمثيل كامن موحد.
مخرجات الإجراء: يتم رسم التمثيل المدمج إلى معاملات التوزيع الغاوسي ( $\mu, \sigma$ ) لأخذ عينات من إجراءات مستمرة ومحدودة.

ب. تحسين سياسة المجموعة النسبية متعددة الوكلاء (MAGRPO)

لتحسين استقرار التدريب وتقليل التكلفة الحوسبية، قام المؤلفون بتوسيع تحسين سياسة المجموعة النسبية (GRPO) ليشمل بيئات متعددة الوكلاء.

إلغاء شبكات القيمة: على عكس خوارزميات PPO أو MAPPO التقليدية، لا تتطلب MAGRPO شبكة ناقد/قيمة منفصلة.
المزايا الموحدة للمجموعة: لكل وكيل، يتم حساب المزايا عن طريق توحيد العوائد الحلقية للبيئات المتوازية داخل المجموعة.
$A^i_j = \frac{R^i_j - \bar{R}^i}{\text{Std}(R) + \tau}$
حيث أن $R^i_j$ هو العائد في البيئة رقم $j$ ، و $\bar{R}^i$ هو متوسط المجموعة.
هدف PPO-Clip: يتم تحديث السياسة باستخدام دالة هدف مقصوصة (clipped objective) بناءً على هذه المزايا النسبية، مما يضمن تحديثات مستقرة دون عدم الاستقرار المرتبط غالباً بتقريب دالة القيمة في الأنظمة متعددة الوكلاء.

ج. تصميم المكافأة

تجمع دالة المكافأة بين ثلاثة مكونات لتوجيه التعلم:

مكافأة الالتقاط ( $r_{cap}$ ): مكافأة إيجابية ثابتة عند الالتقاط الناجح.
المكافأة المساعدة ( $r_{aux}$ ): تشجع على تقليل المسافة إلى الهارب.
مكافأة السلامة ( $r_{safe}$ ): تعاقب الوكلاء عند اقترابهم من حدود الحوض لمنع السلوكيات غير الآمنة.

3. المساهمات الرئيسية

بنية مبتكرة: تقترح أول دمج لـ Mamba (نموذج SSM الانتقائي) في سياسة متعددة الوكلاء للروبوتات المائية، مما يعالج بفعالية الاعتمادات الزمنية طويلة الأمد والعلاقات بين الوكلاء بتعقيد حوسبي خطي.
ابتكار خوارزمي: طورت MAGRPO، وهي امتداد متعدد الوكلاء لـ GRPO يلغي الحاجة إلى شبكات قيمة صريحة، مما يقلل بشكل كبير من استخدام الذاكرة وتعقيد التدريب مع الحفاظ على الاستقرار.
التحقق من الواقع: نجحت في نشر السياسة المتعلمة على نماذج أولية لروبوتات قرش مائية محاكية للبيولوجيا في بيئة مسبح حقيقية، مما يثبت جدوى النهج بعيداً عن المحاكاة.

4. النتائج التجريبية

تم تقييم الإطار من خلال محاكاة واسعة النطاق وتجارب واقعية مقابل خطوط أساس قوية (MAPPO, HAPPO, MASAC).

الفعالية (معدل النجاح):
- حقق M2GRPO معدل نجاح بنسبة 97% ضد هارب متعلم و 93% ضد هارب عشوائي.
- تفوق على جميع الخطوط المرجعية (MAPOO, HAPPO, MASAC) بفارق كبير، ويُعزى ذلك إلى قدرته الفائقة على نمذجة النوايا طويلة المدى وتنسيق الوكلاء.
الكفاءة (خطوات الالتقاط):
- تطلب M2GRPO أقل عدد متوسط من الخطوات لالتقاط الهارب، مما أظهر تخطيطاً أكثر استشرافاً للمستقبل مقارنة بالخطوط المرجعية التي غالباً ما تقوم بتحركات زائدة عن الحاجة.
القابلية للتوسع:
- مع زيادة عدد المطاردين (من 2 إلى 6)، حافظ M2GRPO على أعلى معدل نجاح.
- أظهرت الخطوط المرجعية مثل MASAC و MHPPO تدهوراً في الأداء أو زيادة خطية في عبء التدريب مع نمو عدد الوكلاء، بينما توسع دمج الانتباه في M2GRPO بكفاءة.
دراسات الاستئصال (Ablation Studies):
- أدى إزالة ترميز التفاعل إلى أكبر انخفاض في الأداء (من 92% إلى 81%)، مما يبرز الدور الحاسم للنمذجة العلاقاتية.
- استبدال Mamba بنموذج MLP قياسي أدى إلى انخفاض حاد (إلى 66%)، مما يؤكد ضرورة وجود هيكل SSM للتعليل الزمني.
التجارب الواقعية:
- أكدت الاختبارات الفيزيائية مع الروبوتات القرش قدرة الخوارزمية على التكيف مع ظروف المياه الديناميكية، حيث نفذت بنجاح استراتيجيات معقدة مثل "الحصر" و"التطويق" لالتقاط هارب متحرك.

5. الأهمية

يمثل هذا العمل تقدماً كبيراً في التعاون بين الروبوتات المائية متعددة الوكلاء. من خلال الجمع بين الكفاءة الزمنية الخطية لـ Mamba وكفاءة العينات لـ Group Relative Policy Optimization، يحل M2GRPO المقايضة بين القدرة التعبيرية والتكلفة الحوسبية.

التطبيق العملي: يوفر حلاً قابلاً للتوسع لمهام حقيقية مثل التفتيش تحت الماء، والبحث والإنقاذ، والمراقبة البيئية حيث يجب أن تعمل الروبوتات بقدرات حوسبية محدودة على متنها وإدراك جزئي.
الأثر النظري: يثبت أن نماذج فضاء الحالة (SSMs) يمكن أن تحل محل المحولات (Transformers) بفعالية في تعلم التعزيز متعدد الوكلاء، مما يفتح اتجاهاً جديداً للأنظمة الروبوتية ذات الموارد المحدودة.