⚡ electrical engineering

DSSE: a drone swarm search environment

تُعد DSSE بيئة بحث لسرب من الطائرات بدون طيار قائمة على PettingZoo، صُممت لتسهيل دراسة خوارزميات التعلم المعزز متعدد الوكلاء التي تستخدم خرائط احتمالية ديناميكية لتحديد موقع الهدف دون مكافآت مباشرة تعتمد على المسافة.

المؤلفون الأصليون: Manuel Castanares, Luis F. S. Carrete, Enrico F. Damiani, Leonardo D. M. de Abreu, José Fernando B. Brancalion, Fabrício J. Barth

نُشر 2026-05-28

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Manuel Castanares, Luis F. S. Carrete, Enrico F. Damiani, Leonardo D. M. de Abreu, José Fernando B. Brancalion, Fabrício J. Barth

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تلعب لعبة "غميضة" عالية المخاطر على رقعة شطرنج عملاقة غير مرئية تطفو فوق المحيط. ولكن بدلاً من وجود باحث واحد، لديك فريق من الروبوتات الطائرة الصغيرة (الدرونز)، وبدلاً من البحث عن شخص يختبئ خلف شجرة، أنت تبحث عن ناجٍ من تحطم سفينة ينجرف في الماء.

تقدم هذه الورقة البحثية DSSE (بيئة بحث أسراب الدرونز)، وهي في الأساس محرك لعبة فيديو مصمم خصيصاً لتعليم الذكاء الاصطناعي (AI) كيفية لعب هذه اللعبة بكفاءة.

إليك تفصيل لكيفية عمل هذه "اللعبة"، باستخدام تشبيهات بسيطة:

1. الهدف: البحث عن إبرة في كومة قش

في العالم الحقيقي، يعد العثور على شخص مفقود في المحيط أمراً صعباً للغاية لأن المحيط شاسع ولأن المياه تتحرك. في هذه المحاكاة، لا يعرف الذكاء الاصطناعي مكان الشخص بالضبط. بدلاً من ذلك، يتم تزويده بـ "خريطة حرارية" (مصفوفة احتمالات).

التشبيه: تخيل خريطة حيث تكون بعض المربعات حمراء زاهية (احتمالية عالية لوجود الشخص هناك) وأخرى زرقاء (احتمالية منخفضة). ومع مرور الوقت، تتحرك المنطقة "الحمراء" وتنتشر، مثل قطرة حبر تنتشر في الماء، لأن الشخص ينجرف مع التيار.
التحدي: يجب على الذكاء الاصطناعي تعلم الطيران فوق المناطق "الأكثر احمراراً" للعثرف على الشخص قبل انتهاء الوقت.

2. قواعد اللعبة

للحفاظ على عدالة اللعبة وقابليتها للحل بالنسبة للذكاء الاصطناعي، وضع المؤلفون بعض القواعد الصارمة (تبسيطات):

منجٍ واحد: يوجد شخص واحد فقط للبحث عنه.
الشبكة: يمكن للدرونز التحرك فقط للأعلى، أو الأسفل، أو اليسار، أو اليمين (لا طيران قطري).
زر "البحث": الطيران فوق بقعة ما ليس كافياً. يجب على الدرون تنفيذ إجراء "بحث" محدد (مثل خفض كاميرا) للتأكد مما إذا كان الشخص موجوداً هناك.
عمر البطارية: تمتلك الدرونز عدداً محدوداً من الخطوات قبل أن تنفد بطاريتها.

3. كيف يتعلم الذكاء الاصطناعي (لوحة النتائج)

يتعلم الذكاء الاصطناعي عن طريق التجربة والخطأ، مسترشداً بلوحة نتائج تسمى دالة المكافأة (Reward Function). فكر في الأمر كمدرب صارم يصرخ بالتعليمات:

عمل جيد (+1 نقطة): في كل مرة يتحرك فيها الدرون أو يستكشف، يحصل على نقطة صغيرة. هذا يشجع الدرون على الاستمرار في الحركة وعدم الجلوس ساكناً.
لا تطر خارج الحافة (-100,000 نقطة): إذا طار الدرون خارج الخريطة، فإنه يحصل على عقوبة ضخمة. هذا يعلم الذكاء الاصطناعي البقاء داخل منطقة البحث.
لا تصطدم (-20,000 نقطة): إذا اصطدم درونان ببعضهما البعض، يحصلان على عقوبة كبيرة. هذا يعلمهم تجنب التصادم.
البحث في المكان الخاطئ (-100 نقطة): إذا بحث الدرون في بقعة هي بالتأكيد فارغة (احتمالية أقل من 1%)، فإنه يحصل على عقوبة صغيرة.
البحث في مكان جيد (+نقاط): إذا بحث الدرون في بقعة ذات احتمالية عالية، فإنه يحصل على نقاط تعادل تلك الاحتمالية. هذا يعلم الذكاء الاصطناعي: "ركز على المناطق الساخنة، وليس الباردة!"
الجائزة الكبرى (مكافأة ضخمة): إذا وجد الدرون الشخص، فإنه يحصل على مكافأة هائلة. وكلما وجده بشكل أسرع، كانت المكافأة أكبر. إذا وجده في 100 خطوة، فالمكافأة ضخمة؛ وإذا استغرق 490 خطوة، فالمكافأة ستكون أصغر. هذا يعلم الذكاء الاصطناعي أن يكون سريعاً.

4. لماذا توجد هذه الأداة؟

لاحظ المؤلفون أن العديد من الباحثين كانوا يبنون "ألعابهم" الخاصة لتدريب هذه الدرونز، لكنهم كانوا يبقون الكود سرياً. جعل هذا من الصعب على الآخرين التحقق من عملهم أو البناء عليه.

الحل: قاموا ببناء هذه البيئة كـ صندوق أدوات عام (مكتبة Python) يمكن لأي شخص تحميلها. وهي تتبع تنسيقاً قياسياً (يسمى PETTINGZOO) بحيث يمكن توصيل أي خوارزمية تدريب ذكاء اصطناعي بها فوراً، تماماً مثل توصيل خرطوشة لعبة بجهاز ألعاب.

5. الربط بالواقع

بذل المؤلفون قصارى جهدهم لجعل اللعبة تبدو واقعية:

حجم الخلية: قاموا بحساب حجم كل "مربع" في الشبكة بناءً على الارتفاع الذي يطير به درون حقيقي (120 متراً) والمساحة التي يمكن لكاميرا بحث حقيقية رؤيتها من ذلك الارتفاع.
الواقعية مقابل التبسيط: هم يقرون بأن اللعبة ليست مثالية. في العالم الحقيقي، قد يسبح الشخص أو ينجرف بشكل غير متوقع، ويمكن للدرونز الطيران في منحنيات سلسة. في هذه اللعبة، يتحرك الشخص بنمط يمكن التنبؤ به، وتتحرك الدرونز في شبكة. ومع ذلك، فهي نقطة انطلاق قوية لتعلم الأساسيات.

الملخص

باخت المختصر، تقدم هذه الورقة البحثية محاكي تدريب لأسراب الدرونز. إنها تنشئ محيطاً افتراضياً حيث تتعلم وكلاء الذكاء الاصطناعي كيفية البحث عن ناجٍ ينجرف عبر قراءة "خريطة حرارية"، وإدارة بطارياتهم، والسباق ضد الزمن — كل ذلك ضمن أداة مجانية ومفتوحة المصدر يمكن للباحثين استخدامها لتطوير استراتيجيات أفضل للبحث والإنقاذ.

ملخص تقني: DSSE – بيئة بحث أسراب الدرونز

بيان المشكلة

تتناول الورقة التحدي الحاسم المتمثل في تحديد مواقع الأفراد المفقودين في البيئات المحيطية الشاسعة، وهي مهمة تزداد تعقيداً بسبب تعقيد الظروف البحرية والنطاق الهائل لمناطق البحث. وبينما برزت أسراب الدرونز (الطائرات بدون طيار) كأداة واعدة في عمليات البحث والإنقاذ (SAR)، فإن تطوير خوارزميات فعالة للتعلم المعزز متعدد الوكلاء (Multi-Agent Reinforcement Learning) في هذا المجال يعوقه غياب بيئات محاكاة سهلة الوصول ومعيارية. لقد اعتمدت الأبحاث السابقة غالباً على بيئات مملوكة وغير عامة، مما خلق عوائق أمام قابلية التكرار، والشفافية، والتقدم التعاوني في هذا المجال. وقد حدد المؤلفون هذه الفجوة كعائق كبير يمنع الباحثين من التحقق من الأعمال القائمة والبناء عليها.

المنهجية

لمعالجة هذه القيود، طور المؤلفون DSSE (بيئة بحث أسراب الدرونز)، وهي بيئة محاكاة مبنية على مكتبة PETTINGZOO، مصممة للتوافق مع خوارزميات التعلم المعزز أحادية الوكيل ومتعددة الوكلاء. تحاكي البيئة سيناريو حيث يجب على وكلاء الدرونز تحديد موقع شخص ناجٍ من غرق سفينة دون معرفة مسبقة بموقعه الدقيق أو المسافة المباشرة إليه.

الآليات الجوهرية والتبسيطات

تستخدم البيئة عدة تبسيطات استراتيجية لإدارة التعقيد مع الحفاظ على الصلة بالواقع:

المحاكاة القائمة على الشبكة: يتم تقسيم منطقة البحث إلى شبكة (Grid). تتحرك الدرونز في الاتجاهات الأصلية (أعلى، أسد، يمين، يسار) أو تقوم بفعل "البحث". تم استبعاد الحركة القطرية لتبسيط النموذج.
ديناميكيات الهدف: يفترض السيناريو وجود شخص واحد ناجٍ من غرق سفينة. لا يتم نمذجة حركة الهدف عبر ديناميكيات سوائل معقدة، بل من خلال متجه اتجاهي يمثل التيارات المحيطية. يتم تحديد موقع الهدف بشكل عشوائي بناءً على مصفوفة احتمالية، حيث يميل الهدف للتحرك نحو الخلايا المجاة باحتمالات أعلى، مما يحاكي اتخاذ القرار المدفوع بالبقاء.
مصفوفة الاحتمالات: هي المدخل الرئيسي للوكلاء. تمثل احتمالية وجود الهدف في خلية معينة.
- التهيئة: تبدأ المصفوفة باحتمالية 100% عند آخر موقع معروف للهدف.
- التطور: بمرور الوقت، تتشتت الاحتمالية وفقاً لمتجه اتجاهي (التيار) ونصف قطر عدم يقين متزايد.
- الحساب: يتم توزيع الاحتمالات باستخدام دالة غاوس ثنائية الأبعاد (2D Gaussian function). تُعاير القيم بحيث يكون مجموعها واحداً، مما يخلق خريطة احتمالية ديناميكية يجب على الوكلاء تفسيرها.

هيكل المكافأة

تستخدم البيئة نظام مكافآت متفرق ومُعاقب لتوجيه سلوك الوكيل:

الاستكشاف: يتلقى الوكلاء مكافأة إيجابية صغيرة (+1) مقابل الحركة القياسية لتحفيز استكشاف الشبكة.
العقوبات: تُطبق عقوبات سلبية شديدة عند مغادرة الشبكة (−100,000)، أو الاصطدام بوكلاء آخرين (−100,000)، أو تجاوز الحد الزمني للخطوات (−100,000). كما تُطبق عقوبة متوسطة (−1,000) عند الفشل في العثور على الهدف خلال الفترة الزمنية (episode).
أفعال البحث:
- البحث في خلية ذات احتمالية أقل من 1% يؤدي إلى عقوبة (−100).
- البحث في خلية ذات احتمالية ≥1% يؤدي إلى مكافأة تتناسب مع قيمة احتمالية الخلية.
- تحديد موقع الهدف بنجاح يمنح مكافأة تُحسب بالمعادلة $r = 10000 + 10000 \times (1 - \frac{timestep}{timestep\_limit})$ ، مما يحفز الاكتشاف السريع.

التنفيذ

تم تنفيذ البيئة كحزمة لغة بايثون (Python package) تلتزم بمعايير PETTINGZOO، مما يضمن التوافق مع خوارزميات التعلم المعزز الموجودة. الكود المصدري متاح للجمهور على GitHub، ويوفر التوثيق، وتعليمات التثبيت، وأمثلة الاستخدام.

المساهمات الرئيسية

بيئة مفتوحة المصدر: المساهمة الأساسية هي إصدار بيئة محاكاة عامة ومعيارية للبحث عن الناجين من غرق السفن باستخدام أسراب الدرونز، مما يعالج أزمة التكرار الناتجة عن الأدوات المملوكة في الأدبيات السابقة.
مدخل الاحتمالية الديناميكي: يقدم النظام آلية حيث يتلقى الوكلاء خرائط احتمالية ديناميكية بدلاً من مكافآت المسافة المباشرة، مما يجبر على تطوير خوارزميات قادرة على التعامل مع المدخلات الاحتمالية وعدم اليقين.
التقييس (Standardization): من خلال التوافق مع PETTINGZOO، تتيح الأداة للباحثين اختبار ومقارنة خوارزميات التعلم المعزز المختلفة ضمن إطار عمل متسق دون الحاجة إلى إعادة بناء منطق المحاكاة.

النتالئج والادعاءات

لا تقدم الورقة نتائج تجريبية تقارن بين خوارزميات تعلم معزز محددة أو تدعي تفوقاً في الأداء على الطرق الموجودة. بدلاً من ذلك، فإن "النتائج" هي التصميم الناجح، والتنفيذ، وإصدار الأداة نفسها. يشير المؤلفون إلى أن ورقة مراجعة من قبل الأقران تصف الإصدار الثاني من هذا البرنامج، والذي يتضمن وظائف موسعة، قد نُشرت بشكل منفصل [6].

يعمل هذا المستند التمهيدي (Preprint) كوصف للتصميم الأولي والإصدار الأول. ويذكر المؤلفون صراحة أن المحاكاة هي تمثيل مبسط للواقع، مشيرين إلى قيود مثل:

الهدف لا يخرج من حدود الشبكة بل يرتد عن الزوايا.
حركة الدرونز منفصلة (discrete) وليست مستمرة (continuous).
نماذج حركة المحيط والهدف مبسطة وقد لا تستوعب تماماً تعقيدات العالم الحقيقي.

الأهمية

تضع الورقة DSSE كأداة تأسيسية لتعزيز التعاون والشفافية في أبحاث التعلم المعزز للبحث والإنقاذ البحري. ومن خلال توفير بيئة عامة ومعيارية، يهدف المؤلفون إلى تمكين المجتمع البحثي من التحقق من الحلول الحالية وتطوير خوارمازميات أكثر تطوراً للعثور على الأشخاص الناجين من غرق السفن. تكمتر الأهمية ليس في اختراق خوارزمي محدد مقدم في هذا النص، بل في إزالة حواجز الدخول أمام الباحثين الراغبين في معالجة هذه المشكلة المعقدة والواقعية. ويخلص المؤلفون إلى أن هذا النهج المفتوح يشجع على التعديل والتحسين الخارجي، مما قد يدفع عجلة التقدم الخوارزمي المستقبلي في هذا المجال.