A Hierarchical Reinforcement Learning-Based Time Slotted Channel Hopping Scheduling Method for Emergency Rescue in Karst Natural Caves
تقترح هذه الورقة طريقة HRL-TSCH-ERC، وهي طريقة جدولة قائمة على التعلم التعزيزي الهرمي تعمل على تخصيص الموارد وجدولة الروابط ديناميكيًا في الشبكات اللاسلكية المتداخلة داخل الكهوف الكارستية لتحسين تسليم الحزم والموثوقية وكفاءة الطاقة لخدمات الإنقاذ الطارئة غير المتجانسة بشكل كبير مقارنة بالخوارزميات الحالية.
تخيل أنك تحاول تنظيم لعبة "تليفون" (الهمس) ضخمة وفوضوية داخل كهف ملتوٍ ومظلم. في العالم الحقيقي، عندما يدخل المنقذون هذه الأنفاق الأرضية الغريبة والمتعرجة، لا يمكنهم الاعتماد على أبراج الجوال أو الإنترنت؛ فجدران الصخور تحجب الإشارات، والهواء كثيف بالرطوبة التي تشوش موجات الراديو. ولإنقاذ الأرواح، يحتاجون إلى بناء شبكة لاسلكية مؤقتة وذاتية التنظيم من الأجهزة التي يمكنها التحدث مع بعضها البعض، وتنتقل الرسائل من شخص لآخر، لإيصال الرسائل العاجلة. هذا هو عالم "الشبكات المتداخلة اللاسلكية" (Wireless Mesh Networks)، حيث يعمل كل جهاز كمرسال ومحطة تقوية في آن واحد.
لكن الجزء الصعب يكمتي في أن هذه الشبكات لديها إمداد محدود من "الفتحات الزمنية" و"القنوات اللاسلكية" لإرسال الرسائل. فإذا حاول الجميع التحدث في وقت واحد، ستنهار الشبكة. ولحل هذه المشكلة، يستخدم المهندسون نظامًا يسمى "قفز القنوات المجدول زمنياً" (TSCH). فكر في (TSCH) كأنه نظام إشارات مرور صارم للغاية لموجات الراديو غير المرئية؛ فهو يقسم الوقت إلى شرائح صغيرة (فتحات) ويخصص ترددات راديو محددة لكل زوج من الأجهزة، مما يضمن عدم اصطدامها ببعضها البعض. ومع ذلك، في عمليات إنقاذ الكهوف، ليست كل الرسائل متساوية في الأهمية؛ فصرخة استغاثة يجب أن تصل فوراً، وتحديث موقع نظام تحديد المواقع (GPS) يجب أن يكون سريعاً، لكن فحص درجة الحرارة الروتيني يمكنه الانتظار قليلاً. التحدي الكبير يكمكمن في كيفية جدولة أنواع الرسائل المختلفة هذه بحيث لا تظل الرسائل الأكثر أهمية عالقة في الازدحام، بينما تضمن أيضاً وصول الرسائل الأقل استعجالاً.
هذا هو بالضبط ما عالجه الباحثون في جامعة غويتشو نورمالالمركز لخدمات الطوارخ في الصين في دراستهم الجديدة. لقد أدركوا أن أنظمة إشارات المرور الموجودة حالياً كانت جامدة للغاية بالنسبة للواقع الفوضوي وغير المتوقع لعمليات إنقاذ الكهوف. لذا، ابتكروا طريقة جدولة ذكية جديدة تسمى HRL-TSCH-ERC. وبدلاً من اتباع كتاب قواعد ثابت، استخدموا نظام "تعلم تعزيزي هرمي". يمكنك التفكير في هذا النظام كفريق إدارة مكون من مستويين يدير الشبكة. "الوكيل عالي المستوى" يعمل مثل مدير مطار مشغول ينظر إلى الصورة الكبيرة: "لدينا موجة من إنذارات الطوارئ القادمة، لذا دعونا نعدل ديناميكياً حصة الفتحات الزمنية المخصصة لرسائل السلامة بناءً على مدى إلحاح الموقف، بدلاً من الالتزام بخطة ثابتة". أما "الوكيل منخفض المستوى"، فيعمل مثل موظفي البوابات في بوابات محددة، حيث يتأكد من صعود الطائرات (حزم البيانات) فعلياً دون الاصطدام ببعضها البعض أو انتهاك قواعد المطار.
اختبر الفريق هذه الفكرة في محاكاة حاسوبية مفصلة تحاكي الظروف الصعبة لكهف كارستي، بما في ذلك الأنفاق الملتوية وجودة الإشارة المتذبذبة. وقارنوا طريقتهم الجديدة بثلاث طرق قديمة: إحداها تنظر فقط إلى حجم حركة المرور، وأخرى تستخدم أولويات ثابتة بسيطة، وثالثة تستخدم خوارزمية تعلم أساسية. كانت النتائج مذهلة؛ ففي هذه المحاكاة، نجحت طريقتهم الجديدة في تسليم 100% من رسائل السلامة الحرجة وأوامر التحكم في الوقت المحدد، بينما ضمنت أيضاً وصول رسائل المراقبة الروتينية بنسبة 96% من الوقت. وفي المقابل، عانت الطرق القديمة، حيث فشلت بعضها في تسليم الرسائل الحرجة أو تركت الرسائل الروتينية تعاني من انعدام الوصول تماماً.
ما يجعل هذا النهج مميزاً هو كيفية موازنته بين الاحتياجات المتضاربة. فقد وجد الباحثون أنه من خلال تعديل "ميزانية" الفتحات الزمنية ديناميكياً بناءً على مدى إلحاح الموقف، استطاعوا حماية إنذارات إنقاذ الحياة دون تجاهل البيانات الأخرى تماماً. كما تعلم نظامهم تجنب "التحركات غير القانونية" — مثل محاولة إرسال رسالتين في وقت واحد على نفس القناة — والتي تسببت في إضاعة الوقت والطاقة في الطرق الأخرى. وفي النهاية، استخدمت الطريقة الجديدة طاقة أقل لكل بت من البيانات المرسلة وحققت سرعة إجمالية أعلى للشبكة بأكملها. ورغم أن هذه كانت محاكاة وليست تجربة في كهف حقيقي بعد، إلا أن النتائج تشير إلى أن هذا النهج القائم على التعلم والمكون من مستويين قد يكون المفتاح لإبقاء فرق الإنقاذ متصلة عندما تكون في أمس الحاجة إلى ذلك، محولاً الكهف الفوضوي إلى مركز اتصالات منظم بدقة.
ملخص تقني: HRL-TSCH-ERC لإنقاذ الكهوف الكارستية
بيان المشكلة تقدم الشبكات اللاسلكية المتداخلة (WMNs) حلاً واعداً للنشر السريع للاتصالات في سيناريوهات إنقاذ الكهوف الكارستية، حيث تغيب البنية التحتية الثابتة. ومع ذلك، فإن الاتصال الموثوق في هذه البيئات يعوقه عدم استقرار الروابط اللاسلكية الناتج عن ظروف الانتشار المعقدة (العوائق، الانحناءات، الرطوبة)، والموارد اللاسلكية المحدودة، والمتطلبات المتفاوتة للخدمات. تعاني طرق جدولة "القفز عبر القنوات الموقوتة زمنياً" (TSCH) الحالية، والتي صُممت غالباً لشبكات إنترنت الأشياء الصناعية (IIoT) المستقرة، من صعوبة معالجة حركة المرور الحرجة للسلامة ذات النبضات المفاجئة، وتقلبات الروابط الديناميكية، والحاجة إلى جودة خدمة (QoS) متمايزة بين خدمات الطوارئ (إنذارات الضيق، رسائل التحكم، والمراقبة الروتينية). وتحديداً، تفشل النهج الحالية في نمذجة تمايز جودة الخدمة متعددة الخدمات، وعدم استقرار روابط الكهوف، وقيود الموارد بشكل مشترك، مما يؤدي إلى احتمال حدوث تجويع للموارد للخدمات الروتينية أو فوات المواعيد النهائية للبيانات الحرجة للسلامة.
المنهجية يقترح البحث منهجية HRL-TSCH-ERC (التعلم التعزيزي الهرمي لـ TSCH لإنقاذ الطوارئ في الكهوف)، وهي طريقة جدولة تفكك مشكلة الجدولة المعقدة إلى مشكلتين فرعيتين مترابطتين: تخصيص ميزانية الموارد على مستوى إطار الفتحة (slotframe)، وجدولة الروابط على مستوى الخلية.
نمذجة النظام:
البنية: تم اعتماد بنية الشبكة اللاسلكية المتداخلة المعرفة برمجياً (SDWMN)، والتي تتميز بمستوى تحكم مركزي للإدراك العالمي للحالة ومستوى بيانات لعقد الشبكة المتداخلة.
نموذج القناة: يُستخدم نموذج قناة مجزأ لحساب فقدان المسار بناءً على السمات الهندسية المحددة للكهف (الانحناءات، خشونة الجدران)، واستخراج نسبة الإشارة إلى الضوضاء (SNR) ونسبة استقبال الحزم (PRR).
نموذج حركة المرور: تم تعريف ثلاث فئات من خدمات الطوارئ: الخدمات الحرجة للسلامة (تُحفز بالأحداث، عالية الأولوية)، تقارير التحكم (دورية تُفعل بالأحداث، متوسطة الأولوية)، والمراقبة الروتينية (دورية، منخفضة الأولوية). لكل فئة أحجام حمولة، ومواعيد نهائية، وحدود إعادة إرسال متميزة.
المقاييس: يدمج النموذج نسبة تسليم الحزم (PDR) من طرف إلى طرف، ونسبة استيفاء الموعد النهائي (DSR)، والتأخير، واستهلاك الطاقة لكل بت، ودالة تكلفة جدولة شاملة توازن بين التأخير والطاقة والموثوقية والإنتاجية.
إطار التعلم التعزيزي الهرمي:
الوكيل عالي المستوى: يعمل على مستوى إطار الفتحة (slotframe). يقوم بمراقبة تراكم الطوابير، وضغوط المواعيد النهائية، وتكاليف الروابط لتخصيص "ميزانية" ديناميكية (عدد الفتحات الزمنية) لكل فئة من فئات الخدمات الثلاث. يستخدم خوارزمية Q-learning لتعظيم العوائد طويلة الأمد مع موازنة ضغوط الخدمة.
الوكيل منخفض المستوى: يعمل على مستوى الخلية (تركيبات الفتحة الزمنية/القناة الفردية). يقوم بتحويل الميزانية عالية المستوى إلى إجراءات جدولة قابلة للتنفيذ. ومن الضروري أنه يستخدم مرشح الإجراءات الصالحة لبناء مجموعة إجراءات قابلة للتنفيذ (Avalid) تلتزم بصرامة بقيود TSCH (نصف مزدوج، تعارض الروابط، حدود الميزانية، وقيود المواعيد النهائية) قبل اختيار الإجراء.
تصميم المكافأة: دالة المكافأة مجزأة، حيث تعاقب الفتحات الخاملة عند وجود إجراءات صالحة، وتكافئ التسليم الناجح (موزوناً بأهمية الخدمة)، وتعاقب حالات انتهاء الوقت وفقدان البيانات. تتضمن مكافأة المستوى العالي عقوبات على الميزانيات غير المستخدمة وضغط حركة مرور السلامة الحرجة المتبقية.
المساهمات الرئيسية
نموذج نظام Multi-Service Mesh-TSCH: صاغ البحث نموذج نظام مخصص لإنقاذ الكهوف الكارستية، يدمج نموذج قناة مجزأ مع ثلاث فئات متميزة من خدمات الطوارئ ويحلل ترابطها تحت الظروف غير المستقرة والمقيدة بالموارد.
نموذج جدولة جودة الخدمة المتمايزة: بخلاف جداول IIoT العامة التي تحسن الأداء المتوسط، يوحّد هذا النموذج أولويات الخدمة، وظروف الروابط، وتراكم الطوابير لدعم متطلبات التأخير والموثوقية المحددة لخدمات الطوارضاء غير المتجانسة بشكل مباشر.
خوارزمية HRL-TSCH-ERC: تقدم الطريقة المقترحة آلية قرار هرمية حيث يقوم الوكيل عالي المستوى بتعديل ميزانيات الموارد ديناميكياً بناءً على ضغط الطوارئ، بينما يضمن الوكيل منخفض المستوى جدولة واعية بالقيود. يمنح هذا النهج الأولوية لخدمات السلامة الحرجة مع منع تجويع خدمات المراقبة الروتينية.
إطار التحقق بالمحاكاة: تم تطوير بيئة محاكاة موحدة، تتضمن نمذجة قناة الكهف المجزأة، وتوجيه متعدد القفزات، ومتطلبات جودة خدمة متمايزة. تمت مقارنة الطريقة المقترحة مع خوارزمية جدولة الوعي بحركة المرور (TASA)، وPriority-TSCH، وQ-learning-based TSCH (QL-TSCH).
النتائج أظهرت عمليات المحاكاة المكثفة عبر 700 حلقة تدريب أن HRL-TSCH-ERC يتفوق على الطرق المرجعية عبر مقاييس متعددة:
الموثوقية والالتزام بالوقت: حقق 100% في PDR وDSR لكل من الخدمات الحرجة للسلامة وخدمات تقارير التحكم. في المق المقابل، أظهرت TASA وQL-TSCH انخفاضات كبيرة في DSR (على سبيل المثال، 64% و56% للخدمات الحرجة للسلامة، على التوالي).
أداء الخدمة الروتينية: بينما تسببت Priority-TSCH في تجويع شديد لخدمات المراقبة الروتينية (18% PDR، 17% DSR)، حسنت HRL-TSCH-ERC نسبة PDR للمراقبة الروتينية إلى 96% وDSR إلى 92%.
الكفاءة: حققت الطريقة إجمالي إنتاجية قدره 25.33 kbps وخفضت استهلاك الطاقة لكل بت تم تسليمه إلى 0.89 mJ/kbit، متفوقة بشكل كبير على النماذج المرجعية.
القابلية للتنفيذ: حققت الطريقة المقترحة نسبة 0% من الإجراءات غير الصالحة بسبب التصفية الصريحة للإجراءات الصالحة، بينما أظهرت النماذج المرجعية مثل QL-TSCH وPriority-TSCH نسب إجراءات غير صالحة بلغت 42% و74% على التوالي.
المقايضات: تحملت الطريقة زيادة طفيفة في تأخير السلامة الحرجة (حوالي 2.7 مللي ثانية) مقارنة بالنموذج المرجعي ذو الأولوية الثابتة، وهو ما يمثل مقايضة بسيطة مقابل تحسين التوازن العام للنظام ودعم الخدمة الروتينية بشكل كبير.
الأهمية والادعاءات يزعم البحث أن HRL-TSCH-ERC يعالج فجوة حرجة في اتصالات الطوارئ من خلال توفير طريقة جدولة موحدة تتعامل بشكل مشترك مع تقلبات روابط الكهوف، ومتطلبات جودة الخدمة غير المتجانسة، وحركة المرور الحرجة للسلامة ذات النبضات المفاجئة. ويذكر المؤلفون أن هذا يعد من أوائل المحاولات لنمذجة قيود إنقاذ الكهوف المحددة هذه ضمن إطار عمل TSCH. تكمن الأهمية في القدرة على حماية حركة المرور الحرجة للسلامة دون التضحية بتسليم بيانات المراقبة الروتينية، مما يضمن كلاً من الاتصالات المنقذة للحياة الفورية والوعي المستمر بالموقف. ويُسلط الضوء على النهج الهرمي كونه فعالاً في تقليل عبء الاستكشاف للتعلم التعزيزي مع ضمان التزام الجداول المولدة بصرامة بقيود القابلية للتنفيذ في طبقة MAC.