Reinforcement Learning for Secrecy Optimization in Underwater Energy Harvesting Relay Network

إليك ملخص تقني مفصل للورقة البحثية بعنوان "التعلم المعزز لتحسين السرية في شبكة ترحيل حصاد الطاقة تحت الماء".

1. بيان المشكلة

تتناول الورقة تحدي الاتصالات الآمنة في شبكة هجينة للاتصالات اللاسلكية تحت الماء (UWC). يتكون النظام من:

• المصدر (S): مركبة سطحية تنقل البيانات عبر رابط بصري تحت مائي (UWO).
• المرحل (R): عقدة تحت مائية مجهزة بقدرات حصاد الطاقة (EH)، تستقبل البيانات بصرياً وتقوم بتمريرها عبر رابط صوتي تحت مائي (UWA).
• الوجهة (D): المستقبِل المقصود.
• المتنصت (E): عقدة سلبية تراقب الرابط الصوتي.

التحديات الرئيسية:

• ديناميكيات القنوات الهجينة: رابط (UWO) (من S إلى R) يتميز بالسرعة العالية ولكنه عرضة للاضطرابات، وأخطاء التوجيه، والانسداد الفيزيائي بواسطة العوائق. أما رابط (UWA) (من R إلى D) فهو موثوق عبر المسافات الطويلة ولكنه يتميز بنطاق ترددي منخفض وعرضة للاعتراض.
• القيود الطاقية: يعمل المرحل بسعة بطارية محدودة ويعتمد على حصاد طاقة عشوائي (يتم نمذجته كعملية برنولي).
• عمر الشبكة: للشبكة عمر عشوائي بسبب احتمال فشل الأجهزة أو الضرر الفيزيائي، ويتم نمذجته كمتغير عشوائي هندسي.
• الهدف: الهدف هو تعظيم العدد المتوقع طويل الأمد لبتات البيانات المرسلة بأمان قبل فشل الشبكة، وذلك عن طريق تخصيص قدرة الإرسال للمرحل بشكل أمثل مع تلبية قيود السرية (معدل السرية $\geq$ العتبة).

2. المنهجية

صاغ المؤلفون مشكلة تخصيص القدرة كعملية اتخاذ قرار ماركوف (MDP) ذات أفق لانهائي، واقترحوا ثلاث استراتيجيات متميزة لحلها.

أ. نمذجة النظام

• فضاء الحالة ($S$): يتم تعريفه من خلال مكاسب القناة للرابط بين المرحل والوجهة ($G_{RD}$) والرابط بين المرحل والمتنصت ($G_{RE}$)، ومستوى البطارية الحالي ($B_R$).
• فضاء الإجراءات ($A$): مجموعة مستويات قدرة الإرسال المنفصلة المتاحة للمرحل.
• المكافأة: السعة السرية اللحظية ($C_S$) للرابط الصوتي، بشرط استيفائها لعتبة جودة الخدمة (QoS) وهي ($R_{th}$). إذا لم يتم استيفاء العتبة، تكون المكافأة صفراً.
• نماذج القنوات:
  • UWO: يتم نمذجته كقناة اضطراب "غاما-غاما" مركبة مع أخطاء توجيه ومعامل انسداد ثنائي.
  • UWA: يتم نمذجته مع تخفيف يعتمد على التردد وضوضاء محيطة.

ب. الحلول المقترحة

1. تخصيص القدرة الأمثل (OPA) - التعلم المعزز القائم على النموذج:

   • يستخدم تكرار السياسة (PI) لحل عملية اتخاذ قرار ماركوف (MDP).
   • مرحلة التخطيط: تقوم بحساب سياسة حتمية ثابتة مثلى (جدول بحث) من خلال إجراء تقييم السياسة (تحديث دالة القيمة عبر معادلات بلمان) وتحسين السياسة (اختيار الإجراءات التي تعظم دالة القيمة) بشكل تكراري.
   • مرحلة الإرسال: يستخدم المرحل جدول البحث المحسوب مسبقاً لاختيار مستوى القدرة الأمثل بناءً على الحالة الحالية (البطارية وظروف القناة) دون الحاجة إلى معرفة مستقبلية.
   • الهدف: تعظيم المكافأة المخصومة التراكمية عبر الأفق اللانهائي.

2. الخوارزمية الجشعة (GA):

   • نهج دون أمثل يتميز بانخفاض التعقيد.
   • يختار مستوى القدرة الذي يعظم المكافأة اللحظية في الفتحة الزمنية الحالية فقط، متجاهلاً العواقب المستقبلية (لا توجد مرحلة تخطيط).

3. الخوارزمية الساذجة (NA):

   • النهج الأبسط.
   • يقوم المرحل بالإرسال باستخدام كامل طاقة البطارية المتاحة في كل فتحة زمنية ($P_R = B_R / T_s$)، بغض النظر عن ظروف القناة أو احتياجات الطاقة المستقبلية.

3. المساهمات الرئيسية

• إطار عمل السرية الهجين: تعد هذه الورقة الأولى التي تصيغ نظام ترحيل تحت مائي هجين (بصري-صوتي) مع حصاد الطاقة وقيود السرية في آن واحد، حيث تعالج المقايضة بين الانسداد البصري والتنصت الصوتي.
• صياغة MDP: تم صياغة المشكلة بدقة كعملية اتخاذ قرار ماركوف (MDP) ذات أفق لانهائي للتعامل مع الطبيعة العشوائية لحصاد الطاقة، وتلاشي القنوات، وإنهاء الشبكة العشوائي.
• تطوير الخوارزميات:
  • تقترح حل التعلم المعزز القائم على النموذج (تكرار السياسة - OPA) الذي يتكيف مع ديناميكيات البطارية وعدم يقين القناة.
  • تقدم خوارزميتين مرجعيتين (GA و NA) للمقارنة بين التعقيد والأداء.
• تحليل التعقيد: يوفر تحليلاً نظرياً يوضح أنه بينما تمتلك OPA تكلفة حوسبية عالية خلال مرحلة التخطيط ($O(N_S^2 N_A)$)، فإن مرحلة الإرسال الخاصة بها فعالة ($O(K)$). أما GA و NA فيمتلكان تكاليف تخطيط أقل ولكن أداءً دون الأمثل.

4. نتائج المحاكاة

قيم المؤلفون المخططات باستخدام معاملات مثل اضطراب "غاما-غاما"، وحصاد الطاقة ببرنولي، وكثافة العوائق المتغيرة.

• مقارنة الأداء:
  • تحقق OPA باستمرار أعلى إنتاجية آمنة. فهي توازن بفعالية بين احتياجات الإرسال الفورية وتوافر الطاقة المستقبلي وظروف القناة.
  • تعمل GA بشكل متوسط ولكنها تقصر عن الوصول إلى OPA لأنها تفتقر إلى الاستشراف طويل الأمد.
  • تسجل NA أدنى أداء بسبب استراتيجيتها "قصيرة النظر" المتمثلة في استنزاف البطارية فوراً، مما يؤدي إلى فشل الشبكة المبكر.
• تأثير عامل الخصم ($\Gamma$): يؤدي زيادة $\Gamma$ (التركيز على المكافآت المستقبلية) إلى تحسين أداء OPA بشكل كبير، مما يؤكد فائدة التخطيط طويل الأمد.
• كثافة العوائق: تقلل كثافة العوائق الأعلى في الرابط البصري من المكافأة الإجمالية لجميع المخططات، حيث تصل كمية أقل من حزم البيانات إلى المرحل ليتم تمريرها بأمان.
• احتمالية حصاد الطاقة (EH) ($p$):
  • مع زيادة $p$، تتقلص الفجوة في الأداء بين OPA و GA و NA. عندما تكون الطاقة وفيرة، تتضاءل ميزة التخطيط المعقد طويل الأمد.
  • تؤدي كميات الطاقة المحصودة الأعلى ($E_R$) مباشرة إلى تحسين أداء السرية.
• سعة البطارية: تسمح سعات البطارية الأكبر بتخزين أفضل للطاقة، مما يطيل عمر الشبكة ويزيد إجمالي البتات الآمنة.
• مسافة المتنصت: تؤدي المسافة الأقصر بين المرحل والمتنصت ($l_{RE}$) إلى تدهور كبير في سعة السرية، مما يسلط الضوء على الدور الحاسم للمسافة الفيزيائية في الأمن الصوتي.

5. الأهمية والخاتمة

تثبت هذه الورقة أن التعلم المعزز أداة حيوية لتحسين الاتصالات الآمنة تحت الماء في البيئات الديناميكية والمقيدة بالطاقة.

• الأثر العملي: تمكن استراتيجية OPA المقترحة الشبكات تحت المائية من العمل بذكاء أكبر، والتكيف مع مصادر الطاقة غير المتوقعة والانسدادات في القنوات لتعظيم الأمن.
• إدارة المقايضة: توضح الدراسة أنه بينما تكون الخوارزميات الجشعة أو الساذجة الأقل تكلفة حوسبية، إلا أنها تفشل في تعظيم عمر الشبكة وأمنها في البيئات الواقعية العشوائية تحت الماء.
• الآفاق المستقبلية: يضع هذا العمل أساساً للشبكات الذكية والتكيفية تحت الماء التي يمكنها إدارة الموارد ذاتياً لمواجهة تهديدات التنصت، وهو أمر بالغ الأهمية لتطبيقات مثل المراقبة البيئية أو المراقبة البحرية.