Reinforcement Learning-Based Dynamic Event-Triggered Nonlinear Games Under Incomplete and Asymmetric Information
تقترح هذه الورقة استراتيجية اعتراض قائمة على التعلم التعزيزي ومحفزة بالأحداث الديناميكية للأهداف المناورة غير المعروفة في ظل معلومات ناقصة وغير متماثلة، والتي تنتقل تكيفياً بين السياسات المثلى والسياسات القائمة على نظرية الألعاب لتقليل التحفظ مع ضمان استقرار النظام واستبعاد سلوك زينو.
في ساحة الدفاع الجوي عالية المخاطر، يمثل تحدي اعتراض هدف يتفادى الصدمات سباقاً ضد الزمن والفيزياء. تخيل جسمين يتحركان في السماء: أحدهما مدافع يحاول اللحاق بالآخر، والآخر مراوغ يحاول الهروب. لعقود من الزمن، تعامل المهندسون مع هذا التفاعل كأنه لعبة رياضية ذات معلومات كاملة، بافتراض أن كلا الجانبين يعرفان بالضبط ما يفكر فيه الآخر وما يخطط له. كما افترضوا أن المدافع يجب أن يستعد دائماً لأسوأ حركة ممكنة قد يقوم بها العدو. وبينما يضمن نهج "الحالة الأسوأ" هذا السلامة، إلا أنه غالباً ما يجبر المدافع على إهدار الطاقة والاستجابة المبالغ فيها لحركات غير ضارة، تماماً مثل شخص يقفز بعيداً عن طريق ورقة شجر تسقط. ومع ذلك، في العالم الحقيقي، نادراً ما تكون المعلومات مثالية. فالمدافع غالباً لا يستطيع رؤية نوايا العدو الحقيقية أو معرفة مقدار الطاقة التي يرغب العدو في إنفاقها للهروب. علاوة على على ذلك، فإن الحواسيب الموجودة على متن هذه المركبات لديها قدرة محدية ولا يمكنها معالجة كميات هائلة من البيانات باستمرار. وهذا يخلق لغزاً صعباً: كيف يمكن للمدافع اتخاذ قرارات ذكية وفعالة عندما لا يعرف خطة العدو الكاملة، وكيف يمكنه القيام بذلك دون استنزاف موارد حاسوبه؟
ولحل هذه المعضلة، طور باحثون في جامعة الهندسة التابعة للقوات الجوية وجامعة لياونينغ للتكنولوجيا طريقة جديدة تجمع بين الذكاء الاصطناعي وطريقة أكثر ذكاءً في اتخاذ القرار. فبدلاً من افتراض أن العدو يلعب دائماً لعبة مثالية وهجومية، يقوم نظامهم بمراقبة تحركات العدو الفعلية في الوقت الفعلي. إنه يطرح سؤالاً بسيطاً ولكنه حاسم: هل هذه المناورة المحددة تشكل تهديداً كافياً يتطلب استراتيجية مضادة معقدة ومستهلكة للطاقة؟ إذا كان العدو يتحرك بضعف أو بشكل يمكن التنبؤ به، يتجاهل النظام نظرية الألعاب المعقدة ويستخدم مساراً أبسط وأكثر كفاءة للاعتراض. ومع ذلك، إذا قام العدو فجأة بحركة مراوغة حادة تهدد المهمة حقاً، ينتقل النظام فوراً إلى وضع "اللعبة" المتطور، حيث يعامل الهدف كخصم عقلاني ويحسب أفضل حركة مضادة ممكنة. يسمح هذا التبدل التكيفي للمعتصم بالبقاء قوياً في مواجهة التهديدات الخطيرة مع تجنب إهدار الطاقة على التهديدات غير الخطيرة.
كما عالج الباحثون مشكلة عدم معرفة التفضيلات الخفية للعدو. ففي الاشتباك الحقيقي، لا يمكن للمدافع رؤية الحاسوب الداخلي للعدو ليعرف مدى تقديره للبقاء مقابل استهلاك الوقود. ولتجسير هذه الفجوة، بنى الفريق أداة رقمية تعمل مثل المحقق، حيث تعيد بناء نوايا العدو الخفية من خلال مراقبة تحركاته الفيزيائية. ومن خلال تحليل كيفية مناورة الهدف، يمكن للنظام تقدير ما يثمنه الهدف أكثر ويعدل استراتيجيته وفقاً لذلك. يحدث هذا جنباً إلىً جنب مع طريقة جديدة لتشغيل عقل الحاسوب؛ فبدلاً من تحديث حساباته في كل جزء من الثانية، وهو ما قد يرهق النظام، تقوم الطريقة الجديدة بالتحديث فقط عندما يتغير شيء مهم حقاً. هذا النهج "المحفز بالأحداث" يعني أن الحاسوب ينام خلال اللحظات غير المهمة ويستيقظ فقط عند الضرورة، مما يوفر الطاقة ويقلل من مخاطر الأخطاء الناتجة عن كثرة البيانات.
في اختباراتهم، قام الفريق بمحاكاة سيناريو اعتراض ثلاثي الأبعاد حيث حاول مدافع اللحاق بهدف يتحرك بسرعات عالية. وقارنوا طريقتهم الجديدة بالاستراتيجيات القديمة التي إما تجاهلت ذكاء العدو أو افترضت أن العدو يلعب دائماً اللعبة الأكثر عدوانية ممكنة. أظهرت النتائج أن طريقة "الاستعداد للأسوأ دائماً" القديمة كانت ناجحة، لكنها كانت غير فعالة، وغالباً ما تستهلك وقوداً أكثر من اللازم. ومع ذلك، حققت الطريقة التكيفية الجديدة نفس الاعتراض الناجح ولكن بطاقة أقل بكثير. وفي اختبار محدد، حسنت الطريقة الجديدة من دقة الإصابة النهائية، حيث قللت المسافة بين المعتصم والهدف من خطأ قدره 0.70 وحدة إلى إصابة دقيقة قدرها 0.44 وحدة في سيناريو يشبه اللعبة، ومن 0.25 إلى 0.14 وحدة في سيناريو ذي تحركات متعرجة (موجة مربعة). وأكدت عمليات المحاكاة أن النظام يمكنه بنجاح تقدير نوايا العدو الخفية والتبديل بين الأنماط البسيطة والمعقدة دون الوقوع أبداً في حلقة مفرغة من التحديثات غير المجدية.
تثبت الدراسة أنه من الممكن بناء نظام اعتراض ذكي يتسم بالقوة والكفاءة في آن واحد. فمن خلال رفض معاملة كل حركة للعدو كتهديد أقصى، ومن خلال إجراء الحسابات الثقيلة فقط عندما تتطلب الحالة ذلك، يجد النظام توازناً أفضل بين السلامة والحفاظ على الموارد. وقد تحقق الباحثون من أن براهينهم الرياضية صامدة، مما يضمن بقاء النظام مستقراً وعدم تصرفه بشكل عشوائي. وبينما تم عرض هذه النتائج من خلال محاكاة الكمبيوتر وليس عبر تجارب طيران حية، إلا أنها تقدم مساراً واضحاً لمستقبل الدفاع الجوي. ويشير هذا العمل إلى أن الجيل القادم من أنظمة الدفاع لن يكون أسرع أو أقوى فحسب، بل سيكون أكثر ذكاءً، قادراً على "قراءة الغرفة" وتكييف استراتيجيته مع واقع اللحظة بدلاً من التنبؤ الجامد بأسوأ الحالات.
ملخص تقني: ألعاب غير خطية قائمة على تعزيز التعلم مع إطلاق أحداث ديناميكي تحت معلومات ناقصة وغير متماثلة
صياغة المشكلة تتناول الورقة البحثية تحدي اعتراض هدف مجهول ومناور في بيئة ديناميكية غير خطية ثلاثية الأبعاد. وتتميز هذه المشكلة بثلاثة قيود رئيسية:
معلومات ناقصة وغير متماثلة: يفتقر المعتصِب (interceptor) إلى المعرفة بمعلمات دالة التكلفة الخاصة بالهدف، وتحديداً مصفوفة الأوزان (R2) التي تحدد المقايضة لدى الهدف بين أداء التهرب واستهلاك طاقة المناورة. إن نية الهدف هي معلومة خاصة، مما يخلق هيكلاً للمعلومات غير متماثل.
قيود القدرة على المناورة: يعمل المعتصِب تحت حدود تشبع المدخلات، مما يتطلب دوال منفعة غير تربيعية للتعامل مع قيود التحكم.
الأعباء الحسابية والاتصالية: يتطلب التعلم التعزيزي (RL) التقليدي القائم على إطلاق الأحداث الزمني تحديثات ونقلاً متكرراً للبيانات، وهو أمر غير فعال للأنظمة الجوية الفضائية عالية السرعة ذات الموارد المحدودة على متنها.
يتم نمذجة التفاعل كلعبة صفرية المجموع بين لاعبين غير خطيين. ومع ذلك، يرى المؤلفون أن معاملة الهدف كخصم في أسوأ الحالات طوال فترة الاشتباك تؤدي إلى تحفظ مفرط في السياسة واستهلاك غير ضروري للطاقة عندما تكون مناورات الهدف ضعيفة أو متقطعة.
المنهجية الحل المقترح هو طريقة اعتراض ألعاب مركبة ذات إطلاق أحداث دينماكي (DET) تدمج بين التعلم التعزيزي، ومراقبة الاضطرابات، والتبديل التكيفي. يتكون الإطار من المكونات الأساسية التالية:
بنية اللعبة المركبة مع التبديل التكيفي:
تقوم دالة تبديل تكيفية بتقييم التأثير اللحظي لمناورات الهدف على وضع الاعتراض.
إذا أدت مناورة الهدف إلى تدهور وضع الاعتراض بشكل كبير، يقوم النظام بتنشيط وضع قائم على اللعبة، حيث يتم حل استراتيجية توازن ناش (Nash Equilibrium - NE).
إذا كان تأثير المناورة أقل من عتبة مصممة، ينتقل النظام إلى وضع أمثل غير قائم على اللعبة، حيث يتم التعامل مع الهدف كاضطراب خارجي يمكن تقديره. وهذا يقلل من التحفظ وجهد التحكم عندما لا يتصرف الهدف كخصم عقلاني.
آلية تقدير نية الهدف:
لمعالجة دالة تكلفة الهدف المجهولة، تم تصميم مراقب اضطرابات لإعادة بناء مدخل المناورة الفعلي للهدف من قياسات الاشتباك.
من خلال عكس رسم الخرائط الأمثل (optimality mapping) بين استراتيجية الهدف وأوزانه التكلفية، يتم استنتاج مصفوفة أوزان نية الهدف (R2) المجهولة عبر الإنترنت (online).
يتم تغذية هذه النية المقدرة في شبكة عصبية للممثل الافتراضي (Virtual Actor NN)، مما يسمح للمعتصِب بتقريب سياسة الهدف الحقيقية وحل معادلات اللعبة بدقة أكبر تحت معلومات ناقصة.
آلية إطلاق الأحداث الديناميكي المزدوج المتداخلة:
آلية محفزة بالحالة (State-Triggered): تحدد متى يتم تحديث أوزان الشبكة العصبية ونقل معلومات الحالة. وهي تستخدم متغيراً داخلياً ديناميكياً لضمان وجود حد أدنى للزمن بين الأحداث، مما يستبعد سلوك "زينو" (Zeno behavior).
آلية محفزة بالموقف (Situation-Triggered): تحدد متى يتم التبديل بين الوضع القائم على اللعبة والوضع غير القائم على اللعبة. ومن الأهمية بمكان أن هذه الآلية تُقيم فقط عند لحظات إطلاق آلية المحفز للحالة. هذا التصميم المتداخل يمنع التبديل المتكرر للأنماط الناتج عن التقلبات ذات السعة الصغيرة في دالة الموقف.
التقريب بالشبكة العصبية:
الشبكة العصبية الناقدة (Critic NN): تقرب دالة القيمة (التكلفة المتوقعة).
الشبكة العصبية للممثل (Actor NN): تقرب السياسة المثلى للمعتصِب.
الشبكة العصبية للممثل الافتراضي (Virtual Actor NN): تقرب سياسة الهدف الافتراضي بناءً على النية المقدرة.
يتم تحديث أوزان هذه الشبكات عبر الإنترنت باستخدام طرق الانحدار الاشتقاقي المستمدة من معادلة هاميلتون-جاكوبي-إيزاكس (HJI).
المساهمات الرئيسية يدعي البحث ثلاث مساهمات رئيسية:
اعتراض مركب مدرك للموقف: على عكس الطرق الموجودة التي تفترض هدفاً في أسوأ الحالات طوال الاشتباك، يقترح هذا العمل بنية تبديل تكيفية. فهي تنشط الاستراتيجيات القائمة على اللعبة فقط عند الضرورة، مما يحافظ على المتانة ضد عمليات التهرب القوية مع تجنب هدر الطاقة الناتج عن افتراضات الأسوأ دائماً أثناء مراحل الهدف الضعيفة أو غير العدائية.
تقدير النية عبر الإنترنت في الألعاب العدائية: تقدم الورقة آلية لتقدير مصفوفة أوزان نية الهدف الخاصة عبر الإنترنت. ومن خلال الجمع بين مراقب الاضطرابات وعكس شرط الأمثلية للهدف، يستعيد المعتصِب معلمات التكلفة المجهولة، مما يحسن دقة تعلم استراتيجية التوازن تحت المعلومات غير المتماثلة.
آلية إطلاق أحداث ديناميكي مزدوج متداخلة: يقترح المؤلفون هيكل تحفيز مزدوج حيث يتم فصل تحديثات الحالة وتبديل الأنماط مع مزامنتهما. يقلل هذا التصميم من الأعباء الحسابية والارسال مع استبعاد سلوك "زينو" صراحةً من خلال البناء، حيث يتم التحقق من كلتا الآليتين فقط عند لحظات أخذ العينات الدورية.
النتائج أُجريت محاكاة عددية في سيناريو اعتراض ثلاثي الأبعاد بزمن نهائي قدره 20 ثانية. وتظهر النتائج ما يلي:
نجاح الاعتراض: نجحت الاستراتيجية المركبة المقترحة في اعتراض الأهداف التي تقوم بمناورات قائمة على اللعبة (عقلانية) ومناورات موجة مربعة (غير قائمة على اللعبة). وفي المقابل، فشلت استراتيجية مثلى بحتة غير قائمة على اللعبة ضد الأهداف القائمة على اللعبة، بينما أظهرت استراتيجية اللعبة البحتة جهداً أكبر في التحكم.
التقارب: تقاربت أوزان الشبكات العصبية للناقد والممثل والممثل الافتراضي نحو قيم مستقرة محدودة. كما تقاربت مصفوفة أوزان نية الهدف المقدرة (R^2) نحو قيم الهدف الحقيقية رغم أخطاء التقدير الأولية.
الكفاءة: قللت آلية إطلاق الأحداث الدينماكي من عدد تحديثات السياسة ونقل حالات الحالة مقارنة بالمخططات القائمة على الزمن.
مقاييس الأداء: في السيناريو القائم على اللعبة، تحسنت دقة الاعتراض (مسافة الخطأ) من 0.70 إلى 0.44. وفي سيناريو الموجة المربعة، تحسنت الدقة من 0.25 إلى 0.14. ويعزو المؤلفون ذلك إلى كبح التحديثات الزائدة وتنعيم أوامر التحكم.
الاستقرار: أثبت التحليل النظري أن حالات النظام مغلق الحلقة، وأخطاء تقدير أوزان الشبكة العصبية، وأخطاء مراقبة الاضطراب، جميعها محدودة نهائياً بشكل منتظم (UUB).
الأهمية والادعاءات تضع الورقة هذا العمل كحل للمقايضة بين المتانة والكفاءة في الاعتراض القائم على الألعاب غير الخطية. ويدعي المؤلفون أنه من خلال التبديل الديناميكي بين الأنماط القائمة على اللعبة وغير القائمة على اللعبة، تتجنب الطريقة "التحفظ المفرط في السياسة" المتأصل في التصميمات التقليدية التي تفترض الأسوأ دائماً. علاوة على ذلك، من خلال تقدير نية الهدف عبر الإنترنت، تتغلب الطريقة على محدودية افتراض معلمات الخصم المعروفة، وهو أمر غير واقعي غالباً في السيناريوهات العدائية في العالم الحقيقي. ويتم تسليط الضوء على دمج إطلاق الأحداث الديناميكي كضرورة عملية لتقليل الحمل الحسابي على الأنظمة الجوية الفضائية ذات الموارد المحدودة. ويخلص المؤلفون إلى أن الطريقة توازن بفعالية بين أداء الاعتراض، وجهد التحكم، وتحفظ السياسة، مما يجعلها مناسبة للبيئات العدائية الجوية الفضائية المعقدة. ويُقترح في العمل المستقبلي توسيع الإطار ليشمل سيناريوهات التعاون بين عدة معتصبات وعدة أهداف.