🤖 machine learning

Alleviating Community Fear in Disasters via Multi-Agent Actor-Critic Reinforcement Learning

تقترح هذه الورقة إطار عمل للتعلم التعزيزي بنظام "الممثل-الناقد" متعدد الوكلاء للتحكم في وكالات الاتصالات والطاقة وإدارة الطوارئ ضمن نموذج سيبراني-فيزيائي-اجتماعي، مُثبتةً من خلال محاكاة لإعصاري هارفي وإيرما أن هذا النهج يقلل بشكل كبير من خوف المجتمع ويحسن استعادة البنية التحتية أثناء الكوارث.

المؤلفون الأصليون: Yashodhan D. Hakke, Almuatazbellah M. Boker, Lamine Mili, Michael von Spakovsky, Hoda Eldardiry

نُشر 2026-04-13

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Yashodhan D. Hakke, Almuatazbellah M. Boker, Lamine Mili, Michael von Spakovsky, Hoda Eldardiry

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل المجتمع كآلة ضخمة ومعقدة تتكون من ثلاثة أجزاء متميزة ولكنها مترابطة بعمق: العالم المادي (خطوط الطاقة، المستشفيات)، العالم الرقمي (الأخبار، وسائل التواصل الاجتماعي)، والعالم البشري (كيف يشعر الناس، وماذا يعتقدون، وكيف يتصرفون).

عندما تضرب كارثة مثل إعصار، تبدأ هذه الأجزاء الثلاثة في التعطل معاً. تنقطع الكهرباء (عالم مادي)، وتنتشر الأخبار المزيفة بشكل أسرع من الأخبار الحقيقية على الهواتف (عالم رقمي)، ويشعر الناس بالخوف ويتوقفون عن التعاون (عالم بشري). هذا يخلق حلقة مفرغة: الخوف يدفع الناس للذعر، والذعر يجعلهم يتجاهلون أوامر السلامة، وتجاهل الأوامر يجعل الكارثة أسوأ.

تقترح هذه الورقة البحثية "عقلاً ذكياً" جديداً لكسر تلك الحلقة. إليك كيف يعمل، مشروحاً ببساطة:

1. المشكلة: الإنقاذ "الأعمى"

عادةً، عندما تقع كارثة، تعمل الوكالات المختلفة (مثل شركة الكهرباء، فرق الطوارم الطبية، والمنافذ الإخبارية) في جزر منعزلة؛ فهي لا تتواصل مع بعضها البعض بما يكفي، وليس لديها خطة تأخذ في الاعتبار كيف تغير أفعالها "الخوف البشري".

فكر في الأمر كطبيب يحاول إصلاح ساق مريض مكسورة بينما يتجاهل أن المريض يصرخ من الألم ويهرب بعيداً. الطبيب يصلح الساق، لكن المريض يهرب على أي حال. تجادل الورقة بأننا بحاجة إلى نظام يعالج المريض بأكمله (المجتمع) في آن واحد.

2. الحل: "رقصة ثلاثية الأبعاد"

ابتكر المؤلفون محاكاة حيث يلعب ثلاثة "لاعبين" (وكالات) لعبة معاً لإنقاذ المجتمع.

اللاعب الأول (المتواصلون): مهمتهم هي وقف الأخبار المزيفة وتهدئة الناس بالرسائل الصحيحة.
اللاعب الثاني (شركة المرافق): مهمتهم هي إصلاح شبكة الكهرباء.
اللاعب الثالث (فرق الطوارئ): مهمتهم هي إرسال سيارات الإسعاف والإمدادات.

بدلاً من مجرد التخمين، يستخدم هؤلاء اللاعبون نوعاً خاصاً من الذكاء الاصطناعي (التعلم التعزيزي). تخيل لعبة فيديو حيث يتعلم ثلاث شخصيات اللعب معاً. في كل مرة يقومون فيها بحركة، يحصلون على "درجة".

إذا كان المجتمع خائفاً، يحصلون على درجة سيئة.
إذا استهلكوا الكثير من الموارد (مثل إرسال عدد كبير جداً من الشاحنات)، يحصلون أيضاً على درجة سيئة.
هم يريدون إيجاد التوازن المثالي: إصلاح الخوف بأقل قدر من الجهد.

3. عقل "الممثل والناقد" (Actor-Critic)

كيف يتعلم الذكاء الاصطناعي؟ إنه يستخدم عقلاً من جزئين، مثل طالب ومعلم:

الممثل (الفاعل - الـ Doer): هو السياسة التي تقرر ما يجب فعله (مثلاً: "أرسل رسالة نصية الآن" أو "أصلح خط الكهرباء هذا").
الناقد (الحَكم - الـ Judge): يراقب ما يفعله الممثل ويقول: "هذه كانت حركة جيدة لأن الخوف انخفض"، أو "كانت تلك حركة سيئة لأنك أهدرت الوقود".
مع مرور الوقت، يستمع الممثل إلى الناقد ويصبح أفضل وأفضل في اتخاذ القرارات الصحية للحفاظ على هدوء المجتمع وسلامته.

4. النتائج: تهدئة العاصفة

اختبر الباحثون هذا "العقل الذكي" باستخدام بيانات حقيقية من إعصارين ضخمين: هارفي وإيرما.

الاختبار: قاموا بمحاكاة الكارثة مع وبدون نظام التحكم بالذكاء الاصطناعي الخاص بهم.
النتيجة:
- مع مساعدة الذكاء الاصطناعي، انخفض الخوف بنسبة 70% تقريباً في محاكاة إعصار هارفي.
- والأكثر إثارة للإعجاب، أنهم اختبروه على إعصار إيرما دون تغيير إعدادات الذكاء الاصطناعي. ومع ذلك، نجح في تقليل الخوف بنسبة 50%. هذا يثبت أن الذكاء الاصطناعي ذكي بما يكفي للتعامل مع أنواع مختلفة من العواصف، وليس فقط النوع الذي تدرب عليه.

5. الخلاصة الكبرى

كان الاكتشاف الأكثر إثارة للدهشة هو من هو اللاعب الأكثر أهمية.

وجد الذكاء الاصطناعي أن إصلاح الكهرباء أمر مهم، ولكن إيقاف الأخبار المزيفة وتهدئة الناس (اللاعب الأول) هو في الواقع المحرك الأقوى.
لماذا؟ لأنه إذا كان الناس هادئين ويؤمنون بالحقيقة، فسوف يتعاونون بشكل أفضل. وإذا تعاونوا، يمكن لفرق الكهرباء العمل بشكل أسرع، ويمكن لسيارات الإسعاف المرور عبر الزحام.
الأمر يشبه إدراك أن الشخص الذي يوقف الصراخ في غرفة فوضوية أكثر فعالية من الشخص الذي يحاول إصلاح الكرسي المكسور.

باختصار

تبني هذه الورقة البحثية مدرباً رقمياً للاستجابة للكوارث. إنها تعلم شركة الكهرباء، ووسائل الإعلام، وفرق الطوارئ كيف يعملون معاً كفريق واحد بدلاً من غرباء. ومن خلال استخدام الذكاء الاصطناعي للتنبؤ بكيفية تغيير أفعالهم للخوف البشري، يمكنهم إيقاف الذعر قبل أن يخرج عن السيطرة، مما ينقذ الأرواض والموارد.

التشبيه: تخيل ازدحاماً مرورياً ناتجاً عن حادث تصادم بسيط.

الطريقة القدة: تصل الشرطة، وشاحنات السحب، ومراسلو الأخبار وكل منهم يقوم بعمله الخاص، مما يؤدي أحياناً لعرقلة بعضهم البعض، بينما يصرخ السائقون ويطلقون أبواق السيارات، مما يزيد الوضع سوءاً.
الطريقة الجديدة (هذه الورقة): نظام ذكاء اصطناعي ينسق بينهم. يخبر وسائل الإعلام بالتوقف عن نشر شائعات المرور، ويخبر الشرطة بإخلاء مسار محدد أولاً، ويخبر شاحنة السحب بمكان توجهها بدقة. النتيجة؟ يتوقف الذعر، وينفرج الازدحام بشكل أسرع، ويعود الجميع إلى منازلهم في وقت أقل.

إليك ملخص تقني مفصل لورقة البحث بعنوان: "تخفيف حدة خوف المجتمع أثناء الكوارث عبر التعلم التعزيزي لـ "الممثل-الناقد" متعدد الوكلاء (Multi-Agent Actor-Critic Reinforcement Learning)."

1. بيان المشكلة

تؤدي الكوارث إلى إحداث حالات فشل متتالية عبر البنية التحتية الفيزيائية (شبكات الطاقة)، والأنظمة السيبرانية (وسائل التواصل الاجتماعي، الأخبار)، والسلوك البشري (الخوف، التعاون). تتفاعل هذه المجالات في حلقات تغذية راجعة مترابطة بقوة، حيث تنتشر المعلومات المضللة بسرعة، مما يضخم خوف المجتمع ويقلل من الامتثال لأوامر الإخلاء.

الفجوات الرئيسية في الأدبيات الحالية:

العزلة: تعمل أطر المرونة الحالية عادةً على معالجة المجالات الفيزيائية والسيبرانية والاجتماعية بشكل منعزل.
وصفي مقابل معياري: بينما تنجح نماذج الأنظمة السيبرانية-الفيزيائية-الاجتماعية (CPS) الحديثة (مثل Valinejad وMili، 2023) في محاكاة هذه الديناميكيات المترابطة، إلا أنها وصفية بحتة. فهي تفتقر إلى آليات التدخل النشط أو تقديم توصيات لكيفية نشر الوكالات المستجيبة للموارد في الوقت الفعلي.

الهدف: تطوير إطار عمل موحد وقابل للتنفيذ يلتقط التغذية الراجعة عبر المجالات في الوقت الفعلي، ويصف استراتيجيات النشر المثلى للموارد لوكالات مستقلة متعددة لتقليل خوف المجتمع.

2. المنهجية

يقترح المؤلفون إطار تحكم لامركزي يتم نمذجته كـ لعبة تفاضلية غير صفرية المجموع (Non-Zero-Sum Differential Game) مكونة من ثلاثة لاعبين، يتم حلها باستخدام التعلم التعزيزي (RL) للـ "الممثل-الناقد" عبر الإنترنت (Online Actor-Critic).

أ. نمذجة النظام (ديناميكيات CPS)

يتم نمذجة النظام كنظام تحكم أفيني (control-affine) بمتجه حالة ذي 10 أبعاد $x(t) \in [0,1]^{10}$ يمثل مؤشرات مرونة المجتمع:

الطبقة الاجتماعية: الخوف ( $x_1$ )، البحث عن المعلومات ( $x_2$ )، المرونة ( $x_3$ )، الصحة البدنية ( $x_4$ )، إدراك المخاطر ( $x_5$ )، التعاون ( $x_6$ )، التعلم ( $x_7$ ).
الطبقة الفيزيائية: توفر الطاقة ( $x_8$ )، توفر خدمات الطوارി الطبية (EMS) ( $x_9$ ).
الطبقة السيبرانية: كثافة الأخبار المزيفة ( $x_{10}$ ).

تتبع الديناميكيات معادلات تفاضلية عادية (ODEs) مقترنة، حيث تسترخي الحالات الاجتماعية نحو أهداف مدفوعة بدوال لوجستية من الحالات الأخرى وإشارات الكوارث الخارجية.

ب. بنية التحكم

تعمل ثلاث وكالات مستقلة كلاعبين في اللعبة:

وكالة الاتصال (اللاعب 1): تنشر الرسائل المضادة ( $u_1$ ) لقمع الخوف ( $x_1$ ) والأخبار المزيفة ( $x_{10}$ ).
مرفق الطاقة (اللاعب 2): ينشر فرق استعادة الشبكة ( $u_2$ ) لاستعادة الطاقة ( $x_8$ ).
وكالة الطوارئ الطبية (اللاعب 3): تنشر سيارات الإسعاف/الملاجئ ( $u_3$ ) لتحسين الصحة ( $x_4$ ) وتوافر الخدمات ( $x_9$ ).

تسعى كل وكالة إلى تقليل دالة التكلفة الخاصة بها ذات الأفق اللانهائي $J_i$ ، والتي تشمل:

عقوبات الحالة (مثل الخوف، نقص البنية التحتية).
عقوبات جهد التحكم ( $R_{ii} u_i^2$ ).
عقوبات الاقتران المتبادل ( $R_{ij} u_j^2$ ) لتثبيط التنافس على الموارد.

ج. الحل عبر التعلم التعزيزي "الممثل-الناقد" (Actor-Critic)

تستوفي السياسات المثلى معادلات هاميلتون-جاكوبي (HJ) المقترنة، والتي يصعب حلها في شكل مغلق للديناميكيات غير الخطية لـ CPS. يستخدم المؤلفون بنية "الممثل-الناقد عبر الإنترنت" (بناءً على Vamvoudakis وLewis):

الناقد (Critic): يقرب دالة القيمة $V_i(x)$ باستخدام توسيع الدوال الأساسية (الحدود أحادية الحد والتربيعية). ويقوم بتحديث الأوزان لتقليل خطأ بلمان (القصور في الهاملتوني).
الممثل (Actor): يقرب سياسة التحكم $u_i(x)$ بناءً على تدرج دالة القيمة الخاصة بالناقد.
التقارب: يستخدم النظام تحديثاً ذا زمنين (الناقد يتقارب بشكل أسرع من الممثل) وإشارات استكشاف محدودة لضمان التقارب نحو توازن ناش تقريبي.
التنفيذ: يعمل الخوارزمي بطريقة ثابتة جزئياً، حيث يتم تجميد إشارات الكوارث الخارجية عبر نوافذ زمنية قصيرة ( $\Delta$ ) للتعامل مع المدخلات المتغيرة زمنياً.

3. المساهمات الرئيسية

توسيع CPS الأفيني للتحكم: تعزيز نموذج CPS الوصفي الحالي بثلاث قنوات تدخل مضافة، مما حوله إلى نظام قابل للتحكم.
صياغة لعبة غير صفرية المجموع لامركزية: صياغة الاستجابة للكوارث كلعبة مكونة من ثلاثة لاعبين حيث تعمل الوكالات بشكل مستقل ولكنها تؤثر على حالة مشتركة، وحلها عبر نهج "الممثل-الناقد" القائم على النموذج.
التحقق التجريبي والتعميم: إثبات إطار العمل باستخدام بيانات حقيقية من إعصار هارفي وإعصار إرما، مما أظهر انخفاضاً كبيراً في الخوف وقدرة عالية على التعميم عبر الكوارث دون الحاجة لإعادة التدريب.

4. نتائج المحاكاة

تم اختبار إطار العمل باستخدام بيانات من إعصار هارفي (للتدريب) وإعصار إرما (للتحقق من الصحة المتقاطعة).

أ. مقاييس الأداء

تقليل الخوف:
- إعصار هارفي: حقق انخفاضاً بنسبة ~70% في متوسط خوف المجتمع مقارنة بالنموذج المرجعي (المحاكاة ذات الحلقة المفتوحة).
- إعصار إرما: حقق انخفاضاً بنسبة ~50% في متوسط الخوف باستخدام معلمات تم ضبطها فقط بناءً على بيانات هارفي، مما يؤكد قوة التعميم.
استعادة البنية التحتية: نجح المتحكم في الحفاظ على مستويات أعلى من توافر الطاقة ( $x_8$ ) وتحسين الصحة البدنية ( $x_4$ ) مقارنة بالنموذج المرجعي.
المقايضات: كشف النموذج عن مقايضة هيكلية: أدت أولوية قمع الخوف واستعادة الطاقة إلى زيادة طفيفة في عجز خدمات الطوارئ الطبية ( $x_9$ ) لأن سعة قناة الخدمات الطبية محدودة فيزيائياً، وليس فقط من حيث التحسين.

ب. المقارنة مع المتحكمات الأخرى

تمت مقارنة نظام الـ NZS Actor-Critic المقترح مع:

التحكم الأقصى الثابت: حقق تقليلاً أعلى للخوف (92%) ولكن بتكلفة باهظة (هدر في الموارد).
الأسلوب الاستدلالي التناسبي (Proportional Heuristic): أداء جيد ولكنه يتطلب ضبطاً مركزياً ويفترض توافق الأهداف.
الـ Actor-Critic المركزي: قدم أداءً مشابهاً ولكنه يتطلب دالة قيمة واحدة.
النتيجة: حقق نهج الـ NZS أقل جهد تحكم (أكثر كفاءة في نشر الموارد) مع التفوق على النهج المركزي في إجمالي التكلفة، مما يثبت قيمة التحسين اللامركزي القائم على نظرية الألعاب.

ج. الاستقرار والتقارب

بقايا بلمان (Bellman Residuals): تناقصت بمرور الوقت لجميع اللاعبين، مما يشير إلى تقارب التعلم.
اختبار الانحراف أحادي الجانب: تم اختبار السياسات المتعلمة ضد الاضطرابات العشوائية. أظهر اللاعبان 2 (الطاقة) و3 (الطوارى الطبية) قدرة ضئيلة على الاستغلال (<0.2%)، بينما أظهر اللاعب 1 (الاتصال) إمكانية بنسبة ~5.4% للتحسين، مما يصنف الحل بأنه مستقر تجريبياً محلياً.

5. الأهمية والرؤى

القدرة العالية للتواصل: حددت الدراسة أن الرسائل المضادة هي التدخل الأعلى تأثيراً. ولأن مدخل التحكم لوكالة الاتصال ( $u_1$ ) يرتبط مباشرة بكل من الخوف ( $x_1$ ) والأخبار المزيفة ( $x_{10}$ )، فإنه يوفر فائدة مزدوجة لا يمكن لوكالات الطاقة أو الطوارى الطبية تحقيقها.
القيود الفيزيائية مقابل التحسين: تسلط النتائج الضوء على أن توافر الخدمات الطبية محدود بـ سعة القناة الفيزيائية (معدل نشر الموارد) وليس بوزن دالة التكلفة. لم يؤدِ زيادة عقوبات التكلفة للخدمات الطبية إلى تحسين النتائج بشكل كبير؛ بل أدى زيادة كسب التحكم (سرعة النشر) إلى ذلك.
الكفاءة اللامركزية: يحقق النهج القائم على نظرية الألعاب نشراً أكثر كفاءة للموارد من التحكم المركزي، حيث يحترم المهام المتميزة وهياكل التكلفة للوكالات المستقلة دون الحاجة إلى منسق مركزي.
القدرة على التعميم: تشير القدرة على تطبيق السياسات المتعلمة من "هارفي" على "إرما" دون إعادة ضبط، إلى أن النموذج يلتقط الديناميكيات الأساسية للكوارث بدلاً من مجرد التكيف الزائد (overfitting) مع بيانات حدث معين.

الخاتمة

تقدم هذه الورقة إطار عمل مبتكرًا وصارمًا من الناحية الرياضية للإدارة النشطة للكوارث. ومن خلال دمج نمذجة CPS مع التعلم التعزيزي متعدد الوكلاء، فإنها تنتقل من مجرد المحاكاة إلى تقديم استراتيجيات لامركزية قابلة للتنفيذ تقلل بشكل كبير من خوف المجتمع وتحسن استعادة البنية التحتية أثناء الكوارث الكبرى.