🤖 AI

Multi-Agent Reinforcement Learning with Communication-Constrained Priors

تقترح هذه الورقة إطار عمل لتعلم تعزيزي متعدد الوكلاء مقيد بالاتصالات، يستخدم نموذجاً عاماً ومقدِّراً مزدوجاً للمعلومات المتبادلة للتمييز بين الرسائل الفاقدة للمعلومات والرسائل غير الفاقدة لها، وبالتالي قياس تأثيرها على المكافآت العالمية لتعزيز تعلم السياسة التعاونية في البيئات المعقدة والديناميكية.

المؤلفون الأصليون: Guang Yang, Tianpei Yang, Jingwen Qiao, Yanqing Wu, Jing Huo, Xingguo Chen, Yang Gao

نُشر 2026-03-11

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Guang Yang, Tianpei Yang, Jingwen Qiao, Yanqing Wu, Jing Huo, Xingguo Chen, Yang Gao

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل فريقاً من رجال الإطفاء يحاولون إخماد حريق هائل. لا يمكنهم رؤية الحريق بأكمله من نقطة واحدة؛ بل يرون فقط ركنهم المباشر. وللنجاح، يحتاجون إلى التحدث مع بعضهم البعض. ولكن في العالم الحقيقي، أجهزة اللاسلكي الخاصة بهم ليست مثالية. أحياناً تكون الإشارة ضعيفة، وأحياناً تكون مليئة بالتشويش، وأحياناً تختفي الرسالة تماماً.

هذه الورقة البحثية تتحدث عن تعليم فريق من "رجال الإطفاء" الآليين (الوكلاء/Agents) كيفية العمل معاً حتى عندما تكون "أجهزة اللاسلكي" الخاصة بهم معطلة أو غير موثوقة.

إليك تفصيل حلهم، باستخدام تشبيهات بسيطة:

1. المشكلة: "التشويش" في الغرفة

معظم تدريب الذكاء الاصطناعي يحدث في عالم مثالي حيث تُرسل الرسائل فوراً وبشكل مثالي. ولكن في العالم الحقيقي (مثل الطائرات بدون طيار تحت الماء، أو مستكشفي الكهوف، أو السيارات ذاتية القيادة في عاصفة)، تكون الاتصالات ناقصة أو مشوبة بالعيوب (Lossy).

المشكلة: إذا تم تدريب فريق من الذكاء الاصطناعي على أجهزة لاسلكي مثالية، فسوف ينهار بمجرد مواجهة التشويش أو التأخير. قد يتصرفون بناءً على رسالة لم تصل أبداً، أو يتجاهلون رسالة وصلت مشوهة.
الهدف: إنشاء فريق لا يعتمد فقط على أمل وجود إشارات مثالية، بل يكون قوياً بما يكفي للتعامل مع الإشارات السيئة.

2. الحل: استراتيجية من ثلاث خطوات

يقترح المؤلفون إطار عمل يسمى Communication-Constrained MARL (التعلم التعزيزي متعدد الوكلاء المقيد بالاتصال). فكر في الأمر كمعسكر تدريبي يحتوي على ثلاث تمارين محددة:

الخطوة أ: "توقعات الطقس" (نمذجة الأولويات/Priors)

قبل أن يبدأ الوكلاء حتى في التحدث، يحتاجون إلى معرفة "طقس" قناة الاتصال الخاصة بهم.

التشبيه: تخيل أنك ترسل رسالة. أنت تعلم أنك إذا أرسلتها عبر بحر هائج، فقد تبتل. وإذا أرسلتها عبر طائرة بدون طيار، فقد تضيع في أخدود.
ما فعلوه: أنشأوا "قاعدة عامة" (Prior) تخبر الذكاء الاصطناعي: "مهلاً، في هذا السيناريو المحدد، هناك احتمال بنسبة 30% أن تصبح رسالتك مشوهة".
لماذا يساعد ذلك: بدلاً من أن يُفاجأ بالاشارة السيئة، يتوقعها الذكاء الاصطناعي. يتعلم التمييز بين الرسالة "الواضحة" والرسالة "المشوشة"، تماماً كما يتعلم البحار التمييز بين الموجة الهادئة والعاصفة.

الخطوة ب: "السيف ذو الحدين" (المعلومات المتبادلة المزدوجة)

هذا هو الجزء الأكثر ذكاءً. يحتاج الذكال الاصطناعي لتعلم شيئين متضادين في نفس الوقت:

ثق بالأشياء الجيدة: عندما تكون الرسالة واضحة، يجب على الذكاء الاصطناعي إعطاء اهتمام إضافي لها.
تجاهل الأشياء السيئة: عندما تكون الرسالة مشوشة، يجب أن يتعلم الذكاء الاصطناسي تجاهلها تماماً.

التشبيه: فكر في طباخ يتذوق الحساء.
- الرسالة الجيدة (غير ناقصة/Lossless): تشبه مكوناً طازجاً وعالي الجودة. يريد الطباخ تعظيم نكهتها (تعظيم المعلومات المتبادلة/Maximize Mutual Information).
- الرسالة السيئة (ناقصة/Lossy): تشبه خضروات متعفنة. يريد الطباخ تقليل تأثيرها على الحساء حتى لا تفسد الطبق (تقليل المعلومات المتبادلة/Minimize Mutual Information).
الأداة: يستخدمون أداة رياضية تسمى Du-MIE (مقدر المعلومات المتبادلة المزدوجة). تعمل كمرشح (فلتر) يقول: "هذه الرسالة مفيدة، احتفظ بها!" و "هذه الرسالة عديمة الفائدة، ارمِها!".

الخطوة ج: "نظام المكافآت" (تشكيل المكافأة/Reward Shaping)

في التعلم التعزيزي، يتعلم الوكلاء من خلال الحصول على نقاط (مكافآت) مقابل السلوك الجيد.

التحول: عادةً، يحصل الوكلاء على نقاط لمجرد الفوز في اللعبة. الآن، قام المؤلفون بتغيير القواعد.
القاعدة الجديدة:
- إذا اتخذت قراراً جيداً بناءً على رسالة واضحة، ستحصل على نقاط إضافية.
- إذا اتخذت قراراً بناءً على رسالة مشوهة، ستحصل على نقاط عقوبة.
النتيجة: يتعلم الذكاء الاصطناعي بسرعة أن الاستماع إلى إشارات الراديو السيئة هو مضيعة للوقت، وأن الاعتماد على الإشارات الواضحة هو مفتاح النصر.

3. النتائج: "الفريق الذي لا يُقهر"

اختبر الباحثون هذا في بيئات افتراضية (مثل لعبة المطاردة أو الانتشار لتغطية منطقة ما) مع مستويات مختلفة من "ضوضاء الراديو".

الذكاء الاصطناعي القديم: عندما ساءت حالة الراديو، أصيب الذكاء الاصطناعي القديم بالذعر وفشل فشلاً ذريعاً.
ذكاء الـ Dropout: حاولت بعض الطرق السابقة محاكاة الراديو السيئ عن طريق حذف الرسائل عشوائياً أثناء التدريب. كانت جيدة، لكن ليست رائعة.
هذا الذكاء الاصطناعي الجديد (CC-MADDPG): كان الفائز الواضح. حتى عندما كان "الراديو" معطلاً تقريباً (مثل محاولة التحدث تحت الماء)، استمر هذا الفريق في التعاون بفعالية. لم يكتفوا بالبقاء على قيد الحياة في الظروف السيئة فحسب؛ بل تكيفوا جيداً لدرجة أنهم غالباً ما قدموا أداءً أفضل من الفرق التي لم تواجه ظروفاً سيئة من قبل.

الخلاصة

تعلمنا هذه الورقة البحثية أنه لبناء فرق ذكاء اصطناعي قوية للعالم الحقيقي، لا ينبغي لنا فقط تدريبهم في مختبر مثالي. نحن بحاجة إلى:

التنبؤ متى ستفشل الاتصالات.
تعليمهم تقدير الإشارات الواضحة وتجاهل الضجيج.
مكافأتهم على معرفة الفرق.

إنه الفرق بين تدريب جندي في صالة رياضية هادئة وبين تدريبه في ساحة معركة فوضوية وصاخبة. التدريب الأخير هو الوحيد المستعد للمعركة الحقيقية.

إليك ملخص تقني مفصل لورقة البحث بعنوان "التعلم التعزيزي متعدد الوكلاء مع الأولويات المقيدة بالاتصالات".

1. بيان المشكلة

يعتمد التعلم التعزيزي متعدد الوكلاء (MARL) بشكل كبير على الاتصال لتنسيق السياسات التعاونية، خاصة في البيئات ذات الرؤية الجزئية. ومع ذلك، تواجه التطبيقات الواقعية (مثل القيادة الذاتية، أو الاستكشاف تحت الماء، أو الطائرات بدون طيار التعاونية) اتصالات فاقدة للبيانات (lossy communication) تتميز بـ:

قيود عرض النطاق الترددي: لا يمكن إرسال سوى كمية محدودة من البيانات.
قنوات غير موثوقة: تعاني الرسائل من التداخل، أو التأخير، أو فقدان الحزم، أو الضجيج.

القصور الحالي:

يركز معظم أبحاث الـ MARL الحالية على قيود عرض النطاق الترددي بافتراض نقل مثالي وخالٍ من الفقد (مثل الضغط أو الجدولة).
الطرق التي تعالج الاتصالات الفاقدة للبيانات (الضجيج، التأخير) تعتمد غالبًا على افتراضات محددة (مثل توزيعات ضجيج ثابتة أو آليات تأخير معينة) تفتقر إلى القابلية للتوسع والمتانة عند تطبيقها في بيئات معقدة أو ديناميكية أو مجهولة (مثل الكهوف أو الأعماق البحرية).
هناك نقص في وجود إطار عمل موحد يمكنه التمييز بين الرسائل المفيدة (غير الفاقدة للبيانات) والرسائل الضارة (الفاقدة للبيانات) مع تحسين تعلم السياسة عبر سيناريوهات متنوعة.

2. المنهجية

يقترح المؤلفون إطار عمل للتعلم التعزيزي متعدد الوكلاء المقيد بالاتصالات يدمج ثلاثة مكونات أساسية:

أ. الأولويات العامة المقيدة بالاتصالات

للتعامل مع البيئات المتنوعة، قدم المؤلفون نموذجًا موحدًا لتوصيف ظروف الاتصال.

حالة الرابط الثنائية ( $\iota_{ij}$ ): معامل يشير إلى ما إذا كان الرابط بين الوكيل $i$ والوكيل $j$ فعالاً (1) أو فاقداً للبيانات (0).
نمذجة الأولويات: يتم نمذجة حالة الرابط كدالة لحالة البيئة ( $s_{ij}$ $s_{ij}$ )، ويتم تحديد معاملاتها بواسطة $\theta_e$ $θ_{e}$ . وهذا يسمح للنظام بتعلم "توزيع أولي" (prior distribution) لموثوقية الاتصال.
- بالنسبة للبيئات المستقرة، يتم تقدير الأولويات عبر أخذ العينات.
- بالنسبة للبيئات الديناميكية/المجهولة، يتم تعلم الأولويات عبر استراتيجيات متنوعة (مثل إسقاط الرسائل العشوائي) لتغطية حالات الفشل المحتملة المتعددة.

ب. مقدر المعلومات المتبادلة المزدوج (Du-MIE)

لتحسين اتخاذ القرار، يقوم إطار العمل بفصل تأثير الرسائل الفاقدة للبيانات وغير الفاقدة للبيانات باستخدام المعلومات المتبادلة (MI) بين الرسائل ( $m$ ) وأفعال الوكيل ( $a$ ).

الهدف: تعظيم المعلومات المتبادلة بين الرسائل غير الفاقدة للبيانات والأفعال (تعزيز الارتباط الإيجابي) مع تقليل المعلومات المتبادلة بين الرسائل الفاقدة للبيانات والأفعال (كبح الارتباط السلبي).
استراتيجية التقدير: نظرًا لأن حساب المعلومات المتبادلة بدقة أمر مستعصٍ، استخدم المؤلفون مقدرين يعتمدان على مخزن إعادة التشغيل (replay buffer):
1. تباعد جينسن-شانون (JSD): يقدر الحد الأدنى للمعلومات المتبادلة للرسائل غير الفاقدة للبيانات ( $M^+$ ) المراد تعظيمها.
2. الحد العلوي لنسبة اللوغاريتم التبايني (CLUB): يقدر الحد الأعلى للمعلومات المتبادلة للرسائل الفاقدة للبيانات ( $M^-$ ) المراد تقليلها.
دالة الخسارة: يتم تعريف خسارة مشتركة $L_{CC}$ لتدريب هذه المقدرات، وهي موزونة بمعامل حالة الرابط المتوقع $\iota$ .

ج. تشكيل المكافأة وتحسين السياسة

يتم دمج حدود المعلومات المتبادلة المقدرة في دالة المكافأة العالمية لتوجيه سياسة الـ MARL.

المكافأة المشكلة ( $\tilde{r}_t$ ):
$\tilde{r}_t = r_t + \alpha \sum \iota_{ji} I_{JSD}(m_{ji}; a_i) - \beta \sum (1-\iota_{ji}) I_{CLUB}(m_{ji}; a_i)$
حيث $\alpha$ و $\beta$ هما معاملا الوزن. هذا يكافئ الوكلاء على استخدام المعلومات الموثوقة ويعاقبهم على الاعتماد على المعلومات غير الموثوقة.
التكامل مع الخوارزمية: يتم تنفيذ إطار العمل فوق خوارزميات CTDE القياسية (التدريب المركزي مع التنفيذ اللامركزي)، وتحديدًا MADDPG. تتضمن حلقة التدريب:
1. التنبؤ بحالة الرابط.
2. حساب المكافأة المشكلة.
3. تحديث مقدرات Du-MIE.
4. تحديث شبكات السياسة/القيمة الخاصة بالـ MARL باستخدام المكافأة المشكلة.

3. المساهمات الرئيسية

النمذجة الموحدة: اقتراح نموذج عام لتوصيف قيود الاتصال (فقدان البيانات مقابل عدم فقدانه) عبر سيناريوهات مختلفة (تحت الماء، لاسلكي، كهوف) باستخدام أولوية قابلة للتعلم.
مقدر المعلومات المتبادلة المزدوج (Du-MIME): تقديم آلية مبتكرة لتعظيم فائدة الرسائل الموثوقة وتقليل تداخل الرسائل غير الموثوقة في آن واحد عن طريق تقدير الحدود الدنيا والعليا للمعلومات المتبادلة.
إطار عمل متين: تطوير إطار عمل لـ MARL مقيد بالاتصالات يعيد تشكيل المكافآت العالمية بناءً على موثوقية الرسائل، مما يحسن المتانة بشكل كبير في البيئات الديناميكية.
التحقق الشامل: التحقق من النهج على معايير قياسية (MPE) مع قيود اتصال قائمة على ماركوف وعلى المسافة، مما أظهر أداءً متفوقًا على النماذج المرجعية الحالية.

4. النتائج التجريبية

قيم المؤلفون طريقتهم (CC-MADDPG) مقابل نماذج مرجعية تشمل MADDPG القياسي، وFC-MADDPG، وDropout-MADDPG، وMAIC، عبر أربع مهام (Simple_Tag, Simple_Spread, Simple_Reference, Simple_Adversary) تحت مستويات قيود متفاوتة (خفيف، متوسط، ثقيل).

الأداء العام:
- تفوق CC-MADDPG باستمرار على جميع النماذج المرجعية، خاصة في سيناريوهات القيود الثقيلة.
- في مهمة Simple_Tag تحت قيود المسافة الثقيلة، انهارت FC-MADDPG إلى مكافأة قدرها 1.5، بينما حقق CC-MADDPG 138.0.
- أظهر MADDPG القياسي وFC-MADDPG حساسية عالية لجودة الاتصال، حيث عانيا من انخفاض كارثي في الأداء عند إدخال القيود.
تأثير الأولويات:
- التدريب باستخدام أولويات قيود الاتصال (مثل الإسقاط العشوائي) حسن المتانة بشكل كبير مقارنة بالتدريب في الظروف المثالية.
- الأولويات المطابقة للاختبار: النماذج التي تم تدريبها بأولويات تطابق تمامًا قيود بيئة الاختبار حققت أداءً أفضل حتى من تلك ذات الأولويات العامة، مما يشير إلى أن تخصيص الأولوية لسيناريو النشر المحدد يؤدي إلى نتائج مثالية.
دراسة الاستئصال (Du-MIE):
- أدى حذف تحسين المعلومات المتبادلة (النموذج المرجعي) إلى انخفاض الأداء.
- استخدام مكون كبح الفقد فقط (CLUB) وفر دفعة كبيرة، مما يشير إلى أن تصفية المعلومات السيئة أمر بالغ الأهمية.
- استخدام تعظيم المعلومات المتبادلة فقط (JSD) أدى أيضًا إلى تحسين الأداء.
- حقق النموذج الكامل (كلا المكونين) أعلى المكافآت، مما يؤكد التأثير التآزري للتحسين ثنائي الاتجاه.

5. الأهمية

يعالج هذا العمل فجوة حرجة في نشر الـ MARL في الأنظمة الواقعية حيث نادرًا ما يكون الاتصال مثاليًا. من خلال تجاوز مجرد قيود عرض النطاق التدويري إلى نمذجة موثوقية الرسائل وديناميكيات فقدان البيانات، يوفر إطار العمل المقترح:

متانة معززة: يمكن للوكلاء تعلم سياسات تعاونية تظل فعالة حتى عندما تكون روابط الاتصال غير مستقرة أو مشوشة.
القابلية للتوسع: يسمح نموذج الأولوية العام لإطار العمل بالتكيف مع بيئات متنوعة مجهولة دون الحاجة إلى إعادة هندسة مخصصة لكل سيناريو.
رؤية نظرية: يوفر استخدام مقدرات المعلومات المتبادلة المزدوجة طريقة منهجية لقياس وتحسين المقايضة بين الاستفادة من المعلومات وقمع الضجيج في الأنظمة متعددة الوكلاء.

يخلص البحث إلى أن دمج أولويات الاتصال وتحسين المعلومات المتبادلة المزدوج ضروري للنشر العملي للـ MARL في السيناريوهات الواقعية المعقدة والديناميكية والمقيدة بالاتصالات.