🤖 AI

Distributionally Robust Cooperative Multi-Agent Reinforcement Learning via Robust Value Factorization

تقدم هذه الورقة البحثية مبدأ "توزيعي المتانة لـ IGM" (DrIGM)، وهو مبدأ جديد وإطار عمل مقابل لتجزئة القيمة يعزز موثوقية التعلم التعزيزي متعدد الوكلاء التعاوني في البيئات غير المستقرة، وذلك من خلال مواءمة الأفعال الجشعة اللامركزية مع الأفعال المشتركة المثلى للفريق بشكل متين، مما يؤدي إلى تحسين الأداء خارج التوزيع دون الحاجة إلى تشكيل مكافآت لكل وكيل.

المؤلفون الأصليون: Chengrui Qu, Christopher Yeh, Kishan Panaganti, Eric Mazumdar, Adam Wierman

نُشر 2026-02-13

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Chengrui Qu, Christopher Yeh, Kishan Panaganti, Eric Mazumdar, Adam Wierman

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك مدرب لفريق كرة قدم. هدفك هو الفوز بالبطولة. في عالم مثالي، تتدرب على ملعب نقي ومشمس بعشب مثالي، ولا توجد رياح، والحكام لا يرتكبون أي أخطاء أبداً. أنت تدرب لاعبيك على تمرير الكرة بطريقة معينة تضمن تسجيل هدف.

ولكن عندما يأتي يوم المباراة، يكون العالم الحقيقي فوضوياً. قد تمطر، أو يكون العشب طينياً، أو تهب الرياح بشكل جانبي، وقد يكون الحكام مشتتي الذهن. هذه هي "فجوة المحاكاة إلى الواقع" (Sim-to-Real Gap).

في عالم الذكاء الاصطناعي، وتحديداً في التعلم التعزيزي متعدد الوكلاء (MARL)، لدينا فرق من وكلاء الذكاء الاصطناائي (مثل الروبوتات أو البرامج) يحاولون التعاون. عادة ما يتدربون في محاكاة حاسوبية مثالية ("المحاكاة") ثم يحاولون الأداء في العالم الحقيقي. المشكلة هي أنه عندما يختلف العالم الحقيقي قليلاً عن المحاكاة، ينهار الفريق؛ يتوقفون عن التنسيق، ويرتكبون تحركات سيئة، ويخسرون.

تقدم هذه الورقة البحثية طريقة جديدة لتدريب فرق الذكاء الاصطناعي هذه بحيث لا تكتفي بحفظ الملعب المثالي فحسب، بل تتعلم كيف تفوز حتى عندما تسوء الأحوال الجوية.

الطريقة القديمة: فخ "الممارسة المثالية"

تستخدم معظم فرق الذكاء الاصطناعي الحالية طريقة تسمى "تجزئة القيمة" (Value Factorization). تخيل هذا كمدرب يعطي كل لاعب ورقة تعليمات شخصية.

القاعدة: "إذا رأيت الكرة، افعل ما هو الأفضل لك."
السحر: نظرياً، إذا قام كل لاعب بما هو الأفضل لنفسه، فإن الفريق بأك_->الكامل يقوم تلقائياً بما هو الأفضل للمجموعة. وهذا ما يسمى بمبدأ IGM (الحد الأقصى الفردي-العالمي).

المشكلة: هذا يعمل بشكل رائع في المحاكاة. ولكن في العالم الحقيقي، إذا اعتقد اللاعب (أ) أن الرياح تهب لليسار (بسبب خلل في المستشعر) واعتقد اللاعب (ب) أنها تهب لليمين، فقد يحاول كلاهما ركل الكرة في اتجاهين متعاكسين. تفشل استراتيجية "الممارسة المثالية" لأن اللاعبين لم يعودوا متفقين على ما هو "الأفضل".

الفكرة الجديدة: "DrIGM" (السيناريو الأسوأ المشترك)

يقترح المؤلفون مبدأً جديداً يسمى الـ IGM المتين توزيعياً (DrIGM).

تخيل بدلاً من تدريب لاعبيك على ملعب مثالي، أن تدربهم في عاصفة محاكاة. أنت تقول لهم: "حسناً، قد تهب الرياح بقوة، وقد يكون العشب زلقاً، وقد ترتد الكرة بشكل غريب. دعونا نحدد أفضل حركة تعمل حتى في أسوأ سيناريو ممكن."

إليك اللمسة الذكية في طريقتهم:

لا تقلق بشأن الأسوأ لكل فرد: إذا سألت اللاعب (أ): "ما هو أسوأ ما يمكن أن يحدث لك؟" واللاعب (ب): "ما هو الأسوأ لك؟"، فقد يخرج كل منهما بكوابيس مختلفة. قد يخشى اللاعب (أ) المطر؛ بينما يخشى اللاعب (ب) الطين. إذا تصرفوا بناءً على هذه المخاوف المختلفة، فلن يتمكنوا من التنسيق.
اقلق بشأن الأسوأ للفريق: بدلاً من ذلك، يتفق الفريق على سيناريو واحد للأسوأ للفريق بأكمله. ربما يكون السيناريو الأسوأ هو "عاصفة عاتية" حيث ترتد الكرة بشكل غير متوقع.
الاتفاق: يتعلم كل لاعب: "إذا كنا في هذه العاصفة العاتية، فهذه هي الحركة الوحيدة التي تنقذ الفريق."

ولأنهم جميعاً يخططون لـ نفس السينما الأسوأ، فإن "أفضل التحركات" الفردية لديهم تتماشى طبيعياً. هم لا يحتاجون للتحدث مع بعضهم البعض أثناء المباراة؛ هم فقط يتبعون تدريبهم، ويتنسقون تلقائياً.

كيف فعلوا ذلك (الوصفة)

تأخذ الورقة البحثية ثلاث وصفات شهيرة لتدريب الذكاء الاصطناعي (VDN، وQMIX، وQTRAN) وتضيف إليها "توابل المتانة".

التوابل: قاموا بتغيير الرياضيات بحيث لا ينظر الذكاء الاصطناعي فقط إلى النتيجة المتوسطة، بل ينظر إلى "النتيجة الأسوأ الممكنة" ضمن نطاق معين من عدم اليقين.
النتيجة: ابتكروا نوعاً جديداً من "مؤثر بلمان المتين" (Robust Bellman Operator). وباللغة البسيطة، هذه قاعدة رياضية تخبر الذكاء الاصطناعي: "لا تتعلم فقط لتفوز في يوم مشمس. تعلم لتفوز حتى لو هبت الرياح وأزاحت الكرة عن مسارها بنسبة 10%."

الإثبات: هل نجح الأمر؟

اختبر المؤلفون هذا على شيئين مختلفين تماماً:

المباني الذكية (التحكم في نظام HVAC): تخيل مبنى به غرف عديدة. كل غرفة بها منظم حرارة (وكيل ذكاء اصطناعي) يحاول الحفاظ على درجة حرارة مريحة مع توفير الطاقة.
- الاختبار: قاموا بتدريب الذكاء الاصطناعي في محاكاة لصحراء حارة وجافة (توسان). ثم اختبروه في مكان رطب وماطر (نيويورك) وخلال مواسم مختلفة.
- النتيجة: ارتبكت فرق الذكاء الاصطناعي القديمة وأهدرت الطاقة أو جعلت الغرف حارة جداً/باردة جداً. أما الفرق "المتينة" الجديدة فقد تعاملت مع تغيرات الطقس بشكل مثالي، وحافظت على راحة المبنى وكفاءته.
لعبة StarCraft II (لعبة الفيديو): هذه لعبة استراتيجية معقدة حيث تتحكم في جيش من الوحدات.
- الاختبار: أضافوا "ضجيجاً" إلى اللعبة، مما جعل رؤية الوحدات ضبابية أو مهتزة قليلاً (لمحاكاة أخطاء المستشعرات).
- النتيجة: لا تزال الفرق المتينة تحقق الانتصارات في المعارك، بينما بدأت الفرق القياسية في ارتكاب أخطاء سخيفة والخسارة.

الخلاصة الكبرى

عادةً، عندما تجعل الذكاء الاصطناعي "متيناً" (آمناً ضد الأخطاء)، فإنه يصبح "محافظاً" (يخاف من اتخاذ المخاطر) ويؤدي بشكل أسوأ حتى في الظروف العادية.

النتيجة المفاجئة لهذه الورقة: في بيئة الفريق، تجعل المتانة الفريق أفضل في التنسيق، حتى في الظروف العادية. من خلال الاتفاق على خطة مشتركة للأسوأ، يتوقف الوكلاء عن التشكيك في بعضهم البعض. يصبحون وحدة أكثر تماسكاً وموثوقية.

باختصار: تعلم هذه الورقة فرق الذكاء الاصطناعي التوقف عن التدرب ليوم مثالي والبدء في التدرب لمواجهة العاصفة. ومن خلال الاتفاق على شكل العاصفة، يتعلمون كيفية الرقص معاً تحت المطر دون أن يعيق أحدهم الآخر.

إليك ملخص تقني مفصل للورقة البحثية بعنوان "التعلم التعزيزي متعدد الوكلاء التعاوني المتين توزيعياً عبر التجزئة القيمة المتينة" (Distributionally Robust Cooperative Multi-Agent Reinforcement Learning via Robust Value Factorization).

1. بيان المشكلة

تتناول الورقة البحثية التحدي الحرج المتمثل في عدم اليقين البيئي في التعلم التعزيزي متعدد الوكلاء التعاوني (MARL).

السياق: تعتمد معظم أنظمة MARL التعاونية على نموذج التدريب المركزي مع التنفيذ اللامركزي (CTCTD)، مستندة إلى طرق تجزئة القيمة (Value Factorization) (مثل VDN وQMIX وQTRAN). تفرض هذه الطرق مبدأ الحد الأقصى الفردي العالمي (IGM)، مما يضمن أن الوكلاء الذين يتصرفون بجشع بناءً على ملاحظاتهم المحلية يحققون جماعياً الإجراء المشترك الأمثل للفريق.
الفجوة: بينما يعمل مبدأ IGM بشكل جيد في البيئات المحاكية، فإنه غالباً ما يفشل في عمليات النشر في العالم الحقيقي بسبب فجوة المحاكاة إلى الواقع (sim-to-real gap)، وعدم تطابق النموذج، وضجيج النظام.
الصعوبة الجوهرية: إن مجرد تطبيق تقنيات التعلم التعزيزي المتين توزيعياً (DR-RL) الخاصة بالوكيل المنفرد على MARL يؤدي إلى الفشل. في DR-RL أحادي الوكيل، يقوم الوكيل بتحسين حالته لأسوأ سيناريو محتمل له. ومع ذلك، في MARL التعاوني، قد يختلف "السيناريو الأسوأ" لنموذج الانتقال لوكيل واحد عن السيناريو الأسوأ لنموذج الفريق المشترك. إن تعريف قيم Q المتينة فردياً كحد أدنى (infimum) فوق مجموعات عدم اليقين يكسر خاصية IGM، مما يؤدي إلى فشل التنسيق حيث لا تتوافق الإجراءات الجشعة اللامركزية مع الإجراء المشترك الأمثل المتين للفريق.

2. المنهجية: IGM المتين توزيعياً (DrIGM)

يقترح المؤلفون إطاراً نظرياً جديداً يسمى IGM المتين توزيعياً (DrIGM) لحل عدم التوافق بين المتانة الفردية ومتانة الفريق.

أ. الأساس النظري

تعريف DrIGM: تُعتبر مجموعة وظائف قيم الفعل المتينة فردياً $[Q_i^{rob}]$ محققة لـ DrIGM إذا كان الفعل المشترك الناتج عن اتخاذ الوكلاء لإجراءاتهم الجشعة الفردية (بناءً على $Q_i^{rob}$ ) هو مجموعة جزئية من الإجراءات المشتركة المثلى المتينة (بناءً على دالة القيمة المشتركة المتينة $Q_{tot}^{rob}$ ).
الرؤية الجوهرية (المبرهنة 1): تثبت الورقة أن التعريف الساذج لـ $Q_i^{rob} = \inf_{P} Q_i^P$ $Q_{i}^{r o b} = in f_{P} Q_{i}^{P}$ (السيناريو الأسوأ الفردي) يفشل في تحقيق DrIGM. بدلاً من ذلك، يتم ضمان DrIGM إذا تم تعريف القيم الفردية المتينة بالنسبة لـ نموذج واحد للأسوأ عالمياً يتم تقييمه عند الإجراء المشترك الجشع المتين.
- ليكن $\bar{a}$ هو الإجراء المشترك الجشع المتين.
- ليكن $P^{worst}$ هو نموذج الانتقال الذي يقلل من القيمة المشتركة عند $\bar{a}$ .
- عرّف $Q_i^{rob}(h_i, a_i) = Q_i^{P^{worst}}(h_i, a_i)$ .
- بموجب هذا التعريف، تتوافق الإجراءات الجشعة الفردية مع الإجراء المشترك المتين.

ب. التوافق مع البنى القائمة

يوضح المؤلفون أن هذا التعريف لـ $Q_i^{rob}$ متوافق مع قيود التجزئة القياسية:

VDN: الهيكل الجمعي ( $Q_{tot} = \sum Q_i$ ).
QMIX: قيد الرتابة ( $\partial Q_{tot} / \partial Q_i \geq 0$ ).
QTRAN: قيود الاتساق التي تضمن توافق $Q_{tot}$ و $\sum Q_i$ عند الإجراءات المثلى.
النتيجة (المبرهنة 2): إذا كانت التجزئة غير المتينة الأساسية تحقق IGM، فإن النسخ المتينة التي يتم بناؤها عبر النموذج العالمي للأسوأ الأسوأ تحقق تلقائياً DrIGM.

ج. التنفيذ الخوارزمي

تشتق الورقة مؤثرات بيلمان المتينة لمجموعتين من مجموعات عدم اليقين:

تلوث $\rho$ ( $\rho$ -contamination): يكون نواة الانتقال عبارة عن مزيج من النموذج الاسمي وتوزيع أسوأ حالة محتمل.
الانحراف الكلي (Total Variation - TV): تكون نواة الانتقال ضمن مسافة TV قدرها $\rho$ من النموذج الاسمي.

يتم دمج هذه المؤثرات في إطار تجزئة القيمة المتينة (الخوارزمية 1):

التدريب: يتعلم الوكلاء شبكات Q المتينة الفردية (باستخدام بنى DRQN) وشبكة خلط (mixing network).
توليد الهدف: يتم حساب القيمة المستهدفة باستخدام مؤثر بيلمان المتين، والذي يتضمن التوقع للأسوأ عبر مجموعة عدم اليقين.
التنفيذ: يتصرف الوكلاء بجشع بناءً على قيم Q المتينة المحلية الخاصة بهم دون الحاجة إلى تواصل في الوقت الفعلي.

3. المساهمات الرئيسية

مبدأ DrIGM: تقديم مبدأ جديد يوسع IGM إلى إعدادات المتانة التوزيعية، مع إثبات أن القيم الفردية المتينة يجب أن ترتكز على النموذج العالمي المشترك للأسوأ لضمان التوافق اللامركزي.
الضمانات النظرية: تقديم براهين تثبت أن DrIGM يتحقق في بنى VDN وQMIX وQTRAN تحت مجموعات عدم اليقين العالمية، مما يضمن أن التنفيذ اللامركزي يستعيد الأمثل المتين للفريق.
خوارزميات قابلة للتوسع: تطوير نسخ متينة من VDN وQMIX وQTRAN تتكامل بسلاسة مع الأكواد البرمجية الموجودة، ولا تتطلب تشكيل مكافأة مخصص لكل وكيل، وتحافظ على القابلية للتوسع.
التحقق التجريبي: إثبات التحسينات المتسقة في أداء خارج التوزيع (OOD) عبر المحاكيات عالية الدقة وبيئات الألعاب.

4. النتائج التجريبية

تم تقييم الطرق في معيارين: SustainGym (التحكم في نظام HVAC في المباني الذكية) و SMAC (StarCraft II).

SustainGym (التحكم في HVAC):
- الإعداد: التدريب على تكوينات مناخية/مكانية محددة (مثل توسان) والاختبار على تكوينات غير مرئية (مثل نيويورك، أو تغيرات موسمية).
- النتائج: تفوقت الطرق المتينة باستمرار على النماذج غير المتينة (VDN/QMIX/QTRAN القياسية) وعلى نموذج مرجعي متين حديث (GroupDR).
- النتيجة الرئيسية: في حالات التغيرات المناخية والموسمية القصوى، حققت الطرق المتينة مكافآت متوسطة أعلى بنسبة 10-40%. وخلافاً للتعلم التعزيزي المتين أحادي الوكيل، لم يؤدِ التدريب المتين في MARL إلى معاقبة الأداء داخل التوزيع؛ بل في بعض الحالات، أدى إلى تحسين الاستقرار والقدرة على التكيف.
SMAC (StarCraft II):
- الإعداد: التقييم على خريطة "3s vs 5z" مع إضافة ضجيج غاوسي (Gaussian noise) لملاحظات موقع العدو.
- النتائج: أدت نماذج VDN وQMIX المتينة إلى تحسين معدلات الفوز في الاختبار بشكل كبير مقارنة بالنماذج غير المتينة، خاصة لمستويات عدم اليقين الصغيرة إلى المتوسطة ( $\rho$ ).
- الملاحظة: اتبع الأداء منحنى "النقطة المثالية" (sweet spot)؛ حيث فشل $\rho$ المنخفض جداً في التعامل مع التحولات، بينما أدى $\rho$ المرتفع جداً إلى سياسات متحفظة للغاية.

5. الأهمية

سد فجوة المحاكاة إلى الواقع: يوفر هذا العمل حلاً مبدئياً لفجوة الموثوقية في MARL التعاوني، متجاوزاً افتراضات "العالم المثالي" للتعامل مع عدم يقين النموذج والضجيج.
الحفاظ على اللامركزية: من المهم جداً أن هذا العمل يحقق المتانة دون التضحية بخاصية التنفيذ اللامركزي. لا يحتاج الوكلاء إلى التواصل أثناء النشر للتعامل مع عدم اليقين.
تحول في النموذج الفكري: يتحدى هذا العمل الحدس القائل بأن المتانة تتطلب أن يكون الوكلاء الأفراد "متشائمين" بشأن بيئتهم المحلية. بدلاً من ذلك، يظهر أن الوكلاء يجب أن ينسقوا ضد سيناريو عالمي مشترك للأسوأ للحفاظ على مثالية الفريق.
القابلية للتطبيق العملي: من خلال تكييف البنى القياسية (VDN/QMIX/QTRAN) بدلاً من طلب خوارزميات جديدة ومعقدة، فإن النهج قابل للتطبيق بدرجة عالية في الأنظمة متعددة الوكلاء في العالم الحقيقي مثل شبكات الطاقة، وأساطيل المركبات ذاتية القيادة، وإدارة المباني.