🤖 machine learning

Offline Multi-agent Reinforcement Learning via Sequential Score Decomposition

تقترح هذه الورقة إطار عمل جديد لتعلم التعزيز متعدد الوكلاء غير المتصل (offline multi-agent reinforcement learning) يعالج تحديات الانزياح التوزيعي والتنسيق متعدد الأنماط في المهام التعاونية من خلال توظيف طريقة تفكيك الدرجة التسلسلية (sequential score decomposition) مدمجة مع نماذج توليدية قائمة على الانتشار (diffusion-based generative models) لتوجيه تحديثات السياسة نحو مناطق عالية المكافأة وضمن التوزيع، محققةً أداءً هو الأفضل في فئته عبر معايير اختبار متنوعة.

المؤلفون الأصليون: Dan Qiao, Wenhao Li, Shanchao Yang, Hongyuan Zha, Baoxiang Wang

نُشر 2026-05-29✓ Author reviewed ⓘ

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Dan Qiao, Wenhao Li, Shanchao Yang, Hongyuan Zha, Baoxiang Wang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم مجموعة من الروبوتات كيفية العمل معاً لقطف التفاح. لديك مكتبة فيديو ضخمة (مجموعة بيانات) تعرض كيف قامت فرق مختلفة من الروبوتات بهذه المهمة في الماضي. بعض الفرق قطفت التفاحة الحمراء معاً، وأخرى قطفت الخضراء، وبعضها ظل يتجول بلا هدف.

التحدي هو أنه لا يمكنك السماح للروبوتات بالتدرب في العالم الحقيقي بعد الآن؛ يمكنك تعليمهم فقط من خلال مشاهدة هذه الفيديوهات القديمة. وهذا ما يسمى التعلم التعزيزي متعدد الوكلاء غير المتصل (Offline Multi-Agent Reinforcement Learning).

المشكلة: "الجوقة المرتبكة"

في الماضي، عندما حاول الباحثون تعليم الروبوتات من هذه الفيديوهات المختلطة، ارتكبوا خطأً فادحاً. لقد عاملوا كل روبوت كما لو كان يتعلم بمفرده، متجاهلين حركة الآخرين.

تخيل جوقة موسيقية حيث يغني الجميع أغاني مختلفة من نفس النوتة الموسيقية. إذا أخبرت "السوبرانو" أن تغني "الأغنية أ" و"الباص" أن يغني "الأغنية ب" بناءً على عاداتهما الفردية، فستكون النتيجة ضجيجاً كارثياً وفوضوياً. في عالم الروبوتات، يؤدي هذا إلى سوء التنسيق (miscoordination). قد يحاول الروبوتات التقاط تفاحتين مختلفتين في نفس الوقت، أو قد يحاولون التقاط تفاحة لم ينجح أحد في التقاطها في الفيديو أبداً. ينتهي بهم الأمر بفعل أشياء تبدو "جيدة" لروبوت واحد، لكنها كارثية للفريق.

تسمي الورقة البحثية هذا بـ "انزياح النمط التوليفي" (Combinatorial Mode Shift). إنه يشبه محاولة بناء منزل عن طريق خلط مخططات لبناء قلعة، وخيمة، وناطحة سحاب. النتيجة ليست منزلاً، بل كومة من الطوب غير المتناسق.

الحل: OMSD (عصا المايسترو)

يقترح المؤلفون طريقة جديدة تسمى OMSD (التعلم التعزيزي متعدد الوكلاء غير المتصل عبر تفكيك الدرجات التسلسلية).

إليك كيف يعمل، باستخدام تشبيه بسيط:

1. استراتيجية "الاصطفاف" (التفكيك التسلسلي)
بدلاً من سؤال كل روبوت عما يجب أن يفعله بناءً على ذاكرته الخاصة، يسألهم OMSD بترتيب محدد، مثل صف من الناس ينتظرون دخول غرفة.

الروبوت (أ) يذهب أولاً ويقرر: "سأذهب إلى التفاحة الحمراء".
الروبوت (ب) يرى قرار الروبوت (أ) ويفكر: "حسناً، بما أن الروبوت (أ) ذاهب إلى التفاحة الحمراء، يجب عليّ أيضاً الذهاب إلى التفاحة الحمراء للمساعدة".
الروبوت (ج) يرى كلاً من (أ) و(ب) ويتبع الخطى.

من خلال النظر فيما قرره الروبوتات السابقة، يتعلم كل روبوت سياق خطة الفريق. هذا يمنعهم من التقاط تفاحة مختلفة بالخطأ أو التجول بعيداً.

2. سحر "الانتشار" (دالة الدرجة/Score Function)
لجعل هذا يعمل، استخدم الباحثون نوعاً خاصاً من الذكاء الاصطناعي يسمى نموذج الانتشار (Diffusion Model). فكر في هذا كأنه "مزيل للضوضاء" أو "موضح للضبابية".

تخيل أن الفيديوهات القديمة مشوشة قليلاً ومليئة بالتشويش.
يعمل نموذج الانتشار كفلتر ذكي يعرف تماماً كيف "يزيل الضجيج" من البيانات. فهو لا يخمن فعلاً عشوائياً؛ بل يحسب "درجة" أو "اتجاهاً" يشير إلى الأفعال التي اتخذها الفريق بالفعل في الفيديوهات الناجحة.
إنه يخبر الروبوت: "لا تذهب في ذلك الاتجاه (هذا خطأ)؛ اذهب في هذا الاتجاه (هذا هو المكان الذي نجح فيه الفريق)".

3. "المدرب المركزي" (الناقد)
بينما يتعلم الروبوتات حركاتهم المحددة في الصف، هناك "مدرب مركزي" (ناقد مركزي) يراقب الفريق بأكمله. هذا المدرب يعرف الدرجة الإجمالية التي يحصل عليها الفريق. ويقول للروبوتات: "مهلاً، استراتيجية التفاحة الحمراء تلك تحصل على درجة عالية، استمروا في فعل ذلك!"

لماذا هو أفضل؟

حاولت الطرق السابقة تعليم الروبوتات من خلال النظر إلى عاداتهم الفردية بمعزل عن بعضهم البعض. نجح هذا بشكل جيد إذا كان الجميع يفعلون الشيء نفسه، لكنه فشل فشلاً ذريعاً عندما أظهرت الفيديوهات استراتيجيات ناجحة متعددة (بيانات متعددة الأنماط/multimodal).

يعالج OMSD هذه المشكلة من خلال:

احترام التسلسل: إنه يفهم أن حركة الروبوت (ب) تعتمد على حركة الروبوت (أ).
البقاء في المسار الصحيح: إنه يبقي الروبوتات تقوم بأشياء حدثت بالفعل في الفيديوهات، مما يمنعهم من تجربة حركات مخاطرة أو مبتكرة لا وجود لها في البيانات.
إيجاد المسار الأفضل: يساعد الفريق في العثج على "النمط" أو الاستراتيجية المحددة (مثل التفاحة الحمراء مقابل التفاحة الخضراء) التي تحقق أعلى مكافأة، دون الارتباك بسبب الاستراتيجيات الأخرى الموجودة في مكتبة الفيديو.

النتائج

اختبر المؤلفون OMSD في مهام روبوتية متنوعة، من الألعاب البسيطة إلى المحاكاة الفيزيائية المعقدة (مثل الروبوتات التي تركض أو تطارد الفريسة).

في الاختبارات البسيطة: تعلم OMSD التنسيق بشكل مثالي، بينما فشلت الطرق الأخرى في الاتفاق على خطة.
في الاختبارات المعقدة: تفوق OMSD باستمرار على أفضل الطرق الموجودة، خاصة عندما كانت بيانات التدريب فوضوية أو تظهر طرقاً عديدة للنجاح.

باخت st، OMSD هو مثل مايسترو ذكي لا يكتفي بإخبار كل موسيقي بعزف دوره الخاص فحسب، بل يوجه الأوركسترا بأكملها لتعزف في تناغم من خلال الاستماع إلى الشخص الذي قبله واتباع قيادة المايسترو، مما يضمن أن يكون الأداء النهائي رائعاً وليس كارثة.

ملخص تقني: التعلم المعزز متعدد الوكلاء غير المتصل عبر التفكيك التسلسلي للدرجة (OMSD)

1. بيان المشكلة

يواجه التعلم المعزز متعدد الوكلاء غير المتصل (Offline MARL) تحديًا حاسمًا يختلف عن التعلم المعزز غير المتصل أحادي الوكيل، وهو انزياح التوزيع (distribution shift) الناتج عن التفاوت بين جمع البيانات عبر الإنترنت (online) وجمعها غير المتصل (offline). بينما يتقارب التعلم المعزز متعدد الوكلاء عبر الإنترنت عادةً نحو سياسة مشتركة واحدة منسقة من خلال التكيف التفاعلي، فإن مجموعات البيانات غير المتصلة غالبًا ما تكون مزيجًا من سلوكيات تعاونية متنوعة تم جمعها من مصادر مختلفة. يؤدي هذا إلى توزيعات سلوك مشتركة متعددة الأنماط للغاية.

تعتمد طرق التعلم المعزز متعدد الوكلاء غير المتصل الحالية عمومًا على فئتين، كلتاهما تعاني مع تعدد الأنماط هذا:

الطرق القائمة على القيمة (Value-based methods): تعتمد على تعظيم القيمة الفردية العالمية (IGM) والتقدير المحافظ للقيمة. ومع ذلك، عندما يستخدم الوكلاء سياسات $\epsilon$ -greedy مستقلة، يمكنهم اختيار أفعال مشتركة خارج التوزيع (OOD) تكون ذات جودة منخفضة وغير مغطاة في مجموعة البيانات.
الطرق القائمة على السياسة (Policy-based methods): غالبًا ما تفرض قيودًا على السياسات عبر تنظيم السلوك أو المخططين المركزيين. وهناك خطأ شائع يتمثل في افتراض أن سياسة السلوك المشتركة يمكن تحليلها إلى هوامش مستقلة ( $\mu(a|s) = \prod \mu_i(a_i|s)$ ). في الإعدادات متعددة الأنماط، يؤدي هذا التحليل المستقل إلى "انزياح النمط التوليفي" (Combinatorial Mode Shift - CMS). فبينما يتم تنظيم الوكلاء نحو توزيعاتهم الهامشية الخاصة، يفقدون التوافق مع الأنماط المشتركة، مما يؤدي إلى سياسات مشتركة تقع خارج المناطق عالية الكثافة في مجموعة البيانات. يتسبب هذا عدم التوافق في انزياحات شديدة في التوزيع وضعف في التنسيق.

2. المنهجية: OMSD

يقترح المؤلفون التعلم المعزز متعدد الوكلاء غير المتصل عبر التفكيك التسلسلي للدرجة (OMSD) لمعالادة مشكلة التنسيق متعدد الأنماط دون الحاجة إلى نموذج سياسة مشتركة كاملة أو مخطط مركزي.

المفهوم الجوهري: التفكيك التسلسلي

بدلاً من افتراض الاستقلال الشرطي، يقوم OMSD بتفكيك سياسة السلوك المشتركة باستخدام قاعدة السلسلة، حيث يشترط سلوك كل وكيل بأفعال الوكلاء السابقين:
$\mu(a|s) = \prod_{i=1}^n \mu_i(a_i | s, a_{<i})$
حيث تمثل $a_{<i}$ الأفعال المشتركة لجميع الوكلاء السابقين للوكيل $i$ . يلتقط هذا النمذجة التسلسلية التبعيات بين الوكلاء ويوفر مرجعًا شرطيًا دقيقًا لقيود سياسة كل وكيل.

سير العمل الخوارزمي

يعمل OMSD تحت إطار التدريب المركزي والتنفيذ اللامركزي (CTDE) ويتكون من ثلاث مراحل رئيسية:

التدريب المسبق للنقد (Critic Pretraining): يتم تعلم دالة قيمة مشتركة مركزية $Q_{tot}(s, a)$ باستخدام التعلم الضمني لـ Q غير المتصل (IQL) لتوفير توجيه للمكافأة.
التدريب المسبق للدرجة (Score Pretraining): لكل وكيل $i$ $i$ ، يتم تدريب نموذج انتشار (diffusion model) شرطي على مجموعة البيانات غير المتصلة لتقدير دالة الدرجة الشرطية $\nabla_{a_i} \log \mu_i(a_i | s, a_{<i})$ $\nabla_{a_{i}} lo g μ_{i} (a_{i} ∣ s, a_{< i})$ .
- من المهم ملاحظة أن هذه النماذج تُدرب بالتوازي.
- تقرب دالة الدرجة تدرج لوغاريتم الاحتمالية لسياسة السلوك، وتعمل كمنظم للسلوك.
تحسين السياسة (Policy Optimization): يقوم الوكلاء بتحديث سياساتهم باستخدام تدرج يجمع بين إشارة الناقد المركزي وتنظيم الدرجة التسلسلي:
$\nabla_{\theta_i} L_i = \mathbb{E} \left[ \nabla_{a_i} Q_{tot}(s, a) + \frac{1}{\beta} \nabla_{a_i} \log \mu_i(a_i | s, a_{<i}) \right] \nabla_{\theta_i} \pi_{\theta_i}$
- الاشتراط التسلسلي: أثناء تحديث الوكيل $i$ ، يتم أخذ عينات من أفعال البادئة (prefix actions) $a_{<i}$ من أحدث السياسات المحدثة للوكلاء من $1 $إلى$ i-1$ ضمن نفس التكرار.
- التنفيذ: رغم التحديث التسلسلي أثناء التدريب، يظل التنفيذ لامركزيًا بالكامل. يعمل كل وكيل بناءً على ملاحظته المحلية، حيث يُستخدم الاعتماد التسلسلي فقط لتوجيه اتجاه التعلم (تنظيم الدرجة) وليس لتوليد الأفعال أثناء وقت التشغيل.
- الكفاءة: تستخدم الطريقة سياسات DiLac حتمية لأفعال البادئة لتجنب تضخيم الضجيج، ولا تتطلب أخذ عينات إزالة الضجيج التكرارية أثناء التنفيذ، مما يتجنب تكاليف الاستدلال العالية المعتادة في نماذج الفاعل القائمة على الانتشار.

3. المساهمات الرئيسية

تحديد السبب الجذري: حددت الورقة الطبيعة متعددة الأنماط لتوزيعات السلوك المشتركة غير المتصلة، وفشل التحليل الهامشي المستقل (الذي يؤدي إلى انزياح النمط التوليفي) كسبب رئيسي لفشل التنسيق في التعلم المعزز متعدد الوكلاء غير المتصل.
خوارزمية OMSD: تطوير إطار عمل يقوم بتفكيك سياسات السلوك تسلسليًا ويستخدم درجات الانتشار الشرطية كمنظمات للسلوك. يعزز هذا النهج اختيار الأنماط المنسقة دون نمذجة السياسة المشتركة الكاملة أو الاعتماد على مخطط مركزي.
أداء يضاهي أحدث المعايير (SOTA): أظهرت التجارب المكثفة أن OMSD يتفوق باستمرار على الطرق الحالية، لا سيالما في السيناريوهات متعددة الأنماط الصعبة (مثل مجموعات البيانات متوسطة الجودة).

4. النتائج التجريبية

قيم المؤلفون OMSD في:

مثال Bandits تجريبي: مهمة تعاونية مكونة من وكيلين بنمطين مثاليين. حقق OMSD أداءً يقارب تعلم الفعل المشترك (BRPO-JAL) وتفوق بشكل كبير على التعلم المستقل (BRPO-IND) وطرق CTDE الساذجة، التي فشلت في تجنب الأفعال المشتركة خارج التوزيع.
بيئة جزيئات متعددة الوكلاء (MPE): مهام تشمل الملاحة التعاونية (Cooperative Navigation)، والمفترس والفريسة (Predator Prey)، والعالم (World). حقق OMSD أفضل أو ثاني أفضل النتائج عبر مجموعات البيانات الخبيرة (Expert)، والمتوسطة (Medium)، والعشوائية (Random). ومن الملاحظ أنه في مجموعات البيانات "المتوسطة" و"العشوائية" حيث يكون تعدد الأنماط واضحًا، أظهر OMSF مكاسب كبيرة (على سبيل المثال، +70.6% في Predator Prey Random).
MaMuJoCo: مهام تحكم مستمر عالية الأبعاد تتضمن أجزاء روبوت تعمل كوكلاء (مثل HalfCheetah وAnt). تفوق OMSD على النماذج المرجعية مثل MA-CQL وCFCQL وMADiff وDoF، خاصة في مجموعات البيانات المختلطة الجودة (على سبيل المثال، تحسن متوسط قدره +73.9% عن أقوى نموذج مرجعي في مجموعات بيانات OMIGA).

دراسات الاستئصال (Ablation Studies):

تفكيك الدرجة: تفوق OMSD باستمرار على النسخ التي تستخدم التحليل المستقل (BRPO-IND, BRPO-CTDE)، مما يؤكد ضرورة الاشتراط التسلسلي.
الحساسية للترتيب: وُجد أن الطريقة قوية تجاه ترتيب تحديثات الوكلاء، مما يشير إلى أن الهيكل التسلسلي يعمل كآلية تنسيق في وقت التدريب وليس كتحيز استقرائي صارم.
مقدار تقدير الكثافة: تفوقت نماذج الانتشار على المقدرات الأبسط (مثل GMMs وNormaling Flows) في التقاط الهياكل المعقدة متعددة الأنماط، خاصة في مجموعات البيانات الخبيرة والمتوسطة.

5. الأهمية والادعاءات

تدعي الورقة أن التنسيق المدرك للنمط (modality-aware coordination) أمر ضروري للتعلم المعزز متعدد الوكلاء غير المتصل القوي. من خلال الاستففادة من التفكيك التسلسلي للدرجة، ينجح OMSD في مواءمة تحديثات السياسة مع توزيع السلوك المشترك الحقيقي، متجنبًا انزياح التوزيع الناتج عن التنظيم المستقل.

يؤكد المؤلفون أن نهجهم:

يتجنب الأفعال المشتركة خارج التوزيع (OOD): من خلال الاشتراط على أفعال البادئة، يتم توجيه الوكلاء نحو مناطق عالية القيمة وضمن التوزيع.
يحافظ على التنفيذ اللامركزي: على عكس الطرق التي تتطلب تخطيطًا مركزيًا أو تنفيذًا تسلسليًا في وقت التشغيل، يعمل وكلاء OMSD بشكل مستقل أثناء النشر.
القابلية للتوسع: التدريب المسبق لنماذج الدرجة الشرطية قابل للتوازي بالكامل عبر الوكلاء، مما يجعل الطريقة مناسبة لفرق أكبر.

يُقدم العمل كخطوة هامة للأمام في التعامل مع تعقيد البيانات متعددة الوكلاء غير المتصلة، وبالتحديد معالجة "انزياح النمط التوليفي" الذي أعاق النماذج السابقة القائمة على السياسة. يقر المؤلفون بوجود قيود، مثل التركيز الحالي على مساحات الفعل المستمرة والاعتماد على جودة الناقد المركزي المدرب مسبقًا.