🤖 machine learning

CODA: Coordination via On-Policy Diffusion for Multi-Agent Offline Reinforcement Learning

تُعد CODA وحدة تعزيز مستقلة عن الخوارزميات تُمكّن التعلم المعزز غير المتصل متعدد الوكلاء من تحقيق تنسيق أفضل عبر استخدام مولد مسارات قائم على الانتشار لإنتاج خبرات اصطناعية متوافقة مع السياسة تتطور جنباً إلى جنب مع سلوكيات الوكلاء المتغيرة.

المؤلفون الأصليون: Marcel Hedman, Kale-ab Abebe Tessera, Juan Claude Formanek, Anya Sims, Riccardo Zamboni, Trevor McInroe, John Torr, Elliot Fosong

نُشر 2026-04-28

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Marcel Hedman, Kale-ab Abebe Tessera, Juan Claude Formanek, Anya Sims, Riccardo Zamboni, Trevor McInroe, John Torr, Elliot Fosong

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم مجموعة من الراقصين رقصة معقدة ومتزامنة، ولكن هناك عقبة: لا يُسمح لك بالتواجد في الغرفة أثناء تدريبهم.

بدلاً من ذلك، عليك أن تعطيهم فيديو لعرض سابق وتقول لهم: "شاهدوا هذا، وحاولوا أن تكونوا أفضل منه."

هذه هي المشكلة الجوهرية التي يحاول الباحثون في هذه الورقة البحثية حلها. وفي عالم الذكاء الاصطناعي، يُطلق على هذا اسم التعلم التعزيزي متعدد الوكلاء غير المتصل (Offline Multi-Agent Reinforcement Learning).

المشكلة: فخ "الفيديو المجمد"

في التعلم "المتصل" (Online)، يتعلم الوكلاء (الراقصون) من خلال التفاعل. إذا تحرك الراقص (أ) جهة اليسار، يراه الراقص (ب) ويعدل حركته. إنهم "يتكيفون معاً" (co-adapt)—أي يتطورون معاً في الوقت الفعلي.

أما في التعلم "غير المتصل" (Offline)، فيظل الوكلاء عالقين في مشاهدة "فيديو مجمد" (مجموعة بيانات ثابتة). ولأن الفيديو لا يتغير أبداً، لا يستطيع الراقصون التفاعل مع تحسينات بعضهم البعض. فإذا قرر الراقص (أ) تجربة حركة جديدة وأفضل، فلن يتمكن من معرفة ما إذا كان الراقص (ب) مستعداً لها أم لا. ينتهي بهم الأمر بـ "سوء التنسيق"—حيث يحاول أحدهم القيام بقفزة بينما يحاول الآخر القيام بانزلاقة، فتنهار الرقصة بأكملها.

يطلق الباحثون على هذا اسم فشل التنسيق (Coordination Failure). فحتى لو أظهر الفيديو رقصاً رائعاً، لا يستطيع الوكلاء اكتشاف كيفية التحسن معاً لأنهم يتدربون أساساً في عزلة، ينظرون إلى ماضٍ لم يعد يعكس حقيقتهم وما أصبحوا عليه.

الحل: CODA (محاكي الأحلام)

ابتكر الباحثون CODA. فكر في CODA ليس كفيديو، بل كـ محاكي أحلام عالي التقنية.

بدلاً من مجرد إعادة مشاهدة الفيديو القديم، يستخدم CODA تقنية تسمى الانتشار (Diffusion) (وهي نفس التقنية المستخدمة لإنشاء صور الذكاء الاصطناعي مثل Midjourney) لـ "تخيل" جلسات تدريب جديدة.

ولكن الجزء العبقري هنا هو أن هذه "الأحلام" هي "متوافقة مع السياسة الحالية" (On-Policy).

وهذا يعني أن المحاكي لا يتخيل مجرد رقص عشوائي؛ بل يسأل الراقصين: "بناءً على الطريقة التي تتدربون بها حالياً، كيف سيبدو الروتين الناجح إذا تحسن كلاكما قليلاً؟"

التشبيه: المرآة التكيفية
تخيل أن الراقصين يتدربون أمام مرآة سحرية ذكية.

الطريقة القديمة: ينظر الراقصون إلى صورة فوتوغرافية من بروفة الأمس. لا يمكنهم التعلم من حركاتهم الجديدة.
طريقة CODA: ينظر الراقصون في مرآة سحرية تظهر لهم "مستقبلاً محاكياً". مع تحسن الراقصين، يتحدث انعكاس المرآة فوراً. إذا بدأ الراقص (أ) بالتحرك بشكل أسرع، تظهر المرآة نسخة من الراقص (ب) تتحرك بسرعة أكبر أيضاً لمواكبته.

من خلال "تخيل" هذه السيناريوهات المحدثة، يوفر CODA حلقة التغذية الراجعة المفقودة للراقصين. فهو يسمح لهم بممارسة "التكيف المشترك" في عقولهم قبل أن يخطوا خطوة واحدة على المسرح الحقيقي.

هل نجح الأمر؟

اختبر الباحثون CODA بطريقتين رئيسيتين:

ألعاب رياضية بسيطة: في الألعاب التي تعين فيها على الوكلاء التنسيق للحصول على درجة عالية (مثل لعبة الضرب)، فشلت الطرق القديمة وتعثرت. أما CODA فقد سمح لهم بإيجاد "الإيقاع" المثالي والوصول إلى أعلى درجة.
محاكاة الروبوتات المعقدة (MaMuJoCo): اختبروه على مهام روبوتية متعددة ومعقدة. أثبت CODA قدرته على "توجيه" جلسات التدريب المحاكية نحو حركات أفضل بكثير وعلى مستوى الخبراء.

باختصار:

يأخذ CODA مشكلة التعلم "الاستاتيكي" (الثابت) في التعلم غير المتصل ويجعلها "ديناميكية" مرة أخرى. فهو يستخدم الذكاء الاصطناعي لتوليد سيناريوهات "ماذا لو" تتطور جنباً إلى جنب مع الوكلاء، مما يسمح لهم بتعلم كيفية العمل كفريق، حتى عندما لا يمكنهم التفاعل فعلياً مع العالم الحقيقي.

ملخص تقني: CODA (التنسيق عبر الانتشار في السياسة الحالية لتعلم التعزيز متعدد الوكلاء غير المتصل)

CODA هو إطار عمل مبتكر لتعزيز البيانات، صُمم لحل المشكلة الجوهرية المتمثلة في فشل التنسيق في التعلم التعزيزي متعدد الوكلاء (MARL) غير المتصل (Offline).

1. المشكلة: فشل التنسيق في التعلم غير المتصل

في التعلم التعزيزي متعدد الوكلاء غير المتصل، يجب على الوكلاء تعلم سلوكيات مشتركة مثلى من مجموعة بيانات ثابتة وساكنة $\mathcal{D}_{off}$ تم جمعها بواسطة سياسة سلوكية $\pi_{off}$ . يحدد المؤلفون خللاً هيكلياً حرجاً في خوارزميات "أفضل استجابة تحت البيانات" (BRUD) القياسية (مثل MADDPG أو MASAC):

نقص التكيف المشترك: في التعلم التعزيزي المتصل (Online RL)، يتكيف الوكلاء مع بعضهم البعض لأن تحديثات السياسة الخاصة بهم تغير توزيع الخبرات المستقبلية (حلقة تغذية راجعة داخلية). أما في التعلم غير المتصل، فهذه الحلقة مكسورة.
عد Det mismatch (عدم التطابق): عندما يقوم وكيل بتحديث سياسته $\pi_i$ ، فإنه يحسن أداءه مقابل أفعال الزملاء التي يتم أخذ عينات منها من مجموعة البيانات الساكنة $\mathcal{D}_{off}$ ، بدلاً من السياسات الحالية المتطورة للزملاء.
النتيجة: يؤدي هذا إلى "سوء التنسيق"، حيث يتقارب الوكلاء نحو سلوكيات غير متوافقة ودون المستوى الأمثل. حتى مع وجود تغطية عالية للبيانات، يفشل الوكلاء في "الاتفاق" على استراتيجية مشترب لأنهم يتعلمون فعلياً ضد نسخ "قديمة" من زملائهم.

2. المنهجية: استعادة تطور السياسة

يعيد CODA حلقة التغذية الراجعة المفقودة باستخدام نماذج الانتشار (Diffusion Models) لتوليد مسارات اصطناعية مشروطة بالسياسات المشتركة الحالية للوكلاء.

المكونات التقنية الرئيسية:

الانتشار على مستوى المسار: بدلاً من نمذجة أفعال فردية، يتعلم CODA نموذج انتشار مسبق على مسارات مشتركة كاملة $\tau = (s_0, o_0, a_0, \dots, s_H)$ . وهذا يسمح للنموذج بالتقاط الارتباطات الزمنية والارتباطات بين الوكلاء المعقدة.
التوجيه القائم على السياسة الحالية (On-Policy Guidance): لجعل البيانات المولدة "متوافقة مع السياسة الحالية"، يستخدم CODA آليتين للتشريط (Conditioning) لإمالة توزيع البيانات غير المتصلة نحو السياسة المشتركة الحالية $\pi_{curr}$ $π_{c u r r}$ :
1. التوجيه الخالي من التصنيف (Classifier-Free Guidance - CFG): إذا كان يمكن تمثيل السياسة كتمثيل (Embedding) مضغوط، يتم تدريب نموذج الانتشار للتشريط مباشرة على ذلك التمثيل.
2. أخذ العينات الموجه بالسياسة (ضمني): إذا لم يوجد تمثيل مضغوط، يستخدم CODA تدرج لوغاريتم احتمالية السياسة الحالية ( $\nabla \log \pi_{curr}$ ) لدفع عملية إزالة الضجيج. هذا يؤدي فعلياً إلى أخذ عينات من توزيع "مُمال بالسياسة": $\tilde{p}_{\pi_{curr}}(\tau) \propto p_{\pi_{off}}(\tau) \exp(\lambda \sum \log \pi_{curr}(a|o))$ .
استقلالية الخوارزمية: يعمل CODA كوحدة "توصيل وتشغيل" (Plug-and-play) لتعزيز البيانات. فهو يولد مسارات اصطناعية يتم خلطها مع البيانات الأصلية غير المتصلة لتدريب أي خوارزمية موجودة لتعلم التعزيز متعدد الوكلاء غير المتصل.

3. المساهمات الرئيسية

تحديد "فجوة التكيف المشترك": يثبت رسمياً أن فشل التنسيق في التعلم غير المتصل ليس مجرد مشكلة تغطية، بل هو فشل هيكلي في ديناميكيات التعلم بسبب غياب التطور الداخلي للسياسة.
إطار عمل الانتشار للسياسة الحالية: يقدم طريقة لمحاكاة الخبرة المتوافقة مع السياسة الحالية باستخدام البيانات غير المتصلة فقط، وذلك عبر الجمع بين انتشار المسار والتوجيه القائم على السياسة.
الرؤية النظرية: يقدم براهين رياضية (عبر ألعاب Multiplication و Twin Peaks) توضح كيف تؤدي تحديثات BRUD القياسية إلى حقول تدرج "ثابتة" أو "غير متكيفة" تتجاهل تطور الزملاء.

4. النتائج التجريبية

قيم المؤلفون CODA عبر معيارين متميزين:

الألعاب متعددة الحدود (التركيز على التنسيق): في ألعاب مثل "Multiplication" و "Twin Peaks"، يفشل MADDPG القياسي في التنسيق ويتقارب نحو نقاط دون المستوى الأمثل (مثل نقطة الأصل). ينجح CODA في حل هذه الاعتلالات، مما يسمح للوكلاء باتباع التدرج المشترك الصحيح والوصول إلى الحد الأمثل العالمي.
MaMuJoCo (التركيز على التحكم المعقد): في مهام التحكم المستمر عالية الأبعاد، يُظهر CODA أداءً فائقاً في مجموعات البيانات من نوع "Replay" و "Good". كما يثبت أن مقياس التوجيه $\lambda$ يمكنه فعلياً "توجيه" المسارات المولدة لتتطابق مع توزيع السياسة الحالية.

5. الأهمية

يمثل CODA خطوة هامة نحو جعل التعلم التعزيزي متعدد الوكلاء غير المتصل قابلاً للتطبيق في التطبيقات الواقعية (مثل الروبوتات أو إدارة الموارد) حيث يكون الاستكشاف التفاعلي مستحيلاً. من خلال سد الفجوة بين استقرار البيانات غير المتصلة (البقاء بالقرب من مجال البيانات) والتكيف المشترك المتصل (التطور مع الزملاء)، فإنه يوفر آلية قابلة للتوسع لتدريب أنظمة متعددة الوكلاء منسقة دون الحاجة إلى تفاعلات جديدة مع البيئة.