🤖 machine learning

CMAD: Cooperative Multi-Agent Diffusion via Stochastic Optimal Control

تقترح هذه الورقة إطار عمل CMAD، وهو إطار عمل مبتكر يعيد صياغة تركيب نماذج الانتشار متعددة النماذج سابقة التدريب كمسألة تحكم أمثل عشوائي تعاونية، حيث تعمل الوكلاء المتفاعلون معاً على توجيه مسارات الانتشار الخاصة بهم نحو هدف مشترك بدلاً من الاعتماد على التراكيب الجبرية لكثافات الاحتمالية.

المؤلفون الأصليون: Riccardo Barbano, Alexander Denker, Zeljko Kereta, Runchang Li, Francisco Vargas

نُشر 2026-05-20

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Riccardo Barbano, Alexander Denker, Zeljko Kereta, Runchang Li, Francisco Vargas

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك فريقاً من الفنانين الخبراء، كل منهم مدرب على رسم جزء معين من الصورة. أحد الفنانين بارع في رسم النصف العلوي من الوجه، وآخر ساحر في رسم النصف السفلي، والثالث يعرف تماماً كيف يرسم العينين.

في عالم توليد الصور بالذكاء الاصطناعي، تُسمى هذه "النماذج الفنية" بـ نماذج الانتشار (diffusion models). عادةً، إذا أردت دمج مهاراتهم، فإنك تحاول رياضياً خلط "آرائهم" (كثافات الاحتمالات) معاً. تجادل الورقة البحثية بأن هذا يشبه محاولة خلط وصفتين مختلفتين بمجرد سكب المكونات في وعاء والأمل في أن تختلط بشكل مثالي؛ وغالباً ما يؤدي ذلك إلى نتائج فوضوية لأنك لا تعرف في الواقع الوصفة النهائية التي تهدف إليها.

يقترح نموذج CMAD (الانتشار متعدد الوكلاء التعاوني) طريقة مختلفة تماماً للتفكير في هذا الأمر. فبدلاً من خلط الوصفات، يعامل المؤلفون المشكلة كأنها رقصة تعاونية أو رياضة جماعية.

إليك كيف يعمل الأمر، مقسماً إلى مفاهيم بسيطة:

١. فريق الوكلاء

تخيل ثلاثة وكلاء (نماذج ذكاء اصطناعي) يقفون في صف واحد.

الوكيل ١ مسؤول عن الشريط العلوي من الصورة.
الوكيل ٢ مسؤول عن الشريط الأوسط.
الوكيل ٣ مسؤول عن الشريط السفلي.

يبدأ كل وكيل بلوحة بيضاء (ضجيج/noise) ويحاول رسم شريطه الخاص. لكن العائق هنا هو أنهم لا يستطيعون الرسم كما يحلو لهم؛ إذ يجب عليهم التنسيق بحيث عندما تجمع أشرطتهم معاً، تشكل رقماً واضحاً ومعروفاً (مثل الرقم "٣" أو "٩").

٢. "المدرب" (التحكم الأمثل العشوائي - Stochastic Optimal Control)

في الطرق التقليدية، قد يتبع الوكلاء مجرد كتاب قواعد مكتوب مسبقاً. أما في CMAD، فيتم توجيه الوكلاء بواسطة "مدرب" باستخدام مفهوم التحكم الأمثل العشوائي.

تخيل الوكلاء كمتنزهين يحاولون الوصول إلى مخيم محدد (الصورة النهائية) أثناء السير عبر ضباب كثيف (العشوائية في الذكاء الاصطناعي).

الهدف: المخيم ليس محدداً بخريطة للتضاريس (التي لا نملكها). بدلاً من ذلك، يتم تحديد الهدف من خلال درجة (score): "إلى أي مدى تبدو الصورة النهائية كأنها رقم '٣' حقيقي؟"
الاستراتيجية: المدرب لا يخبر المتنزهين أين يضعون خطواتهم بالضبط، بل يمنحهم دفعات لطيفة (controls) لتوجيههم نحو تلك الدرجة.
التعاون: ينظر المدرب إلى الفريق بأكمله. إذا رسم الوكيل ١ شريطاً علوياً يبدو رائعاً ولكنه لا يتناسب مع شريط الوكيل ٢ الأوسط، فإن المدرب يدفع الوكيل ١ للتعديل. إنهم جميعاً يعملون معاً لتقليل "درجة الجزاء" (دالة التكلفة) التي تقيس مدى سوء الصورة النهائية.

٣. بلورة "توييدي" (Tweedie) السحرية

إحدى الحيل الذكية في الورقة البحثية هي كيفية تقديم المدرب للتغذية الراجعة أثناء العملية، وليس فقط في نهايتها.
تخيل الوكلاء وهم يرسمون في الظلام. ليعرفوا ما إذا كانوا يقومون بعمل جيد الآن، يستخدم المدرب "بلورة سحرية" (تسمى تقدير توييدي - Tweedie estimate). تأخذ هذه الأداة الحالة الراهنة الضبابية وغير الواضحة وتتنبأ بما ستكون عليه الصورة النهائية لو توقفوا الآن.

يتحقق المدرب من هذا التنبؤ.
إذا بدا التنبؤ فوضوياً، يرسل المدرب إشارة للوكلاء لتغيير مسارهم فوراً.
يحدث هذا باستمرار، مثل نظام GPS يعيد حساب المسار باستمرار أثناء القيادة، بدلاً من الانتظار حتى تصل إلى الوجهة ليخبرك أنك أخطأت الطريق.

٤. النتيجة: فريق أفضل

اختبر المؤلفون هذا النموذج على مجموعة بيانات MNIST (أرقام مكتوبة بخط اليد بسيطة).

الطريقة القديمة (CDPS): تشبه إخبار كل وكيل: "حاول أن تجعل جزءك يبدو كأنه رقم '٣' بمفردك، وآمل أن يتناسب مع الآخرين". أحياناً ينجح هذا، ولكن غالباً ما تكون الحواف غير متطابقة، أو تبدو الصورة غريبة.
طريقة CMAD: يتعلم الوكلاء التحدث مع بعضهم البعض. يقومون بتعديل ضربات فرشاتهم في الوقت الفعلي لضمان أن تكون الفواصل بين الأشرطة سلسة وأن الرقم بأكمله يبدو صحيحاً.

الخلاصة:
يُظهر المؤلفون أنه من خلال معاملة توليد الصور كـ لعبة تعاونية حيث يوجه الوكلاء بعضهم البعض نحو هدف مشترك (بدلاً من مجرد خلط الصيغ الرياضية)، يمكنهم إنشاء صور أنظف وأكثر واقعية. يتعلم الوكلاء التفاوض والتعاون، مما ينتج عنه صورة نهائية أكثر تماسكاً بكثير مما لو عملوا في عزلة.

باختصار: لا تكتفِ بخلط المكونات؛ بل علّم الطهاة كيف يطبخون معاً.

ملخص تقني: CMAD – الانتشار التعاوني متعدد الوكلاء عبر التحكم الأمثل العشوائي

بيان المشكلة

حققت النماذج التوليدية ذات الزمن المستمر، ولا سيما نماذج الانتشار القائمة على الدرجة (score-based diffusion models) والنماذج القائمة على التدفق (flow-based models)، أداءً فائقاً في استعادة وتوليد الصور. وبينما تم إحراز تقدم كبير في التوليد القابل للتحكم (على سبيل المثال، عبر توجيه المصنف أو نمذجة الدرجة الشرطية)، يظل هناك تحدٍ حاسم: كيف يمكن تجميع عدة نماذج انتشار مدربة مسبقاً بفعالية لتلبية أهداف معقدة ومحددة لمهمة ما.

تعمل أطر التوليد التركيبي الحالية إلى حد كبير على التركيب الجبري لكثافات الاحتمال (مثل "حاصل ضرب الخبراء" أو "المزيج"). تفترض هذه الطرق أن التوزيع المستهدف هو تركيبة جبرية صريحة للهوامش المكونة للنماذج. ويجادل المؤلفون بأن هذا الافتراض غالباً ما يكون غير واقعي؛ فعلى سبيل المثال، لا يوجد ضمان نظري بأن دمج نموذج للواقعية البصرية مع نموذج للاتساق النصي سينتج متوسطاً هندسياً أو حاصل ضرب للخبراء. علاوة على ذلك، تتطلب هذه الأساليب معرفة صريحة بكثافة التركيب الناتجة عند مستوى زمن الانتشار، وهو أمر نادراً ما يتوفر للأهداف الضمنية المعقدة المحددة بواسطة دوال الخسارة.

المنهجية

يقترح البحث CMAD (الانتشار التعيدي التعاوني متعدد الوكلاء)، وهو تحول في النموذج يطرح التوليد التركيبي كمسألة تحكم أمثل عشوائي (SOC) تعاوني بدلاً من مسألة تركيب الكثافة.

الإطار الأساسي

صياغة متعددة الوكلاء: تُعامل نماذج الانتشار المدربة مسبقاً كوكلاء مستقلين. يتبع كل وكيل $i$ معادلة تفاضلية عشوائية (SDE) محكومة تمثل عملية الانتشار في الزمن العكسي:
$dX^{u,i}_t = [b_i(X^{u,i}_t, t) + g(t)u_i(X^{u,i}_t, t; \{X^{u,j}_t\}_j)]dt + g(t)dW_t$
هنا، $b_i$ هو الانجراف (drift) للنموذج المدرب مسبقاً، و $u_i$ هو حد التحكم المتعلم. ومن الأهمية بمكان أن التحكم $u_i$ يعتمد على حالات جميع الوكلاء الآخرين، مما يخلق نظام SDE مقترناً.
التجميع والهدف: يُعرَّف الكائن المتولد كتجميع لهذه المسارات المتفاعلة عبر مؤثر $\phi$ :
$Y_t = \phi(\{X^{u,i}_t\}_{i=1}^N, t; \vartheta)$
يقوم النظام بتحسين دالة هدف تعاونية $J$ عبر عناصر التحكم $\{u_i\}$ ومعلمات التجميع $\vartheta$ :
$J(\{u_i\}, \vartheta) = \mathbb{E}\left[ \int_0^T \left( \sum_{i=1}^N \lambda_i \|u_i\|^2 + c(Y_t, t) \right) dt + \Psi(Y_T) \right]$
- تكلفة التحكم: حد تربيعي موزون يعاقب على الانحرافات عن ديناميكيات الزمن العكسي المدربة مسبقاً.
- التكلفة الجارية ( $c$ ): تشفر المكافآت على طول المسار، وتُنفذ كبديل للتكلفة النهائية التي يتم تقييمها بناءً على "تقدير تويدي" (Tweedie estimate) - وهو تقدير منزوع الضجيج - للحالة المجمعة.
- التكلفة النهائية ( $\Psi$ ): هدف محدد للمهمة يتم تقييمه عند الزمن النهائي $T$ (مثل سالب لوغاريتم احتمالية المصنف لرقم معين).
مخطط التحسين (النزول عبر التحكم):
يقدم البحث التحسين التكراري للانتشار (IDO) المكيف لبيئات تعدد الوكلاء. بدلاً من تحديث جميع عناصر التحكم بشكل مشترك، يستخدم الإطار استراتيجية النزول عبر التحكم (النزول الإحداثي):
- في كل تكرار خارجي، يتم تحديث عنصر التحكم $u_i$ لوكيل واحد بينما يتم تجميد العناصر الأخرى.
- يتم إجراء التحديث عبر محاكاة مونت كارلو لمسارات SDE المقترنة.
- تُحسب التدرجات باستخدام الانتشار عبر الزمن (BPTT) على مسارات SDE المتقطعة.
- يتم تمثيل التحكم بانحياز استقرائي مستنير بالمكافأة، حيث يجمع بين تصحيح شبكة عصبية متعلمة وحد توجيه صريح يعتمد على التدرج بناءً على تقدير تويدي.

المساهمات الرئيسية

إطار عمل تعاوني متعدد الوكلاء: قدم المؤلفون إطار عمل جديد يصنف الاستدلال باستخدام نماذج انتشار متعددة مدربة مسبقاً كمسألة تحكم أمثل عشوائي تعاوني، متجنبين الحاجة إلى التركيب الجبري الصريح للكثافات.
مخطط تحسين عبر التحكم: اقترحوا مخطط تحسين تكراري يعتمد على IDO يتيح تحكماً متعدد الوكلاء قابلاً للتوسع عبر التناوب بين تحديثات الوكلاء، مما يحل بفعالية مسألة التحكم المقترن.

النتائج التجريبية

تم التحقق من صحة الإطار في مهمة إثبات مفهوم باستخدام توليد أرقام MNIST.

الإعداد: تم تخصيص شرائط أفقية غير متداخلة من الصورة لعدة وكلاء. الهدف هو توليد أرقام محددة (0، 3، 9) عن طريق تقليل تكلفة نهائية (خسارة المصنف) وخسارة استمرارية الفواصل (التي تعاقب على الانقطاعات بين مناطق الوكلاء).
النماذج المرجعية: تمت مقارنة الطريقة بنموذج مرجني بسيط للاستدلال (CDPS) يستخدم توجيه التدرج دون تحكم تعاوني متعلم.
الأداء:
- الدقة: حقق CMAD دقة تصنيف عالية لجميع الأرقام وعدد الوكلاء (وكيلان و3 وكلاء). وغالباً ما تفوق على نموذج CDPS (على سبيل المثال، 99.90% مقابل 97.17% للرقم 3 مع 3 وكلاء).
- الخسارة النهائية: حقق CMAD باستمرار قيم خسارة نهائية أقل مقارنة بـ CDPS، مما يشير إلى تحسين أفضل لدالة الهدف.
- النتائج النوعية: أظهرت النتائج البصرية أن CMAD ولد صور أرقام أكثر واقعية وتماسكاً مقارنة بـ CDPS، الذي أنتج أحياناً عينات غير طبيعية. ومع ذلك، يشير المؤلفون إلى أن CMAD أظهر تنوعاً أقل مقارنة بالنموذج المرجعي CDPS.

الأهمية والادعاءات

يزعم البحث أن CMAD يقدم بديلاً عملياً ومرناً للتركيب القائم على الكثافة. من خلال معاملة التركيب كمسألة تحكم، يمكن للإطار التحسين لأهداف معقدة محددة بدوال الخسارة دون الحاجة إلى معرفة صريحة بشكل الكثافة المركبة الناتجة.

يضع المؤلفون هذا العمل كخطوة تأسيسية نحو توليد تركيبي عالي الأبعاد وقابل للتوسع. وهم يقرون بأن النتائج الحالية محدودة بـ MNIST، وأن العمل المستقبلي يجب أن يعالج التوسع إلى أبعاد أعلى، مما قد يتطلب توسعات في مقدرات التدرج عبر المسار أو تقنيات مطابقة الـ Adjoint. يصيغ البحث مساهمته الحالية بتواضع كدليل على ملاءمة الإطار للمهام التركيبية، مع التخطيط لأبحاث مستقبلية في شروط التقارب، والارتباط بالألعاب التفاضلية، وتعلم مؤثر التجميع بشكل مشترك مع عناصر التحكم.