Hierarchical Lead Critic based Multi-Agent Reinforcement Learning
تقدم هذه الورقة "الناقد القائد الهرمي" (HLC)، وهو بنية جديدة لتعلم التعزيز متعدد الوكلاء تدمج مستويات ومنظورات هرمية متعددة لتحقيق أداء وكفاءة عينة وقابلية توسع فائقة في المهام التعاونية مقارنة بالنماذج المرجعية ذات الهرمية الواحدة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول تعليم سرب من الطائرات بدون طيار (الدرونز) أداء رقصة معقدة معاً. لا يمكنهم التحدث مع بعضهم البعض، ولا يمكنهم إلا رؤية ما هو أمامهم مباشرة، ويجب عليهم جميعاً التحرك بتناغم تام للنجاح. هذا هو تحدي التعلم المعزز متعدد الوكلاء (MARL).
لفترة طويلة، كان لدى الباحثين طريقتان رئيسيتان لتعليم هذه الطائرات، وكلتاهما كانت تشوبها العيوب:
- نهج "الذئب المنفرد": يتعلم كل درون بشكل مستقل تماماً، متجاهلاً الآخرين. يصبحون جيدين في حركاتهم الفردية لكنهم يفشلون في التنسيق، وغالباً ما يصطدمون ببعضهم البعض.
- نهج "المدير المتسلط": حاسوب مركزي يرى كل شيء ويخبر كل درون بما يجب فعله بالضبط. ورغم أن هذا يعمل جيداً في التنسيق، إلا أنه بطيء، وهش، وإذا ارتبك الحاسوب المركزي، يفشل الفريق بأكمله.
يقترح مؤلفا هذه الورقة البحثية، ديفيد إيكل وهنري ميس، طريقة ثالثة تسمى الناقد القائد الهرمي (HLC). فكر في الأمر كخليط مثالي بين قائد فريق محلي ومخرج عالمي.
الفكرة الجوهرية: نظام "قائد الفريق"
تخيل فريقاً رياضياً، مثل فريق كرة قدم.
- الناقد المحلي: هذا يشبه المدرب الداخلي الخاص باللاعب. يقول: "مهلاً، عليك ركل الكرة بقوة أكبر!". إنه يركز فقط على أفعال ذلك اللاعب الفردي الفورية.
- الناقد المركزي: هذا هو المدرب الرئيسي على خط التماس الذي يرى الملعب بأكمله. يقول: "نحن بحاجة للتحرك يساراً للدفاع عن المرمى!". إنه ينظر إلى الجميع في وقت واحد.
- الناقد القائد (البطل الجديد): هذا هو قائد الفريق. القائد لا ينظر فقط إلى لاعب واحد، وهو ليس مدرب الدوري بأكامل. إنه ينظر إلى مجموعة محددة من اللاعبين (على سبيل المثال، لاعبي الوسط). يقول: "أنتم الثلاثة بحاجة للتحرك معاً لفتح ممر للتمرير".
ينظم نظام HLC الطائبات في مجموعات صغيرة، لكل منها "ناقد قائد" (قائد فريق). يتعلم هؤلاء القادة تنسيق مجموعتهم الخاصة، بينما لا يزال لكل درون مدربوه المحليون.
كيف يعمل: عملية "البروفة"
إن سحر HLC لا يكمن فقط في وجود هؤلاء المدربين المختلفين؛ بل في كيفية تعليمهم.
في الطرق القديمة، إذا كان لدى اللاعب مدرب محلي وقائد فريق، فسيحاول اللاعب الاستماع إلى كليهما في نفس الوقت تماماً. وهذا غالباً ما يؤدي إلى الارتباك (مثل محاولة القيادة بينما يصرخ شخص ما "يسار!" وآخر "يمين!" في آن واحد). يتعثر اللاعب، وتتباطأ عملية التعلم.
يستخدم H-LC "طريقة البروفة المتتالية":
- الخطوة 1: يستمع الدرون إلى مدربه المحلي أولاً. يتدرب على حركة ما.
- الخطوة 2: فوراً بعد ذلك، يحاول الدرون القيام بتلك الحركة مرة أخرى، ولكن هذه المرة يراقب قائد الفريق ويقدم ملاحظات بناءً على كيفية تأثير تلك الحركة على المجموعة.
- الخطوة 3: يعدل الدرون حركته مرة أخرى بناءً على نصيحة القائد.
من خلال القيام بذلك خطوة بخطوة، يتعلم الدرون موازنة احتياجاته الخاصة مع احتياجات المجموعة دون ارتباك. إنه يستوعب الدرس: "إذا فعلت (س) لنفسي، فإن ذلك يساعد الفريق على فعل (ص)".
"دماغ السويس آرم نايف" (بنية الممثل)
لجعل هذا يعمل، تحتاج الطائبات إلى دماغ خاص. بنى المؤلفون نوعاً جديداً من الشبكات العصبية ("الممثل") التي تعمل مثل السكين السويسري متعدد الاستخدامات.
بدلاً من امتلاك دماغ واحد يحاول القيام بكل شيء، يمتلك هذا الدماغ أدوات متعددة (مسارات معالجة) تعمل بالتوازي:
- أداة واحدة تركز على الرؤية المحلية الفورية.
- أداة أخرى تركز على ديناميكيات المجموعة.
- آلية "انتباه" خاصة تعمل مثل المايسترو، حيث تقرر أي أداة تستخدم بشكل أكبر اعتماداً على الموقف.
يسمح هذا للدرون بأن يكون فناناً منفرداً عند الحاجة، ولكن يمكنه التحول فوراً ليكون لاعباً في فريق عندما يتطلب الموقف ذلك.
لماذا يعتبر تغييراً جذرياً
اختبر المؤلفون هذا على سيناريوهين جديدين وصعبين ابتكروهما:
- المرافقة (Escort): يجب على الطائبات الطيران حول هدف متحرك، مع الحفاظ على تشكيل مثالي دون الاصطدام.
- المراقبة (Surveillance): يجب على الطائبات الدوران حول هدف على ارتفاع محدد، والانتشار بشكل متساوٍ مثل حلقة من الحراس.
النتائج:
- تعلم أسرع: تعلم نظام HLC هذه المهام بشكل أسرع بكثير من أساليب "الذئب المنفرد" أو "المدير المتسلط".
- أكثر قوة: حتى عندما لم تستطع الطائبات رؤية كل شيء (رؤية جزئية) أو عندما تمت إضافة المزيد من الطائبات إلى الفريق، لم ينهار نظام HLC.
- تنسيق أفضل: تعلمت الطائبات التعاون بشكل طبيعي. في مهمة "المرافقة"، لم يتجنبوا الاصطدام فحسب، بل شكلوا أنماطاً جميلة ومستقرة حول الهدف.
الخلاصة
فكر في HLC كفرق بين تعليم جوقة غنائية من خلال جعل كل فرد يغني دوره بمفرده، أو وجود مايسترو يصرخ في الجميع من خلف الغرفة.
HLC يشبه وجود قادة للأقسام. قادة طبقة "التينور" يتحدثون إلى "التينور"، وقادة طبقة "السوبرانو" يتحدثون إلى "السوبرانو"، وهم جميعاً يتعلمون كيفية مزج أصواتهم معاً. النتيجة هي جوقة تغني في تناغم تام، تتعلم بسرعة، ويمكنها التعامل مع مسرح أكبر بكثير دون أن تنهار.
يحل هذا النهج المشكلة الأزلية المتمثلة في الموازنة بين "أنا" (المهارة الفردية) و"نحن" (نجاح الفريق)، مما يجعل من الممكن تدريب مجموعات كبيرة من الروبوتات للعمل معاً بكفاءة في العالم الحقيقي.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.