Hierarchical Reinforcement Learning with Optimal Level Synchronization Based on Flow-Based Deep Generative Model

تخيل عالماً حيث تعليم الكمبيوتر القيام بمهام معقدة يشبه محاولة تعليم طفل صغير بناء قلعة عبر الصراخ في وجهه: "ابنِ قلعة!". إذا كان الطفل لا يعرف كيف تبدو القلعة أو كيف يمسك بالطوبة، فسيقوم فقط بالتلويح بيديه عشوائياً. هذا هو الصراع اليومي لـ التعلم المعزز (Reinforcement Learning - RL)، وهو فرع من فروع الذكاء الاصطناعي حيث تتعلم الوكلاء البرمجية من خلال التجربة والخطأ. في التعلم المعزز البسيط، يحصل الوكيل على "مكافأة" (مثل نقطة أو مكافأة) فقط عندما يفعل شيئاً صحيحاً. ولكن في العالم الحقيقي، غالباً ما تكون المكافآت نادرة والمهام ضخمة ومعقدة، مما يجعل الوكيل يتوه في بحر من الاحتمالات، دون أن يكتشف الحركة الصحيحة أبداً.

لحل هذه المشكلة، اخترع العلماء التعلم المعزز الهرمي (Hierarchical Reinforcement Learning - HRL). فكر في التعلم المعزز الهرمي كأنك تعطي الطفل "رئيساً". "الرئيس" (السياسة عالية المستوى) لا يشغل باله بكيفية إمساك الطوبة؛ بل يكتفي بإعطاء أوامر عامة مثل "ابنِ جداراً هنا" أو "اصنع برجاً هناك". ثم يقوم "العامل" (السياسة منخفضة المستوى) بتحديد الحركات الدقيقة والمحددة اللازمة لوضع تلك الطوبة فعلياً. هذا العمل الجماعي يجعل التعلم أسرع بكثير. ومع ذلك، هناك عقبة: يجب أن يظل الرئيس والعامل في حالة تزامن. فإذا أصبح العامل أفضل في بناء الجدران بينما استمر الرئيس في إعطاء أوامر بناءً على مهارات العامل القديمة والخرقاء، فسيفشل الفريق بأكمله. الورقة البحثية التي ستطالعها الآن تعالج هذه المشكلة تحديداً، وهي كيفية الحفاظ على التناغم المثالي بين الرئيس والعامل.

---

الرئيس، العامل، والمرآة السحرية

في الورقة البحثية بعنوان "التعلم المعزز الهرمي ذو التزامن الأمثل للمستوى القائم على نموذج توليدي عميق يعتمد على التدفق" (Hierarchical Reinforcement Learning with Optimal Level Synchronization Based on Flow-Based Deep Generative Model)، يقترح الباحث جايون كيم وفريقه من جامعة تكنولوجيا سيدني طريقة جديدة وذكية للحفاظ على التزامن المثالي بين "الرئيس" و"العامل" في فريق الذكاء الاصطناعي.

عادةً، عندما يتعلم العامل (السياسة منخفضة المستوى) شيئاً جديداً، يتعين على الرئيس (السياسة عالية المستوى) تحديث استراتيجيته. لكن الجزء الصعب هنا هو أن الرئيس يتم تدريبه باستخدام بيانات من الماضي، عندما كان العامل لا يزال مبتدئاً. إذا حاول الرئيس التعلم من هذه البيانات القديمة دون تعديل، فسيشبه الأمر مدرباً يحاول تعليم لاعب كرة قدم مبتدئ خططاً صُممت لفريق محترف. سيصاب الرئيس بالارتباك لأن قدرات العامل قد تغيرت.

حاولت الأساليب السابقة إصلاح ذلك عبر التخمين لما كان بإمكان العامل فعله. لقد استخدموا نوعاً من "التخمين الإحصائي" لإعادة تسمية الأهداف القديمة. ويرى المؤلفون أن هذا يشبه محاولة تخمين إجابة مسألة رياضية من خلال النظر إلى الظلال على الجدار؛ فهو أمر غير مباشر وغالباً ما يكون غير دقيق. ويقولون: "لماذا التخمين بينما يمكنك السؤال مباشرة؟"

النهج الجديد: المرآة السحرية

حل الفريق لهذه المشكلة هو استخدام نموذج توليدي عميق قائم على التدفق (Flow-Based Deep Generative Model - FDGM). لفهم هذا، تخيل أن العامل ليس مجرد روبوت، بل مرآة سحرية. في الأيام الخوالي، إذا أردت معرفة ما كان يفكر فيه العامل، كان عليك مراقبة حركته وتخمين الأمر. أما مع هذه "المرآة السحرية" الجديدة، يمكنك ببساطة عرض النتيجة النهائية للمرآة (الإجراء الذي اتخذه العامل)، وستقوم المرآة فوراً بقلب الصورة إلى الوراء لتظهر لك بالضبط ما الذي يجب أن يكون الهدف لإنتاج تلك النتيجة.

يُسمى هذا عملية عكسية مباشرة (direct inverse operation). فبدلاً من التخمين، يقوم النظام بعكس إجراءات العامل رياضياً للعثور على الهدف المثالي والمحدث. هذا يسمح للرئيس بالتعلم من نسخة العامل الحالية فائقة المهارة، حتى أثناء استخدام البيانات القديمة. الأمر يشبه قدرة الرئيس على إعادة الزمن فوراً، ورؤية مهارات العامل الجديدة، وتعديل الأوامر وفقاً لذلك.

العقبة: الصندوق الصلب

ومع ذلك، كانت هناك مشكلة في استخدام هذه "المرآة السحرية" (FDGM). فهذه النماذج متطلبة للغاية بطبيعتها؛ فهي تشبه صندوقاً صلباً لا يقبل إلا المدخلات والمخرجات ذات الحجم نفسه تماماً. إذا أعطى الرئيس هدفاً بطول 8 أرقام، فيجب أن تخرج المرآة الخاصة بالعامل إجراءً بطول 8 أرقام أيضاً. ولكن في العالم الحقيقي، غالباً ما تختلف أحجام أهداف الرئيس وأفعال العامل. هذه الصلابة جعلت من الصعب استخدام المرآة في مهام الذكاء الاصطناعي المعقدة.

لم يستسلم المؤلفون، بل بنوا بنية جديدة تعمل بمثابة محول ذكي (smart adapter). لقد قسموا العامل إلى ثلاثة أجزاء:

1. الجزء الأمامي (The Forward Part): وهو العامل الفعلي الذي يتفاعل مع العالم.
2. الجزء الشرطي (The Conditional Part): وهو مترجم يأخذ هدف الرئيس والوضع الحالي ويقوم بتنقيحه.
3. جزء الـ FDGM: وهو المرآة السحرية التي تقوم بالعمل الشاق لعكس الإجراءات.

من خلال إضافة هذا "المترجم" (الجزء الشرطي)، تمكنوا من تمديد أو تقليص المعلومات بحيث يمكن للمرآة الصلبة التعامل معها. حل هذا الأمر مشكلة "الصندوق الصلب"، مما سمح للنظام بالتعامل مع أهداف ذات أحجام مختلفة دون تعطل.

ما توصلوا إليه

اختبر الفريق نظامهم الجديد في عالم افتراضي يسمى MuJoCo Ant، حيث يتعين على نملة رقمية التنقل بين العوائق، ودفع الكتل، والسقوط بأمان. وقارنوا نظام "المرآة السحرية" الخاص بهم بطريقتين شهيرتين أخريين: HIRO (الذي يستخدم طريقة التخمين القديمة) و LSP (الذي يستخدم مرآة مشابهة ولكنه عالق في مشكلة الصندوق الصلب).

كانت النتائج واعدة. ففي معظم المهام الصعبة، تعلم نموذجهم بشكل أسرع وحقق درجات أعلى من الآخرين.

• في مهام Ant Push Multi و Ant Fall Multi، تفوق نموذجهم بشكل كبير، مما أظهر قدرته على مزامنة الرئيس والعامل بشكل أفضل بكثير من طرق التخمين القديمة.
• حتى عندما أجبروا النظام على استخدام أحجام أهداف "غير مثالية" (جعلوا الرئيس والعامل يتحدثان "لغات" مختلفة)، فقد تكيف نموذجهم وظل يؤدي بشكل جيد، بينما عانت النماذج الأخرى أو فشلت.
• وجدوا أنه بينما يعمل النظام بشكل رائع، فإنه لا يزال يواجه تحدياً صغيراً مع "تقدير كثافة السجل المنحاز" (وهي طريقة تقنية للقول بأن المرآة ليست دقيقة تماماً في كل تفصيل رياضي)، لكنها دقيقة بما يكفي للتفوق على المنافسين.

الخلاصة

لا تدعي هذه الورقة البحثية أنها حلت جميع مشايكل الذكاء الاصطناعي. بدلاً من ذلك، هي تقدم أداة محددة وقوية: طريقة لتدريب فرق الذكاء الاصطناዊ الهرمية عن طريق عكس الإجراءات مباشرة للعثور على الأهداف المثالية، بدلاً من التخمين. ومن خلال بناء محول مرن حول نموذج رياضي صلب، أظهر المؤلفون أن رؤساء الذكاء الاصطناعي يمكنهم أخيراً التعلم من مهارات عمالهم الحالية، وليس من أخطاء الماضي. إنها خطوة نحو جعل الذكاء الاصطناعي قادراً على تعلم المهام المعقدة متعددة الخطوات بنفس سلاسة عمل الفريق البشري معاً.