ملخص تقني: التعلم المشترك للخيارات العصبية الهرمية والنموذج العالمي المجرد (AgentOWL)

1. بيان المشكلة

تتناول الورقة البحثية التحدي المتمثل في تمكين وكلاء اتخاذ القرار من اكتساب مهارات جديدة بشكل تراكمي عبر تركيب المهارات الموجودة. بينما يؤطر إطار الخيارات (options framework) هذا الأمر كتعلم هرمي للسياسات (الخيارات) التي تحقق أهدافاً تزداد صعوبة، تعاني نهج التعلم التعزيزي الهرمي (HRL) القائم على النموذج المجرد (model-free) التقليدية من ضعف كفاءة العينات. ومع زيادة عدد المهارات المكتسبة، تتوسع مساحة العمل الفعالة، مما يجعل تعلم الأهداف الجديدة كثيف البيانات وغير قابل للتطبيق عملياً.

المشكلة الجوهرية تكمن في المقايضة بين: سرعة تعلم مهارات جديدة مقابل عدد المهارات المكتسبة بالفعل. تتطلب الطرق التقليدية القائمة على النموذج المجرد عينات أكثر بشكل أسّي مع تقدم عملية التعلم. يقترح المؤلفون أن التعلم التعزيزي القائم على النموذج (model-based RL) يمكنه حل هذه المعضلة باستخدام نموذج عالمي للتخطيط واستبعاد الخيارات قبل التنفيذ في العالم الحقيقي. ومع ذلك، فإن نهج نمذجة العالم الحالية غالباً ما تفتقر إلى كفاءة البيانات المطلوبة لتعلم الديناميكيات المعقدة من عينات محدودة، أو تفشل في توفير التجريد الزمني والحالي اللازم لجعل التخطيط قابلاً للتطبيق.

2. المنهجية: AgentOWL

يقترح المؤلفون AgentOWL (وكيل تعلم الخيارات ونموذج العالم)، وهو نظام يتعلم بشكل مشترك مجموعة من الخيارات العصبية الهرمية ونموذج عالم مجرد بطريقة فعالة في استخدام العينات.

2.1 نمذجة العالم المجرد

يستخدم النظام إطار حاصل ضرب الخبراء (PoE-World) لتعلم نموذج عالم يجرد فوق كل من الحالات والزمن.

• تجريد الحالة: بدلاً من التنبؤ بانتقالات البكسل الخام، يتنبأ النموذج بحالات مجردة مستقبلية محددة بواسطة محددات الهدف $f(s) = (g_1(s), g_2(s), \dots)$. هذا يقلل من أبعاد مهمة التنبؤ.
• التمثيل الرمزي: يتم تمثيل نموذج العالم كحاصل ضرب للخبراء، حيث يكون كل خبير عبارة عن برنامج رمزي قصير (قصاصة كود Python) يتم إنشاؤه بواسطة نموذج لغوي كبير (LLM). تقوم هذه البرامج بنمذجة الآليات السببية المستقلة.
• بديهية قانون الإطار (Frame Axiom Prior): للحفاظ على كفاءة العينات، يدمج النموذج "بديهية قانون الإطار". هذه البديهية توجه النموذج للاعتقاد بأن الخيار $o_i$ يغير بشكل أساسي الميزة المقابلة له $f_i$ ولا يغير الميزات الأخرى $f_j$ ($j \neq i$). يتم تنفيذ ذلك عبر تقدير الاحتمال الأقصى البعدي (MAP) مع توزيعات غاوسية مسبقة، مما يقلل بشكل كبير من البيانات المطلوبة لتعلم ديناميكيات الانتقال.
• إعادة البناء: بما أن النموذج المجرد يتنبأ بـ $p(f' | s)$، يتم استخدام مقدر كثافة النواة (دالة الوزن) بشكل تجريبي لأخذ عينات من الحالات الكاملة $s'$ من الحالات المجردة $f'$، مما يسمح للوكيل بالتفاعل مع بيئة محاكاة دون الحاجة لتعلم نموذج توليدي بارامتري كامل.

2.2 التعلم المشترك للخيارات الهرمية

يتدرب AgentOWL بشكل تكراري لإتقان تسلسل من الأهداف $\{g_1, \dots, g_n\}$ عبر تعلم الخيارات المقابلة لها $\{o_1, \dots, o_n\}$.

• فرضية الخيار الفرعي القائمة على LLM: عندما يحتاج الوكيل لتحقيق هدف مستهدف جديد $g$ ولكنه يفتقر لخيار مباشر، يتم توجيه نموذج لغوي كبير (LLM) لاقتراح خيار فرعي جديد $o_{h \to g}$. يختار الـ LLM شرطاً مسبقاً $h$ (هدف فرعي تم تعلمه سابقاً) من مجموعة الخيارات الموجودة $\Omega$ ليكون بمثابة خطوة انتقالية. يتم بعد ذلك إضافة هذا الخيار الجديد ونموذج العالم الافتراضي الخاص به إلى النظام.
• الاستكشاف القائم على النموذج: يتعلم الوكيل سياسة $\pi_{wm}$ داخل نموذج العالم المجرد باستخدام خوارزمية التعلم العميق لـ Q (DQN). تعمل هذه السياسة كدليل استكشاف للسياسة الواقعية $\pi_{real}$. تُعرف السياسة المركبة كـ $\pi(a|s) = (1-\epsilon)\pi_{real}(a|s) + \epsilon\pi_{wm}(a|s)$. يتم تقليل معدل الاستكشاف $\epsilon$ تدريجياً من 1 إلى 0، مما يسمح للوكيل بالانتقال من التخطيط القائم على النموذج إلى التعلم الكامل القائم على النموذج المجرد مع استقرار السياسة الواقعية.
• التدريب الهرمي المستقر: للتخفيف من عدم الاستقرار الناتج عن تدريب الخيارات من المستويات الدنيا (والذي يغير البيئة التي تراها المستويات العليا)، يستخدم النظام آلية استقرار. لا تُضاف البيانات من الحلقات (episodes) إلى ذاكرة التخزين المؤقت للتدريب إلا إذا كانت جميع الخيارات الفرعية المنفذة في تلك الحلقة "مستقرة" (أي تم التدريب عليها على عدد كافٍ من العينات $n > n_{threshold}$ ولديها معدل إكمال هدف $\delta > \delta_{threshold}$).

3. المساهمات الرئيسية

1. إطار AgentOWL: بنية مبتكرة تتعلم بشكل مشترك خيارات عصبية هرمية ونموذج عالم مجرد، مما يتيح اكتساب المهارات بكفاءة عالية في استخدام العينات.
2. نموذج العالم المجرد بالبرامج الرمزية: دمج PoE-World مع البرامج الرمزية المولدة بواسطة LLM يسمح بتعلم ديناميكيات معقدة ومجردة زمنياً من بيانات قليلة جداً، متجاوزاً "فخ الخطوة الواحدة" للنماذج منخفضة المستوى.
   $(
   3. اكتشاف الخيارات المدفوع بـ LLM: طريقة لاستخدام نماذج اللغة الكبيرة لاقتراح خيارات فرعية (شروط مسبقة) بناءً على المهارات الموجودة، مما يؤدي فعلياً إلى أتمتة منهج اكتساب المهارات دون الحاجة إلى هندسة يدوية للأهداف الفرعية.
3. DQN الهرمي المستقر: إجراء تدريب يعمل على تثبيت تعلم تسلسلات الخيارات العميقة عبر تصفية البيانات بناءً على استقرار الخيارات الفرعية، مما يعالج مشكلة عدم الاستقرار المتأصلة في التعلم الهرمي التعزيزي.

4. النتائج التجريبية

تم تقييم الطريقة على ثلاث ألعاب من نوع (OCAtari) المعروفة بصعوبة الاستكشاف: Montezuma's Revenge، و Pitfall، و Private Eye.

• كفاءة اكتساب المهارات: أتقن AgentOWL عدداً أكبر بكثير من الخيارات باستخدام خطوات بيئة أقل مقارنة بالنماذج المرجعية، بما في ذلك Rainbow DQN، و Goal-conditioned DQN، و Hierarchical DQN (بدون نموذج العالم). بينما توقفت النماذج المرجعية عند عدد منخفض من المهارات المتقنة، استمر AgentOWL في اكتساب مهارات معقدة.
• التعميم للأهداف الصعبة: أظهر التحليل النوعي فشل النماذج المرجعية في اكتساب خيارات للأهداف الصعبة (مثل الوصول إلى غرف محددة في Pitfall) لأنها لم تستطع اكتشاف تسلسلات الأفعال الطويلة الضرورية. نجح AgentOWL في التخطيط لهذه التسلسلات بشكل مجرد وتنفيذها هرمياً.
• التعلم الضمني: أظهرت التجارب أن AgentOWL يحسن الخيارات الفرعية ضمنياً حتى عندما يتم مكافأته فقط على هدف رفيع المستوى. أظهرت الخيارات الفرعية المفيدة للهدف النهائي معدلات نجاح متزايدة، بينما لم يحدث ذلك للخيارات غير ذات الصلة.
• التعميم الصفري (Zero-Shot Generalization): في تجربة حالة البداية الجديدة، استطاع AgentOWL تركيب الخيارات الموجودة لتحقيق أهداف تم إتقانها سابقاً دون تدريب إضافي، بشرط تزويده بخيار واحد جديد للانتقال من البداية الجديدة إلى حالة البداية الأصلية. فشلت النماذج المرجعية التي تفتقر إلى نموذج العالم المجرد والتركيب الهرمي في التكيف مع هذا الوضع.

5. الأهمية والادعاءات

تزعم الورقة أن تعلم الخيارات وتعلم نموذج العالم مرتبطان ارتباطاً وثيقاً. فمن خلال تعلم نموذج عالم مجرد يلتقط تأثيرات الخيارات، يمكن للوكيل التخطيط بكفاءة، مما يسهل بدوره اكتشاف وصقل مهارات جديدة.

يؤكد المؤلفون أن AgentOWL يظهر:

• كفاءة العينات: تحقيق تسلسلات مهارات معقدة ببيانات أقل بكثير من النماذج المرجعية القائمة على النموذج المجرد.
• التعميم التركيبي: القدرة على دمج المهارات المتعلمة لحل مشكلات جديدة (التعميم الصفري) والتعلم الضمني للمهارات الفرعية المطلوبة للأهداف العليا.
• قابلية التخطيط للتوسع: يسمه استخدام النماذج المجردة والممتدة زمنياً للتخطيط عبر آفاق طويلة قد تكون مستعصية على النماذج منخفضة المستوى.

تخلص الورقة إلى أنه على الرغم من وجود قيود حالية (مثل الحاجة إلى تسلسلات أهداف مرتبة ومدخلات رمزية)، فإن هذا النهج يسلط الضال على اتجاه واعد لبناء وكلاء يمكنهم توسيع معرفتهم وقدراتهم بشكل تراكمي من خلال التفاعل بين اكتساب المهارات ونمذجة العالم.