Sample-efficient Neuro-symbolic Proximal Policy Optimization

إليك ملخص تقني مفصل لورقة البحث بعنوان "Sample-efficient Neuro-symbolic Proximal Policy Optimization".

1. بيان المشكلة

تواجه التعلم التعزيزي العميق (DRL)، ولا سيما خوارزميات مثل تحسين السياسة القريبة (PPO)، تحديات كبيرة في البيئات ذات المكافآت المتناثرة (sparse-reward environments) ذات آفاق التخطيط الطويلة والأهداف الفرعية المتعددة.

• عدم كفاءة العينات: تتطلب الوكلاء كميات هائلة من بيانات التفاعل للتقارب، مما يجعل التدريب مكلفاً وبطيئاً.
• طبيعة الصندوق الأسود: تفتقر السياسات العصبية إلى القابلية للتفسير والضمانات الرسمية.
• محدودية الحلول الحالية:
  • تشكيل المكافأة (مثل آلات المكافأة - Reward Machines): غالباً ما تكون مكلفة حوسبياً وحساسة للغاية للمعلومات الاستدلالية غير الدقيقة؛ حيث يمكن للمعلومات الاستدلالية الضعيفة أن تؤدي إلى تدهور الأداء.
  • النهج العصبي الصرف: يفتقر إلى آليات لدمج قواعد المجال القابلة للقراءة بشرياً بشكل مباشر.
  • النهج الرمزي الصرف: يواجه صعوبة في التوسع إلى المجالات المعقدة بسبب صعوبة تحديد فضاء بحث السياسة بدقة.

يقترح المؤلفون إطار عمل عصبي-رمزي (neuro-symbolic framework) يقوم بنقل مواصفات السياسة المنطقية الجزئية المتعلمة من حالات بسيطة لتوجيه التعلم في إعدادات أكثر تعقيداً وتحدياً، مما يحسن كفاءة العينات دون الحاجة إلى إعادة ضبط المعلمات الفائقة (hyperparameters).

2. المنهجية

الابتكار الجوهري هو امتداد عصبي-رمزي لخوارزمية PPO يستخدم سياسة رمزية ($\pi_{sym}$). هذه السياسة هي مجموعة من القواعد المنطقية (Horn clauses) التي تربط سمات البيئة (المحمولات/predicates) بمصطلحات الأفعال. تقوم آلية استدلال عبر الإنترنت بترجمة الملاحظات الخام إلى محمولات منطقية عالية المستوى، والتي يتم تقييمها مقابل $\pi_{sym}$ لاستنتاج الأفعال الواعدة.

تقدم الورقة استراتيجيتين مختلفتين للدمج لحقن هذا التوجيه المنطقي في حلقة PPO:

أ. H-PPO-Product (انحياز على مستوى الفعل)

• الآلية: تعديل توزيع عينات الأفعال خلال مرحلة التدريب.
• التنفيذ:
  • في كل خطوة زمنية، يتم إعادة وزن احتمالات أفعال السياسة العصبية بناءً على ما إذا كان الفعل مستنتجاً منطقياً بواسطة $\pi_{sym}$.
  • يقوم حد إعادة الوزن $m_t(a, s)$ بزيادة احتمال الأفعال المقترحة منطقياً بمعامل يتم التحكم فيه بواسطة معامل الثقة $\lambda$ وعامل التخميد (annealing factor) $\epsilon_t$.
  • يتبع $\epsilon_t$ جدول اضمحلال خطي، حيث يبدأ مرتفعاً لتشجيع الاستكشاف الموجه بالمنطق، ثم ينخفض إلى الصفر مع تقدم التدريب.
• الهدف: توجيه الاستكشاف في المراحل المبكرة نحو المسارات السليمة منطقياً، مما يسمح للوكيل بتجاهل الاقتراحات الرمزية غير المثالية بينما تتعلم السياسة العصبية ديناميكيات البيئة الحقيقية.

ب. H-PPO-SymLoss (تنظيم على مستوى التحسين)

• الآلية: تعزيز دالة خسارة PPO بحد تنظيم رمزي.
• التنفيذ:
  • إنشاء سياسة مرجعية $\pi_{ref}$ بناءً على المؤشر الرمزي، حيث تخصص كتلة احتمالية أعلى للأفعال المستنتجة منطقياً.
  • حساب النسبة $\rho^{sym}_t$ بين السياسة العصبية الحالية وسياسة المرجع الرمزية هذه (بدلاً من $\pi_{old}$ القياسية في النسبة لهذا الحد المحدد).
  • إضافة خسارة مساعدة رمزية $L_{sym}$ (مهيكلة بشكل مشابه لـ PPO surrogate المقتطع) إلى دالة الخسارة الإجمالية، موازنة بالمعلم $\Theta$.
  • مثل H-PPO-Product، يمكن اضمحلال الوزن $\Theta$ بمرور الوقت.
• الهدف: العمل كمنظم يعمل على مواءمة السياسة العصبية مع القيود المنطقية أثناء التحسين، مما يمنع السياسة من الانحراف إلى مناطق دون المثالية حتى لو كانت القواعد الرمزية غير مثالية.

3. المساهمات الرئيسية

1. إطار عمل PPO عصبي-رمزي: نهج مبتكر يستفيد من القواعد المنطقية الجزئية لتوجيه وكلاء PPO، باستخدام انحيازات العينات (H-PPO-Product) أو عقوبات التحسين (H-PPO-SymLoss).
2. المتانة تجاه المعرفة غير المثالية: صُممت الطرق للعمل مع القواعد المنطقية المستمدة من مهام بسيطة ونقلها إلى مهام أصعب، حتى عندما تكون تلك القواعد غير مكتملة أو غير مثالية.
3. عدم الحاجة لإعادة ضبط المعلمات الفائقة: يسمح الإطار بالتوسع إلى مجالات أكبر وأكثر تعقيداً دون الحاجة لإعادة ضبط المعلمات الفائقة لـ PPO، حيث يقوم التوجيه الرمزي بتكييف عملية التعلم تلقائياً.
4. التحقق التجريبي: تقييم واسع النطاق عبر ثلاثة اختبارات قياسية لعالم الشبكة (Gridworld) وهي (DoorKey, OfficeWorld, WaterWorld) أظهر تفوقاً على PPO التقليدي ونماذج Reward Machine الأساسية.

4. النتائج التجريبية

قيم المؤلفون طرقهم على ثلاثة اختبارات ذات تعقيدات متفاوتة (حجم الشبكة، عدد المفاتيح، طول التسلسل):

• DoorKey (الملاحة باستخدام المفاتيح/الأبواب):

  • تفوق H-PPO-Product كـ محرك للاستكشاف، محققاً أسرع تقارب وأعلى عوائد، خاصة في الشبكة الأكثر تحدياً (16x16 مع 4 مفاتيح).
  • حقق H-PPO-SymLoss عوائد عالية ولكنه تقارب بشكل أبطأ.
  • فشل نموذج Reward Machine (RM) الأساسي تماماً في إعداد الـ 4 مفاتيح (عائد صفري)، مما يسلط الضوء على هشاشة تشكيل المكافأة في مهام المكافآت المتناثرة المعقدة.

• OfficeWorld (أهداف فرعية متسلسلة):

  • أظهر H-PPO-Product تعلماً أولياً سريعاً ولكنه استقر عند عائد أقل قليلاً في المهام المعقدة (مثل DeliverCoffeeAndMail).
  • بدأ H-PPO-SymLoss بشكل أبطأ ولكنه عمل كـ منظم سياسة قوي، محققاً في النهاية أعلى العوائد النهائية من خلال تشكيل السياسة بشكل أكثر فعالية على المدى الطويل.

• WaterWorld (فيزياء ثنائية الأبعاد مستمرة/تسلسلات):

  • في مهام التسلسل المعقدة (مثل RedGreenAndBlueCyanAndMagentaYellow)، كان H-PPO-Product هو الطريقة الوحيدة التي نجحت في التنقل في فضاء المكافآت المتناثرة والوصول إلى عوائد عالية.
  • عانى H-PPO-SymLoss هنا، مما يؤكد أن قوته تكمن في ترسيخ السياسة بدلاً من بدء تسلسلات استكشاف معقدة من الصفر.

ملخص الأداء:

• H-PPO-Product: الأفضل لـ الاستكشاف في المهام ذات الأفق الطويل والمكافآت المتناثرة.
• H-PPO-SymLoss: الأفضل لـ صقل السياسة وتحقيق أقصى قدر من العوائد النهائية في المهام التي حدث فيها بعض الاستكشاف بالفعل.
• تفوقت كلتا الطريقتين باستمرار على PPO القياسي و Reward Machines.

5. الأهمية

تعالج هذه الورقة عنق زجاجة حرج في التعلم التعزيزي العميق: كفاءة العينات في المجالات المعقدة ذات المكافآت المتناثرة. من خلال دمج الاستدلال الرمزي مباشرة في بنية خوارزمية PPO (بدلاً من مجرد استخدامه كمشكل للمكافأة)، أثبت المؤلفون أن:

1. الأولويات المنطقية (Logical priors) يمكن أن تسرع التعلم بشكل كبير دون التضحية بمرونة الشبكات العصبية.
2. تعلم النقل (Transfer learning) للقواعد المنطقية من المهام البسيطة إلى المعقدة هو أمر قابل للتطبيق وفعال.
3. استراتيجيات الدمج المختلفة (انحياز العينات مقابل تنظيم الخسارة) تؤدي أدواراً متميزة، مما يوفر مجموعة أدوات للممارسين لاختيار النهج المناسب بناءً على ما إذا كانوا بحاجة إلى استكشاف أفضل أو تقارب أفضل للسياسة.

يملأ هذا العمل الفجوة بين قابلية التفسير للذكاء الاصطائي الرمزي وقابلية التوسع للتعلم التعزيزي العميق، مما يمهد الطريق لوكلاء أكثر متانة وقابلية للتعميم في التطبيقات الواقعية.