When are LLMs Sufficient Policy Optimizers for Sequential RL Tasks?

ملخص تقني: متى تكون النماذج اللغوية الكبيرة (LLMs) مُحسِّنات سياسات كافية لمهام التعلم التعزيزي المتسلسل؟

بيان المشكلة
أرسى التعلم التعزيزي (RL) هدفاً مركزياً يتمثل في إنتاج سياسات تزيد من العائد المتوقع من خلال التفاعل مع البيئة. ومع ذلك، غالباً ما تكون خوارزميات التعلم التعزيزي القياسية (مثل PPO وSAC وDQN) مكثفة حوسبياً، وتتطلب تفاعلات كبيرة مع البيئة، كما أنها تتسم بالهشاشة بسبب اعتمادها على الضبط الدقيق للمعلمات الفائقة (hyperparameters)، واختيار بنية النموذج، واختيار الخوارزمية. يبحث هذا البحث فيما إذا كان بإمكان النماذج اللغوية الكبيرة (LLMs) أن تعمل كمُحسِّنات سياسات "الصندوق الأسود" (black-box) التي تعمل كبدائل جاهزة لخوارزميات التعلم التعزيزي القياسية. وتحديداً، يتساءل المؤلفون: هل يمكن لنموذج لغوي كبير، إذا أُعطي وصفاً بلغة بايثون لفضاء الحالة، وفضاء الفعل، ودالة المكافأة، أن يولد ويُحسّن سياسة تزيد من العائد المتوقع دون الحاجة إلى قرارات التصميم المكثفة أو عدم كفاءة العينات النموذجية في التعلم التعزيزي التقليدي؟

المنهجية: تحسين السياسة الموجه بالحث (PromptPO)
يقدم المؤلفون إطار عمل Prompted Policy Optimization (PromptPO)، وهو إطار عمل تكراري حيث يقوم النموذج اللغوي بتوليد كود بايثون قابل للتنفيذ يمثل سياسة ما. تعمل العملية كما يلي:

1. المدخلات: يتلقى النموذج اللغوي وصفاً بصيغة بايثون لفضاء حالة البيئة، وفضاء الفعل، ودالة المكافأة. ومن الأهمية بمكان أن المؤلفين تجنبوا تقديم ديناميكيات الانتقال الصريحة لتقييم الطريقة في بيئات "عديمة النموذج" (model-free).
2. توليد دالة التقييم: قبل توليد السياسة، يتم توجيه النموذج اللغوي لتنفيذ فئة (class) تسمى Feedback. تقوم هذه الفئة بتلخيص الإحصائيات على مستوى المسار (مثل متوسط المكافأة، والقيم الدنيا والقصوى) لتوفير إشراف يتجاوز إشارة المكوام الخام، بشكل مشابه لكيفية استخدام خوارزميات التعلم التعزيزي لأخطاء الفرق الزمني (temporal difference errors).
3. توليد السياسة: يتم توجيه النموذج اللغوي لتوليد فئة سياسة (مُنفذة بلغة بايثون) تأخذ ملاحظة (observation) وتخرج فعلاً (action) لتعظيم العائد المتوقع.
4. التحسين التكراري:
   • يتم أخذ عينات من $N$ من السياسات المرشحة من النموذج اللغوي.
   • يتم تشغيل كل سياسة في البيئة.
   • يتم اختيار أفضل سياسة (بناءً على العائد).
   • يتلقى النموذج اللغوي تأملاً باللغة الطبيعية يقارن أداء السياسة الجديدة مع سجل المحاولات السابقة.
   • باستخدام هذا التغذية الراجعة وسجل أفضل السياسات، يولد النموذج اللغوي سياسة جديدة للجولة التالية.
   • في حال حدوث أخطاء في تنفيذ الكود، يتم توجيه النموذج اللغوي لإعادة تنفيذ الجزء ذي الصلة من الكود.

استخدم المؤلفون نموذج Gemini 3 Pro في جميع التجارب. تعتمد الطريقة على قدرة النموذج اللغوي على تخليق كود ينفذ استراتيجيات تحسين متنوعة، تتراوح من الخطط القائمة على القواعد إلى خوارخزميات التخطيط مثل "التكرار القيمي" (value iteration)، دون توجيه صريح لاستخدامها.

المساهمات الرئيسية

• تقديم إطار العمل: اقتراح PromptPO كطريقة لمعاملة النماذج اللغوية الكبيرة كمُحسِّنات للسياسات التي تُنتج كوداً قابلاً للتنفيذ بدلاً من إنتاج إجراءات مباشرة أو ناقلات معاملات (parameter vectors).
• التقييم التجريبي: تقييم شامل عبر أربعة مجالات متميزة: بيئات الاستكشاف الصعبة (NoiseWorld، Point Maze)، التحكم الروبوتي (Meta-World)، التحكم المستمر (MuJoCo)، ومهام التحكم في العالم الحقيقي (تخفيف آثار الجائحة، مراقبة الجلوكوز، والتحكم في حركة المرور).
• تحليل الشروط الكافية: تحديد السيناريوهات التي يكون فيها التحسين القائم على النماذج اللغوية كافياً مقابل الحالات التي يفشل فيها، وربط النجاح بالقدرة على الاستفادة من المعرفة المسبقة حول البيئة أو استراتيجية التحسين.

النتائج التجريبية
تقارن الدراسة بين PromptPO ونماذج التعلم التعزيزي القياسية عديمة النموذج (PPO، SAC، DQN/QR-DQN، TD3) عبر 19 بيئة:

• بيئات الاستكشاف: يضاهي PromptPO أو يتجاوز أداء أفضل نماذج التعلم التعزيزي في 15 من أصل 19 بيئة إجمالاً. في NoiseWorld (عوالم شبكية مولدة عشوائياً) وPoint Maze، يُظهر PromptPO قدرات استكشاف قوية. والجدير بالذكر أنه في NoiseWorld، غالباً ما يحقق PromptPO الأداء الأمثل دون الحاجة إلى تحديثات التغذية الراجعة من البيئة، مما يشير إلى أنه يستفيد من المعارف المسبقة لتنفيذ خوارزميات التخطيط (مثل Value Iteration أو Dijkstra) مباشرة في الكود المولد.
• الروبوتات (Meta-World مقابل MuJoCo):
  • Meta-World: يعد PromptPO أكثر كفاءة في العينات من التعلم التعزيزي في جميع المهام، ويتفوق على الأداء النهائي للتعلم التعزيزي في مهمة "الالتقاط والوضع" (Pick and Place). تتضمن مساحة الفعل هنا إزاحات طرف النهاية (end-effector).
  • MuJoCo: يتراجع أداء PromptPO مقارنة بخوارزميات التعلم التعزيزي القياسية. ويعزو المؤلفون ذلك إلى متطلبات التحكم المستمر الدقيق (عزم دوران المفاصل)، والتي تجد النماذج اللغوية الحالية صعوبة في التفكير بشأنها بفعالية.
• التحكم في العالم الحقيقي: في المهام المتعلقة بلوائح إغلاق الجوائح، وإعطاء الأنسولين، والتحكم في حركة المرور للمركبات ذاتية القيادة، يكون PromptPO أكثر كفاءة في العينات بشكل كبير (على سبيل المثال، >60 ضعفاً في مهمة تخفيف آثار الجائحة) وغالباً ما يحقق عوائد نهائية أعلى من PPO ضمن نفس ميزانية التدريب.
• أنواع السياسات: بدون تعليمات صريحة، يولد PromptPO تلقائياً أنواعاً متنوعة من السياسات، بما في ذلك المتحكمات التناسبية المضبوطة، والاستدلالات القائمة على القواعد، وخوارزميات التخطيط، مما يكيف الاستراتيجية مع طبيعة البيئة.

الأهمية والادعاءات
يزعم البحث أن تحسين السياسة القائم على النماذج اللغوية الكبيرة هو بديل كافٍ ومتفوق في كثير من الأحيان للتعلم التعزيزي القياسي للعديد من مهام اتخاذ القرار المتسلسل، خاصة في الحالات التي يمكن للنموذج اللغوي فيها الاستفادة من المعرفة المسبقة حول البيئة أو استراتيجيات التحسين الفعالة.

• كفاءة العينات: الميزة الأساسية لـ PromptPO هي كفاءته في العينات، المستمدة من تدريب النموذج اللغوي على مجموعات بيانات ضخمة تشفر معرفة هيكلية حول التحسين والتحكم، مما يقلل من الحاجة إلى التفاعل المكثف مع البيئة.
• سهولة الوصول: يقلل PromptPO من حواجز الدخول إلى التعلم التعزيزي، حيث يتطلب معلمات فائقة وقرارات تصميم خوارزمية أقل مقارنة بالطرق القياسية، مما يجعله متاحاً للممارسين الذين لا يملكون خبرة عميقة في التعلم التعزيزي العميق.
• القيود: يقر المؤلفون بتواضع بأن الطريقة لا تزال تواجه صعوبات في البيئات التي تتطلب تحكماً مستمراً دقيقاً (مثل عزم دوران المفاصل في MuJoCo) أو حيث تكون دالة المكافأة عبارة عن شبكة عصبية غير قابلة للتفسير (مثل تلك المتعلمة عبر RLHF) بدلاً من دالة بايثون.
• التعميم: تشير النتائج إلى أن نجاح PromptPO قد لا ينبع من المعرفة المحددة بالبيئة (كما هو موضح في نجاحه في عوالم NoiseWorld المولدة عشوائياً) بقدر ما ينبع من معرفة مسبقة باستراتيجيات التحسين الفعالة.

يخلص البحث إلى أنه بينما قد لا تتفوق النماذج اللغوية الكبيرة بعد على القدرات البشرية في جميع المجالات، إلا أنها تمثل أداة عملية وقوية لتوليد سياسات عالية الأداء في مجموعة واسعة من الإعدادات، مما قد يسهل اعتماد التعلم التعزيزي على نطاق أوسع في تطبيقات العالم الحقيقي.