Learning Local Constraints for Reinforcement-Learned Content Generators

ملخص تقني: تعلم القيود المحلية لمولدات المحتوى القائمة على التعلم المعزز

بيان المشكلة
تواجه عملية توليد المحتوى الإجرائي (PCG) مقايضة جوهرية بين الجماليات البصرية والقدرة الوظيفية على اللعب. تبرع أساليب التعلم ذاتي الإشراف، مثل "انهيار دالة الموجة" (WFC)، في التقاط الأنماط البصرية المحلية والأساليب الجمالية من بيانات التدريب، ولكنها غالبًا ما تفشل في ضمان الخصائص الوظيفية العالمية مثل قابلية اللعب. وعلى العكس من ذلك، يمكن للمولدات القائمة على التعلم المعزز (RL) تحسين الخصائص العالمية (مثل إمكانية الوصول إلى الأهداف) من خلال دمجها في دالات المكافأة، إلا أن المحتوى الناتج غالبًا ما يفتقر إلى التماسك البري والوفاء الجمالي، ويظهر بمظهر "غير مرضٍ بصريًا". التحدي الأساسي الذي تعالجه هذه الورقة هو كيفية الجمع بين هذين النموذجين لتوليد مستويات ألعاب تكون متسقة بصريًا مع الأمثلة المصممة بشريًا وقابلة للعب وظيفيًا في آن واحد.

المنهجية: إطار عمل WCRL
يقترح المؤلفون إطار عمل هجين، يُسمى WCRL (انهيار الموجة عبر التعلم المعزز)، والذي يقيد مساحة العمل الخاصة بوكيل (PCGRL) باستخدام قواعد محلية مشتقة من خوارزمية WFC. يعمل النظام كما يلي:

1. استخراج القيود (WFC): يأخذ إطار العمل مستوى واحدًا أو أكثر من المدخلات (تحديدًا مستويات لعبة Lode Runner) ويستخرج أنماط البلاطات (tiles) بحجم $N \times N$ وعلاقات التجاور الخاصة بها. تحدد هذه العلاقات القيود المحلية الصالحة لعملية التوليد.
2. تعريف مساحة العمل: على عكس WFC التقليدي، الذي يستخدم استدلالًا (الإنتروبيا الدنيا) لاختيار البلاطة التالية، يستبدل WCRL خطوة الاختيار هذه بوكيل تعلم معزز (RL). تقوم خوارزمية WFC بحساب مسبق لقائمة الأنماط الصالحة المتاحة لخلية معينة بناءً على جيرانها الحاليين.
3. تفاعل وكيل التعلم المعزز (RL):
   • الملاحظة: يتلقى الوكيل مصفوفة ملاحظة ثلاثية الأبعاد تمثل الحالة الحالية للمستوى، ممركزة حول الخلية المراد انهيارها. يتم التعامل مع موقع اللاعب كبلاطة فارغة للتركيز على الاتصال بدلاً من نقاط الظهور المحددة.
   • مساحة العمل والقناع (Masking): مساحة العمل الخاصة بالوكيل هي مجموعة جميع الأنماط الفريدة الموجودة في المدخلات. ومن الأهمية بمكان أن النظام يستخدم قناع العمل غير الصالح (invalid action masking)؛ ففي كل خطوة، توفر خوارمة WFC قائمة بالأنماط الصالحة بناءً على قيود التجاور الحالية، ويتم قناع الوكيل ليختار فقط من هذه الخيارات الصالحة، مما يمنع توليد مستويات مستحيلة بنيويًا.
   • إشارة المكافأة: تُحسب المكافأة بواسطة وكيل لعب آلي باستخدام خوارزمية "ملء الفراغ" (flood-fill) لتحديد عدد قطع الذهب التي يمكن للاعب الوصول إليها. تُعطى مكافآت إيجابية لتحسين الاتصال والوصول، وتُعطى مكافآت سلبية عند انخفاض الاتصال أو حدوث تناقضات أثناء عملية انتشار WFC.
4. عملية التوليد: تبدأ العملية بشبكة فارغة (أو شبكة منهارة جزئيًا في تجارب محددة). يختار الوكيل بشكل تكراري نمطًا للخلية الأكثر تقييدًا، ثم تقوم WFC بنشر هذا الاختيار لتحديث صلاحية الخلايا المجاورة، وتتكرر الدورة حتى يكتمل انهيار المستوى بالكامل أو يحدث تناقض.

المساهمات الرئيسية والتصميم التجريبي
تقدم الورقة عدة مساهمات محددة من خلال توسيع العمل السابق (مثل عمل Babin وآخرون، الذين جمعوا بين RL وWFC للعبة Super Mario Bros) إلى مجال أكثر تعقيدًا وهو Lode Runner. يجري المؤلفون دراسة استئصال (ablation study) لتحليل حساسية إطار العمل لثلاثة متغيرات فائقة رئيسية:

1. تنوع بيانات المدخلات: تقارن الدراسة بين سيناريوهات المدخلات المفردة، والمدخلات المتعددة المتشابهة، والمدخلات المتعددة المتنوعة. يتم قياس التنوع باستخدام درجة تباعد كولباك - ليبلر للأنماط (TPKLDiv).
2. استبعاد الأنماط: يبحث المؤلفون في تأثير استبعاد "الأنماط النادرة" (تلك التي تظهر مرة واحدة فقط في مجموعة بيانات المدخلات) لمعرفة ما إذا كان تصفية البيانات منخفضة التكرار يحسن قدرة الوكيل على تعلم قواعد قابلة للتعميم.
3. حالة البداية: تقارن التجارب بين التدريب من مستوى فارغ تمامًا مقابل حالة "الانهيار العشوائي"، حيث يتم ملء جزء صغير من المستوى مسبقًا بواسطة WFC لإجبار الوكيل على التعلم من حالة مقيدة جزئيًا.

النتائج
تم اختبار إطار العمل لتوليد مستويات Lode Runner بحجم $32 \times 22$ باستخدام خوارزمية PPO القابلة للقناع (Maskable PPO). تشمل النتائج الرئيسية ما يلي:

• قابلية اللعب مقابل التنوع: أدى استخدام مستويات مدخلة متعددة عمومًا إلى زيادة قابلية اللعب مقارنة بالمدخلات المفردة، بشرط أن تكون المدخلات متشابهة بنيويًا. ومع ذلك، أدى استخدام مدخلات متنوعة للغاية (TPKLDiv مرتفع) إلى انخفاض كبير في قابلية اللعب؛ حيث واجه إطار العمل صعوبة في إيجاء روابط صالحة بين الأنماط المتضاربة، مما أدى إلى حدوث تناقضات متكررة أثناء الانتشار.
• تأثير الأنماط النادرة: أدى استبعاد الأنماط النادرة إلى تقليل تنوع المستويات المولدة (حيث تقلصت مساحة العمل) ولكنه حسن عمومًا من قابلية اللعب في سيناريوهات المدخلات المتعددة. يشير هذا إلى أن الأنماط النادرة غالبًا ما تفرض قيودًا يصعب على الوكيل تلبيتها، بينما تسهل الأنماط الشائعة الهياكل المتصلة. في سيناريوهات المدخلات المفردة، كان استبعاد الأنماط النادرة ضارًا لأنه أدى أحيانًا إلى إزالة الأنماط الضرورية لانتشار وضع اللاعب.
• حالة البداية: لم يغير التدريب من حالة انهيار عشوائي جزئي مقاييس قابلية اللعب بشكل جذري، ولكنه أدى إلى مخرجات أكثر تنوعًا قلي במتوسط، خاصة مع المدخلات المتنوعة. يشير المؤلفون إلى أن هذا النهج يساعد الوكيل على تعلم سياسات أكثر قوة وقابلية للتعميم.
• الجودة البصرية: أنتجت أفضل النماذج أداءً مستويات كانت قابلة للعب ومرضية بصريًا في آن واحد، حيث التزمت بالقيود الجمالية المحلية لبيانات التدريب مع الحفاظ على الوظائف العالمية.

الأهمية والادعاءات
تدعي الورقة أن WCRL ينجح في سد الفجوة بين التعلم الجمالي المحلي والتحسين الوظيفي العالمي. من خلال استخدام WFC لتقييد مساحة عمل وكيل RL بصرامة، يضمن النظام أن المستويات المولدة تلتزم بالأسلوب البصري لبيانات التدريب، بينما يقوم وكيل RL بتحسين قابلية اللعب. يشير المؤلفون إلى أنه على الرغم من حساسية الطريقة لضبط المتغيرات الفائقة — خاصة فيما يتعلق بتنوع المدخلات وتصفية الأنماط — إلا أن النهج يثبت إمكانية توليد مستويات منصات وألغاز معقدة وقابلة للعب تحتفظ بالوفاء البصري للمحتوى المصمم بشريًا. وتخلص الدراسة إلى أن Lode Runner يعمل كبيئة اختبار صارمة لمثل هذا البحث نظرًا لمتطلبات الاتصال الصارمة والميكانيكا المكانية المعقدة، والتي تعد أصعب في التحقيق مقارنة بألعاب المنصات الأبسط مثل Super Mario Bros.