CRED: Counterfactual Reasoning and Environment Design for Active Preference Learning

ملخص تقني: CRED – الاستدلال المضاد للواقع وتصميم البيئة لتعلم التفضيلات النشط

بيان المشكلة
مع عمل الأنظمة الروبوتية في بيئات تزداد تعقيداً وعدم قابلية للتنبؤ، يصبح تحديد وموازنة أهداف التحسين بشكل صريح لتحقيق السلوكيات المرغوبة أمراً غير ممكن. وبينما يقدم "التعلم النشط للتفضيلات" (APL) حلاً عبر استنتاج دالات المكافأة البشرية من ترتيب المسارات، تواجه الطرق الحالية قيوداً كبيرة. تعتمد النهج الحالية عادةً على أخذ عينات من استعلامات المسارات من مجموعات بيانات ثابتة أو مخازن إعادة التشغيل (replay buffers). هذا القيد يحد من تنوع الاستعلامات، مما يؤدي غالسباً إلى الفشل في تحديد المقارنات المعلوماتية الضرورية للتمييز بين دالات المكافأة المتنافسة. علاوة على ذلك، فإن توليد الاستعلامات ضمن بيئة واحدة ثابتة يحد من القيمة المعلوماتية للبيانات، مما قد يؤدي إلى مكافآت متعلمة لا تعمم جيداً على السيناريوهات غير المرئية. التحدي الجوهري يكمن في توليد استعلامات تفضيل تعظم كسب المعلومات مع ضمان تعميم دالة المكافأة المتعلمة عبر سياقات متنوعة.

المنهجية
يقترح البحث إطار عمل CRED (الاستدلال المضاد للواقع وتصميم البيئة)، وهو إطار عمل جديد للتعلم النشط للتفضيلات (APL) يعمل على تحسين تصميم البيئة واختيار المسارات بشكل مشترك. يعمل النظام كمسألة تحسين ثنائي المستوى (الشكل 2):

1. الاستدلال المضاد للواقع (التحسين الداخلي):
   بدلاً من الاعتماد على عمليات التدحرج العشوائية أو المخازن الثابتة، يحافظ CRED على توزيع اعتقاد بايزي (Bayesian belief distribution) حول أوزان المكافأة المجهولة $w$. يقوم النظام بأخذ عينات من متجهات أوزان متنوعة من هذا الاعتقاد ويطرح أسئلة مضادة للواقع: "ماذا لو كان متجه الوزن هذا هو الحقيقة المفضلة؟". لكل وزن $w_i$ مأخوذ، يولد النظام مساراً أمثلياً $\xi_i$ (باستخدام التعلم التعزيزي أو طرق تحسين المسار مثل CHOMP) الذي يعظم المكافأة تحت تلك الفرضية المحددة. ومن خلال تقييم كسب المعلومات (المعلومات المتبادلة بين الاستعلام وأوزان المكافأة) عبر أزواج هذه المسارات المضادة للواقع، يحدد CRED المقارنة الأكثر إفادة لتقديمها للمستخدم.

2. تصميم البيئة (التحسين الخارجي):
   يدرك CRED أن البيئة نفسها هي التي تحدد أي المسارات قابلة للتنفيذ وأي الميزات قابلة للملاحظة. ولتعظيم إفادة الاستعلام، يعامل النظام بارامترات البيئة $\theta$ (مثل أنواع التضاريس، أو أماكن العوائق، أو ظروف الرياح) كمتغيرات قابلة للتحسين. باستخدام التحسين البايزي (Bayesian Optimization)، يبحث CRED عن تكوينات البيئة التي، عند دمجها مع المسارات المضادة للواقع، تنتج أعلى كسب متوقع للمعلومات. يسمح هذا للنظام بـ "تخيل" سيناريوهات جديدة (على سبيل المثال، تغيير التضاريس من عشب إلى حصى) التي من شأنها أن تكشف بشكل أفضل الاختلافات بين فرضيات المكافأة المتنافسة.

المساهمات الرئيسية

• إطار عمل مبتكر لتوليد الاستعلامات: يدمج CRED بين الاستدلال المضاد للواقع وتصميم البيئة للانتقال إلى ما وراء مجموعات المسارات الثابتة، مما يسمح بتخليق استعلامات تفضيل متنوعة وعالية الإفادة.
• صياغة التحسين ثنائي المستوى: يصيغ البحث المسألة كتحسين ثنائي المستوى حيث تختار الحلقة الخارجية البيئة $\theta$ وتختار الحلقة الداخلية زوج المسار $(\xi_A, \xi_B)$، مما يربط فعلياً بين تصميم البيئة وتخليق الاستعلام.
• تكامل الاستدلال البايزي: تستخدم الطريقة خوارزمية متروبوليس تكيفية للحفاظ على اعتقاد حول أوزان المكافأة، مما يسمح بأخذ عينات من فرضيات متنوعة لدفع عملية التخليق المضاد للواقع.

النتائج التجريبية
قيم المؤلفون CRED عبر ثلاثة مجالات محاكاة (Lunar Lander، وTabletop Manipulation، وNavigation) ودراسة مستخدم شملت 25 مشاركاً.

• دقة وكفاءة المكافأة: في المحاكاة، تفوق CRED باستمرار على النماذج المرجعية (Random Rollouts وMean Belief Policy). حقق دقة نهائية أعلى للمكافأة (مثلاً 0.998 في Lunar Lander، و0.979 في Tabletop) وتقارب بشكل أسرع بكثير، حيث تجاوز غالباً دقة 95% في غضون 10 تكرارات.
• دراسات الاستئصال (Ablation Studies): أكدت التجارب أن كلاً من الاستدلال المضاد للواقع وتصميم البيئة يكملان بعضهما البعض؛ حيث أدى حذف أي من المكونين إلى انخفاض الدقة أو بطء التقارب.
• المقارنة مع عشوائية النطاق (Domain Randomization): تفوق CRED بشكل كبير على عشوائية النطاق (التي تأخذ عينات من البيئات بشكل عشوائي منتظم)، مما أظهر أن البحث النشط عن بيئات معلوماتية عبر التحسين البايزي يتفوق على أخذ العينات العشوائية.
• دراسة المستخدم: في مهام التفاعل بين الإنسان والروبوت، أفاد المشاركون الذين تفاعلوا مع CRED بانخفاض العبء الذهني (مقاساً بمقياس NASA-TLX) ووجدوا مقارنات المسارات أسهل في التقييم مقارنة بالطرق المرجعية. كما حقق CRED ارتباطاً أعلى للمكافأة مع التفضيلات الحقيقية في كل من مهام المعالجة والملاحة.

الأهمية والادعاءات
يزعم البحث أن CRED يمثل تقدماً كبيراً في التعلم النشط للتفضيلات من خلال معالجة قيود القابلية للتوسع والتعميم في الطرق الحالية. من خلال تحسين البيئة والاستعلام بشكل مشترك، يمكّن CRED الروبوتات من تعلم دالات مكافأة ليست أكثر دقة فحسب، بل أيضاً أكثر قوة عبر سيناريوهات مختلفة. يؤكد المؤلفون أن نهجهم يسمح بتعلم أكثر كفاءة مع عدد أقل من استعلامات المستخدم ويقلل من العبء المعرفي على المستخدمين البشر. يتم تقديم الإطار كنموذج قابل للتعميم عبر فئات سياسات مختلفة (مثل PPO وValue Iteration) ومجالات مختلفة، رغم أن المؤلفين يقرون بالتعقيد الحسابي لصياغة التحسين ثنائي المستوى كقيد حالي.