Quantifying Potential Observation Missingness in Inverse Reinforcement Learning

ملخص تقني: تكميم احتمالية نقص الملاحظة في التعلم المعكوس للتعزيز

بيان المشكلة
يهدف التعلم المعكوس للتعزيز (IRL) إلى استنتاج دوال المكافأة من تجارب الخبراء لنمذجة سلوك اتخاذ القرار. وبينما تم تطوير متغيرات من الـ IRL للتعامل مع المعتقدات الذاتية، والتخطيط غير المكتمل، والأهداف المتغيرة، فإن هناك مشكلة حرجة غالبًا ما يتم تجاهلها في مجموعات البيانات الواقعية (خاصة في الرعاية الصحية) وهي نقص الملاحظة (observation missingness). في كثير من السيناريوهات، تفتقر البيانات المسجلة إلى ملاحظات كانت متاحة لصانع القرار الأصلي في ذلك الوقت.

عندما تكون هذه المعلومات مفقودة، قد تظهر أفعال الخبير على أنها غير مثالية لخوارزمية IRL قياسية، مما يؤدي إلى استنتاجات مضللة حول المكافأة. على سبيل المثال، إذا كان قرار الطبيب يعتمد على مؤشر حيوي غير مسجل، فقد تستنتج خوارزمية IRL القياسية أن الطبيب يتصرف بشكل غير مثالي أو أن دالة المكافأة غير متسقة، بدلاً من إدراك أن القرار كان مثاليًا في ظل السياق غير الملحوظ. تفترض الورقة أنه بدلاً من محاولة استكمال البيانات المفقودة أو استعادة القيم المفقودة بدقة، فمن الأنسب تكميم الحد الأدنى لمدى النقص المطلوب لجعل السلوك الملحوظ يبدو مثاليًا.

المنهجية: التعلم المعكوس للتعزيز بالاضطراب الأدنى (MP-IRL)
يقترح المؤلفون إطار عمل MP-IRL، وهو إطار مكون من مرحلتين مصمم لإيجاد أصغر اضطراب للملاحظات المسجلة ضروري لمواءمة أفعال الخبير مع سياسة مثالية.

1. صياغة المشكلة:

• يفترض الإعداد وجود مجموعة بيانات سلوكية $D = \{x_{nt}, a_{nt}\}$ حيث $x_{nt}$ هي الحالات المسجلة و $a_{nt}$ هي الأفعال. الحالة الحقيقية تتضمن مكونات غير مسجلة $\tilde{x}_{nt}$.
• بدلاً من نمذجة ديناميكيات البيانات المفقودة، تقدم الطريقة عاملاً كامناً ثابتاً $z_n$ لكل مسار $n$، يمثل السياق المفقود.
• الهدف هو تقليل مقدار العوامل الكامنة $\{z_n\}$ مع مراعاة القيد بأن تكون أفعال الخبير قريبة من المثالية تحت دالة مكافأة $r_\theta(z_n, x_{nt}, a_{nt})$.
• لضمان أن يكون حجم النقص ذا معنى، يقوم المؤلفون بتمثيل المكافأة باستخدام دوال النواة (kernel functions). المكافأة هي مجموع مكافأة أساسية مشتركة $\bar{r}_\theta(x_{nt}, a_{nt})$ وحد حد اضطراب خاص بالمسار يتم تعريفه بواسطة مراكز النواة $\mu_k$ والمعاملات $z_n$. يتم قياس حجم النقص عبر معيار $\ell_1$ للمعاملات $\|z_n\|_1$.

2. الخوارزمية (تحسين ذو مرحلتين):

• المرحلة الأولى (Base IRL): تقوم الخوارزمية بإجراء IRL قياسي على البيانات المسجلة وحدها (بضبط جميع قيم $z_n = 0$). يستخلص هذا المرحلة أفضل مكافأة أساسية $\bar{r}_\theta$ ممكنة لتفسير السلوك دون أي سياق مفقود.
• المرحلة الثانية (MP-IRL): يتم تجميد معاملات المكافأة الأساسية. بعد ذلك، تقوم الخوارزمية بتحسين شبكة الناقد (critic network) ومعاملات النواة الكامنة الخاصة بالمسار $z_n$ (ويمكن اختيار $\mu$ أيضاً).
• التنظيم (Regularization): تتضمن دالة الهدف في المرحلة الثانية عقوبات التشتت (sparsity penalties) (معايير $\ell_1$ و $\ell_2$ على $z_n$) لفرض مبدأ "الاضطراب الأدنى". يضمن هذا أن المتغيرات الكامنة تشرح فقط التباين الذي لا تستطيع المكافأة الأساسية تفسيره، مما يمنع النموذج من الإفراط في التخصيص (overfitting) أو تفسير السلوك عبر تغييرات تعسفية في هيكل المكافأة المشترك.

المساهمات الرئيسية

• مفاهيمية: تقدم الورقة منظوراً جديداً لنقص البيانات في IRL: تكميم الحد الأدنى من السياق غير الملحوظ المطلوب لجعل الأفعال الملحوظة تبدو مثالية، بدلاً من محاولة استعادة البيانات المفقودة نفسها.
• تقنية: تطوير MP-IRL، وهي خوارمة تصيغ ذلك كمسألة تحسين مقيدة باستخدام اضطرابات قائمة على النواة وإجراء تدريب ذي مرحلتين لفصل هيكل المكافأة المشترك عن السياق المفقود الخاص بكل مسار.
• تجريبية: إثبات أن حجم الاضطراب المتعلم يتناسب مع مقدار المعلومات المفقودة، وأن الطريقة يمكنها تحديد المواضع التي يكون فيها السياق المفقود حرجاً (على سبيل المثال: مناطق قرار محددة).

النتائج التجريبية
قيم المؤلفون MP-IRL في ثلاث مهام ملاحة مستمرة اصطناعية، ومحاكي لعلاج السرطان، ومجموعة بيانات واقعية لإدارة انخفاض ضغط الدم في وحدة العناية المركزة (MIMIC-IV).

• مهام الملاحة: في المهام التي تحدد فيها المتغيرات الثنائية المخفية الأفعال في "مناطق قرار" معينة، تفشل خوارزمية IRL القياسية في مطابقة أفعال الخبير داخل هذه المناطق (الدقة ~60%). يعيد MP-IRL الدقة إلى ما يقرب من 98-99%. ومن المهم أن حجم الاضطراب المتعلم ($\|z_n\|_1$) يتدرج مع تعقيد المعلومات المفقودة: المهام التي تتطلب بتًا مخفيًا واحدًا حققت اضطرابات أصغر من المهام التي تتطلب بتين مستقلين.
• محاكي السرطان: تم اختبار الطريقة مع مستويات متفاوتة من حجب الميزات (من "كل الميزات" إلى "الزمن فقط"). مع إخفاء المزيد من الميزات، تدهور أداء IRL القياسي (دقة أقل، وNLL أعلى). حافظ MP-IRL على دقة عالية، وزاد حجم الاضطراب المطلوب بشكل رتيب مع كمية المعلومات المفقودة (على سبيل المثال، من 0.54 إلى 1.65 مع إزالة الميزات).
• مهمة انخفاض ضغط الدم في العناية المركزة: في البيانات السريرية الواقعية، حسن MP-IRL دقة مطابقة الأفعال بشكل كبير مقارنة بـ IRL القياسي (على سبيل المثال، من ~55% إلى ~90%). ظل حجم الاضطراب مستقراً عند إضافة الميزات ذات القدرة التنبؤية المنخفضة، مما يشير إلى أن المقياس يعكس النقص ذو الصلة بالقرار وليس مجرد حجم البيانات الملحوظة.

الأهمية والادعاءات
تدعي الورقة أن MP-IRL توفر أداة تشخيصية لمجموعات البيانات السلوكية. من خلال تكميم الحد الأدنى من الاضطراب اللازم لتفسير سلوك الخبير، يمكن للباحثين تقييم ما إذا كان عدم المثالية الظاهري ناتجاً عن اتخاذ قرار سيئ أم أنه ببساطة بسبب سياق سريري مفقود.

• الفائدة العملية: إذا كان النقص المحتمل كبيراً، فهذا يشير إلى ضرورة توخي الحذر عند التعامل مع المهام اللاحقة (مثل تقييم السياسة أو RL غير المتصل/offline RL) أو أن عمليات جمع البيانات تحتاج إلى تحسين.
• القابلية للتفسير: تقوم الطريقة بتحديد مواضع النقص في مناطق محددة من فضاء الحالة (على سبيل المثال: خطوات زمنية محددة في علاج السرطان أو حدود قرار محددة في الملاحة)، مما يوفر رؤى حول أين تكون البيانات المسجلة غير كافية.
• القيود: يقر المؤلفون بأن التمثيل القائم على النواة قد يواجه صعوبة في فضاءات الحالة عالية الأبعاد جداً بسبب متطلبات البيانات لتحسين النوى الموضعية.

لا تدعي الورقة استعادة القيم المفقودة بدقة، بل تهدف إلى تقديم حد كمي لـ مدى النقص المطلوب للحفاظ على فرضية مثالية الخبير.