ملخص تقني: CANDOR – التقييم خارج السياسة المعتمد على التعليقات المقابلة للواقع والمزدوج المتانة

بيان المشكلة

يعد التقييم خارج السياسة (OPE) أمراً ضرورياً لنشر خوارزميات العصابات السياقية (contextual bandit) بأمان في المجالات عالية المخاطر مثل الرعاية الصحية، حيث يجب تقييم سياسات علاجية جديدة باستخدام بيانات استرجاعية قبل تنفيذها في العالم الحقيقي. ومع ذلك، فإن تقنيات التقييم خارج السياسة القياسية محدودة بشكل جوهري بتغطية مجموعة البيانات المتاحة. فإذا كانت البيانات التاريخية تفتقر إلى ملاحظات لأزواج معينة من (الحالة-الإجراء) (على سبيل المثال، دواء جديد لم يتم وصفه قط)، فلا يمكن لطرق التقييم خارج السياسة تقدير قيمة السياسة التي توصي بتلك الإجراءات بشكل موثوق.

تحاول النهج الحديثة، مثل مُقدّر IS+، التخفيف من ذلك عن طريق تعزيز مجموعات بيانات السلوك بعينات مقابلة للواقع (counterfactual) مشروحة من قبل خبراء (الجوائز المتوقعة للإجراءات غير المرصودة). ومع ذلك، تفترض هذه الطرق عادةً أن التعليقات مثالية. وفي الممارسة العملية، غالباً ما تكون التعليقات التوضيحية للخبراء (أو تلك التي تولدها النماذج اللغوية الكبيرة) غير كاملة، وتحتوي على تحيز أو ضجيج. إن دمج مثل هذه التعليقات غير المثالية في المُقدِّرات الموجودة بشكل ساذج يمكن أن يؤدي إلى تدهور الأداء، بل وقد يعطي نتائج أسوأ من تجاهل التعليقات تماماً. التحدي الجوهري الذي يعالجه هذا العمل هو كيفية دمج التعليقات المقابلة للواقع غير المثالية في مُقدِّرات التقييم خارج السياسة دون تراكم الأخطاء، لا سي lack خصوصاً في ظل وجود نماذج مكافأة غير محددة بدقة.

المنهجية

يقترح المؤلفون عائلة من مُقدِّرات التقييم خارج السياسة القائمة على إطار عمل المزدوج المتانة (Doubly Robust - DR)، والذي يجمع بين أخذ العينات بالاستناد إلى الأهمية (IS) والطريقة المباشرة (DM) لنموذج المكافأة. تم اختيار إطار عمل DR لضمانه النظري لعدم الانحياز إذا تم تحديد درجات الأهمية (propensity scores) (IS) أو نموذج المكافأة (DM) بشكل صحيح.

يبحث البحث في ثلاث استراتيجيات محددة لدمج التعليقات المقابلة للواقع ($g_i$) في مُقدِّر DR، وتتحدد من خلال كيفية استخدام هذه التعليقات في مكونات DM و IS:

1. DM+-IS: يتم تدريب نموذج المكافأة ($\hat{R}^+$) على مجموعة البيانات المعززة (الفعلية + المقابلة للواقع)، ولكن مكون IS يستخدم فقط البيانات الفعلية الأصلية ودرجات الأهمية القياسية.
   $$\hat{V}_{DM^+-IS} = \frac{1}{N} \sum_{i=1}^N \left( \hat{R}^+(s_i, \pi_e) + \rho_{s_i}(a_i)(r_i - \hat{R}^+(s_i, a_i)) \right)$$
2. DM-IS+: يتم تدريب نموذج المكافأة ($\hat{R}$) على البيانات الفعلية فقط، بينما يتم تعزيز مكون IS باستخدام التعليقات المقابلة للواقع مع إعادة الوزن (على غرار نهج IS+).
   $$\hat{V}_{DM-IS^+} = \frac{1}{N} \sum_{i=1}^N \left( \hat{R}(s_i, \pi_e) + \sum_{a \in A} w_i^a \rho^+_{s_i}(a)(c_i^a - \hat{R}(s_i, a)) \right)$$
3. DM+-IS+: يستخدم كل من نموذج المكافأة ومكون IS مجموعة البيانات المعززة.
   $$\hat{V}_{DM^+-IS^+} = \frac{1}{N} \sum_{i=1}^N \left( \hat{R}^+(s_i, \pi_e) + \sum_{a \in A} w_i^a \rho^+_{s_i}(a)(c_i^a - \hat{R}^+(s_i, a)) \right)$$

التحليل النظري

يقدم المؤلفون تحليلاً صارماً للانحياز والتباين تحت ثلاثة أنظمة للتعليقات:

• التعليقات المثالية: جميع المُقدِّرات الثلاثة غير منحازة.
• التعليقات المتحيزة: يثبت المؤلفون أن DM+-IS يظل مُقدِّراً غير منحاز لقيمة السياسة المستهدفة، حتى عندما تكون التعليقات متحيزة بشكل منهجي. في المقابل، يؤدي DM-IS+ و DM+-IS+ إلى إدخال حد انحياز يتناسب مع خطأ التعليق ($\epsilon_G$)، مما يجعلهما عرضة لتدهور الأداء.
• التعليقات ذات الضجيج: بينما تعاني جميع المُقدِّرات من زيادة في التباين بسبب ضجيج التعليقات، يظهر الاشتقاق النظري أن DM+-IS يحصر تأثير التباين في تقدير نموذج المكافأة، بينما تقوم الطرق الأخرى بتراكم الضجيج من خلال حد إعادة الوزن في IS.

النتائج التجريبية

تم تقييم الطرق المقترحة عبر ثلاثة مجالات:

1. Heartsteps: محاكي شبه اصطناعي للصحة المتنقلة للتدخلات في النشاط البدني.
2. Sepsis: محاكي شبه اصطناعي لعلاج تسمم الدم (تم تكييفه من بيئة MDP إلى عصابة سياقية).
3. MIMIC-IV: مجموعة بيانات حقيقية من السجلات الصحية الإلكترونية (EHR) تركز على تعويض البوتاسيوم الوريدي. تم إنشاء التعليقات المقابلة للواقع لهذه المجموعة باستخدام نموذج OpenAI "o1".

النتائج الرئيسية:

• المتانة تجاه التحيز: في السيناريوهات ذات التعليقات المتحيزة، حقق DM+-IS باستمرار أدنى جذر متوسط مربع الخطأ (RMSE). ظل RMSE الخاص بـ DM+-IS مستقراً مع زيادة تحيز التعليقات، بينما أظهرت DM-IS+ و DM+-IS+ تدهوراً كبيراً في الأداء.
• المتانة تجاه عدم التحديد الدقيق: عند الجمع مع نماذج مكافأة غير محددة بدقة (سيناريو شائع في الواقع)، ظل DM+-IS هو المُقدِّر الأكثر متانة. لقد استفاد بفعالية من البيانات المقابلة للواقع لتحسين التغطية دون وراثة التحيز من التعليقات.
• الأداء في العالم الحقيقي: في مجموعة بيانات MIMIC-IV، تفوق DM+-IS على جميع النماذج المرجعية (بما في ذلك IS و DM و DR القياسية، والمتغيرات المعززة بالتعليقات). ومن الجدير بالذكر أنه مع زيادة عدد التعليقات المقابلة للواقع، تحسن أداء DM+-IS ثم استقر، بينما شهدت المُقدِّرات الأخرى (مثل IS+ و DM-IS+) ارتفاعاً في معدلات الخطأ أو بقيت مرتفعة.
• جودة التعليقات: أظهرت التجارب أن تحيز التعليقات له تأثير سلبي أكبر بكثير على أداء المُقدِّر من تباين (ضجيج) التعليقات.

الأهمية والمساهمات

يقدم هذا البحث المساهمات التالية:

1. عائلة جديدة من المُقدِّرات: يقدم عائلة من المُقدِّرات المستوحاة من DR والتي تم تحليلها نظرياً والمصممة خصيصاً للتعامل مع التعليقات المقابلة للواقع غير المثالية.
2. رؤية نظرية: يحدد أن دمج التعليقات المقابلة للواقع فقط في مكون الطريقة المباشرة (DM) (استراتيجية DM+-IS) هو النهج الأمثل. هذا النهج يحافظ على عدم انحياز المُقدِّر حتى عندما تكون التعليقات متحيزة، وهي خاصية لا تشاركها فيها الطرق التي تعزز مكون IS.
3. التحقق التجريبي: من خلال تجارب واسعة النطاق على بيانات صحية اصطناعية وشبه اصطناعية وحقيقية، يثبت المؤلفون أن DM+-IS هو الخيار الأكثر متانة لتقييم السياسات عندما تكون دقة نموذج المكافأة وجودة التعليقات غير معروفة.

الخاتمة

يعالج هذا العمل الفجوة الحرجة بين الوعد النظري لتعزيز البيانات المقابلة للواقع والواقع العملي للتعليقات غير المثالية. ومن خلال اقتراح مُقدِّر DM+-IS، يوفر المؤلفون طريقة توسع نطاق تطبيق التقييم خارج السياسة (OPE) في المجالات عالية المخاطر مثل الرعاية الصحية. يسمح هذا النهج للممارسين باستخدام التعليقات غير المثالية (سواء كانت من خبراء أو مولدة بواسطة الذكاء الاصطناعي) بأمان لتقييم السياسات الخاصة بالإجراءات غير المغطاة جيداً في البيانات التاريخية، دون المخاطرة بإدخال تحيز منهجي قد يؤدي إلى نشر سياسات غير آمنة. ويخلص البحث إلى أنه في ظل الظروف الواقعية حيث تكون جودة التعليقات غير معروفة، فإن DM+-IS يوفر المسار الأكثر موثوقية للتقييم خارج السياسة.