ملخص تقني: الواقع مقابل المحاكاة شبه الكاملة: إعادة التفكير في التقييم لتقدير تأثير المعالجة

بيان المشكلة

يواجه مجال تعلم الآلة السببي (Causal ML) عدم توافق حرج بين ممارسات التقييم البحثية ومتطلبات النشر في العالم الحقيقي. فبينما تعتمد الأبحاث الأكاديمية بشكل أساسي على المعايير شبه المحاكية (semi-simulated benchmarks) ومقاييس النتائج المضادة للواقع (counterfactual metrics) (مثل $\sqrt{PEHE}$) التي تتطلب نتائج محتملة معلومة مسبقاً، تعمل التطبيقات الصناعية في ظروف تتوفر فيها فقط النتائج الملحوظة (observable outcomes). وفي الإعدادات الواقعية، تكون النتيجة المضادة للواقع (ما كان سيحدث تحت معالجة مختلفة) غير ملحوظة بطبيعتها. وبناءً على ذلك، يجب على الممارسين الاعتماد على المقاييس الملحوظة مثل أداء التصنيف (على سبيل المثال، منحنيات الرفع/uplift curves) أو نتائج الاختبار الفعلية.

تتمثل المشكلة الجوهرية التي يتناولها البحث في ما إذا كانت أنظمة التقييم المستخدمة في الأوراق المنهجية تتنبأ بشكل موثوق بأداء النموذج في سيناريوهات النشر. وتحديداً، يبحث المؤلفون فيما إذا كانت النماذج التي يتم اختيارها كـ "الأفضل" بواسطة المقاييس المضادة للواقع في البيانات شبه المحاكية، تنتقل بفعالية إلى مجموعات البيانات الحقيقية عند تقييمها باستخدام المقاييس الملحوظة.

المنهجية

يجري المؤلفون دراسة تجريبية واسعة النطاق تشمل 117 حالة مرجعية، تتكون من 112 مجموعة بيانات شبه محاكية و5 مجموعات بيانات من العالم الحقيقي. تتراوح أحجام العينات من مئات إلى ما يقرب من 14 مليون (Criteo-ITE).

المقدرات التي تم تقييمها

تقيم الدراسة مجموعة شاملة من المقدرات، بما في ذلك:

• المتعلمين الميتا (Meta-learners): المتعلمون من نوع S-، T-، X-، R-، والمتعلم المتين مزدوج الخطوات (DR) [Künzel et al., 2019; Nie and Wager, 2021].
• المتعلمون الأساسيون (Base Learners): الانحدار الخطي/اللوجستي (LR)، وXGBoost (XGB)، وشبكات عصبية متعددة الطبقات (NN) مكونة من طبقتين.
• البنى المتخصصة (Specialized Architectures): نماذج TARNet، وCFR، وDragonNet، وCausal Forests.

مقاييس التقييم

يقارن المؤلفون بين ثلاث عائلات من المقاييس:

1. المعتمدة على النتائج المضادة للواقع (Oracle): $\sqrt{PEHE}$، وقيمة السياسة (Policy Value)، و$\Delta$ATE(Sim). تتطلب هذه المقاييس الوصول إلى كل من النتائج المحتملة وهي مقتصرة على الإعدادات شبه المحاكية.
2. المعتمدة على النتائج الملحوظة: الخسارة الفعلية (Factual loss) و$\Delta$ATE (قياس التفاوت بين المتوسط المتوقع لآثار المعالجة والمتوسط التجريبي).
3. المعتمدة على التصنيف الملحوظ: Up@20، ودرجة Qini، وRATE AUTOC. تقيم هذه المقاييس قدرة النموذج على تحديد الأولويات للوحدات المستهدفة بالمعالجة بناءً على البيانات الملحوظة.

التصميم التجريبي

تعالج الدراسة سؤالين رئيسيين:

• س1 (انتقال المقياس - Metric Transfer): هل تسبب المقاييس المضادة للواقع في البيانات شبه المحاكية نفس ترتيب النماذج الذي تسببه المقاييس الملحوظة؟
• س2 (انتقال مجموعة البيانات - Dataset Transfer): هل تنتقل الترتيبات التي تم الحصول عليها من المعايير المرجعية شبه المحاكية إلى مجموعات البيانات الحقيقية؟

يستخدم المؤلفون اختبار "كيندال" ($\tau$) واختبار "ويلكوكسون" للرتب الموقعة لتحديد مدى الاتفاق بين ترتيبات المقاييس. كما يقومون بإجراء دراسة حالة متطابقة باستخدام مجموعة بيانات Criteo (الحقيقية) وCriteo-ITE (النسخة شبه المحاكية المشتقة من المصدر نفسه) لعزل تأثير نظام التقييم عن اختلافات المتغيرات التفسيرية.

النتائج الرئيسية

1. الانفصال في المقاييس (Q1)

تجد الدراسة أن المقايح المضادة للواقع لا تستعيد بشكل موثوق المقدرات المفضلة من قبل المقاييس الملحوظة، حتى في نفس المعاي المرجعية شبه المحاكية.

• تباين التصنيف: النماذج التي يتم اختيارها كـ "الأفضل" بواسطة $\sqrt{PEHE}$ غالباً ما تتكبد خسائر كبيرة عند تقييمها باستخدام مقاييس التصنيف مثل Up@20 أو Qini. على سبيل المثال، كان المقدر الذي اختاره $\sqrt{PEHE}$ في المرتبة 13 في المتوسط تحت مقياس Up@20.
• الأهمية الإحصائية: الاتفاق بين مقاييس التصنيف أعلى بكثير (متوسط $\tau = 0.355$) من الاتفاق بين مقاييس التصنيف والمقاييس المضادة للواقع (متوسط $\tau = 0.256$).
• الآثار المترتبة: إن معاملة المقاييس المضادة للواقع كمعيار ذهبي لاختيار النماذج قد يؤدي إلى اختيار مقدرات دون المستوى الأمثل للأهداف الموجهة نحو النشر.

2. عدم قابلية انتقال مجموعة البيانات (Q2)

الترتيبات التي تم الحصول عليها من المعاي المرجعية شبه المحاكية لا تنتقل إلى مجموعات البيانات الحقيقية، حتى عند استخدام نفس المقاييس الملحوظة.

• الفائزون غير المتسقين: الطرق التي تهيمن على المعاي المرجعية شبه المحاكية (مثل DragonNet وDR-LR في IHDP) غالباً ما تفشل في الظهور في المراتب العليا في مجموعات البيانات الواقعية.
• تحولات الرتب: هناك تشتت كبير في تحولات الرتب ($\Delta$Rank) بين البيانات شبه المحاكية والبيانات الحقيقية. على سبيل المثال، غالباً ما تتحسن رتب المقدرات القائمة على R- وDR- في البيانات الحقيقية، بينما قد تتدهور رتب T- وX-learners.
• دراسة الحالة المتطابقة: حتى في دراسة Criteo المتطابقة (نفس المتغيرات وتعيينات المعالجة، ولكن بنوع مختلف من توليد النتائج)، تغير الترتيب العام للمقدرات بين إعدادات (Criteo-ITE) المضادة للواقع وإعدادات (Criteo) الملحوظة.

3. ملاحظات عملية

• هيمنة المتعلمين الأساسيين: المتعلمون الميتا البسيطون المقترنون بأساليب تنبؤ قوية (تحديداً XGBoost) هم منافسون باستمرار عبر الأنظمة المختلفة. حيث تهيمن نماذج T(XGB) وX(XGB) وS(XGB) على الترتيب العام.
• النماذج المتخصصة: النماذج العصبية المتخصصة (مثل DragonNet وCFR) غالباً ما يكون أداؤها أقل مقارنة بالمتعلمين الميتا البسيطين ذوي الأسس الجدولية (tabular backbones)، إلا عندما يتم تقييمها خصيصاً بمقاييس مضادة للواقع في البيئات شبه المحاكية.

الأهمية والادعاءات

يجادل البحث بأن مجال تقدير تأثير المعالجة يواجه كلاً من مشكلة المقياس ومشكلة مجموعة البيانات.

1. إعادة تقييم بروتوكولات التقييم: يدعي المؤلفون أن التقدم في تعلم الآلة السببي لا ينبغي تقييمه فقط من خلال المقاييس المضادة للواقع (التي تعتمد على معرفة النتائج مسبقاً) والمعاي المرجعية شبه المحاكية. فهذه الأنظمة يمكن أن تكافئ الأساليب ذات التحيزات الاستقرائية التي تتوافق مع آليات المحاكاة بدلاً من ضوضاء المعالجة أو النتائج في العالم الحقيقي.
2. الحاجة إلى التحقق من البيانات الحقيقية: تدعو الدراسة إلى دمج المقاييس الملحوظة والتحقق من البيانات الحقيقية لسد الفجوة بين البحث والنشر.
3. معايير القياس المرجعي: يقترح المؤلفون أن الأوراق المنهجية يجب أن تتضمن المتعلمين الميتا البسيطين مع أسس تنبؤ قوية (مثل XGBoost) كخطوط أساس (baselines)، حيث أن النماذج السببية المتخصصة غالباً ما تفشل في التفوق عليها في الإعدادات الملحوظة والموجهة نحو النشر.

يخلص البحث إلى أنه بينما تعتبر المعاي المرجعية شبه المحاكية مفيدة لاختبار الضغط والتحليل المنضبط، إلا أنها غير كافية كدليل مستقل للتطبيقات العملية. ويجب أن يركز العمل المستقبلي على تطوير بروتوكولات تقييم تربط بشكل أفضل بين التقييم المضاد للواقع (الذي يعتمد على معرفة النتائج مسبقاً) وبين المعاي الموجهة نحو النشر والمبنية على النتائج الملحوظة.