Conformal Inference for Counterfactuals and Individual Treatment Effects with Experiment Attrition

إليك ملخص تقني مفصل لورقة "الاستدلال التوافقي للتوقعات المضادة وتأثيرات العلاج الفردية مع تسرب التجربة" للباحث شيانغ يو سونغ.

1. بيان المشكلة

تتناول الورقة تحدي تسرب التجربة (فقدان بيانات النتائج بسبب عدم الاستجابة أو الانسحاب) في التجارب العشوائية المنضبطة (RCTs)، وهي مشكلة شائعة في أبحاث العلوم الاجتماعية.

• المشكلة الجوهرية: عندما يحدث التسرب، يفقد الباحثون القدرة على ملاحظة النتائج المحتملة لمجموعة فرعية من الوحدات. تعتمد الأساليب القياسية مثل تحليل الحالة الكاملة (CCA)، أو التعدد الإحلالي (MI)، أو ترجيح الاحتمالية العكسية (IPW) على افتراضات معلمية قوية (مثل التوزيع الطبيعي، أو صحة توصيف النموذج) أو آليات فقدان بيانات محددة (مثل الفقدان العشوائي تماماً - MCAR).
• الفجوة: تفشل الطرق الحالية غالباً في مراعاة انزياح المتغيرات المرافقة (covariate shift)—وهي الظاهرة التي يختلف فيها توزيع المتغيرات المرافقة بين المجموعة الملحوظة ($R=1$) ومجموعة التسرب ($R=0$). علاوة على ذلك، فإن العديد من طرق الاستدلال التوافقي الحالية للتأثيرات السببية (مثل Lei & Candès, 2021) تنتج فترات تنبؤ واسعة للغاية (محافظة بشكل مفرط) أو تعتمد على افتراضات (مثل MCAR) لا تصمد في الواقع (حيث يكون الفقدان العشوائي - MAR أكثر واقعية).
• الهدف: بناء فترات تنبؤ صالحة وخالية من التوزيع لتأثيرات العلاج الفردية (ITE) والنتائج المضادة (counterfactuals) خصيصاً لمجموعة التسرب، مع ضمان أن تكون الفترات ضيقة بما يكفي لتكون مفيدة.

2. المنهجية

يقترح المؤلف إطار عمل جديد يجمع بين الاستدلال التوافقي (Conformal Inference) والتقدير الكفء شبه المعلمي (Semiparametric Efficient Estimation) للتعامل مع البيانات المفقودة تحت افتراض الفقدان العشوائي (MAR).

أ. الإطار النظري

• الإعداد: تستخدم الورقة إطار النتائج المحتملة. لتكن $Y(1), Y(0)$ هي النتائج المحتملة، $D$ هو العلاج، $X$ هي المتغيرات المرافقة، و $R$ هو مؤشر الاستجابة ($R=1$ ملحوظ، $R=0$ تسرب).
• الافتراضات:
  1. عدم الارتباك (Unconfoundedness): تخصيص العلاج مستقل عن النتائج المحتملة بشرط معرفة $X$.
  2. MAR (عدم ارتباك التسرب): التسرب مستقل عن النتائج المحتملة بشرط معرفة $X$ و $D$.
  3. التداخل (Overlap): درجات الاحتمالية (Propensity scores) للعلاج والاستجابة محصورة بعيداً عن 0 و 1.
• التحدي ذو الخطوتين:
  1. بناء فترات تنبؤ للنتائج المضادة و ITEs داخل المجموعة الملحوظة (معالجة انزياح المتغيرات المرافقة بين وحدات العلاج ووحدات الضبط).
  2. تعميم هذه الفترات على مجموعة التسرب (معالجة انزياح المتغيرات المرافقة بين المجموعات الملحوظة ومجموعات التسرب).

ب. الخوارزمية المقترحة: الاستدلال التوافقي الكفء شبه المعلمي

بدلاً من الاعتماد فقط على المئينات التجريبية لدرجات عدم التطابق (والتي قد تكون غير كفؤة وتنتج فترات واسعة)، يشتق المؤلف دالة التأثير الكفؤة (EIF) لتحديد عتبات فترات التنبؤ.

1. الخطوة 1: المجموعة الملحوظة (النتائج المضادة و ITE):

   • يستخدم انحدار الكميات التوافقي المنقسم (Split CQR).
   • يشتق الـ EIF ($\psi_d$) لـ كمية درجة عدم التطابق. يسمح هذا بتقدير "متين العناصر" (doubly robust)، مما يصحح انزياح المتغيرات المرافقة بين مجموعات العلاج والضبط داخل العينة الملحوظة.
   • يتم تحديد العتبة $\hat{\eta}_{\alpha, d}$ عن طريق حل شرط اللحظة للعينة الخاص بالـ EIF.

2. الخطوة 2: مجموعة التسرب (التعميم):

   • يعامل فترات تنبؤ ITE من الخطوة 1 كـ "نتائج بديلة" لمجموعة التسرب.
   • يطبق طبقة ثانية من الاستدلال التوافقي لتوسيع هذه الفترات لتشمل مجموعة التسرب.
   • يشتق EIF ثانٍ ($\psi_{\mathcal{C}}$) للتعامل مع انزياح المتغيرات المرافقة بين المجموعات الملحوظة ($R=1$) ومجموعات التسرب ($R=0$).
   • يستخدم دالة توسيع الفترة $\check{\mathcal{C}}_{ITE}(X)$ التي تمت معايرتها عبر الـ EIF لضمان تغطية الفترة للـ ITE الحقيقي باحتمالية $1 - (\alpha + \gamma)$.

3. تفاصيل التنفيذ:

   • تقسيم البيانات: يستخدم تقسيماً ثلاثي الأجزاء (ما قبل التدريب، التدريب، المعايرة) لمنع الإفراط في ملاءمة المعلمات المزعجة (propensity scores والتوزيعات الشرطية).
   • المتعلمون: يستخدم نماذج تعلم آلي مرنة (Random Forest, BART, XGBoost, إلخ) عبر SuperLearner لتقدير المعلمات المزعجة.
   • الضمانات التقاربية: تضمن الطريقة التغطية التقاربية لـ $1 - (\alpha + \gamma)$ لمجموعة التسرب، بشرما تم تقدير المعلمات المزعجة بدقة كافية (المتانة المزدوجة).

3. المساهمات الرئيسية

1. إطار عمل مبتكر: يقدم الاستدلال التوافقي كأداة قوية للعلوم السياسية والاستدلال السببي، مصممة خصيصاً للتعامل مع البيانات المفقودة الناجمة عن التسرب تحت فرضية MAR.
2. ابتكار منهجي: يجمع بين الاستدلال التوافقي مع نظرية الكفاءة شبه المعلمية. من خلال استخدام الـ EIFs لتحديد عتبات عدم التطابق بدلاً من المئينات التجريبية الخام، تحقق الطريقة فترات تنبؤ أضيق مع الحفاظ على تغطية صالحة، متجاوزة بذلك "التحفظ" الذي تتسم به طرق CQR الموزونة السابقة.
3. تقييم شامل: يقدم تقييماً صارماً عبر نماذج تنبؤية مختلفة وعمليات توليد البيانات (DGPs)، مما يثبت تفوق الطريقة على البدائل القياسية في كل من التغطية وطول الفترة.

4. النتائج

أ. الدراسات المحاكاتية

• الإعداد: محاكاة مونت كارلو مع أحجام عينات $N \in \{500, 1000, 5000\}$ وتنوع في ارتباطات المتغيرات المرافقة.
• المقارنات: تمت مقارنة الطريقة المقترحة (CISE) مقابل:
  1. التعدد الإحلالي (Amelia II).
  2. Weighted CQR مع إطار عمل متداخل غير موزون (Lei & Candès, 2021).
• النتائج:
  • التغطية: تحقق CISE التغطية الاسمية بنسبة 95% (أو أعلى قليلاً) عبر جميع أحجام العينات والنماذج. في المقابل، فشل التعدد الإحلالي غالباً في تحقيق التغطية الاسمية (نقص التغطية) بسبب انتهاك افتراضات التوزيع الطبيعي، بينما كان unweighted nested CQR محافظاً بشكل مفرط (تغطية $\approx 1.0$).
  • طول الفترة: أنتجت CISE فترات أضيق بكثير من unweighted nested CQR (الذي كان واسعاً جداً ليكون مفيداً) وحافظت على أطوال معقولة مقارنة بالتعدد الإحلالي، دون التضحية بالتغطية.
  • المتانة: أدت الطريقة أداءً ثابتاً بغض النظر عن ارتباط المتغيرات المرافقة ($\rho=0$ مقابل $\rho=0.9$).

ب. التطبيقات التجريبية

أعاد المؤلف تحليل دراستين منشورتين:

1. Margalit and Shayo (2021): تجربة ميدانية على الأسواق المالية والتفضيلات السياسية (تسرب بنسبة 17.8%).
   • النتيجة: أنتجت CISE تأثيراً متوسطاً للعلاج (ATE) لمجموعة التسرب (0.190) وهو ضعف الـ ATE للمجموعة الملحوظة (0.098) تقريباً. ظل الـ ATE الإجمالي معنوياً. كانت فترات CISE أضيق من WCQR ومماثلة لـ MI، ولكن مع ضمانات نظرية أفضل.
2. Finkel et al. (2024): التعليم المدني في تونس (تسرب بنسبة 36-40%).
   • النتيجة: بالنسبة لنتائج محددة (M2, M3)، أدى تضمين مجموعة التسرب عبر CISE إلى تغيير الاستنتاجات الجوهرية (مثلاً، تحويل المعنوية من 5% إلى 1% أو الكشف عن معنوية لم تكن موجودة).
   • التباين: كشف التحليل أن مجموعة التسرب كانت تمتلك تأثيرات علاجية متباينة مدفوعة بعوامل مربكة غير ملاحظة (مثل الاهتمام السياسي)، والتي أغفلتها الطرق القياسية.

5. الأهمية والآثار

• استدلال سببي متين: توفر الورقة أساساً أقوى للاستدلال السببي في وجود التسرب، بالانتقال من الاعتماد على افتراضات معلمية قوية (مثل التوزيع الطبيعي) نحو ضمانات خالية من التوزيع.
• الدقة: من خلال الاستفادة من الكفاءة شبه المعلمية، تحل الطريقة المقايضة بين الصلاحية والدقة، حيث تقدم فترات هي في آن واحد مضمونة إحصائياً ومفيدة عملياً (ضيقة).
• السياسة والنظرية: تُظهر النتائج التجريبية أن تجاهل التسرب يمكن أن يؤدي إلى تقديرات متحيزة واستنتاجات جوهرية خاطئة. تسمح الطريقة المقترحة للباحثين بمقارنة التأثيرات العلاجية بصرامة عبر العينات الملحوظة، والمُسربة، والكاملة.
• القيود والعمل المستقبلي:
  • لا تزال الطريقة تعتمد على افتراض MAR (لا يمكنها التعامل مع MNAR).
  • معدلات التسرب العالية يمكن أن تزيد من الضجيج.
  • تقسيم البيانات يقلل من حجم العينة الفعال للتدريب.
  • اتجاهات البحث المستقبلية تشمل التوسع إلى إعدادات MNAR، والدمج مع Double Machine Learning، والتطبيق على بيانات السلاسل الزمنية (panel data).

باختصار، تقدم هذه الورقة حلاً متطوراً للتعامل مع البيانات المفقودة في التجارب، حيث تقدم طريقة سليمة نظرياً، وممكنة حسابياً، ومتفوقة تجريبياً على البدائل الموجودة من حيث موثوقية التغطية ودقة طول الفترة.