Prediction decomposition for causal analysis

فيما يلي ملخص تقني مفصل للورقة البحثية بعنوان "تفكيك التنبؤ للتحليل السببي" (Prediction decomposition for causal analysis) للباحث أوفير ريتش (Ofir Reich).

1. بيان المشكلة

هناك توجه متزايد في مجالات الاقتصاد والعلوم الاجتماعية لاستخدام تنبؤات نماذج تعلم الآلة (ML) كمتغيرات تابعة في التحليل السببي (على سبيل المثال، تقدير أثر التحويلات النقدية على الاستهلاك باستخدام بيانات الهاتف المحمول، أو أثر التدخلات الزراعية على المحاصيل باستخدام الاستشعار عن بعد). هذا النهج مدفوع بالتكلفة العالية لجمع بيانات النتائج الحقيقية (ground-truth) لعينات كبيرة؛ حيث يسمح تعلم الآلة للباحثين بتوليد تنبؤات للمجتمع بأكمله بتكلفة منخفضة.

ومع ذلك، يوجد تحدٍ حاسم: دقة التنبؤ العالية لا تضمن استدلالاً سببياً دقيقاً.

• المشكلة الجوهرية: يتم تحسين نماذج تعلم الآلة لتقليل خطأ التنبؤ (ملاءمة النتائج المرصودة)، في حين يتطلب الاستدلال السببي التقاط التباين "الواقعي المضاد" (counterfactual variation) (أي الفرق بين الحالات المعالجة وغير المعالجة).
• نمط الفشل: قد يحقق النموذج معامل تحديد ($R^2$) مرتفعاً من خلال التقاط الاختلافات المستقرة بين الوحدات بشكل مثالي (مثل: المناطق الأكثر ثراءً لديها استهلاك أعلى)، بينما يكون غير حساس تماماً للتغيرات الناجمة عن المعالجة (مثل: التحويل النقدي لا يغير موقع الأسرة). نتيجة لذلك، يمكن أن يكون تقدير أثر المعالجة باستخدام تنبؤات تعلم الآلة منحازاً نحو الصفر (مضعفاً) أو خاطئاً تماماً، حتى لو كان النموذج يتنبأ بالمستويات المطلقة بشكل جيد.
• القيود الحالية: تفشل معايير اختيار النماذج الحالية (مثل $R^2$ القياسي أو متوسط مربع الخطأ MSE) في التمييز بين النماذج التي تلتقط آثار المعالجة والنماذج التي تلتقط فقط الخصائص الثابتة للوحدات.

2. المنهجية: تفكيك التنبؤ

يقترح المؤلف إطاراً نظرياً لتفكيك خطأ تنبؤ تعلم الآلة إلى ثلاثة مكونات متميزة. يشرح هذا التفكيك سبب فشل المقاييس القياسية ويقدم مقياساً تشخيصياً جديداً.

2.1 نموذج التفكيك

يتم نمذجة النتيجة الفعلية للوحدة $i$ عند الزمن $t$ كما يلي:
$$Y_{i,t}^{actual} = \alpha + \mu_i + \gamma T_{i,t} + \epsilon_{i,t}$$
حيث أن:

• $\mu_i$: التأثيرات الثابتة للوحدة عبر الزمن (الاختلاف بين الوحدات).
• $T_{i,t}$: مؤشر المعالجة.
• $\gamma$: أثر المعالجة الحقيقي.
• $\epsilon_{i,t}$: الخطأ المتغير عبر الزمن (الاختلاف داخل الوحدة الواحدة).

ويتم تفكيك النتيجة المتنبأ بها بواسطة تعلم الآلة كما يلي:
$$Y_{i,t}^{pred} = \alpha + \eta_\mu \mu_i + \eta_T \gamma T_{i,t} + \eta_\epsilon \epsilon_{i,t} + \nu_{i,t}$$

تمثل المعاملات قدرة النموذج على التقاط تباينات محددة:

• $\eta_\mu$ (الملاءمة بين الوحدات): مدى قدرة النموذج على التقاط الاختلافات الثابتة بين الوحدات.
• $\eta_\epsilon$ (الملاءمة داخل الوحدات): مدى قدرة النموذج على التقاط التغيرات الزمنية الطبيعية داخل الوحدة (غير المرتبطة بالمعالجة).
• $\eta_T$ (الملاءمة للواقع المضاد): مدى قدرة النموذج على التقاط أثر المعالجة السببي.
• $\nu_{i,t}$: ضجيج البواقي.

الرؤية النظرية الرئيسية:

• أثر المعالجة المقدر من الانحدار باستخدام النتائج المتنبأ بها هو $\hat{\gamma}_{pred} = \eta_T \cdot \gamma$.
• دقة التنبؤ القياسية ($R^2$) تتأثر بشدة بـ $\eta_\mu$ (والذي غالباً ما يكون كبيراً في البيانات الواقعية) ولكنها غير حساسة إلى حد كبير لـ $\eta_T$.
• الفرضية: $\eta_\epsilon$ هو وكيل (proxy) أفضل هيكلياً لـ $\eta_T$ من الدقة الإجمالية. كلاهما يعتمد على إشارات ديناميكية متغيرة زمنياً، بينما يعتمد $\eta_\mu$ على سمات ثابتة لا تستجيب للمعالجة.

2.2 المقياس المقترح: ميل "الفرق مقابل الفرق" (Diff-vs-Diff Slope)

لتقدير $\eta_\epsilon$ دون الحاجة لبيانات تجريبية (والتي تتطلبها تقدير $\eta_T$ مباشرة)، يقترح المؤلف مقياساً باستخدام بيانات بانل (Panel Data) (فترتين زمنيتين على الأقل) من عينة فرعية غير معالجة (مجموعة ضابطة).

1. حساب الفروقات: احسب التغير في النتائج الفعلية والمتنبأ بها لكل وحدة بين الزمن $t=1$ والزمن $t=2$: $\Delta Y_i = Y_{i,2} - Y_{i,1}$.
2. الانحدار: قم بإجراء انحدار للتغير في النتائج المتنبأ بها على التغير في النتائج الفعلية (بدون تقاطع/intercept) للمجموعة الضابطة:
   $$\Delta Y_i^{pred} = \beta \cdot \Delta Y_i^{actual} + \text{error}$$
3. التقدير: الميل المقدر $\hat{\beta}$ هو مقدر لـ $\eta_\epsilon$.
   • الاشتقاق: في غياب المعاللة ($T=0$)، يكون التباين المشترك بين $\Delta Y^{pred}$ و $\Delta Y^{actual}$ مدفوعاً فقط بـ $\eta_\epsilon$ وتباين $\epsilon$. نسبة التباينات المشتركة تعطي $\eta_\epsilon$.

3. المساهمات الرئيسية

1. التفكيك النظري: صياغة فشل تنبؤات تعلم الآلة في التحليل السببي عبر فصل أداء التنبؤ إلى مكونات: بين الوحدات ($\eta_\mu$)، وداخل الوحدات ($\eta_\epsilon$)، وأثر المعالجة ($\eta_T$).
2. المقياس التشخيصي: تقديم ميل "الفرق مقابل الفرق" ($\hat{\eta}_\epsilon$) كأداة لاختيار النماذج. يتيح ذلك للباحثين اختيار نماذج تعلم الآلة التي تتحسس للديناميكيات الزمنية (وبالتالي من المرجح أنها تتحسس للمعالجة) بدلاً من الاكتفاء بالسمات الثاتبة.
3. تصحيح الانحياز: تحت افتراض أقوى وهو $\eta_T \approx \eta_\epsilon$، يتيح المقياس بناء تقدير غير منحاز تقريباً لأثر المعالجة:
   $$\text{Unbiased Effect} = \frac{\text{Estimated Effect}}{\hat{\eta}_\epsilon}$$
4. أدلة المحاكاة: أظهر من خلال البيانات الاصطناعية أن:
   • $R^2$ العالي لا يرتبط بدقة استعادة أثر المعالجة.
   • $\eta_\mu$ هو ما يقود $R^2$، بينما $\eta_T$ هو ما يقود الدقة السببية.
   • مقياس "الفرق مقابل الفرق" ينجح في التنبؤ بالأثر المعالج الموزون عندما يكون $\eta_T = \eta_\epsilon$.

4. نتائج المحاكاة

تحقق المؤلف من الإطار باستخدام بيانات اصطناعية تحاكي تجربة عشوائية محكومة (RCT) مع:

• هيكل البيانات: فترتان زمنيتان، معدل معالجة 50%، مع هيمنة التباين بين الوحدات ($\mu$) على التباين داخل الوحدات ($\epsilon$) (نسبة ~0.92:0.08).
• النتائج:
  • الشكل 1: لا يوجد ارتباط بين $R^2$ الخاص بتنبؤ تعلم الآلة ودقة أثر المعالجة المقدر.
  • الشكل 2 و3: يتم دفع $R^2$ العالي بقوة بواسطة $\eta_\mu$ (الملاءمة لسمات الشخص)، بينما ليس لـ $\eta_\epsilon$ تأثير كبير على $R^2$.
  • الشكل 4: القوة الإحصائية (t-statistic) لاكتشاف آثار المعالجة تتحدد بواسطة $\eta_T$ وليس بواسطة $R^2$ الخاص بالتنبؤ.
  • الشكل 6: عندما تكون $\eta_T = \eta_\epsilon$، فإن ميل "الفرق مقابل الفرق" ($\hat{\eta}_\epsilon$) يتنبأ بدقة بـ "الأثر المعالج الموزون" (Scaled Treatment Effect).
  • الشكل 7: بدون افتراض $\eta_T = \eta_\epsilon$، لا توجد علاقة بين المقياس وأثر المعاللة، مما يسلط الضوء على أهمية الحجة الهيكلية بأن $\eta_\epsilon$ هو وكيل لـ $\eta_T$.

5. دليل عملي للباحثين

تحدد الورقة سير عمل خطوة بخطوة للممارسين:

1. جمع البيانات: تأكد من أن هناك عينة فرعية موسومة تحتوي على نتائج حقيقية لفترتين زمنيتين على الأقل (قبل وبعد التدخل).
2. التدريب: درب نماذج تعلم الآلة فقط على الوحدات غير المعالجة لمنع التلوث بإشارات المعالجة.
3. حساب المقياس: احسب ميل "الفرق مقابل الفرق" ($\hat{\eta}_\epsilon$) للمجموعة الضابطة.
4. اختيار النموذج: اختر النموذج الذي يمتلك أعلى $\hat{\eta}_\epsilon$، وليس أعلى $R^2$. يشير $R^2$ العالي مع $\hat{\eta}_\epsilon$ منخفض إلى أن النموذج يفرط في ملاءمة الخصائص الثابتة للوحدات.
5. تصحيح الانحياز (اختياري): إذا كان $\hat{\eta}_\epsilon < 1$، فإن أثر المعالجة المقدر يكون مضعفاً. إذا كان افتراض $\eta_T \approx \eta_\epsilon$ صحيحاً، فقم بقسمة الأثر المقدر على $\hat{\eta}_\epsilon$ لتصحيح الانحياز.

6. الأهمية والقيود

الأهمية:

• يوفر حلاً صارماً لمشكلة "النهايات البديلة" (surrogate endpoint) في الاستدلال السببي القائم على تعلم الآلة.
• يقدم أداة تشخيصية عملية ومنخفضة التكلفة تتجنب الحاجة لجمع بيانات حقيقية مكلفة للمجتمع بأكمله.
• ينقل التركيز من "التنبؤ بالمستويات" إلى "التنبؤ بالتغيرات"، مما يربط أهداف تعلم الآلة بالأهداف السببية.

القيود والافتراضات:

• متطلب بيانات بانل: تتطلب الطريقة فترتين زمنيتين على الأقل من البيانات الحقيقية لعينة فرعية. لا يمكن تطبيقها على البيانات المقطعية (cross-sectional) البحتة.
• افتراض $\eta_T \approx \eta_\epsilon$: رغم أن الحجة الهيكلية (أن السمات الديناميكية تقود كلاً من التغير الطبيعي والاستجابة للمعالجة) قوية، إلا أن المساواة الدقيقة بينهما يصعب التحقق منها تجريبياً دون تباين تجريبي. المقياس أكثر أماناً عند استخدامه كأداة تشخيصية/لاختيار النماذج بدلاً من كونه عامل تصحيح انحياز مباشر، ما لم يكن الافتراض مبرراً بقوة.
• الخطية: يفترض التفكيك إطاراً خطياً-إضافياً، رغم أن المؤلف يجادل بأن المعاملات يمكن تفسيرها كإسقاطات خطية حتى في السياقات غير الخطية.

في الختام، تجادل الورقة أنه بالنسبة للتحليل السببي، فإن دقة التنبؤ هي مقياس مضلل. يجب على الباحثين إعطاء الأولوية للنماذج التي تلتقط التباين الزمني داخل الوحدة ($\eta_\epsilon$)، حيث أن هذا هو المتطلب الهيكلي المسبق لالتقاط آثار المعالجة في الواقع المضاد ($\eta_T$).