📊 statistics

Identification and estimation of the conditional average treatment effect with nonignorable missing covariates, treatment, and outcome

تُرسخ هذه الورقة تحديداً غير معلمي وتُطور طرقاً لتقدير متوسط أثر العلاج الشرطي في الدراسات الرصدية حيث تكون المتغيرات المساعدة، والعلاج، والنتائج مفقودة في آن واحد وبشكل غير عشوائي، مع توفير إطار عمل لتحليل الحساسية أيضاً.

المؤلفون الأصليون: Shuozhi Zuo, Yixin Wang, Fan Yang

نُشر 2026-02-24

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Shuozhi Zuo, Yixin Wang, Fan Yang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك طبيب يحاول معرفة أي دواء يعمل بشكل أفضل لأي مريض. تريد أن تعرف: "إذا أعطيت هذا القرص المحدد لهذا الشخص المحدد، فهل سيتحسن؟" هذا هو جوهر CATE (متوسط أثر العلاج الشرطي) — إنه يتعلق بالطب الشخصي، وليس مجرد "متوسط واحد يناسب الجميع".

ولكن هنا تكمن المشكلة: في الحياة الواقعية، تكون سجلات المرضى فوضوية. البعض لم يملأ استماراته، والبعض الآخر نسي الإبلاغ عن أعراضه، والبعض لم يحضر للمتابعة. هذه هي البيانات المفقودة.

عادةً، يفترض الإحصائيون أنه إذا كانت البيانات مفقودة، فذلك بسبب سوء حظ (مثل رسالة بريدية ضائعة). ولكن في كثير من الأحيان، لا تكون البيانات المفقودة عشوائية. فالأشخاص الذين يشعرون بسوء شديد قد يكونون في حالة صحية سيئة تمنعهم من ملء الاستمارة. والناس الذين حققوا ثروة كبيرة قد يخفون دخلهم. هذا ما يسمى MNAR (المفقود ليس عشوائياً). إنه يشبه لعبة حيث اللاعبون الذين يخسرون هم الذين يرفضون إظهار بطاقات نتائجهم.

إذا تجاهلت ذلك وقمت ببساطة برمي الأوراق المفقودة، فستكون استنتاجاتك خاطئة. قد تعتقد أن دواءً ما يعمل بينما هو في الواقع يؤذي أكثر المرضى مرضاً.

الفكرة الكبرى لهذا البحث

المؤلفون (زو، وانج، ويانغ) يشبهون المحققين الذين يحلون لغزاً تكون فيه الأدلة الرئيسية مخفية. يتساءلون: "هل لا يزال بإمكاننا معرفة الحقيقة حول من يستفيد من العلاج، حتى لو كان الأشخاص الذين لديهم أسوأ (أو أفضل) النتائج هم من يخفون بياناتهم؟"

إجابتهم هي "نعم، ولكن..." مع الكثير من الحذر.

لقد وجدوا أنه بينما لا يمكننا دائماً إعادة بناء الصورة الكاملة للسكان (متوسط أثر العلاج - ATE)، إلا أننا نستطيع غالباً معرفة الأثر المحدد لأنواع مختلفة من الناس (متوسط أثر العلاج الشرطي - CATE) إذا وضعنا ثلاثة افتراضات ذكية ومحددة.

"قواعد المحقق" الثلاث (الافتراضات)

لحل اللغز، يقترح المؤلفون ثلاث سيناريوهات مختلفة (الافتراض 1، 2، و3). فكر في هذه كطرق مختلفة لكيفية حدوث "الإخفاء":

القاعدة 1: قاعدة "لا لوم الذات".
- الاستعارة: تخيل طالباً يؤدي اختباراً. إذا رسب، فقد يكون خجلاً من تسليم الورقة. تقول القاعدة 1: "دعونا نفترض أن درجة الاختبار نفسها لا تقرر ما إذا كان سيتم تسليم الورقة أم لا". ربما لم يسلمها لأنه كان مريضاً، وليس لأنه حصل على درجة "راسب".
- النتيجة: إذا كان هذا صحيحاً، فيمكننا ببساطة النظر إلى الطلاب الذين سلموا أوراقهم، وسنحصل على الإجابة الصحيحة.
القاعدة 2: قاعدة "العلاج لا يخفي النتيجة".
- الاستعارة: تخيل دراسة حول نظام غذائي جديد. تقول القاعدة 2: "سواء كنت في مجموعة النظام الغذائي أو مجموعة التحكم، فإن هذا لا يقرر بشكل مباشر ما إذا كنت ستخفي نتائج فقدان وزنك". ربما تخفي نتائجك لأنك خجول، وليس بسبب النظام الغذائي.
- العقبة: لحل اللغز هنا، نحتاج إلى "متغير ظل". هذا يشبه شاهداً يعرف الحقيقة ولكنه ليس هو من يخفيها. في هذه الحالة، يعمل "العلاج" (النظام الغذوي مقابل مجموعة التحكم) كشاهد. إذا كانت مجموعتا النظام الغذائي والتحكم تتبعان أنماطاً مختلفة حول من يخفي نتائج وزنه، فيمكننا هندسة الحقيقة رياضياً عكسياً.
القاعدة 3: "الخلفية لا تخفي النتيجة".
- الاستعارة: مشابه للقاعدة 2، ولكن بدلاً من أن يكون النظام الغذائي هو الشاهد، نستخدم حقيقة خلفية (مثل "العرق" أو "العمر"). تقول القاعدة 3: "خلفيتك لا تقرر مباشرة ما إذا كنت ستخفي وزنك، إلا إذا أثرت على وزنك أولاً".
- العقبة: مرة أخرى، نحتاج إلى "متغير ظل" (الحقيقة الخلفية) الذي يتنوع بما يكفي لمساعدتنا في حل المعادلة.

الأدوات: طريقتان للحل

يقدم البحث أداتين للقيام بالعمليات الحسابية:

الأداة المرنة (غير المعلمية - Nonparametric): تشبه السكين السويسري. لا تفترض أن البيانات تتبع شكلاً معيناً (مثل منحنى الجرس). إنها تحاول الانحناء لتناسب البيانات تماماً.
- المزايا: دقيقة جداً إذا كانت البيانات غريبة.
- العيوب: غير مستقرة. إنها مثل محاولة موازنة بيت من ورق في وسط عاصفة. من الصعب استخدامها في سيناريوهات "ماذا لو".
الأداة المتينة (المعلمية - Parametric): تشبه المنزل مسبق الصنع. أنت تفترض أن البيانات تتبع شكلاً معروفاً (مثل منحنى الجرس).
- المزايا: مستقرة جداً وسهلة الاختبار.
- العيوب: إذا كان افتراضك حول الشكل خاطئاً، فإن المنزل بأكمله سينهار.

الاختبار الواقعي: دراسة "جوب كوربس" (Job Corps)

اختبر المؤلفون أساليبهم على مجموعة بيانات حقيقية تسمى "دراسة جوب كوربس الوطنية".

الهدف: هل ساعد الحصول على شهادة مهنية (العلاج) الناس على كسب المزيد من المال (النتيجة)؟
المشكلة: العديد من الناس لم يبلغوا عن دخولهم، أو تاريخ اعتقالاتهم، أو حتى ما إذا كانوا قد حصلوا على الشهادة. ومن المرجح أن الأشخاص ذوي الدخل الأقل أو سجلات الاعتقال الأسوأ كانوا هم الأكثر عرضة لإخفاء تلك المعلومات.
النتيجة: حتى مع كل هذه البيانات المفقودة، وجد المؤلفون أن الحصول على شهادة قد زاد بالفعل من الدخل للشخص العادي.
اختبار "ماذا لو" (تحليل الحساسية): سألوا: "ماذا لو كانت قواعدنا خاطئة قليلاً؟ ماذا لو كان الناس بالفعل يخفون دخولهم لأن الدخل منخفض؟" قاموا بتعديل الرياضيات لمحاكاة هذا. النتيجة صمدت. ظل الأثر الإيجابي قائماً، حتى عندما دفعوا الافتراضات إلى أقصى حدودها.

الخلاصة

هذا البحث هو طوق نجاة للباحثين الذين يتعاملون مع بيانات العالم الحقيقي الفوضوية.

لا تتخلص ببساطة من البيانات المفقودة. فهي غالباً ما تكون البيانات الأكثر أهمية.
لا يزال بإمكانك العثور على الحقيقة. حتى لو كان الناس يخفون نتائجهم، يمكنك معرفة من يستفيد من العلاج، بشرط استخدام "قواعد المحقق" الصحيحة (الافتراضات).
تحقق دائماً من عملك. يظهر المؤلفون أنه من خلال اختبار مدى حساسية نتائجك لهذه القواعد، يمكنك أن تكون واثقاً من استنتاجاتك حتى عندما تكون بياناتك غير كاملة.

باختصار: مجرد كون البيانات غير مكتملة لا يعني أن الحقيقة ضاعت. أنت فقط بحاجة إلى الخريطة الصحيحة لتجدها.

إليك ملخص تقني مفصل لورقة البحث المعنونة: "تحديد وتقدير متوسط أثر العلاج الشرطي مع وجود متغيرات مفقودة غير قابلة للتجاهل في المتغيرات المستقلة، والعلاج، والنتيجة" من قبل زو، ووانغ، ويانغ.

1. بيان المشكلة

في الدراسات الرصدية، يهدف الباحثون إلى تقدير متوسط أثر العلاج الشرطي (CATE)، والذي يُعرف بـ $\tau(x) = E[Y(1) - Y(0) | X=x]$ ، لفهم الآثار المتباينة للعلاج. ومع ذلك، غالبًا ما تكون البيانات غير مكتملة، حيث تخضع المتغيرات المستقلة ( $X$ )، والعلاج ( $T$ )، والنتائج ( $Y$ ) لعمليات فقدان (missingness).

التحدي الجوهري الذي تعالجه الورقة هو "البيانات المفقودة ليس عشوائياً" (MNAR)، حيث تعتمد احتمالية الفقد على القيم غير الملحوظة نفسها (على سبيل المثال، الأفراد ذوو الدخل المنخفض هم أقل عرضة للإبلاغ عن دخولهم).

محدودية الطرق القياسية: تعتمد الطرق القياسية مثل تحليل الحالة الكاملة (CCA)، والتعويض المتعدد (MI)، والوزن العكسي للاحتمالية (IPW) على افتراضات "البيانات المفقودة عشوائياً" (MAR) أو "المفقودة تماماً بشكل عشوائي" (MCAR). وفي ظل ظروف MNAR، تؤدي هذه الطرق إلى تقديرات متحيزة.
الفجوة في الأدبيات: رغم وجود بعض الأعمال حول تحديد "متوسط أثر العلاج" (ATE) تحت ظروف MNAR، إلا أنها غالبًا ما تتطلب افتراضات مقيدة (مثل أن يكون الفقد في المتغيرات المستقلة فقط، أو عدم وجود رقابة ذاتية في النتائج). علاوة على ذلك، فإن استعادة التوزيع المشترك الكامل (المطلوب للـ ATE) غالبًا ما يكون مستحيلاً تحت ظروف MNAR العامة، ومع ذلك قد يظل الـ CATE قابلاً للتحديد.
السياق المحدد: تركز الورقة على الدراسات الاستشرافية (Prospective studies) حيث يتم قياس $X$ و $T$ قبل $Y$ . هذا الترتيب الزمني يعني أن $Y$ لا يمكن أن تؤثر على فقدان $X$ أو $T$ ، ولكن $X$ و $T$ يمكن أن يؤثرا على فقدان $Y$ ، كما يمكن لـ $Y$ أن تؤثر على فقدانها الخاص (الرقابة الذاتية).

2. المنهجية

2.1 الإطار السببي والافتراضات

يتبنى المؤلفون إطار النتائج المحتملة مع افتراضات SUTVA، وStrong Ignorability، وPositivity. وقد حددوا ثلاثة آليات محددة لـ MNAR (الافتراضات 1–3) من خلال تقييد الرسم البياني الموجه غير الدوري (DAG) لعملية الفقد:

الافتراض 1 (مستقل عن النتيجة): $R_Y \perp Y \mid (X, T, R_X, R_T)$ . النتيجة لا تؤثر على فقدانها الخاص (لا توجد رقابة ذاتية).
الافتراض 2 (مستقل عن العلاج): $R_Y \perp T \mid (X, Y, R_X, R_T)$ . فقدان النتيجة يعتمد على $Y$ (يسمح بالرقابة الذاتية) ولكنه مستقل عن العلاج $T$ بشرط معرفة $X$ و $Y$ .
الافتراض 3 (مستقل عن المتغيرات المستقلة): $R_Y \perp X \mid (T, Y, R_X, R_T)$ . فقدان النتيجة يعتمد على $Y$ ولكنه مستقل عن المتغيرات $X$ بشرط معرفة $T$ و $Y$ .

2.2 نتائج التحديد (Identification)

تثبت الورقة التحديد غير المعلمي (Nonparametric identification) للـ CATE تحت هذه الافتراضات:

تحت الافتراض 1: يمكن تحديد الـ CATE باستخدام الحالات الكاملة فقط ( $R_X=R_T=R_Y=1$ ) لأن $P(Y|X,T)$ يمكن استعادتها من الحالات الكاملة.
تحت الافتراضين 2 و 3: يتطلب التحديد شرط الاكتمال (Completeness condition).
- بالنسبة للافتراض 2، يجب أن يعمل $T$ كـ "متغير ظل" (مرتبط بـ $Y$ ولكن لا يؤثر مباشرة على $R_Y$ بمعلومية $X, Y$ ). يتم تحديد التوزيع الشرطي $P(Y|X,T)$ إذا كان التوزيع المشترك لـ $(Y, R_Y=1)$ كاملاً في $T$ .
- بالنسبة للافتراض 3، يعمل $X$ كمتغير الظل. يتحقق التحديد إذا كان التوزيع كاملاً في $X$ .
- حالة خاصة: إذا كان $Y \perp T \mid X$ (طبقة التأثير الصفري)، فإن الـ CATE يُحدد كـ 0 حتى بدون شرط الاكتمال تحت الافتراض 2.

الرؤية الجوهرية: يعتمد الـ CATE فقط على التوزيع الشرطي $P(Y|X,T)$ ، وليس على التوزيع المشترك الكامل لـ $(X,T,Y)$ . لذلك، يمكن تحديد الـ CATE تحت ظروف MNAR أضعف مما يتطلبه الـ ATE (الذي يتطلب التوزيع المشترك الكامل).

2.3 استراتيجيات التقدير

يقترح المؤلفون مقدرين لظروف MNAR (الافتراضات 2 و 3):

مقدر السلاسل غير المعلمي (Nonparametric Series 2SLS Estimator):
- يحل معادلة فريدولم التكاملية لاستعادة دالة نسب الاحتمال $\zeta(x,y) = P(R_Y=0|...)/P(R_Y=1|...)$ .
- يستخدم تقريب السلسلة (Basis functions) والتنظيم التربيعي للتعامل مع الطبيعة غير جيدة التحديد (ill-posed) للمعادلة التكاملية.
- يبني أوزانًا مصححة للاختيار لتقدير $E(Y|X,T)$ على الحالات الكاملة.
المقدر البارامتري (Parametric EM Estimator):
- يفترض نماذج بارامترية لتوزيع النتيجة $P_\beta(Y|X,T)$ وآلية الفقد $\pi_\lambda(R_Y|...)$ .
- يستخدم خوارزمية توقع التعظيم (EM) مع التعويض الجزئي (Fractional Imputation) للتعامل مع النتائج الكامنة.
- أكثر استقرارًا من النهج غير المعلمي ولكنه يعتمد على صحة توصيف النموذج.

3. المساهمات الرئيسية

نظرية تحديد مبتكرة: تقدم أول نتائج تحديد غير معلمية للـ CATE تحت آليات MNAR متعددة المتغيرات عامة حيث تكون $X$ و $T$ و $Y$ جميعها مرصودة جزئيًا، بما في ذلك الرقابة الذاتية للنتائج.
التمييز بين CATE و ATE: توضح أن الـ CATE يمكن تحديده تحت ظروف أضعف من الـ ATE لأنه لا يتطلب استعادة التوزيع المشترك للمتغيرات المستقلة والعلاج.
إطار مرن: تطور إطارًا يستوعب الرقابة الذاتية في النتائج مع السماح بـ MNAR عام في المتغيرات المستقلة، بشرط تحقق قيود استقلال محددة.
إطار تحليل الحساسية: تقترح نهج تحليل حساسية أحادي المعلمة. من خلال إعادة إدخال الحافة المستبعدة في الرسم البياني (DAG) (على سبيل المثال، السماح بـ $Y \to R_Y$ عندما كان يُفترض غيابها)، يحدد المؤلفون مدى قوة تقديرات الـ CATE تجاه انتهاك الافتراضات الأساسية.
مقدار عملية: تطور مقدرات بارامترية وغير معلمية مرنة، كاملة مع إجراءات الاستدلال (Bootstrap).

4. النتائج

4.1 الدراسات المحاكاتية

الإعداد: محاكاة مع $N=1000$ تغطي تركيبات ثنائية/مستمرة لـ $X, T, Y$ تحت الافتراضات 1–3.
النتائج:
- تحت الافتراض 1، يكون تحليل الحالة الكاملة (CCA) غير متحيز.
- تحت الافتراضين 2 و 3، تظهر طرق CCA والتعويض المتعدد (MI) التقليدية تحيزًا كبيرًا.
- تظل المقدرات غير المعلمية (NP) و البارامترية (Para) المقترحة غير متحيزة تقريبًا عندما يتحقق شرط الاكتمال.
- عندما يفشل شرط الاكتمال (مثل $T$ ثنائي تحت الافتراض 2)، يظهر المقدر غير المعلمي تحيزًا (بسبب المعادلات التكاملية غير محددة)، بينما يظل المقدر البارامتري غير متحيز (لأن النماذج البارامترية يمكن أن تحقق الاكتمال حتى مع المتغيرات المنفصلة).
- نموذج Para (full) (الذي ينمذج التوزيع المشترك الكامل) يعطي نتائج متحيزة، مما يؤكد أن نمذجة المكونات غير القابلة للتحديد تؤدي إلى الخطأ.

4.2 التطبيق: دراسة "National Job Corps" (NJCS)

السياق: تقدير أثر الحصول على مؤهل تعليمي ( $T$ ) على الدخل الأسبوعي ( $Y$ ) باستخدام المتغيرات المستقلة الأساسية ( $X$ ). تعاني البيانات من معدلات فقد عالية (تصل إلى 21%) في $X$ و $T$ و $Y$ .
التحليل:
- تم تطبيق نموذج مكون من جزئين (احتمالية الدخل > 0 وحجم الدخل) للتعامل مع الدخل الذي يحتوي على الكثير من الأصفار.
- النتيجة الرئيسية: تظهر جميع المقدرات (CCA, MI, NP, Para) تحت الافتراضات 1–3 باستمرار أثرًا إيجابيًا وذا دلالة إحصائية للحصول على المؤهل على الدخل للملف المرجعي.
- تحليل الحساسية: قام المؤلفون بتغيير معامل الحساسية $\delta$ (الذي يمثل قوة انتهاك افتراض MNAR) عبر النطاق $[-2, 2]$ . ظل الأثر الإيجي المقدر قويًا عبر جميع الافتراضات الثلاثة وعبر نطاق الحساسية بأكمله.

5. الأهمية والخاتمة

توفر هذه الورقة تقدمًا منهجيًا حاسمًا للاستدلال السببي في ظل وجود بيانات مفقودة معقدة.

الأهمية السياساتية: توفر طريقة صارمة لتقدير الآثار المتباينة للعلاج في الدراسات الرصدية الواقعية (مثل NJCS) حيث غالبًا ما تكون البيانات MNAR بسبب حساسية المتغيرات (مثل الدخل أو سجل الاعتقال).
القوة (Robustness): من خلال إظهار إمكانية تحديد الـ CATE حتى عندما لا يكون التوزيع المشترك الكامل قابلًا للتحديد، توسع الورقة نطاق الاستدلال السببي الصحيح في حالات كانت تعتبر سابقًا مستعصية.
الإرشادات العملية: يوصي المؤلفون باستخدام المقدر البارامتري كتحليل أساسي نظرًا لاستقراره وسهولة تحليل الحساسية فيه، واستخدام المقدر غير المعلمي كاختبار قوة (Robustness check). يسمح إطار تحليل الحساسية المقترح للباحثين بقياس مدى اعتماد استنتاجاتهم على افتراضات الفقد غير القابلة للاختبار.

يجمع هذا العمل بين الفجوة بين التحديد النظري تحت ظروف MNAR والتقدير العملي، مما يوفر أدوات للباحثين لاستخلاص استنتاجات موثوقة من بيانات غير مكتملة وغير قابلة للتجاهل.