Estimation beyond Missing (Completely) at Random

1. المشكلة: فشل فرضيتي MCAR و MAR

في الإحصاء الكلاسيكي، تعني فرضية MCAR أن الآلية التي تسبب فقدان البيانات مستقلة عن كل من البيانات المرصودة وغير المرصودة. ورغم أنها مريحة رياضياً، إلا أن MCAR غالباً ما تكون غير واقعية في الممارسة العملية (على سبيل المثال، في الدراسات الطبية حيث يكون المرضى الأكثر اعتلالاً أقل عرضة للاستجابة، أو في الاقتصاد القياسي حيث يقلل ذوو الدخل المرتفع من الإبلاغ عن دخولهم).

البديل الأكثر شيوعاً هو الفقد العشوائي (MAR)، حيث يعتمد الفقد على المتغيرات المرصودة فقط. ومع ذلك، يسلط المؤلفون الضوء على عيبين حرجين في الاعتماد على MAR:

1. مشكلات القابلية للتعريف (Identifiability Issues): حتى في النماذج البارامترية البسيطة، قد لا تكون MAR كافية لتعريف معاملات المجتمع (مثل متوسط المجتمع).
2. الافتقار إلى المتانة (Lack of Robustness): لا توفر MAR طريقة مستمرة لقياس مدى "قرب" التوزيع من حالة MCAR المثالية، مما يجعل من الصعب قياس مخاطر الخطأ في توصيف النموذج.

2. المنهجية: نماذج التلوث المستوحاة من هوبير (Huber-Style Contamination Models)

لسد الفجوة بين نموذج MCAR المقيد ونموذج الفقد غير العشوائي (MNAR) العام للغاية، قدم المؤلفون فئتين جديدتين من النماذج المستوحاة من إحصاءات هوبر المتينة:

• نموذج التلوث التعسفي $\epsilon$ ($P_{arb}$): يعامل هذا النموذج الفقد كخليط؛ فمع احتمال $(1-\epsilon)$، تتبع البيانات آلية MCAR؛ ومع احتمال $\epsilon$، تتبع توزيع MNAR تعسفياً أو خصمياً محتملاً. هذا هو إطار "الحالة الأسوأ".
• نموذج التلوث القابل للتحقق $\mathcal{R}$: هذا هو الابتكار الأساسي للبحث. يفترض هذا النموذج أن الجزء "الملوث" من البيانات ليس تعسفياً، بل هو نسخة MNAR من نفس التوزيع الأساسي $P$ الذي يولد الجزء غير الملوث. وهذا يجسد الواقع الذي يشير إلى أن جميع البيانات (المرصودة أو غير المرصودة) تنبع عادةً من مجتمع واحد أساسي.

يستخدم المؤلفون إطار الربيعات (minimax quantile framework) لتقييم أداء المقدر، وهو أمر ضريد لأن معيار المخاطرة (minimax risk) التقليدي (الخطأ المتوقع) غالباً ما يكون لانهائياً تحت هذه النماذج بسبب احتمالية ملاحظة صفر من نقاط البيانات.

3. المساهمات والنتائج الرئيسية

أ. تقدير المتوسط متعدد المتغيرات (التلوث التعسفي)

يقترح المؤلفون خوارزمية ITERATIVE_ROBUST_MEAN، والتي تستخدم التضمين التكراري (iterative imputation) لتحويل مقدر متين للبيانات الكاملة إلى مقدر للبيانات المفقودة.

• النتيجة: أثبتوا أن خطأ الـ minimax يتفكك إلى حد MCAR (الخطأ الذي كان متوقعاً لو كانت البيانات مفقودة عشوائياً تماماً) بالإضافة إلى حد خطأ متين يتناسب مع $\epsilon$.
• المثالية (Optimality): أظهروا أن هذه الخوارزمية مثالية من نوع minimax لفئة التلوث التعسفي.

ب. قوة القابلية للتحقق (الحالة الغاوسية وغير البارامترية)

يوضح البحث أنه إذا افترضنا أن التلوث "قابل للتحقق" (أي من نفس التوزيع الأساسي)، فيمكننا تحقيق معدلات أفضل بكثير من الحالة التعسفية.

• الحالة الغاوسية: بالنسبة لتوزيع غاوسي أساسي، قدموا مقدر مسافة كولموغوروف الأدنى (Minimum Kolmogorov Distance Estimator).
• النتيجة: على عكس النموذج التعسفي (حيث يصبح التقدير مستحيلاً إذا كانت $\epsilon$ كبيرة جداً)، في النموذج القابل للتحقق، يمكن إجراء تقدير متسق حتى عندما يقترب proportion الفقد $\epsilon$ من 1، بشرط أن يتقارب ببطء كافٍ.
• الحالة غير البارامترية: وسعوا هذه النتائج لتشمل التوزيعات التي تمتلك فقط عزومًا منتهية أو اضمحلالاً معيناً في الذيول (Orlicz norms)، موضحين أن الخطأ يتناسب مع مستوى التلوث الفعال $\kappa = \epsilon / (q(1-\epsilon))$.

ج. التوسع إلى الانحدار الخطي

وسع المؤلفون إطار عملهم ليشمل الانحدار الخطي الطبيعي حيث يكون متغير الاستجابة $Y$ مفقوداً.

• النتيجة: أثبتوا أنه حتى مع وجود استجابات مفقودة قابلة للتحقق، يمكن للمرء تقدير متجه معامل الانحدار $\theta$ باستمرار، بشرط أن تحقق مصفوفة التصميم شرط "الانتظام" (الذي يضمن انتشار المتغيرات المستقلة بشكل كافٍ).

د. التكيف مع $\epsilon$ المجهولة

قدم المؤلفون إجراءً من نوع ليبسكي (Lepski-type procedure) يسمح للممارس بتقدير معاملات المجتمع دون معرفة نسبة التلوث $\epsilon$ بدقة مسبقاً. وأثبتوا أن "ثمن التكيف" (الخسارة في الكفاءة بسبب عدم معرفة $\epsilon$) ضئيلة جداً.

4. ملخص معدلات الـ minimax (النتائج الرئيسية)

يُلخص الجوهر التقني للبحث في مقارنة المعدلات (الجدول 1 في النص):

التوزيع الأساسي	معدل التلوث التعسفي	معدل التلوث القابل للتحقق
الغاوسي (Gaussian)	$\infty$ إذا كان $\epsilon \geq \frac{q}{1+q}$	متسق حتى عندما $\epsilon \to 1$
شبه الغاوسي (Sub-Gaussian)	$\infty$ إذا كان $\epsilon \geq \frac{q}{1+q}$	متسق حتى عندما $\epsilon \to 1$
تباين منتهٍ (Finite Variance)	$\infty$ إذا كان $\epsilon \geq \frac{q}{1+q}$	متسق حتى عندما $\epsilon \to 1$

5. الأهمية

تكمن أهمية هذا البحث في أنه يوفر أساساً رياضياً صارماً لـ تحليل الحساسية (sensitivity analysis) في مشكلات البيانات المفقودة. ومن خلال الانتقال من السؤال الثنائي "هل هي MAR أم لا؟" نحو إطار مستمر حول "إلى أي مدى تبتعد عن MCAR؟"، فإنه يتيح للإحصائيين:

1. قياس تأثير الفقد غير العشوائي على تقديراتهم.
2. تطوير مقدرات متينة لأنماط الفقد الخصمية.
3. تحقيق استدلال عالي الأداء في حالات كانت تُعتبر سابقاً غير قابلة للتعريف.