Small area estimation using incomplete auxiliary information

إليك ملخص تقني مفصل للورقة البحثية بعنوان "تقدير المناطق الصغيرة باستخدام معلومات مساعدة غير مكتملة" من إعداد شليفینسكاس، بوروكوسكايت، وتشيغيناس.

1. بيان المشكلة

في الإحصاءات الرسمية، تُعد المسوحات العينية الاحتمالية هي المعيار الذهبي لتقدير بارامترات المجتمع. ومع ذلك، فإن المقدرات المعتمدة على التصميم المباشر للمجالات السكانية الصغيرة (المناطق الصغيرة) غالباً ما تعاني من تباين مرتفع بسبب صغر أحجام العينات. وبينما تتوفر المعلومات المساعدة من السجلات الإدارية أو مصادر البيانات الضخمة (العينات غير الاحتمالية) بشكل متزايد، إلا أنها تفرض تحديين رئيسيين:

1. عدم الاكتمال: غالباً ما تغطي البيانات المساعدة جزءاً فقط من المجتمع.
2. الأصل غير الاحتمالي: آلية اختيار المصدر غير الاحتمالي مجهولة وغالباً ما تكون منحازة، مما يجعل طرق المعايرة القياسية أو أوزان الميل (Propensity Weighting) — التي تعتمد على افتراضات "البيانات المفقودة في غض die العشوائي" (Missing-At-Random/MAR) — صعبة التطبيق أو غير صالحة للتطبيق المباشر.

علاوة على ذلك، فإن المتغير المساعد ($y^*$) غالباً ما يكون "وكيلًا مشوبًا بالضجيج" (Noisy Proxy) للمتغير محل الدراسة ($y$)، حيث يختلف عنه بسبب عدم تطابق التعريفات أو أخطاء القياس. تعالج الورقة كيفية دمج هذه البيانات الوكيلية غير الاحتمالية وغير المكتملة مع بيانات المسح الاحتمالي لتحسين تقدير المناطق الصغيرة دون الحاجة إلى نمذجة آلية اختيار المصدر غير الاحتمالي.

2. المنهجية

يقترح المؤلفون إطار عمل مكون من خطوتين يجمع بين معايرة النموذج ونمذجة مستوى المنطقة.

الخطوة 1: تقدير معايرة النموذج (على مستوى الوحدة)

تهدف هذه الخطوة إلى إنتاج مجاميع نطاقات (Domain Totals) غير منحازة للتصميم تقريباً من خلال دمج البيانات غير الاحتمالية.

• الإعداد: ليكن $A$ هو العينة الاحتمالية و $B$ هو العينة غير الاحتمالية. يتداخلان عند $A \cap B$. بالنسبة للوحدات في $B$، يتم رصد وكيل $y^*$؛ وبالنسبة للوحدات في $A$، يتم رصد المتغير الحقيقي $y$.
• نموذج خطأ القياس: يتم ضبط نموذج عملي $y_i = g(y^*_i, x_i) + \epsilon_i$ على منطقة التداخل $A \cap B$. يمكن أن يكون هذا النموذج خطياً، أو غير خطي، أو غير معلمي (مثل طريقة أقرب الجيران k-nearest neighbors).
• التنبؤ: يقوم النموذج المضبط $\hat{g}$ بالتنبؤ بـ $y$ لجميع الوحدات في $B$ (بما في ذلك تلك غير الموجودة في $A$).
• قيود المعايرة: يتم اشتقاق أوزان المعايرة $w_i$ للعينة الاحتمالية $A$ عن طريق تقليل المسافة إلى أوزان التصميم مع الخضوع لثلاثة قيود لكل نطاق:
  1. مطابقة حجم المجتمع للطبقة "المفقودة" (الوحدات الموجودة في $U$ ولكن ليست في $B$).
  2. مطابقة حجم المجتمع لطبقة "البيانات الضخمة" (الوحدات الموجودة في $B$).
  3. مطابقة إجمالي النطاق للقيم المتنبأ بها $\sum \hat{y}_i$ المستمدة من المصدر غير الاحتمالي.
• النتيجة: ينتج عن ذلك مقدر معايرة النموذج (MC) ($\hat{t}^{MC}_m$) الذي يكون غير منحاز للتصميم تقريباً ويدمج معلومات الوكيل دون افتراض أن العينة غير الاحتمالية ممثلة (أي بدون افتراض MAR).
• تقدير التباين: يتم استخدام طريقة Rao–Wu–Yue bootstrap القائمة على التصميم. ومن الأهمية بمكان التعامل مع نموذج التنبؤ $\hat{g}$ كعنصر ثابت أثناء إعادة أخذ العينات لعزل التباين الناتج عن التصميم.

الخطوة 2: نمذجة مستوى المنطقة (نموذج Fay–Herriot)

تعمل مقدرات الـ MC وتباينات الـ bootstrap الخاصة بها كمدخلات لمرحلة ثانية لزيادة تقليل التباين.

• التحويل: يتم تحويل مجاميع النطاقات لوغاريتمياً لتثبيت التباين والتعامل مع الالتواء.
• نموذج Fay–Herriot (FH): يتم ضبط نموذج التأثيرات المختلطة:
  $$\log(\hat{t}^{MC}_m) = z_m^\top \beta + u_m + e_m$$
  حيث $z_m$ هي متغيرات مساعدة معروفة بدقة (خالية من الخطأ)، و $u_m$ هي تأثيرات المنطقة العشوائية، و $e_m$ هي أخطاء المعاينة.
• التنبؤ: يتم حساب المقدرات الخطية غير المنحازة الأفضل تجريبياً (EBLUP) وإعادة تحويلها إلى المقياس الأصلي مع تصحيح الانحياز.

مقارنة المرجع (Benchmark)

يقارن المؤلفون نهجهم بنموذج Ybarra–Lohr (YL) المعدل من نموذج FH. يعامل نهج YL إجمالي الوكيل كمتغير مساعد معرض للخطأ في نموذج FH، مما يتطلب خطوة وزن الاحتمال العكسي (IPW) لتقدير إجمالي الوكيل. يعتمد هذا المرجع على افتراض البيانات المفقودة في غ die العشوائي (MAR)، وهو ما يتجنبه منهج MC المقترح.

3. المساهمات الرئيسية

1. إطار تكامل مبتكر: تطور الورقة منهجاً قائماً على التصميم لدمج البيانات غير الاحتمالية مع العينات الاحتمالية باستخدام معايرة النموذج بدلاً من وزن الميل. يسمح هذا باستدلال صالح دون الحاجة لافتراض MAR غير القابل للتحقق فيما يتعلق بآلية اختيار العينة غير الاحتمالية.
2. المرونة في نمذجة الوكيل: يستوعب إطار العمل العلاقات العامة بين الوكيل والمتغير محل الدراسة (نماذج خطية، نماذج hurdle للبيانات ذات التضخم الصفري، ونماذج kNN غير المعلمية)، بدلاً من الاقتصار على نماذج خطأ القياس الخطية.
3. كفاءة الخطوتين: توضح الورقة أن خطوة المعايرة على مستوى الوحدة تعمل بفعالية على تثبيت مجاميع النطاقات، والتي يمكن بعد ذلك تحسينها بشكل أكبر من خلال نمذجة مستوى المنطقة، مما يتفوق على التقدير المباشر والمعايير القياسية لـ FH.
4. التحقق التجريبي: تم اختبار المنهجية بصرامة على ثلاثة مجموعات بيانات حقيقية من الإحصاءات الرسمية الليتوانية، تغطي هياكل بيانات وأنواع وكلاء متنوعة.

4. النتائج التجريبية

طبقّت الدراسة المنهج على ثلاثة سيناريوهات:

1. حجم التداول الشهري: دمج بيانات ضريبة القيمة المضافة (الوكيل) مع بيانات المسح.
   • النتيجة: قلل مقدر MC من متوسط جذر متوسط الخطأ التربيعي النسبي (RRMSE) بنسبة 57% مقارم بـ مقدر GREG المباشر. وانخفض عدد النطاقات "غير الموثوقة" (RRMSE > 0.333) من 2.1 إلى 0.2 شهرياً.
2. الاستثمار السنوي في الأصول الملموسة: دمج عينة مقطوعة من مسح هيكلي للأعمال.
   • النتيجة: رغم صغر حجم العينة المساعدة ($|B|/|A| \approx 1.1$) والبيانات ذات التضخم الصفري، زاد نهج MC من النطاقات "الجيدة" من 37 إلى 53 وقلل النطاقات غير الموثوقة من 4 إلى 3.
3. وظائف شاغرة ربع سنوية: دمج إعلانات الوظائف عبر الإنترنت المستخرجة من الويب (غير احتمالية) مع بيانات المسح.
   • النتيجة: أظهر هذا السيناريو التحسن الأكثر دراماتيكية؛ حيث ارتفع عدد البلديات "الجيدة" من 6.2 إلى 30.8، وانخفضت غير الموثوقة من 10.8 إلى 3.0.

النتائج المقارنة:

• MC مقابل المباشر: وفرت خطوة معايرة النموذج الجزء الأكبر من مكاسب الدقة، مما أدى لتثبيت النطاقات الأكثر تبايناً بشكل كبير (تقليل الذيل العلوي لتوزيعات RRMSE).
• MC مقابل YL (المرجع): تفوق نهج MC المقترح باستمرار على مرجع Ybarra–Lohr. حيث كان منهج YL، الذي يعتمد على MAR، يعمل بشكل مشابه للمقدرات المباشرة في حالات التداول والوظائف، وأظهر مكاسب طفيفة فقط في حالة الاستثمار.
• تأثير حجم البيانات: كانت المكاسب متناسبة مع الحجم النسبي للمصدر غير الاحتمالي ($|B|/|A|$) وقوة العلاقة بين الوكيل والمتغير.

5. الأهمية

تقدم هذه الورقة حلاً قوياً للإحصاءات الرسمية الحديثة حيث تتوفر البيانات الضخمة والسجلات الإدارية بكثرة ولكنها غير مكتملة.

• الأهمية النظرية: تتحدى الورقة الاعتماد على افتراض MAR لدمج البيانات غير الاحتمالية، وتقدم بديلاً قائماً على التصميم يظل صالحاً حتى لو كانت آلية اختيار العينة غير الاحتمالية مجهولة أو منحازة.
• الأهمية العملية: توفر سير عمل عملي من خطوتين يمكن للإحصائيين تنفيذه لإنتاج تقديرات موثوقة للمناطق الصغيرة باستخدام معلومات مساعدة غير مكتملة. وتشير النتائج إلى أن دمج بيانات الوكيل على مستوى الوحدة عبر المعايرة أكثر فعالية من معاملتها كمتغير معرض للخطأ على مستوى المنطقة.
• الأثر على السياسات: من خلال تقليل عدد التقديرات "غير الموثوقة" للمناطق الصغيرة بشكل كبير، تمكن هذه الطريقة من صنع سياسات وتخصيص موارد أكثر دقة في قطاعات مثل التوظيف، وحجم أعمال الشركات، والاستثمار.