ملخص تقني: انزياح التوزيع في تعويض البيانات المفقودة

صياغة المشكلة

تتناول الورقة البحثية التحدي الجوهري المتمثل في تعويض البيانات المفقودة (missing data imputation)، مع التركيز بشكل خاص على التباين بين توزيع البيانات المرصودة المستخدمة للتدريب وتوزيع البيانات الكامل المطلوب للتقييم. وبينما تعمل العديد من أحدث أساليب التعويض (مثل GAIN و MIWAE و MICE و MissForest) تحت إطار تقليل المخاطر، إلا أنها عادة ما تتدرب على المدخلات المرصودة دون تصحيح صريح لـ انزياح التوزيع (distributional shift) الناتج عن آلية الفقدان.

يصيغ المؤلفون المشكلة كعملية تقليل لخطأ المربعات المتوسط (MSE) عبر توزيع البيانات الكامل. ويوضحون أنه عندما يعتمد احتمال الفقدان على البيانات (تحديداً تحت فرضية البيانات المفقودة عشوائياً - MAR)، فإن توزيع التدريب (البيانات المرصودة) وتوزيع الهدف (البيانات الكاملة) يختلفان. وهذا يخلق مشكلة انزياح المتغيرات المصاحبة (covariate shift) حيث يؤدي التقليل التجريبي للمخاطر القياسي على البيانات المرصودة إلى تقديرات متحيزة لمخاطر البيانات الكاملة.

المنهجية

الأساس النظري

المساهمة النظرية الجوهرية هي اشتقاق مخاطر التعويض كـ توقع مرجح بالأهمية (importance-weighted expectation) عبر البيانات المرصودة.

• تفكيك المخاطر: يتم تفكيك مخاطر MSE العالمية إلى مجموع من المخاطر لكل إحداثي. بالنسبة لإحداثي محدد $i$ ذي فقدان، تُعرف المخاطر $J_i(g_i)$ على المجتمع الفرعي غير المرصود ($R_i=0$).
• الارتباط بانزياح المتغيرات المصاحبة: تحت فرضية MAR ($p(r|x) = p(r|x_{obs})$) وشرط التداخل، يوضح المؤلفون أن المخاطر عبر المجتمع الفرعي غير المرصود يمكن إعادة كتابتها كـتوقع عبر المجتمع الفرعي المرصود ($R_i=1$) مرجح بعامل الأهمية:
  $$w_i(x_{obs}, r_{\neg i}) = \frac{p(x_{obs}, r_{\neg i} | R_i = 0)}{p(x_{obs}, r_{\neg i} | R_i = 1)}$$
  هذا الوزن يصحح الانزياح في التوزيع الهامشي للمتغيرات المصاحبة بين المجموعات المرصودة وغير المرصودة. ويتبين أن الطرق الحالية تغفل ضمناً عن حد الوزن هذا، مما يؤدي فعلياً إلى تحسين النموذج للتوزيع الخاطئ.

الخوارزمية المقترحة: التعويض التكراري المرجح

لتحويل هذه النظرية إلى واقع عملي، يقترح المؤلفون خوار الخوارزمية التعويض التكراري المرجح (Algorithm 1)، والتي توسع نهج التكرار الدوري القياسي (مثل MICE و HyperImpute).

1. الإطار التكراري: تقوم الخوارزمية بالدوران عبر المتغيرات المرصودة جزئياً. في كل خطوة، يتم ملاءمة نموذج تعويض شرطي $g_i$ للمتغير المستهدف باستخدام القيم الحالية لجميع المتغيرات الأخرى كمتنبئات.
2. المخاطر البديلة: بدلاً من تقليل خسارة إعادة البناء القياسية، تقلل الخوارزمية من مخاطر بديلة تتضمن أوزان الأهمية المقدرة:
   $$J_i^{(t)}(g_i) = \mathbb{E}\left[ w_i(\hat{X}_{\neg i}^{(t)}) (g_i(\hat{X}_{\neg i}^{(t)}) - X_i)^2 \mid R_i = 1 \right]$$
3. تقدير الوزن: بما أن الأوزان الحقيقية تعتمد على توزيعات غير معروفة، يتم تقديرها في كل تكرار (Algorithm 2) باستخدام نموذج تصنيف ثنائي (انحدار لوجستي) لتقدير احتمال الفقدان $p(R_i=1 | \hat{X}_{\neg i})$. ثم تُحسب الأوزان كنسبة الاحتمال العكسي.
4. الاستقرار العملي: لإدارة التباين العالي المرتبط غالباً بوزن الأهمية، يستخدم المؤلفون عدة تقنيات استقرار:
   • قص الأوزان عند المئوي الخامس والمئوي 95.
   • إزالة الميزات ذات التباين القريب من الصفر.
   • إدخال معلمة التهدئة $\gamma$ (حيث تصبح الأوزان $w_i^\gamma$) للتحكم في تأثير الأوزان، والتي يتم ضبطها عبر التحقق المتقاطع (cross-validation).
   • استراتيجية "البدء الدافئ" (warm-starting) لضبط $\gamma$ لتقليل العبء الحسابي.

المساهمات الرئيسية

1. الصياغة النظرية: تؤسس الورقة البحثية بصرامة أن التعويض تحت ظروف MAR يكافئ مجموعة من مشاكل انزياح المتغيرات المصاحبة، مشتقة أوزان الأهمية المحددة المطلوبة لمواءمة توزيع البيانات المرصودة مع توزيع البيانات الكاملة.
2. خوارزمية مبتكرة: تقدم خوارزمية تكرارية عملية بنظام الدوران الدوري تدمج أوزان الأهمية هذه في هدف التدريب، مما يصحح صراحةً انزياح التوزيع.
3. التحقق التجريبي: تمت مقارنة الطريقة مع النماذج المرجحة (unweighted baselines) (باستخدام فئات نماذج شرطية متطابقة) ومع أحدث الأساليب عبر مجموعات بيانات متنوعة (بيانات جدولية، سلاسل زمنية، وبيانات صور) وفئات نماذج مختلفة (خطي، غابة عشوائية، MLP).

النتائج التجريبية

قيم المؤلفون طريقتهم على ثماني مجموعات بيانات، محاكيين ظروف MAR بقوى متفاوتة من الاعتماد بين الفقدان والمتغيرات المصاحبة المرصودة.

• مكاسب الأداء: قللت الطريقة المرجحة باستمرار من جذر متوسط مربعات الخطأ (RMSE) ومسافة واسرستاين (Wasserstein distance - WD) مقارنة بالنماذج المرجحة غير المرجحة.
  • متوسط انخفاض قدره 3% في RMSE و 7% في مسافة واسرستاين.
  • كانت التحسينات أكثر وضوحاً في النماذج الأبسط (الخطي) وفي الإعدادات التي تتسم بانزياح قوي في المتغيرات المصاحبة (اعتماد عالٍ لـ MAR).
• قدرة التعبير للنموذج: تشير التحليلات النظرية والنتائج التجريبية إلى أن فائدة التثقيل تتضاءل مع زيادة القدرة التعبيرية للنموذج الشرطي (مثل الغابات العشوائية و MLPs). ويعزى ذلك إلى مقايضة التحيز والتباين؛ حيث يمكن للنماذج عالية التعبير تقريب الدالة المستهدفة جيداً حتى بدون تثقيل صريح، بينما تعتمد النماذج الأبسط بشكل أكبر على التصحيح.
• المهام اللاحقة: في مهام الانحدار والتصنيف اللاحقة، أدى التعويض المرجح عموماً إلى تحسينات ذات دلالة إحصائية في الأداء التنبؤي، لا سيما للنماذج الخطية وعند المقارنة بالنماذج غير المعوضة.
• المتانة: أظهرت الطريقة تدهوراً تدريجياً في الأداء تحت انتهاكات فرضية MAR أو سوء توصيف نموذج الوزن، بدلاً من الفشل المفاجئ، طالما تم التقاط الدوافع الرئيسية للفقدان في البيانات المرصودة.
• الكفاءة: كانت التكلفة الحسابية مقبولة، حيث زادت أوقات التشغيل بنسبة ~10% فقط للنماذج المعقدة (RF/MLP) وأظهرت تسارعاً كبيراً للنماذج الخطية بسبب تفاصيل التنفيذ المحددة.

الأهمية والادعاءات

تدعي الورقة أن انزياح التوزيع هو قضية متأصلة وغالباً ما يتم تجاهلها في التعويض القائم على المخاطر. ومن خلال صياغة التعويض كمشكلة انزياح متغيرات مصاحبة، يقدم المؤلفون تبريراً منهجياً لاستخدام أوزان الأهمية.

• تكمن الأهمية في إثبات أن المراعاة الصريحة للانزياح بين توزيعات البيانات المرصودة والكاملة تؤدي إلى تعويض أكثر دقة وتحافظ بشكل أفضل على توزيع البيانات الأساسي (الأمانة/Fidelity).
• يضع المؤلفون عملهم كتحسين ضروري لأطر تقليل المخاطر الحالية، بحجة أنه بدون هذا التصحيح، يتم تحسين نماذج التعويض لتناسب توزيع البيانات المرصودة بدلاً من توزيع البيانات الحقيقي المطلوب للاستدلال الصحيح.
• تظل الورقة متواضعة فيما يتعلق بالقيود، حيث تقر بأن الطريقة قد تقدم مكاسب محدودة في حالات MAR الضعيفة أو مع النماذج عالية التعبير حيث يكون خطأ التقريب منخفضاً بالفعل، كما أن الأداء يعتمد على جودة تقدير الوزن.