Predicting missing values: A good idea?

ملخص تقني: التنبؤ بالقيم المفقودة. هل هي فكرة جيدة؟

بيان المشكلة
تتناول الورقة البحثية فجوة حرجة في التعامل مع البيانات المفقودة ضمن تحليل تعلم الآلة والتحليل الإحصائي. فبينما يعد تقليل متوسط مربع الخطأ (MSE) هو المعيار المهيمن لتقييم طرق الإسناد (imputation)—مما يعطي الأولوية لدقة التقديرات النقطية—إلا أن هذا النهج يؤدي بشكل منهجي إلى إدخال تحيزات في التحليلات اللاحقة. تكمن المشكلة الجوهرية في أن عمليات الإسناد المحسنة لـ MSE هي في الأساس متوسطات شرطية (conditional means). ومن خلال استبدال القيم المفقودة بهذه المتوسطات الحتمية، يتم تقليل التباين الطبيعي للبيانات بشكل مصطنع. وهذا التقليل يشوه المعلمات الإحصائية الرئيسية، بما في ذلك التباين، والانتشار، والارتباط، ومنحدرات الانحدار، والتباين المفسر ($R^2$)، مما يؤدي إلى استدلالات غير صالحة وتقديرات مفرطة في الثقة في النماذج اللاحقة.

المنهجية
يستخدم المؤلف إطاراً نظرياً ودراسات محاكاة لمقارنة استراتيجيتين مختلفتين للإسناد ضمن إطار التوزيع الطبيعي متعدد المتغيرات:

1. الإسناد التنبئي (Predict): تعتمد هذه الطريقة على تقليل MSE من خلال إسناد القيمة المتوقعة ($\hat{y}$) بناءً على المتغيرات المستقلة المرصودة. وهي طريقة حتمية وتتوافق مع إسناد الانحدار أو إسناد المتوسط الشرطي.
2. الإسناد العشوائي (Draw): تضيف هذه الطريقة ضوضاء عشوائية ($\epsilon$) إلى القيمة المتوقعة، بحيث تكون $\dot{y} = \hat{y} + \epsilon$. ويتم سحب الضوضاء من توزيع البواقي (residual distribution) لنموذج الإسناد. يقر هذا النهج بوجود عدم اليقين المتأصل في البيانات المفقودة.

تستخدم الدراسة إعداد محاكاة لمجتمعات اصطناعية تمثل بيانات "عالية الإشارة" ($R^2=0.8$) و"منخفضة الإشارة" ($R^2=0.2$). وقد تم إدخال الفقد عبر آليتين: الفقد العشوائي تماماً (MCAR) والفقد العشوائي (MAR). ويتم تقييم أداء هذه الطرق ليس فقط من خلال MSE، بل من خلال تأثيرها على المعلمات اللاحقة ($\mu, \sigma, P90, \rho, \gamma, R^2$) في نماذج الانحدار حيث يعمل المتغير المسند كمتغير مستقل وتابع في آن واحد.

علاوة على ذلك، تقيم الورقة ثلاث أدوات برمجية شائعة—missForest و softImpute و mice—لتقييم ما إذا كانت سلوكياتها الافتراضية تتماشى مع النماذج التنبئية أم العشوائية.

النتائج الرئيسية

• التحيز في الطرق التنبئية: تؤدي طريقة "التنبؤ" (predict) باستمرار إلى تقليل الانحراف المعياري ($\sigma$) ونسبة الحالات التي تتجاوز المئين التسعين ($P90$). وعلى العكس من ذلك، فإنها تضخم الارتباطات ($\rho$)، ومنحدرات الانحدار ($\delta$)، ونسبة التباين المفسر ($R^2$). وتكون هذه التحيزات أكثر حدة في سيناريوهات الإشارة المنخفضة حيث تكون العلاقة بين المتغيرات ضعيفة.
• صلاحية الطرق العشوائية: تنتج طريقة "السحب" (draw)، التي تدمج الضوضاء، تقديرات للتباين والارتباط والمنحدرات تتوافق بدقة مع معلمات المجتمع الحقيقية، مما يلغي بفعالية التحيزات المنهجية التي تسببها الطرق التنبئية.
• مفارقة MSE: بينما تحقق طريقة "السحب" (draw) قيم MSE أقل دقة، إلا أنها تنتج MSE أكبر بمرتين تقريباً من طريقة "التنبؤ" ($MSE_{draw} \approx 2 \times MSE_{predict}$). إن الاعتماد فقط على MSE سيؤدي خطأً إلى تحديد الطريقة التنبئية المتحيزة على أنها الأفضل.
• تقييم البرمجيات:
  • يتصرف missForest بشكل مشابه للطريقة التنبئية، مما يؤدي إلى إدخال تحيز كبير.
  • يظهر softImpute نتائج مختلطة؛ فهو يعمل جيداً في التباين في حالات الإشارة العالية، لكنه يظهر انتشاراً مفرطاً وMSE عالياً في حالات الإشارة المنخفضة، ومع ذلك يظل يبالغ في تقدير التباين المفسر.
  • ينتج mice (باستخدام إطاره البيزي الافتراضي) أكثر التقديرات دقة للمعلمات اللاحقة، حيث يحافظ على تباين البيانات. وتشير الورقة إلى مشكلة طفيفة في $P90$ في mice عند استخدام مطابقة المتوسط التنبئي (predictive mean matching)، والتي يمكن حلها بالانتقال إلى الإسناد الطبيعي (normal imputation).

المساهمات الرئيسية

1. إثبات التحيز المنهجي: تقدم الورقة دليلاً تجريبياً على أن تقليل MSE في عملية الإسناد يشوه بشكل منهجي الخصائص الإحصائية اللاحقة، وتحديداً عبر ضغط توزيع البيانات نحو المتوسط الشرطي.
2. الضوضاء كحل: تقترح الورقة وتتحقق من أن إضافة الضوضاء (الإسناد العشوائي) هي آلية بسيطة وفعالة لاستعادة التباين الطبيعي للبيانات وضمان تحليل لاحق غير متحيز.
3. نقد مقاييس التقييم: تتحدى الورقة اعتماد مجتمع تعلم الآلة على MSE كمعيار أساسي لجودة الإسناد، بحجة أنه يعطي الأولوية لدقة النقطة على حساب الصلاحية الإحصائية لتوزيع البيانات.
4. تقييم الأدوات العملية: تقدم تحليلاً مقارناً لأدوات الإسناد واسعة الاستخدام، موضحة أن العديد من الطرق الشهيرة التي تعمل كـ "صندوق أسود" (مثل missForest) تكرس دون قصد تحيزات الإسناد الحتمي.

الأهمية والادعاءات
تجادل الورقة بأن الهدف من الإسناد لا ينبغي أن يكون إعادة إنشاء القيم المفقودة الحقيقية بشكل مثالي (وهو أمر مستحيل)، بل تسهيل التحليلات اللاحقة الصالحة والمعلوماتية. وتؤكد الورقة أن "التنبؤ بالقيم المفقودة" يكون "فكرة جيدة" فقط إذا تضمنت عملية التنبؤ قبول إضافة الضوضاء للحفاظ على تباين البيانات.

تكمن الأهمية في التحول من النموذج المعرفي القائم على الدقة (تقليل MSE) إلى النموذج القائم على الصلاحية (الحفاظ على التباين). وتخلص الورقة إلى أن دمج الضوضبة أمر ضروري لمنع التحيزات في تقديرات التباين والارتباط والمنحدر. ومع الإقرار بأن إضافة الضوضاء تزيد من قيمة MSE، إلا أن المؤلف يرى أن هذا مقايضة ضرورية لمراعاة الخطأ غير القابل للاختزال المتأصل في البيانات المفقودة. إن هذا العمل يربط بين الدقة الإحصائية والمنفعة العملية، مقترحاً أن النهج العشوائي هو الأفضل للتعامل مع البيانات غير المكتملة في السيناريوهات التي تتطلب استدلالاً موثوقاً.