The Smallest Standard Error Is the Wrong One: Selection Among Multiple Imputations Invalidates Inference
تُثبت هذه الورقة أن اختيار تحليل البيانات المُعوضة متعددًا بالذي يمتلك أصغر خطأ معياري يؤدي بشكل منهجي إلى إبطال الاستدلال الإحصائي عبر استبعاد التباين الجوهري بين عمليات التعويض وتخفيض التباين داخل عمليات التعويض بشكل مصطنع، مما يؤدي إلى فترات ثقة ذات تغطية منخفضة للغاية وتقديرات متحيزة، في حين أن قواعد دمج "روبين" (Rubin's pooling rules) تحافظ بشكل صحيح على المعايرة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في عالم تحليل البيانات، يرافقنا نقص المعلومات كرفيق دائم. فسواء كنت تتبع تعافي مريض في مستشفى، أو تقيس إنتاجية المحاصيل في حقل، أو تدرس الاتجاهات الاقتصادية، فإن الباحثين نادراً ما يمتلكون مجموعة مثالية من الأرقام. فبعض المدخلات تكون فارغة، أو مفقودة، أو لم تُسجل أبداً. ولتفسير هذه الفجوات، يستخدم الإحصائيون تقنية تسمى "التعويض المتعدد" (multiple imputation). فبدلاً من تخمين قيمة واحدة لملء الفراغ، يقومون بإنشاء عدة نسخ مختلفة ومعقولة من البيانات المفقودة. ثم يجرون تحليلهم على كل نسخة على حدة. هذا النهج يقر بأن الأرقام المفقودة غير معروفة، وأن التخمينات المختلفة قد تؤدي إلى استنتاجات مختلفة قليلاً. ومن خلال دمج النتائج من جميع هذه النسخ، يمكن للمحللين إنتاج إجابة نهائية تعكس بصدق كلاً من البيانات التي لديهم والشكوك حول ما ينقصهم. والهدف هو ضمان أن الثقة المُبلغ عنها في نتيجة ما تتوافق مع واقع الحالة.
اكتشف فريق من الباحثين من جنوب أفريقيا مؤخراً أن اختصاراً يبدو منطقياً في هذه العملية يؤدي في الواقع إلى كسر القواعد الرياضية. فقد وجدوا أنه عندما يقوم المحللون بإنشاء نسخ متعددة من بياناتهم ثم يختارون النسخة الوحيدة التي تبدو الأكثر دقة — وتحديداً تلك التي تمتلك أصغر هامش خطأ — فإنهم يخدعون أنفسهم. هذا الاختيار، الذي يبدو وكأنه وسيلة لتركيز نطاق الدراسة، يخفي بشكل منهجي القدر الحقيقي من عدم اليقين. لقد أثبت الباحثون أن اختيار النتيجة "الأفضل مظهراً" من بين مجموعة من المرشحين يجعل المحللين يتخلصون من المعلومات التي تجعل هذه الطريقة موثوقة. وقد أثبتوا أن هذه الممارسة تؤدي إلى فترات ثقة ضيقة جداً وتقديرات نقطية منحازة بشكل طفيف، مما يجعل النتائج تبدو أكثر تأكداً مما هي عليه في الواقع.
بدأت الدراسة بفحص ميل طبيعي في العمل الإحصائي. فعندما يمتلك الباحث عشرين مجموعة بيانات مكتملة مختلفة، لكل منها تقدير حسابي خاص بها ومقياس لمدى تباين هذا التقدير، يكون من المغري اختيار المجموعة ذات التباين الأصغر. فالتباين الأصغر يوحي بنتيجة أكثر إحكاماً ودقة، وهو ما يسعى العلماء عادةً للإبلاغ عنه. وقد قرر الباحثون، الذين سبق لهم الدفاع عن هذا النهج نفسه، اختبار هذا الأمر بصرامة. حيث صمموا محاكاة مضبوطة كانوا يعرفون فيها الإجابة الحقيقية مسبقاً. وقاموا بتوليد آلاف مجموعات البيانات ذات القيم المفقودة، وإنشاء عشرين نسخة معوضة مختلفة لكل منها، ثم طبقوا قاعدة الاختيار: اختر النسخة ذات الخطأ المقدر الأصغر.
كانت النتائج صارخة. ففي عمليات المحاكاة التي أجروها، حيث كانت الإجابة الحقيقية معروفة، أنتجت طريقة اختيار أصغر خطأ فترات ثقة تغطي الإجابة الحقيقية بنسبة 84.5% فقط من المرات، في حين كان ينبغي لها أن تغطيها بنسبة 95%. وهذا يعني أن الطريقة فشلت في التقاط الحقيقة أكثر مما ينبغي. وقد حدد الباحثون ثلاثة أسباب متميزة لهذا الفشل. أولاً، من خلال اختيار مجموعة بيانات واحدة والتعامل معها كما لو كانت البيانات الحقيقية الوحيدة، فإن الطريقة تتخلص من التباين بين التخمينات المختلفة. وهذا التباين أمر بالغ الأهمية لأنه يمثل عدم اليقين بشأن الأرقام المفقودة. ثانياً، إن عملية اختيار أصغر رقم من بين عشرين رقماً تؤدي بطبيعتها إلى انحياز النتيجة نحو الأسفل. تماماً كما أن أقصر شخص في غرفة تضم عشرين شخصاً من المرجح أن يكون أقصر من متوسط طول الأشخاص في المجتمع العام، فإن أصغر تقدير للخطأ من بين مجموعة من عشرين هو على الأرجح أصغر من متوسط الخطأ الحقيقي. ثالثاً، ولأن تقدير القيمة وتقدير خطئها غالباً ما يكونان مرتبطين، فإن اختيار أصغر خطأ يؤدي دون قصد إلى اختيار نوع معين من القيم، مما يزيح الإجابة النهائية بعيداً عن الحقيقة.
ولتوضيح خطورة المشكلة، قارن الباحثون طريقة الاختيار هذه بالطريقة القياسية المقبولة للتعامل مع التعويضات المتعددة، والمعروفة باسم "قواعد روبن" (Rubin's rules). فبدلاً من اختيار فائز واحد، تقوم قواعد روبن بدمج العشرين تخميناً في نتيجة واحدة متوسطة. وعندما طبق الباحثون هذه الطريقة القياسية على نفس المجموعة من العشرين تخميناً، كانت النتائج دقيقة تماماً. فقد غطت فترات الثقة الإجابة الحقيقية بنسبة 94.6% من المرات، وهو ما حقق الهدف المنشود بدقة. وفي المقابل، بدت طريقة الاختيار أكثر دقة على الورق، حيث أظهرت نطاقاً أضيق من عدم اليقين، لكن تلك الدقة كانت وهماً تم شراؤه على حساب الدقة في التصويب (accuracy).
كما استكشفت الدراسة ما يحدث عندما يزيد الباحثون عدد التخمينات التي يولدونها. تشير النصيحة القياسية إلى أن استخدام المزيد من التعويضات يؤدي إلى نتائج أفضل وأكثر استقراراً. ومع ذلك، بالنسبة لطريقة الاختيار، حدث العكس. فكلما زاد الباحثون عدد مجموعات البيانات المرشحة من اثنتين إلى مائة، ساء أداء طريقة الاختيار. أصبحت فترات الثقة أقل موثوقية، حيث انخفضت لتغطي الإجابة الحقيقة بنسبة 81.7% فقط، بينما نما الانحياز في الإجابة النهائية. وفي المقابل، ظلت الطريقة القياسية لدمج جميع التخمينات مستقرة ودقيقة بغض النظر عن عدد التخمينات المستخدمة. وقد كشف هذا عن فخ خطير: إن المحلل الذي يتبع النصيحة باستخدام المزيد من البيانات ليكون أكثر حذراً، سيجعل استدلاله في الواقع أقل موثوقية عند استخدام طريقة الاختيار، وذلك دون وجود أي علامات تحذيرية في مخرجاته.
وخلص الباحثون إلى أن الخطأ المعياري لا يمكن أن يعمل كهدف للتحليل وكحكم على نجاحه في آن واحد. فلا يمكنك تحسين النتائج للحصول على أصغر خطأ ثم الثقة في هذا الخطأ كقياس صادق لعدم اليقين. وقد اقترحوا بروتوكولاً جديداً لتقييم الأساليب الإحصائية: قبل مقارنة مدى دقة الأساليب المختلفة، يجب على الباحثين أولاً التحقق مما إذا كان عدم اليقين المُبلغ عنه يتوافق مع التباين الفعلي للنتائج. وقد أطلقوا على ذلك نهج "المعايرة أولاً" (calibration-first). فإذا أبلغت طريقة ما عن خطأ أصغر مما ينبغي مقارنة بالحقيقة، فيجب رفضها فوراً، بغض النظر عن مدى ضيق فترات الثقة التي تقدمها. وهذه القاعدة من شأنها أن تمنع طريقة الاختيار من الظهور أبداً كفائز في أي مقارنة عادلة.
يعمل هذا العمل كتصحيح لفكرة جذابة محددة في علم البيانات. وقد اعترف الباحثون بأنهم هم أنفسهم اقترحوا طريقة الاختيار سابقاً، معتقدين أنها تحسين صالح. ومن خلال إعادة فحص عملهم الخاص باستخدام محاكاة صارمة تعرف الحقيقة، أثبتوا أن الطريقة معيبة بشكل أساسي. وشددوا على أن هذا الفشل ليس مجرد تفصيل تقني بسيط، بل هو مشكلة هيكلية تبطل الاستدلال الإحصائي. والحل الذي يقدمونه بسيط: لا تختر فائزاً، بل ادمج جميع المرشحين. فمن خلال تجميع النتائج، تحافظ الطريقة على عدم اليقين الضروري وتنتج استنتاجات صالحة وموثوقة. وتظل هذه الدراسة تذكيراً بأنه في السعي وراء الدقة، يمكن للاختصار الأكثر جاذبية أن يكون أحياناً هو الطريق الذي يؤدي بعيداً عن الحقيقة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.