When Prediction Error Is Not Enough: Evaluating Nuisance-Function Prediction for Causal Estimation

في عالم علم البيانات، غالبًا ما يواجه الباحثون لغزًا: كيف يمكنهم معرفة ما إذا كان شيء ما يسبب شيئًا آخر عندما لا يستطيعون إجراء تجربة منضبطة. تخيل محاولة فهم ما إذا كان دواء جديد فعال، ولكن ليس لديك سوى سجلات للأشخاص الذين اختاروا تناوله من تلقاء أنفسهم، مختلطة مع أولئك الذين لم يتناوله. لفك هذا الاشتباك، يستخدم العلماء أسلوبًا يسمى الاستدلال السببي. يعتمد هذا النهج على بناء نماذج رياضية لوصف العوامل الخلفية — مثل العمر، أو الدخل، أو التاريخ الصحي — التي تؤثر في كل من قرار تناول الدواء والنتيجة الصحية. تُعرف هذه النماذج الخلفية باسم "دوال الإزعاج" (nuisance functions). وهي تُسمى "إزعاجًا" ليس لأنها مزعجة، بل لأنها مشتتات ضرورية؛ إذ يجب على الباحث تقديرها بدقة لعزل التأثير الحقيقي للعلاج. لسنوات، كانت الطريقة القياسية للتحقق مما إذا كانت هذه النماذج الخلفية جيدة هي معرفة مدى جودة تنبؤها بالبيانات، تمامًا كما يتحقق متنبئ الطقس مما إذا كانت توقعات درجات الحرارة لديه تطابق الطق actually الفعلي. كان الافتراض بسيطًا: إذا كان النموذج يتنبأ بالبيانات الخلفية بشكل جيد، فيجب أن يساعد أيضًا في إيجاد الإجابة الصحيحة للسبب والنتيجة.

يتحدى دراسة حديثة أجراها كونج كاو في جامعة ييل هذا الافتراض الذي ساد لفترة طويلة. وضع الباحث نصب عينيه اختبار ما إذا كان النموذج المتميز في التنبؤ بالبيانات الخلفية هو بالضرية متميز في إيجاد السبب الحقيقي. وللقيام بذلك، لم ينظر "كاو" إلى سجلات طبية من العالم الحقيقي، بل أنشأ آلاف العوالم المحاكية على جهاز الكمبيوتر. في هذه المحاكاة، كانت علاقة السبب والنتيقة الحقيقية معروفة بالتصميم، مما سمح للباحث برؤية مدى أداء البرامج الحاسوبية المختلفة بدقة. قارنت الدراسة عدة طرق شائعة لبناء هذه النماذج الخلفية، تتراوح من الأدوات الإحصائية التقليدية إلى خوارما تعلم الآلة المرنة والحديثة. كان الهدف هو معرفة ما إذا كانت الدرجة التي يحصل عليها النموذج للتنبؤ بالبيانات الخلفية تتطابق مع الدرجة التي يحصل عليها لإيجاد الإجابة السببية الصحيحة.

كشفت النتائج عن انفصال مفاجئ. وجدت الدراسة أن الطريقة الأفضل في التنبؤ بالبيانات الخلفية لم تكن دائمًا هي الأفضل في تقدير التأثير السببي. في عمليات المحاكاة، كانت أداة تعلم الآلة المسماة XGBoost هي الأكثر دقة في التنبؤ بالمتغيرات الخلفية، حيث أنتجت أصغر الأخطاء في تخميناتها. ومع ذلك، عندما يتعلق الأمر بالهدف النهائي المتمثل في تقدير التأثير السببي، فقد تفوقت طريقة أخرى تسمى "التعلم الآلي المزدوج" (Double Machine Learning)، والتي استخدمت XGBoost داخل إطار إحصائي محدد، في مهمة حاسمة مختلفة: توفير فترات ثقة موثوقة. فترة الثقة هي نطاق من القيم يستخدمه الباحثون للتعبير عن مدى تأكدهم من إجابتهم. في هذه المحاكاة، أعطت الطريقة ذات دقة التنبؤ الأعلى نطاقًا ضيقًا جدًا، مما يعني أنها كانت مفرطة في الثقة وغالبًا ما أخطأت الإجابة الحقيقية. أما الطريقة ذات دقة التنبؤ الأقل قليًا، فقد أنتجت نطاقات أوسع وأكثر صدقًا، حيث التقطت الإجابة الحقيقية بنسبة 93 بالمئة من الوقت، وهي نسبة قريبة جدًا من النسبة المثالية البالغة 95 بالمئة.

يشير هذا إلى أن كون المرء متنبئًا جيدًا لا يعني بالضرورة أن يكون محققًا جيدًا للسبب والنتيجة. أظهرت الدراسة أنه يمكن للنموذج أن يكون دقيقًا للغاية في تخمين الأرقام الخلفية ولكنه قد يفشل في تقديم نطاق موثوق للإجابة النهائية. كما اختبر الباحثون فكرة جديدة: ما إذا كان النظر في الأخطاء المشتركة لنموذجين خلفيين مختلفين يمكن أن يتنبأ بالنتيجة النهائية. ووجدوا أن هذا المقياس المشترك كان ضعيفًا ولم يخبرهم بشكل موثوق أي طريقة ستعمل بشكل أفضل. تشير النتائج إلى أنه بينما يعد التحقق من مدى جودة تنبؤ النموذج للبيانات أمرًا مفيدًا، إلا أنه ليس كافيًا بمفرده لضمان استنتاج سببي جيد. لا يمكن للباحثين ببساه اختيار النموذج ذي أقل خطأ في التنبؤ وافتراض أن الإجابة السببية ستكون صحيحة. بدلاً من ذلك، يجب عليهم النظر في الخصائص المحددة للطريقة السببية نفسها، مثل كيفية تعاملها مع عدم اليقين، لضمان أن يكون الاستنتاج النهائي قويًا.

استكشفت الدراسة أيضًا ما يحدث عندما لا تكون نقاط البيانات مستقلة، كما هو الحال عندما يتم تجميع المرضى معًا في نفس المستشفى أو العائلة، مما يخلق رابطًا خفيًا بينهم. حتى في هذه الحالات الأكثر تعقيدًا وتكتلًا، ظل النمط قائمًا. الطريقة التي تنبأت بالبيانات الخلفية بشكل أفضل لم توفر فترات الثقة الأكثر موثوقية. أشار الباحثون إلى أن عملهم استند إلى محاكاة حاسوبية بظروف محددة، لذا قد تبدو النتائج مختلفة في سيناريوهات أخرى من العالم الحقيقي مع أنواع مختلفة من البيانات. ومع ذلك، تظل الرسالة الجوهرية واضحة: في البحث عن السبب والنتيجة، فإن قدرة النموذج على التنبؤ بالماضي لا تترجم تلقائيًا إلى القدرة على تفسير المستقبل. إن الأدوات المستخدمة لتنقية الضوضاء الخلفية يجب أن تُحكم بمدى قدرتها على حماية الإجابة النهائية، وليس فقط بمدى جودة تخمينها للضوضاء نفسها.