Diagnosing Causal Credibility of Machine Learning Explanations: A Dual- SHAP Attribution Framework Applied to Social Survey Data

في الدراسة الحديثة للسلوك البشري، يعتمد الباحثون بشكل متزايد على برامج حاسوبية قوية لإيجاد أنماط في كميات هائلة من بيانات الاستطلاع. وتبرع نماذج تعلم الآلة هذه في رصد الروابط المعقدة التي قد تغفل عنها الإحصاءات التقليدية، مثل كيف يمكن ل ingresos الشخص، وعمره، ومكان سكنه أن تجتمع معاً لتؤثر على عاداته الاجتماعية. ومع ذلك، غالباً ما تكون هذه النماذج غامضة؛ إذ يمكنها التنبؤ بنتيجة بدقة عالية ولكنها لا تقدم تفسيراً واضحاً لسبب حدوثها. ولحل هذه المشكلة، يستخدم العلماء أداة تسمى "SHAP"، والتي تعمل مثل كشاف الضوء، حيث تسلط الضوء على العوامل التي اعتبرها النموذج الأكثر أهمية عند إجراء تنبؤ ما. والمشكلة تكمن في أن كشاف الضوء هذا غالباً ما يخلط بين شيئين مختلفين تماماً: علاقة السبب والنتيجة الحقيقية، ومجرد مصادفة عابرة. فمجرد حدوث شيئين معاً لا يعني أن أحدهما تسبب في الآخر. فعلى سبيل المثال، قد يشير نموذج ما إلى "عمر الزوج/الزوجة" كسبب رئيسي لاستخدام الشخص للإنترنت، ليس لأن عمر الزوج/الزوجة يغير مباشرة من مدى استخدام الشخص للإنترنت، بل ببساطة لأن الأزواج يميلون لأن يكونوا في أعمار متقاربة، ولأن العمر في حد ذاته محرك قوي لاستخدام التكنولوجيا. إن التمييز بين هذه الأسباب الحقيقية والارتباطات المضللة أمر ضروري لعلماء الاجتماع الذين يسعون لفهم السلوك البشري بدلاً من مجرد التنبؤ به.

تتناول دراسة جديدة أجراها شيدونغ لي من جامعة شمال الصين هذا الارتباك مباشرة عبر تطبيق إطار تشخيصي صارم على بيانات استطلاع اجتماعي من الواقع. حلل الباحث استجابات من المسح الاجتماعي العام الصيني لعام 2023، وهو مجموعة بيانات ضخمة تمثل ما يقرب من 4800 شخص عبر واحد وثلاثين مقاطعة. وكان الهدف هو اختبار ثمانية عشر جانباً مختلفاً من الحياة الاجتماعية، بدءاً من عدد مرات زيارة الناس لأصدقائهم وصولاً إلى ثقتهم في الغرباء وعادات استهلاكهم لوسائل الإعلام. وبدلاً من قبول التفسيرات القياسية التي يقدمها نموذج حاسوبي واحد، استخدمت الدراسة نهج "dual-SHAP" (الـ SHAP المزدوج). تقارن هذه الطريقة بين طريقتين مختلفتين لحساب الأهمية. تنظر الطريقة الأولى إلى البيانات كما هي موجودة طبيعياً، مع الحفاظ على جميع الروابط القائمة بين المتغيرات. أما الطريقة الثانية، فتقوم بكسر تلك الروابط اصطناعياً، متسائلة عما سيحدث للتنبؤ إذا تغير عامل معين بينما ظل كل شيء آخر مستقلاً. ومن خلال مقارنة نتائج هاتين الطريقتين، استطاعت الدراسة قياس "درجة مصداقية" لكل عامل. وتعني الدرجة العالية أن أهمية العامل تصمد حتى عند كسر الارتباطات، مما يشير إلى وجود رابط سببي مباشر. بينما تشير الدرجة المنخفضة إلى أن العامل كان على الأرجح مجرد "راكب" يستفيد من تأثير متغير آخر أكثر نفوذاً.

بدأ التحقيق بمسح السلوكيات الاجتماعية الثمانية عشر لمعرفة أي منها يمكن التنبؤ به بشكل موثوق باستخدام البيانات المتاحة. ومن بين اثنين وعشرين سلوكاً تم النظر فيها في الأصل، وُجد أن ثمانية عشر سلوكاً قابلة للتنبؤ بما يكفي لتحليلها لاحقاً، بينما كانت أربعة سلوكات، مثل وتيرة الأنشطة التطوعية، غير منتظمة جداً بحيث يصعب نمذجتها بفعالية. ومن بين الثمانية عشر المتبقية، اختبرت الدراسة خمسة أنواع مختلفة من خوارزميات تعلم الآلة لمعرفة أي منها يعمل بشكل أفضل لكل سلوك محدد. وقد تحدت النتائج افتراضاً شائعاً في هذا المجال، وهو أن خوارزمية واحدة محددة، تُعرف باسم "XGBoost"، هي البطل العالمي لجميع المهام. وبدلاً من ذلك، وجدت الدراسة أنه لا يوجد نموذج واحد يهيمن على المشهد بأكمده. فقد كان نموذج "RandomForest" هو الأفضل أداءً لعشرة من النتائج الثمانية عشر، مغطياً مجالات مثل التفاعل الاجتماعي واستهلاك وسائل الإعلام. ومع ذلك، أثبتت نماذج أخرى، بما في ذلك "Ridge regression" و"LightGBM" و"GradientBoosting"، تفوقها في نتائج محددة مثل الثقة الاجتماعية العامة أو قراءة الصحف. ويشير هذا الاكتشاف إلى أن اختيار النموذج الحاسوبي ليس مجرد تفصيل تقني بسيط، بل هو قرار جوهري يشكل بشكل أساسي الاستنتاجات التي يستخلصها الباحثون حول ما يحرك السلوك البشري.

بمجرد اختيار أفضل نموذج لكل سلوك، قلصت الدراسة قائمة الأسباب المحتملة من ثمانية وثلاثين متغيراً تنبؤياً إلى تسعة وعشرين عاملاً رئيسياً. استخدمت عملية الاختيار هذه أداة "SHAP" نفسها لتصفية المتغيرات التي تساهم بشكل ضئيل جداً في الصورة العامة، مثل عدد بنات الشخص أو مواقف محددة تجاه أدوار الجنسين. وشملت العشرين وتسعة عاملاً المتبقية ديموغرافيا مثل العمر والدخل، بالإضافة إلى المواقف تجاه العدالة الاجتماعية والقدرات اللغوية. وقد برز العمر كأكثر المتنبئات هيمنة عبر كافة المجالات، يليه عن كثب الدخل الشخصي والمهارات اللغوية. ومع تحديد هذه العوامل الرئيسية، طبق الباحثون إطار "dual-SHAP" لحساب مصداقية تأثير كل عامل. ووجدوا أن متوسط درجة المصداقية عبر جميع العلاقات كان 0.727، مما يشير إلى أنه بينما تمتلك العديد من العوامل تأثيراً مباشراً، فإن جزءاً كبيراً من الأهمية التي تخصصها النماذج القياسية يتم تضخيمه بسبب الارتباطات.

كشفت الدراسة عن طيف واسع من الموثوقية. فبعض العوامل، مثل تصور الشخص للعدالة الاجتماعية أو آرائه السياسية حول الهجرة، أظهرت درجات مصداقية عالية، مما يعني أن تأثيرها على النتائج الاجتماعية كان قوماً و likely (مرجح أن يكون) سببياً. وفي المقابل، أظهرت عوامل مثل عمر الزوج/الزوجة أو مدة الزواج غالباً درجات مصداقية منخفضة أو حتى سالبة عندما تم كسر ارتباطها بعمر المستجيب نفسه. على سبيل المثال، عندما حاكت الدراسة سيناريو يتم فيه تغيير عمر الزوج/الزوجة بشكل مستقل عن عمر المستجيب، تلاشى التأثير الظاهري لعمر الزوج/الزوجة على استخدام الإنترنت أو حتى انعكس اتجاهه. وكان هذا بمثابة تحذير واضح من أن النموذج الأصلي قد أخطأ في اعتبار الارتباط سبباً. وضع الباحثون عتبة للمساعدة في تفسير هذه الدرجات: اقترحوا أن الدرجة التي تبلغ 0.80 أو أعلى يجب أن تعتبر مؤشراً قوياً على وجود علاقة سببية في المقام الأول. وباستخدام هذا المعيار، تأهل حوالي 40% فقط من أزواج (العامل-السلوك) كعلاقات سببية في المقام الأول. وإذا تم خفض العتبة إلى مستوى أكثر تساهلاً قدره 0.50، فإن ما يقرب من 93% من الأزواج ستستوفي المعايير، لكن الباحثين جادلوا بأن المعيار الأكثر صرامة ضروري لتجنب الانخداع بالأنماط المصادفة.

ولضمان أن هذه النتائج ليست مجرد نواتج إحصائية عشوائية، أجرت الدراسة فحصاً نهائياً عبر محاكاة تغييرات في العالم الحقيقي. فقد تساءلوا عما سيحدث لسلوك الشخص المتوقع إذا زاد عامل معين، مثل الدخل أو العمر، بمقدار معياري. وكانت النتائج متسقة مع المنطق السليم والعلوم الاجتماعية الراسخة. فعلى سبيل المثال، أدت زيادة عمر الشخص في المحاكاة إلى انخفاض متوقع في استخدام الإنترنت، مما يعكس "الفجوة الرقمية" المعروفة حيث يستخدم كبار السن التكنولوجيا بشكل أقل تكراراً. وبالمثل، أدت زيادة الدخل الشخصي إلى زيادة متوقعة في قراءة الصحف، مما يتماشى مع فكرة أن الوضع الاجتماعي والاقتصادي الأعلى يرتبط باستهلاك الوسائط المطبوعة. أكدت هذه المحاكاة أن النماذج كانت تلتقط علاقات حقيقية وقابلة للتفسير بدلاً من الضجيج العشوائي. علاوة على ذلك، عندما اختبر الباحثون الإطار على مجموعات فرعية مختلفة، مثل الشباب مقابل كبار السن أو سكان الحضر مقابل سكان الريف، ظلت الأنماط العامة ثابتة، رغم أن درجات المصداقية المحددة تباينت قليلاً اعتماداً على الفئة السكانية. وهذا أثبت أنه بينما الطريقة قوية، فإن قوة الرابط السببي يمكن أن تعتمد على المجموعة المحددة التي تتم دراستها.

في نهاية المطاف، توفر هذه العمل أداة شفافة وقابلة للتكرار لعلماء الاجتماع للفصل بين الإشارة والضجيج في تفسيرات تعلم الآلة. وهي لا تدعي إثبات السببية بالمعنى المطلق، حيث يمكن أن تظل هناك عوامل غير مقاسة في اللعبة، لكنها تقدم طريقة عملية لتشخيص متى يكون التفسير مضللاً على الأرجح. ومن خلال مقارنة كيفية سلوك النموذج عندما يرى البيانات كما هي مقابل كيفية سلوكه عندما يكسر الروابط الطبيعية بين المتغيرات، يمكن للباحثين الآن تحديد العوامل التي تقود حقاً النتائج الاجتماعية وتلك التي ليست سوى ظلال تلقيها متغيرات أخرى. وتخلص الدراسة إلى أنه بينما يعد تعلم الآلة عدسة قوية لرؤية السلوك البشري، فإنه يتطلب هذا النوع من المعايرة الدقيقة لضمان أن الرؤى التي يقدمها ليست مجرد تنبؤات دقيقة، بل تفسيرات موثوقة لسبب تصرف الناس بالطريقة التي يفعلونها بها.