Diagnosing Causal Credibility of Machine Learning Explanations: A Dual- SHAP Attribution Framework Applied to Social Survey Data

मानव व्यवहार के आधुनिक अध्ययन में, शोधकर्ता सर्वेक्षण डेटा की विशाल मात्रा में पैटर्न खोजने के लिए शक्तिशाली कंप्यूटर प्रोग्रामों पर तेजी से निर्भर हो रहे हैं। ये मशीन लर्निंग मॉडल जटिल संबंधों को पहचानने में उत्कृष्ट हैं जिन्हें पारंपरिक सांख्यिकी मिस कर सकती है, जैसे कि कैसे एक व्यक्ति की आय, आयु और वे कहाँ रहते हैं, मिलकर उनके सामाजिक व्यवहार को प्रभावित कर सकते हैं। हालाँकि, ये मॉडल अक्सर अपारदर्शी होते; वे उच्च सटीकता के साथ एक परिणाम की भविष्यवाणी कर सकते हैं लेकिन यह स्पष्ट व्याख्या नहीं दे पाते कि ऐसा क्यों हुआ। इसे ठीक करने के लिए, वैज्ञानिक SHAP नामक एक उपकरण का उपयोग करते हैं, जो एक स्पॉटलाइट की तरह कार्य करता है, जो यह उजागर करता है कि एक मॉडल ने भविष्यवाणी करते समय किन कारकों को सबसे महत्वपूर्ण माना। समस्या यह है कि यह स्पॉटलाइट अक्सर दो बहुत ही अलग चीजों को भ्रमित कर देती है: एक वास्तविक कारण-और-प्रभाव संबंध और एक मात्र संयोग। सिर्फ इसलिए कि दो चीजें एक साथ होती हैं, इसका मतलब यह नहीं है कि एक ने दूसरे का कारण बना। उदाहरण के लिए, एक मॉडल "जीवनसाथी की आयु" को किसी व्यक्ति के इंटरनेट उपयोग के मुख्य कारण के रूप में चिह्नित कर सकता है, इसलिए नहीं कि जीवनसाथी की आयु सीधे तौर पर यह बदलती है कि व्यक्ति इंटरनेट का कितना उपयोग करता है, बल्कि इसलिए क्योंकि जीवनसाथी अक्सर समान आयु के होते हैं, और आयु स्वयं तकनीक के उपयोग का एक मजबूत चालक है। इन वास्तविक कारणों और भ्रामक सहसंबंधों के बीच अंतर करना उन सामाजिक वैज्ञानिकों के लिए आवश्यक है जो केवल भविष्यवाणी करने के बजाय मानव व्यवहार को समझना चाहते हैं।

चीन के नॉर्थ यूनिवर्सिटी के शिडोंग ली द्वारा किया गया एक नया अध्ययन वास्तविक दुनिया के सामाजिक सर्वेक्षण डेटा पर एक कठोर नैदानिक ढांचे को लागू करके इस भ्रम का सीधा मुकाबला करता है। शोधकर्ता ने 2023 के चाइनीज जनरल सोशल सर्वे के जवाबों का विश्लेषण किया, जो तीस-एक प्रांतों के लगभग 4,800 लोगों का प्रतिनिधित्व करने वाला एक विशाल डेटासेट है। लक्ष्य सामाजिक जीवन के अठारह विभिन्न पहलुओं का परीक्षण करना था, जिसमें दोस्तों से मिलने की आवृत्ति से लेकर अजनबियों में विश्वास और मीडिया उपभोग की आदतों तक शामिल थे। एक एकल कंप्यूटर मॉडल द्वारा प्रदान किए गए मानक स्पष्टीकरणों को स्वीकार करने के बजाय, अध्ययन ने "डुअल-SHAP" दृष्टिकोण का उपयोग किया। यह विधि महत्व की गणना करने के दो अलग-अलग तरीकों की तुलना करती है। पहला तरीका डेटा को उसके प्राकृतिक रूप में देखता है, जो चरों के बीच सभी मौजूदा संबंधों को सुरक्षित रखता है। दूसरा तरीका उन संबंधों को कृत्रिम रूप से तोड़ देता है, यह पूछता है कि यदि कोई विशिष्ट कारक बदलता है जबकि बाकी सब स्वतंत्र रहता है, तो भविष्यवाणी पर क्या प्रभाव पड़ेगा। इन दो विधियों के परिणामों की तुलना करके, अध्ययन प्रत्येक कारक के लिए एक "विश्वसनीयता स्कोर" (credibility score) को माप सकता है। उच्च स्कोर का अर्थ है कि कारक का महत्व तब भी बना रहता है जब सहसंबंधों को तोड़ा जाता है, जो एक प्रत्यक्ष कारण संबंध का सुझाव देता है। कम स्कोर इंगित करता है कि कारक संभवतः केवल एक अन्य, अधिक प्रभावशाली चर की छाया में चल रहा था।

जांच की शुरुआत अठारह सामाजिक व्यवहारों को स्कैन करके हुई ताकि यह देखा जा सके कि उपलब्ध डेटा द्वारा किन व्यवहारों की विश्वसनीय रूप से भविष्यवाणी की जा सकती है। मूल रूप से विचार किए गए बाईस व्यवहारों में से, अठारह को आगे के विश्लेषण के लिए पर्याप्त अनुमान योग्य पाया गया, जबकि चार, जैसे कि स्वयंसेवी गतिविधियों की आवृत्ति, प्रभावी ढंग से मॉडल करने के लिए बहुत अनियमित थे। शेष अठारह में से, अध्ययन ने यह देखने के लिए पांच अलग-अलग प्रकार के मशीन लर्निंग एल्गोरिदम का परीक्षण किया कि प्रत्येक विशिष्ट व्यवहार के लिए कौन सा सबसे अच्छा प्रदर्शन करता है। परिणामों ने एक सामान्य धारणा को चुनौती दी: कि एक विशिष्ट एल्गोरिदम, जिसे XGBoost कहा जाता है, सभी कार्यों के लिए सार्वभौमिक चैंपियन है। इसके बजाय, अध्ययन ने पाया कि कोई भी एक मॉडल पूरे परिदृश्य पर हावी नहीं है। RandomForest नामक एक मॉडल दस परिणामों के लिए सर्वश्रेष्ठ प्रदर्शन करने वाला था, जिसमें सामाजिक संपर्क और मीडिया उपयोग जैसे क्षेत्र शामिल थे। हालाँकि, अन्य मॉडलों, जिनमें Ridge regression, LightGBM और GradientBoosting शामिल हैं, ने सामान्य सामाजिक विश्वास या समाचार पत्र पढ़ने जैसे विशिष्ट परिणामों के लिए श्रेष्ठता सिद्ध की। यह निष्कर्ष बताता है कि कंप्यूटर मॉडल का चयन एक मामूली तकनीकी विवरण नहीं है बल्कि एक मौलिक निर्णय है जो उन निष्कर्षों को आधारभूत रूप से आकार देता है जो शोधकर्ता मानव व्यवहार को चलाने वाले कारकों के बारे में निकालते हैं।

एक बार प्रत्येक व्यवहार के लिए सर्वश्रेष्ठ मॉडल का चयन हो जाने के बाद, अध्ययन ने संभावित कारणों की सूची को तैंतीस प्रेडिक्टर्स से घटाकर उनतीस प्रमुख कारकों तक सीमित कर दिया। इस चयन प्रक्रिया ने स्वयं SHAP टूल का उपयोग करके उन चरों को फ़िल्टर किया जो समग्र तस्वीर में बहुत कम योगदान देते थे, जैसे कि किसी व्यक्ति की कितनी बेटियाँ हैं या लैंगिक भूमिकाओं के प्रति विशिष्ट दृष्टिकोण। शेष उनतीस कारकों में आयु और आय जैसे जनसांख्यिकीय विवरण के साथ-साथ सामाजिक निष्पक्षता के प्रति दृष्टिकोण और भाषाई क्षमताएं शामिल थीं। आयु सभी क्षेत्रों में सबसे प्रमुख प्रेडिक्टर के रूप में उभरी, जिसके बाद व्यक्तिगत आय और भाषाई कौशल का स्थान रहा। इन प्रमुख कारकों की पहचान के बाद, शोधकर्ताओं ने प्रत्येक कारक के प्रभाव की विश्वसनीयता की गणना करने के लिए डुअल-SHAP ढांचे को लागू किया। उन्होंने पाया कि सभी संबंधों में औसत विश्वसनीयता स्कोर 0.727 था, जो यह दर्शाता है कि हालांकि कई कारकों का प्रत्यक्ष प्रभाव होता है, मानक मॉडलों द्वारा दिया गया महत्व का एक बड़ा हिस्सा सहसंबंधों के कारण बढ़ा हुआ है।

अध्ययन ने विश्वसनीयता का एक विस्तृत स्पेक्ट्रम प्रकट किया। कुछ कारक, जैसे कि सामाजिक निष्पक्षता के प्रति व्यक्ति की धारणा या प्रवासन पर उनके राजनीतिक विचार, उच्च विश्वसनीयता स्कोर दिखाते थे, जिसका अर्थ था कि उनका प्रभाव सामाजिक परिणामों पर मजबूत और संभवतः कारण-संबंधी था। इसके विपरीत, जीवनसाथी की आयु या विवाह की अवधि जैसे कारकों ने अक्सर कम या यहाँ तक कि नकारात्मक विश्वसनीयता दिखाई जब उनका संबंध उत्तरदाता की अपनी आयु से तोड़ा गया। उदाहरण के लिए, जब अध्ययन ने एक परिदृश्य का अनुकरण किया जहाँ उत्तरदाता की आयु के स्वतंत्र रूप से जीवनसाथी की आयु को बदला गया, तो इंटरनेट उपयोग पर जीवनसाथी की आयु का स्पष्ट प्रभाव गायब हो गया या दिशा में उलट गया। इसने एक स्पष्ट चेतावनी दी कि मूल मॉडल ने एक सहसंबंध को कारण के रूप में गलत समझा था। शोधकर्ताओं ने इन स्कोरों की व्याख्या करने में मदद करने के लिए एक थ्रेशोल्ड (सीमा) स्थापित की: उन्होंने सुझाव दिया कि 0.80 या उससे अधिक का स्कोर मुख्य रूप से कारण संबंध का एक मजबूत संकेतक माना जाना चाहिए। इस मानक का उपयोग करते हुए, केवल लगभग चालीस प्रतिशत कारक-व्यवहार जोड़े ही मुख्य रूप से कारण संबंध के रूप में योग्य पाए गए। यदि थ्रेशोल्ड को अधिक उदार 0.50 तक कम किया जाता, तो लगभग तिरानवे प्रतिशत जोड़े मानदंडों को पूरा करते, लेकिन शोधकर्ताओं ने तर्क दिया कि आकस्मिक पैटर्न से बचने के लिए सख्त मानक आवश्यक है।

यह सुनिश्चित करने के लिए कि ये निष्कर्ष केवल सांख्यिकीय विसंगतियां नहीं हैं, अध्ययन ने वास्तविक दुनिया के परिवर्तनों का अनुकरण करके एक अंतिम जांच की। उन्होंने पूछा कि क्या होगा यदि किसी व्यक्ति का कोई विशिष्ट कारक, जैसे आय या आयु, एक मानक मात्रा में बढ़ जाता है। परिणाम सामान्य ज्ञान और स्थापित सामाजिक विज्ञान के अनुरूप थे। उदाहरण के लिए, सिमुलेशन में किसी व्यक्ति की आयु बढ़ाने से इंटरनेट उपयोग में कमी आने का अनुमान लगा, जो उस प्रसिद्ध डिजिटल विभाजन को दर्शाता है जहाँ वृद्ध वयस्क तकनीक का कम उपयोग करते हैं। इसी तरह, व्यक्तिगत आय बढ़ाने से समाचार पत्र पढ़ने में वृद्धि का अनुमान लगा, जो इस विचार के अनुरूप है कि उच्च सामाजिक-आर्थिक स्थिति मुद्रित मीडिया उपभोग से जुड़ी होती है। इन सिमुलेशनों ने पुष्टि की कि मॉडल वास्तविक, व्याख्या योग्य संबंधों को पकड़ रहे थे न कि यादृच्छिक शोर (random noise) को। इसके अलावा, जब शोधकर्ताओं ने विभिन्न उपसमूहों, जैसे कि युवा बनाम वृद्ध या शहरी बनाम ग्रामीण निवासियों पर इस ढांचे का परीक्षण किया, तो समग्र पैटर्न स्थिर रहे, हालांकि विशिष्ट विश्वसनीयता स्कोर अध्ययन किए जा रहे जनसंख्या के आधार पर थोड़े भिन्न थे। यह प्रदर्शित करता है कि हालांकि यह पद्धति सुदृढ़ है, लेकिन कारण संबंध की ताकत अध्ययन किए जा रहे विशिष्ट समूह पर निर्भर कर सकती है।

अंततः, यह कार्य सामाजिक वैज्ञानिकों के लिए मशीन लर्निंग स्पष्टीकरणों में सिग्नल और शोर के बीच अंतर करने के लिए एक पारदर्शी और पुनरुत्पादनीय उपकरण प्रदान करता है। यह पूर्ण अर्थ में कारणता (causality) को सिद्ध करने का दावा नहीं करता है, क्योंकि अनमापे गए कारक अभी भी सक्रिय हो सकते हैं, लेकिन यह एक व्यावहारिक तरीका प्रदान करता है कि कब एक स्पष्टीकरण भ्रामक होने की संभावना है। यह तुलना करके कि एक मॉडल तब कैसा व्यवहार करता है जब वह डेटा को उसके वास्तविक रूप में देखता है बनाम तब कैसा व्यवहार करता है जब वह चरों के बीच प्राकृतिक संबंधों को तोड़ देता है, शोधकर्ता अब यह पहचान सकते हैं कि कौन से कारक वास्तव में सामाजिक परिणामों को चला रहे हैं और कौन से केवल अन्य चरों द्वारा बनाई गई छाया मात्र हैं। अध्ययन निष्कर्ष निकालता है कि हालांकि मशीन लर्निंग मानव व्यवहार को देखने के लिए एक शक्तिशाली लेंस है, लेकिन यह सुनिश्चित करने के लिए कि इसके द्वारा दिए गए अंतर्द зрения केवल सटीक भविष्यवाणियां नहीं बल्कि इस बात के विश्वसनीय स्पष्टीकरण हैं कि लोग जिस तरह से कार्य करते हैं वैसा क्यों करते हैं, इस प्रकार के सावधानीपूर्ण अंशांकन (calibration) की आवश्यकता होती है।