Evaluating the Empirical Relevance of Clustering in Survey-Based Social Research
यह शोध पत्र क्रॉस-वैलिडेटेड प्रेडिक्शन एक्यूरेसी (CVPA) को पेश करता है, जो एक नवीन मीट्रिक है जो स्वतंत्र वास्तविक दुनिया के परिणामों की भविष्यवाणी करने की इसकी क्षमता को मापकर सर्वेक्षण-आधारित क्लस्टरिंग की अनुभवजन्य प्रासंगिकता का मूल्यांकन करता है, यह प्रदर्शित करते हुए कि यह दृष्टिकोण गणितीय रूप से सघन समूहों के बजाय सामाजिक रूप से सार्थक समूहों को प्रभावी ढंग से अलग करता है और ट्रांसफॉर्मर-आधारित एम्बेडिंग्स का लाभ उठाते हुए विशेषज्ञ मैनुअल क्लस्टरिंग के तुलनीय प्रदर्शन करता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक जासूस हैं जो एक रहस्य सुलझाने की कोशिश कर रहे हैं, लेकिन उंगलियों के निशान खोजने के बजाय, आप उन लोगों के समूहों की तलाश कर रहे हैं जो एक जैसा सोचते हैं। सामाजिक विज्ञान की दुनिया में, शोधकर्ता अक्सर सर्वेक्षण (surveys) बांटते हैं जिसमें लोगों से बड़े विषयों जैसे कि जलवायु परिवर्तन या महामारी के दौरान वे कैसा महसूस करते हैं, इस पर अपने विचार लिखने के लिए कहा जाता है। लक्ष्य इन हजारों बिखरे हुए उत्तरों को व्यवस्थित छोटे ढेरों, या "क्लस्टर्स" (clusters) में छांटना है, ताकि हम विभिन्न प्रकार के लोगों को समझ सकें। लंबे समय से, वैज्ञानिक गणित का उपयोग यह जांचने के लिए करते रहे हैं कि क्या ये ढेर "अच्छे" हैं। वे देखते हैं कि उत्तर आपस में कितने सघन रूप से जुड़े हुए हैं, ठीक वैसे ही जैसे यह जांचना कि क्या कंचों का एक ढेर करीने से एक बॉक्स में रखा गया है। यदि कंचे आपस में पास-पास हैं और अन्य ढेरों से दूर हैं, तो गणित कहता है, "बहुत बढ़िया काम किया!"
लेकिन यहाँ एक पेच है: कंचों का एक ढेर पूरी तरह से व्यवस्थित हो सकता है और फिर भी वह आपको वास्तविक दुनिया के बारे में कुछ भी नहीं बता सकता। हो सकता है कि गणित कहे कि दो समूह अलग-अलग हैं, लेकिन वास्तव में, उन समूहों के लोग एक ही किराने का सामान खरीदने या एक ही उम्मीदवार को वोट देने की उतनी ही संभावना रखते हैं। यह शोध पत्र एक सरल, महत्वपूर्ण प्रश्न पूछता है: क्या लोगों को समूहों में बांटना वास्तव में हमें यह बताने में मदद करता है कि वे कौन हैं या वे क्या करेंगे? लेखक इसे जांचने का एक नया तरीका पेश करते हैं जिसे "क्रॉस-वैलिडेटेड प्रेडिक्शन एक्यूरेसी" (CVPA) कहा जाता है। केवल यह पूछने के बजाय कि, "क्या ये समूह गणितीय रूप से व्यवस्थित दिखते हैं?" वे पूछते हैं, "यदि मैं आपको किसी व्यक्ति के समूह का नाम दूँ, तो क्या आप उनकी आयु, लिंग या आय का अनुमान साधारण अनुमान लगाने की तुलना में बेहतर तरीके से लगा सकते हैं?" यह ताश के पत्तों के डेक को रंग के आधार पर छांटने (जो दिखने में अच्छा लगता है) और उन्हें मूल्य के आधार पर छांटने (जो वास्तव में आपको खेल जिताने में मदद करता है) के बीच का अंतर है।
पेपर की कहानी
इस अध्ययन में, शोधकर्ताओं लीना फरहत, साइमन विलकॉक और विलियम टीहन ने इस नए "उपयोगिता परीक्षण" को चरम चुनौती देने का निर्णय लिया। उन्होंने तीन वास्तविक दुनिया के सर्वेक्षणों का उपयोग किया: एक नॉर्वे से जिसमें लोगों से पूछा गया कि "जलवायु परिवर्तन" सुनते ही उनके मन में क्या आता है, एक यूके से जो ज्वार-भाटे की समझ के बारे में था, और एक वेल्स से कि लोगों ने कोविड-19 महामारी के दौरान जीवन को कैसे अनुभव किया।
सबसे पहले, उन्हें उन सभी लिखित उत्तरों को संख्याओं में बदलना था जिन्हें कंप्यूटर समझ सके। उन्होंने इसे करने के लिए तीन अलग-अलग तरीके आजमाए: एक पुराना तरीका जिसे TF-IDF कहा जाता है (जो केवल शब्दों की आवृत्ति गिनता है), और कृत्रिम बुद्धिमत्ता (AI) पर आधारित दो नए, स्मार्ट तरीके जिन्हें S-BERT और BERT कहा जाता है। TF-IDF को एक ऐसे शब्दकोश के रूप में सोचें जो केवल यह जानता है कि एक शब्द कितनी बार उपयोग किया गया है, जबकि S-BERT और BERT एक बुद्धिमान लाइब्रेरियन की तरह हैं जो शब्दों के पीछे के अर्थ को समझते हैं। परिणाम स्पष्ट थे: स्मार्ट लाइब्रेरियन (S-BERT और BERT) वाक्यों के अर्थ को बनाए रखने में बहुत बेहतर काम करते हैं। जब उन्होंने डेटा का दृश्यीकरण (visualize) किया, तो पुराने तरीके ने सब कुछ एक बिखरे हुए, घने धब्बे जैसा बना दिया, जबकि नए तरीकों ने उत्तरों को इस तरह फैलाया जो वास्तव में लोगों के विभिन्न विचारों को दर्शाता था।
इसके बाद, उन्होंने छह अलग-अलग कंप्यूटर एल्गोरिदम का उपयोग करके इन उत्तरों को समूहों में बांटने की कोशिश की। कुछ एल्गोरिदम लोगों के साफ, गोल घेरे खोजने की कोशिश करते थे; अन्य किसी भी आकार के क्लस्टर खोजने की कोशिश करते थे, भले ही वे बिखरे हुए हों। आमतौर पर, वैज्ञानिक उस एल्गोरिदम को चुनते हैं जो गणितीय रूप रूप से सबसे "सघन" घेरे बनाता है। लेकिन लेखक यहीं नहीं रुके। उन्होंने अपने नए CVPA परीक्षण को लागू किया। उन्होंने पूछा: "यदि हम कंप्यूटर को बताएं, 'यह व्यक्ति समूह A में है,' तो क्या कंप्यूटर उनके लिंग, आयु या आय का अनुमान लगा सकता है?"
निष्कर्ष दिलचस्प थे। कोविड-19 सर्वेक्षण में, कंप्यूटर ने पाया कि लोगों के अनुभव उनके धन और लिंग से गहराई से जुड़े हुए थे। एल्गोरिदम यह अनुमान लगाने में आश्चर्यजनक रूप से सटीक था कि किसी व्यक्ति की आय या लिंग क्या है, केवल यह जानकर कि वह किस समूह से संबंधित है (लिंग के लिए लगभग 60% और आय के लिए 54%)। इसका मतलब था कि समूह केवल रैंडम गणित नहीं थे; वे वास्तविक, अलग-अलग सामाजिक दुनियाओं का प्रतिनिधित्व कर रहे थे। उदाहरण के लिए, एक समूह उन लोगों का हो सकता था जो केवल अपने दरवाजे से ही कुत्ते टहला सकते थे, जबकि दूसरे समूह के पास बड़े बगीचे तक पहुंच थी। कंप्यूटर ने इस विभाजन को पूरी तरह से पकड़ लिया।
हालाँकि, अन्य सर्वेक्षणों के साथ कहानी बदल गई। नॉर्वे के जलवायु सर्वेक्षण में, कंप्यूटर ने पाया कि हालांकि आयु और लिंग का थोड़ा महत्व था, लेकिन पैसे ने समूहों को बिल्कुल भी विभाजित नहीं किया। सभी आय स्तरों के लोग एक जैसी चीजों को लेकर चिंतित थे, जैसे कि बाढ़ और बर्फ का पिघलना। आय के लिए CVPA स्कोर बहुत कम था, जिसे लेखक एक अच्छी खोज बताते हैं! यह नीति निर्माताओं को बताता है कि उन्हें अमीर और गरीब लोगों को जलवायु परिवर्तन के बारे में अलग-अलग संदेश भेजने की आवश्यकता नहीं है; एक बड़ा, एकीकृत संदेश सभी के लिए काम करेगा।
इस पेपर का सबसे रोमांचक हिस्सा शायद यह है कि कंप्यूटर मानव विशेषज्ञों के मुकाबले कैसा प्रदर्शन करता है। शोधकर्ताओं ने अपने कंप्यूटर-जनित समूहों की तुलना उन समूहों से की जिन्हें मानव विशेषज्ञों ने उत्तरों को पढ़कर मैन्युअल रूप से छांटा था। कंप्यूटर ने अद्भुत काम किया। कोविड सर्वेक्षण में, कंप्यूटर के समूहों ने जनसांख्यिकी (demographics) की भविष्यवाणी लगभग उतनी ही अच्छी तरह की जितनी मानव विशेषज्ञों ने की (0.605 बनाम 0.609)। नॉर्वे के सर्वेक्षण में, कंप्यूटर वास्तव में थोड़ा बेहतर रहा (0.572 बनाम 0.571)। यह सुझाव देता है कि कंप्यूटर भाषा में ऐसे पैटर्न ढूंढ सकते हैं जो मानव द्वारा एक-एक करके पढ़ने की तुलना में उतने ही सार्थक, और कभी-कभी और भी अधिक सुसंगत होते हैं।
पेपर यह निष्कर्ष निकालता है कि हमें केवल एक क्लस्टर की "सघनता" या "सफाई" पर भरोसा नहीं करना चाहिए। एक समूह गणितीय रूप से पूर्ण हो सकता है लेकिन वास्तविक जीवन के लिए बेकार हो सकता है। नया CVPA परीक्षण एक वास्तविकता की जांच (reality check) के रूप में कार्य करता है। यह हमें बताता है कि क्या लोगों का एक समूह वास्तव में वास्तविक दुनिया में अलग है या यह केवल एक गणितीय भ्रम है। यदि कोई समूह हमें यह बताने में मदद करता है कि लोग कौन हैं, तो वह एक उपयोगी समूह है। यदि वह नहीं करता है, भले ही वह ग्राफ पर सुंदर दिखे, तो वह सार्वजनिक स्वास्थ्य, नीति या मार्केटिंग के बारे में निर्णय लेने के लिए उपयोगी नहीं हो सकता है। लेखक सुझाव देते हैं कि यह तरीका हमें अनुमान लगाने से हटकर उन निर्णयों की ओर ले जाने में मदद करता है जो वास्तव में वास्तविक दुनिया में मायने रखते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।