Counterfactual Probing for the Influence of Affect and Specificity on Intergroup Bias
यह शोध पत्र यह जांच करता है कि कैसे प्रभाव (affect) और विशिष्टता (specificity) जैसे व्यावहारिक लक्षण एनएलपी (NLP) में अंतर-समूह पूर्वाग्रह को प्रभावित करते हैं, जिसमें अंतर-समूह संबंध लेबल के साथ उनके सहसंबंध का विश्लेषण किया गया है और काउंटरफैक्चुअल प्रोबिंग (counterfactual probing) का उपयोग करके यह प्रकट किया गया है कि न्यूरल मॉडल वर्गीकरण के लिए प्रभाव पर तो निर्भर करते हैं लेकिन विशिष्टता के उपयोग के मामले में अनिर्णायक परिणाम दिखाते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक जासूस हैं जो यह पता लगाने की कोशिश कर रहे हैं कि लोग अपने दोस्तों के बारे में बात करते समय और अपने प्रतिद्वंद्वियों के बारे में बात करते समय अलग-अलग बातें क्यों कहते हैं।
कंप्यूटर (AI) में "पूर्वाग्रह" (bias) पर अधिकांश पिछला शोध एक "स्मोकिंग गन" (ठोस सबूत) खोजने जैसा था: उन्हें केवल तब परवाह थी जब लोग अपमानजनक या बुरे शब्दों का उपयोग करते थे। लेकिन यह शोध पत्र सुझाव देता है कि पूर्वाग्रह वास्तव में हर जगह है, यहाँ तक कि अच्छे वाक्यों में भी। यह केवल इस बारे में नहीं है कि आप क्या कहते हैं, बल्कि यह इस बारे में है कि आप किससे बात कर रहे हैं, इसके आधार पर आप इसे कैसे कहते हैं।
लेखक यह देखने के लिए दो विशिष्ट "फ्लेवर्स" (प्रकारों) की भाषा का परीक्षण करना चाहते थे कि क्या वे इस आधार पर बदलते हैं कि बोलने वाला एक दोस्त (इन-ग्रुप/स्व-समूह) के बारे में बात कर रहा है या एक अजनबी/प्रतिद्वंद्वी (आउट-ग्रुप/अन्य-समूह) के बारे में:
- अफेक्ट (Affect - मनोदशा/भाव): क्या बोलने वाला उस व्यक्ति के प्रति खुश, क्रोधित या तटस्थ है जिसके बारे में वह बात कर रहा है?
- स्पेसिफिसिटी (Specificity - विशिष्टता/विस्तार): क्या बोलने वाला बहुत सामान्य और अस्पष्ट हो रहा है ("आप एक अच्छे व्यक्ति हैं"), या क्या वह विवरणों के साथ बहुत विशिष्ट हो रहा है ("आपने मंगलवार को बिल X के लिए वोट दिया")?
मुख्य प्रश्न
शोधकर्ताओं ने पूछा: क्या कंप्यूटर वास्तव में यह तय करने के लिए कि कोई ट्वीट मित्रवत है या शत्रुतापूर्ण, इन दो फ्लेवर्स का उपयोग करता है?
उन्होंने अमेरिकी कांग्रेस के सदस्यों के ट्वीट्स के एक डेटासेट का उपयोग किया। इस दुनिया में, यदि एक सीनेटर अपनी ही पार्टी के दूसरे सीनेटर को ट्वीट करता है, तो यह एक "इन-ग्रुप" (In-Group) बातचीत है। यदि वह विपक्षी पार्टी को ट्वीट करता है, तो यह "आउट-ग्रुप" (Out-Group) है।
प्रयोग: "मैजिक इरेज़र" और "द मूड रिंग"
यह पता लगाने के लिए कि क्या कंप्यूटर मॉडल वास्तव में इन संकेतों का उपयोग कर रहा है, शोधकर्ताओं ने एक चतुर तकनीक का उपयोग किया जिसे काउंटरफैक्चुअल प्रोबिंग (Counterfactual Probing) कहा जाता है। इसे एक विज्ञान प्रयोग की तरह समझें जिसमें एक जादुई छड़ी होती है:
- द मूड रिंग (Affect): उन्होंने एक ट्वीट लिया और एक गणितीय "जादुई छड़ी" का उपयोग किया ताकि कंप्यूटर के आंतरिक मस्तिष्क को और अधिक सकारात्मक या अधिक नकारात्मक महसूस करने के लिए मजबूर किया जा सके, भले ही ट्वीट के शब्द न बदले हों।
- द डिटेल डायल (Specificity): उन्होंने विस्तार (detail) के लिए भी ऐसा ही किया। उन्होंने कंप्यूटर को मजबूर किया कि वह ट्वीट को या तो बहुत अस्पष्ट या बहुत विस्तृत समझे।
फिर, उन्होंने कंप्यूटर से पूछा: "अब जब हमने मनोदशा या विवरण को बदल दिया है, तो क्या आप अभी भी सोचते हैं कि यह ट्वीट एक दोस्त का है या एक प्रतिद्वंद्वी का?"
उन्हें क्या मिला
1. मूड रिंग काम करती है (Affect)
कंप्यूटर "मनोदशा" के प्रति बहुत संवेदनशील था।
- परिणाम: जब उन्होंने कंप्यूटर को लक्ष्य के प्रति सकारात्मक महसूस करने के लिए मजबूर किया, तो कंप्यूटर ने लगभग हमेशा निर्णय लिया, "आह, यह निश्चित रूप से एक दोस्त होगा!"
- उपमा: यह एक कुत्ते की तरह है। यदि आप खुशी से पूंछ हिलाते हुए अंदर आते हैं (सकारात्मक प्रभाव), तो कुत्ता मान लेता है कि आप एक दोस्त हैं, चाहे आपने क्या भी पहना हो। कंप्यूटर अपना निर्णय लेने के लिए "वाइब" (vibe) पर बहुत अधिक निर्भर करता है।
2. डिटेल डायल टूटा हुआ है (Specificity)
कंप्यूटर "विवरण" (Detail) से भ्रमित हो गया।
- परिणाम: जब उन्होंने कंप्यूटर को यह सोचने के लिए मजबूर किया कि ट्वीट "बहुत विशिष्ट" है, तो कुछ नहीं हुआ। कंप्यूटर को इसकी परवाह नहीं थी। हालाँकि, जब उन्होंने इसे यह सोचने के लिए मजबूर किया कि ट्वीट "बहुत अस्पष्ट" है, तो कंप्यूटर अचानक सोचने लगा, "ओह, यह निश्चित रूप रूप से एक दोस्त होगा!"
- उपमा: कल्पना कीजिए कि आप एक बच्चे को कार के रंग से कार पहचानना सिखा रहे हैं। यदि आप एक लाल कार को नीला रंग देते हैं, तो बच्चा अभी भी जानता है कि वह एक कार है। लेकिन यदि आप उन्हें पहियों के आकार से सिखाने की कोशिश करते हैं, और पहिए धुंधले हैं, तो वे भ्रमित हो जाते हैं।
- क्यों? लेखकों को संदेह है कि कंप्यूटर मॉडल अपने प्रशिक्षण के दौरान "क्षतिग्रस्त" हो गया था। इसने दोस्तों को पहचानने के लिए "मनोदशा" को सीखा, लेकिन इसने विवरणों को ठीक से समझने की क्षमता खो दी। यह एक ऐसे शेफ की तरह है जिसने अपनी स्वाद की शक्ति खो दी है लेकिन उसकी सूंघने की शक्ति अभी भी बेहतरीन है; वह बता सकता है कि भोजन की गंध कैसी है, लेकिन वह यह नहीं बता सकता कि सामग्री ताज़ा है या नहीं।
ट्विस्ट: "सामान्य" पूर्वाग्रह
शोधकर्ताओं का एक सिद्धांत था (पुराने मनोविज्ञान पर आधारित) कि लोग आमतौर पर दोस्तों की प्रशंसा करते समय अस्पष्ट होते हैं और दुश्मनों की आलोचना करते समय विशिष्ट होते हैं।
- सिद्धांत: "आप एक महान व्यक्ति हैं!" (दोस्त के लिए अस्पष्ट प्रशंसा) बनाम "आपने बिल 402 पर गलत वोट दिया!" (एक दुश्मन पर विशिष्ट हमला)।
- वास्तविकता: कंप्यूटर ने इस पैटर्न का पालन नहीं किया। यह केवल मनोदशा पर प्रतिक्रिया करता था। उसे विवरण के स्तर की बिल्कुल भी परवाह नहीं थी।
निष्कर्ष (Takeaway)
यह शोध पत्र AI शोधकर्ताओं के लिए वास्तविकता की जाँच है।
- पूर्वाग्रह सूक्ष्म है: यह केवल घृणास्पद भाषण (hate speech) के बारे में नहीं है; यह इस बारे में है कि हम अपने संबंधों के आधार पर लोगों का वर्णन कैसे अलग-अलग तरीके से करते हैं।
- AI एकतरफा सोच वाला है: जिस कंप्यूटर मॉडल का उन्होंने परीक्षण किया, वह "अच्छी वाइब्स" बनाम "बुरी वाइब्स" का पता लगाने में बहुत अच्छा है, लेकिन वह "विवरणों" की बारीकियों को समझने में बहुत बुरा है।
- हमें बेहतर उपकरणों की आवश्यकता है: AI को "छेड़ने" के लिए उपयोग की जाने वाली विधियाँ (जादुई छड़ियाँ) शक्तिशाली हैं, लेकिन वे कभी-कभी AI के मस्तिष्क को खराब कर सकती हैं, जिससे पूरी तस्वीर देखना कठिन हो जाता है।
संक्षेप में: कंप्यूटर जानता है कि आप दयालु हो रहे हैं या क्रूर, लेकिन वह एक अस्पष्ट प्रशंसा और एक विशिष्ट प्रशंसा के बीच के अंतर को पूरी तरह से नहीं समझता है। और यदि हम चाहते हैं कि AI वास्तव में मानवीय संबंधों को समझे, तो यह एक समस्या है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।