Annotator Positionality as Signal: Psychometric Weighting for Anti-Autistic Ableism Detection
यह शोध पत्र एक मनोवैज्ञानिक रूप से भारित (psychometrically-weighted) मूल्यांकन ढांचे को प्रस्तुत करता है जो ऑटिस्टिक एनोटेटर के दृष्टिकोण को प्राथमिकता देता है ताकि यह प्रकट किया जा सके कि कैसे लार्ज लैंग्वेज मॉडल्स अक्सर पुनरुद्धारित भाषा (reclaimed language) को विकलांगता-विरोधी (ableist) के रूप में गलत पहचानते हैं और एंटी-ऑटिस्टिक पूर्वाग्रह का आकलन करते समय संदर्भ संबंधी सूक्ष्मता के बजाय सतही कीवर्ड मिलान पर निर्भर करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को यह सिखाने की कोशिश कर रहे हैं कि दोस्तों के बीच किए गए एक दोस्ताना मज़ाक और किसी अजनबी द्वारा दिए गए क्रूर अपमान के बीच अंतर कैसे किया जाए। शोधकर्ताओं ने बिल्कुल यही करने की कोशिश की है, लेकिन एक बहुत ही विशिष्ट और संवेदनशील विषय के साथ: ऐसी भाषा जो ऑटिस्टिक (autistic) लोगों को ठेस पहुँचाती है।
यहाँ उनके अध्ययन का सरल उपमाओं (analogies) का उपयोग करके विवरण दिया गया है।
1. समस्या: रोबोट की "डिफ़ॉल्ट सेटिंग" गलत है
लार्ज लैंग्वेज मॉडल्स (LLMs) उन सुपर-स्मार्ट रोबोटों की तरह हैं जिन्हें पूरे इंटरनेट पर प्रशिक्षित किया गया है। समस्या यह है कि इंटरनेट ऑटिज्म के बारे में पुराने, हानिकारक विचारों (जैसे यह सोचना कि यह ठीक किया जाने वाला कोई रोग है या ऑटिस्टिक लोग 'टूटे हुए' या दोषपूर्ण हैं) से भरा हुआ है।
जब ये रोबोट "एबलिस्ट" (ableist) भाषा (ऐसी भाषा जो विकलांग लोगों के खिलाफ भेदभाव करती है) को पहचानने की कोशिश करते हैं, तो वे अक्सर गलत हो जाते हैं क्योंकि वे एक "न्यूरोटिपिकल" (neurotypical) मानसिकता में फंसे होते हैं। वे यह नहीं समझ पाते कि:
- संदर्भ ही सर्वोपरि है (Context is King): "aspie" जैसा शब्द एक अजनबी द्वारा कहे जाने पर एक घृणित अपशब्द हो सकता है, लेकिन यदि एक ऑटिस्टिक व्यक्ति दूसरे ऑटिस्टिक व्यक्ति से कहे, तो यह एक प्यारा, दोस्ताना उपनाम हो सकता है।
- "बाहरी व्यक्ति" का अंधापन (The "Outsider" Blind Spot): रोबोट अक्सर उन सूक्ष्म अपमानों को पकड़ने में विफल रहते हैं जिनमें "बुरे शब्दों" का उपयोग नहीं किया जाता, लेकिन फिर भी वे ऑटिज्म को एक त्रासदी के रूप में देखते हैं।
2. समाधान: मदद के लिए सही लोगों को बुलाना
आमतौर पर, जब शोधकर्ता रोबोट को प्रशिक्षित करते हैं, तो वे लोगों की एक भीड़ से वोट देने के लिए कहते हैं कि क्या कोई वाक्य बुरा है। इसमें बहुमत जीतता है। लेखक कहते हैं कि यह वैसा ही है जैसे किसी ऐसे समूह से किसी विदेशी देश की स्थानीय परंपराओं का न्याय करने के लिए कहना जिसने कभी उस देश का दौरा ही नहीं किया—वे गलत निर्णय लेंगे।
इसके बजाय, इस टीम ने एक "साइकोमेट्रिक वेटिंग" (Psychometric Weighting) प्रणाली बनाई। इसे केवल छात्रों के नहीं, बल्कि शिक्षकों के लिए एक ग्रेडिंग कर्व की तरह समझें।
- उन्होंने केवल रैंडम लोगों से वाक्यों को लेबल करने के लिए नहीं कहा।
- उन्होंने लेबल करने वाले इंसानों को अपने स्वयं के पूर्वाग्रहों (biases) को मापने के लिए परीक्षण दिए और यह भी देखा कि वे ऑटिस्टिक अनुभव से कितना जुड़ते हैं (AQ टेस्ट जैसे उपकरणों का उपयोग करके)।
- उपमा: एक जजों के पैनल की कल्पना करें। यदि किसी जज का किसी विशेष समूह के प्रति पूर्वाग्रह का इतिहास है, तो उनके वोट की गिनती कम होगी। यदि कोई जज उस समुदाय का हिस्सा है या उसमें पूर्वाग्रह बहुत कम है, तो उनके वोट की गिनती अधिक होगी।
- परिणाम: उन्होंने पाया कि "बहुमत का वोट" (मानक तरीका) वास्तव में ऑटिस्टिक लोगों की आवाज़ों को दबा देता है। ऑटिस्टिक और कम पूर्वाग्रह वाले लोगों के वोटों को अधिक महत्व देकर, उन्होंने एक "अधिक सख्त" और सटीक सत्य बनाया।
3. प्रयोग: क्या रोबोट सीख सकता है?
शोधकर्ताओं ने इस नए, सख्त "सत्य" को एक बेंचमार्क के रूप में उपयोग करके 12 अलग-अलग AI मॉडल्स का परीक्षण किया। उन्होंने रोबोट से बात करने के विभिन्न तरीके आजमाए:
- ज़ीरो-शॉट (Zero-Shot): रोबोट से सीधे निर्णय लेने के लिए कहना।
- चेन-ऑफ-थॉट (Chain-of-Thought): रोबोट को निर्णय लेने से पहले चरण-दर-चरण "सोचने के लिए" कहना।
- पर्सोना (Personas): रोबोट को कहना, "मान लो कि तुम एक ऑटिस्टिक व्यक्ति हो।"
- उदाहरण (Examples): रोबोट को क्या करना है, इसके उदाहरण दिखाना।
निष्कर्ष:
- रोबोट संघर्ष करते रहे: सर्वोत्तम निर्देशों के बावजूद, रोबलों का प्रदर्शन खराब रहा। वे अनुमान लगाने से थोड़े ही बेहतर थे।
- "कीवर्ड" का सहारा (The "Keyword" Crutch): रोबोट उन छात्रों की तरह थे जिन्होंने केवल "बुरे शब्दों" की सूची रट ली थी। यदि वाक्य में कोई बुरा शब्द था, तो उन्होंने उसे फ्लैग कर दिया। यदि नहीं था, तो वे नुकसान को पहचानने में विफल रहे। वे यह समझने में विफल रहे कि कौन बोल रहा है या क्यों बोल रहा है।
- "सोचने" वाली ट्रिक काम नहीं आई: यहाँ तक कि जब उन्होंने रोबोट को "चरण-दर-चरण सोचने" के लिए मजबूर किया, तब भी रोबोट सतही कीवर्ड्स पर ही निर्भर रहे, न कि इस गहरी समझ पर कि कौन किससे बात कर रहा है।
- "पर्सोना" का जाल: रोबोट को यह कहना कि "तुम ऑटिस्टिक हो" उन्हें जादू से समुदाय को समझने में सक्षम नहीं बना सका। वास्तव में, कुछ सुरक्षा-केंद्रित रोबोट बहुत अधिक संवेदनशील हो गए, और उन्होंने गलती करने के डर से सामुदायिक भाषा को भी 'हेट स्पीच' के रूप में फ्लैग कर दिया।
4. छिपे हुए पूर्वाग्रह का परीक्षण
शोधकर्ताओं ने रोबोट को वही मनोवैज्ञानिक परीक्षण भी दिए जो उन्होंने इंसानों को दिए थे (पूर्वाग्रह को मापने के लिए), लेकिन उन्होंने इन परीक्षणों को "मास्क" (छिपा) दिया था ताकि रोबोट को पता न चले कि उनका परीक्षण ऑटिज्म पर किया जा रहा है।
- परिणाम: जब रोबोटों को लगा कि वे केवल सामान्य प्रश्नों के उत्तर दे रहे हैं, तो उन्होंने ऑटिस्टिक लोगों के प्रति अधिक नकारात्मक दृष्टिकोण दिखाया। इससे पता चलता है कि AI के मानक "स्व-रिपोर्ट" (self-reports) उनके वास्तविक पूर्वाग्रहों को छिपा देते हैं, ठीक वैसे ही जैसे इंसान अपने पूर्वाग्रहों को छिपा सकते हैं जब उन्हें पता होता है कि उन्हें देखा जा रहा है।
5. मुख्य निष्कर्ष (The Bottom Line)
पेपर यह निष्कर्ष निकालता है कि:
- वर्तमान AI तैयार नहीं है: ये मॉडल्स अभी ऑटिस्टिक समुदायों के लिए कंटेंट मॉडरेशन करने के लिए पर्याप्त अच्छे नहीं हैं। वे या तो सामुदायिक भाषा को सेंसर करने की संभावना रखते हैं या सूक्ष्म हेट स्पीच को मिस कर देते हैं।
- हमें बेहतर डेटा चाहिए: आप यह तय करने के लिए कि क्या हानिकारक है, केवल "बहुमत के वोट" का उपयोग नहीं कर सकते। आपको उन लोगों की बात सुननी होगी जो सबसे अधिक प्रभावित हैं (ऑटिस्टिक समुदाय) और उनके विचारों को अधिक महत्व देना होगा।
- सतही ज्ञान पर्याप्त नहीं है: आप केवल रोबोट को बुरे शब्दों को खोजने के लिए नहीं सिखा सकते। आपको उसे पहचान (identity), संदर्भ (context), और एक अंदरूनी मज़ाक और बाहरी हमले के बीच के अंतर को समझना सिखाना होगा।
संक्षेप में: पेपर का तर्क है कि ऑटिस्टिक लोगों के खिलाफ AI पूर्वाग्रह को ठीक करने के लिए, हम केवल AI को "अच्छा बनने" के लिए नहीं कह सकते। हमें समुदाय को सुनकर यह बदलने की आवश्यकता है कि "सत्य" को कैसे मापा जाता है, और हमें यह स्वीकार करना होगा कि वर्तमान रोबोट अभी भी बिना महत्वपूर्ण मदद के इस काम को संभालने के लिए बहुत अनाड़ी हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।