Who and What? Using Linguistic Features and Annotator Characteristics to Analyze Annotation Variation
यह शोध पत्र हानिकारक भाषा का पता लगाने वाले चार डेटासेट के पहले बड़े पैमाने के विश्लेषण को प्रस्तुत करता है ताकि यह प्रदर्शित किया जा सके कि एनोटेटर (अंशों) की विशेषताओं और भाषाई गुणों के बीच की अंतःक्रियाएं एनोटेशन भिन्नता को समझने के लिए महत्वपूर्ण हैं, जबकि यह भी प्रकट करता है कि प्रभाव के पैटर्न विभिन्न डेटासेट में काफी भिन्न होते हैं, जो व्यापक सामान्यीकरण के विरुद्ध चेतावनी देता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक विशाल रात्रिभोज (डिनर पार्टी) आयोजित कर रहे हैं जहाँ 25,000 मेहमानों (टेक्स्ट आइटम्स) का निर्णय 8,000 से अधिक अलग-अलग खाद्य आलोचकों (एनोटेटर्स) द्वारा किया जा रहा है। लक्ष्य यह तय करना है कि कौन से व्यंजन "विषाक्त" (toxic) या "अपमानजनक" (offensive) हैं।
अतीत में, शोधकर्ताओं ने इसे हल करने के लिए यह पूछकर प्रयास किया, "औसत स्कोर क्या है?" और हर व्यंजन के लिए एक एकल "गोल्ड स्टैंडर्ड" लेबल बनाया। लेकिन यह पेपर तर्क देता है कि यह दृष्टिकोण मुख्य बात को छोड़ देता है। यह ऐसा ही है जैसे पूछना कि "क्या यह सूप बहुत नमकीन है?" और इस बात को नजरअंदाज कर देना कि एक आलोचक नमक प्रेमी है, दूसरा कम सोडियम वाले आहार पर है, और तीसरे का दिन बुरा रहा है।
इस पेपर के लेखक एक अलग सवाल पूछते हैं: "कौन क्या सोचता है, और क्यों?" वे उस जटिल नृत्य को समझना चाहते हैं जो निर्णय लेने वाले व्यक्ति और जिस चीज़ का निर्णय लिया जा रहा है, उसके बीच होता है।
यहाँ उनके निष्कर्षों का सरल उपमाओं (analogies) का उपयोग करके विवरण दिया गया है:
1. सेटअप: दृष्टिकोणों की क्रॉस-चेकिंग
शोधकर्ताओं ने ऑनलाइन टिप्पणियों (जैसे Reddit या Twitter) के चार विशाल डेटासेट्स का विश्लेषण किया जहाँ लोगों ने टेक्स्ट कितना अपमानजनक था, इसकी रेटिंग दी थी।
- "कौन" (The Who): उन्होंने केवल उम्र या लिंग जैसे बुनियादी आंकड़ों को नहीं देखा। उन्होंने दृष्टिकोणों (जैसे, "क्या आप मानते हैं कि हेट स्पीच एक समस्या है?") और नैतिक विश्वासों को देखा।
- "क्या" (The What): उन्होंने टेक्स्ट का विश्लेषण किया, जिसमें अपशब्दों की संख्या से लेकर वाक्यों की जटिलता और विशिष्ट विषयों (जैसे राजनीति या धर्म) की उपस्थिति तक सब कुछ शामिल था।
- ट्विस्ट: उन्होंने इन कारकों को अलग-अलग नहीं देखा। उन्होंने यह देखा कि वे आपस में कैसे परस्पर क्रिया (interact) करते हैं। यह केवल "बूढ़े लोग इसे नापसंद करते हैं" या "यह टेक्स्ट बुरा है" के बारे में नहीं है। यह "बूढ़े लोग इस विशिष्ट प्रकार के टेक्स्ट को नापसंद करते हैं, लेकिन युवा नहीं" के बारे में है।
2. मुख्य खोज: यह मिश्रण के बारे में है, न कि केवल सामग्री के बारे में
सबसे बड़ी सीख यह है कि आप केवल यह जानकर यह अनुमान नहीं लगा सकते कि कोई व्यक्ति टेक्स्ट पर कैसी प्रतिक्रिया देगा कि वह कौन है, और आप केवल टेक्स्ट को पढ़कर यह अनुमान नहीं लगा सकते कि उसे कैसे प्राप्त किया जाएगा। प्रतिक्रिया इन दोनों के बीच होने वाले टकराव में होती है।
"आयु बनाम घृणास्पद शब्द" की उपमा:
एक डेटासेट में, शोधकर्ताओं ने पाया कि युवा एनोटेटर्स के लिए, घृणास्पद शब्दों की उपस्थिति से उनकी रेटिंग में ज्यादा बदलाव नहीं आया। लेकिन पुराने एनोटेटर्स के लिए, उन्हीं शब्दों की उपस्थिति ने एक बड़ा अंतर पैदा किया। यह एक वॉल्यूम नॉब (volume knob) की तरह है: कुछ लोगों के लिए, "अपमानजनकता" का स्तर तब बहुत बढ़ जाता है जब वे उम्र में बड़े होते हैं; दूसरों के लिए, उम्र के बावजूद वॉल्यूम समान रहता है।"नैतिक दिशा-सूचक" (Moral Compass) की उपमा:
एक अन्य डेटासेट में, उन्होंने पाया कि जो लोग "कमजोरों की रक्षा करने" (एक नैतिक मूल्य) की गहराई से परवाह करते हैं, वे लंबे, जटिल टेक्स्ट को अलग तरह से रेट करते हैं। यह केवल टेक्स्ट की लंबाई नहीं थी; यह इस बारे में था कि वह लंबाई उनकी विशिष्ट नैतिक चिंता के साथ कैसे परस्पर क्रिया करती है।
3. "छिपे हुए जाल" (Spurious Signals)
अध्ययन में कुछ अजीब, आकस्मिक पैटर्न मिले जो कंप्यूटर को धोखा दे सकते थे।
- "हिंदू एनोटेटर" ग्लिच: एक डेटासेट में, उन्होंने देखा कि अजीब स्लैंग या गलत वर्तनी (non-standard words) वाले आइटम्स को हिंदू पहचान वाले एनोटेटर्स द्वारा लगातार "घृणास्पद नहीं" के रूप में रेट किया गया।
- सबक: ऐसा इसलिए नहीं था कि हिंदू लोगों में हेट स्पीच के प्रति विशेष प्रतिरक्षा थी। यह संभवतः डेटा संग्रह के तरीके में एक संयोग था (शायद वे विशिष्ट अजीब टेक्स्ट इसी समूह को दिखाए गए थे)। यदि किसी कंप्यूटर ने यह सीख लिया, तो वह सोचेगा, "ओह, अगर इसमें टाइपो (typo) है, तो यह सुरक्षित है!" जो कि एक खतरनाक गलती होगी।
4. "बैच" की समस्या
शोधकर्ताओं ने यह सिम्युलेट किया कि क्या होता है यदि न्यायाधीशों के समूह को बदल दिया जाए।
- परिणाम: भले ही आपके पास वही टेक्स्ट और वही दिशानिर्देश हों, यदि आप उन विशिष्ट लोगों के समूह को बदलते हैं जो निर्णय ले रहे हैं, तो "जीतने वाले" पैटर्न बदल जाते हैं।
- रूपक (Metaphor): कल्पना कीजिए कि आप समूह A को एक फिल्म का निर्णय लेने के लिए कहते हैं। वे एक्शन दृश्यों को पसंद करते हैं। आप समूह B (जो कागज पर समान दिखते हैं) से उसी फिल्म का निर्णय लेने के लिए कहते हैं। वे एक्शन दृश्यों को नापसंद कर सकते हैं और संवाद को पसंद कर सकते हैं। आप यह मान नहीं सकते कि समूह B बिल्कुल समूह A की तरह व्यवहार करेगा क्योंकि वे दोनों "फिल्म प्रेमी" हैं।
5. भविष्य के लिए इसका क्या अर्थ है (पेपर के अनुसार)
लेखक यह दावा नहीं करते कि यह तुरंत इंटरनेट को ठीक कर देगा या हेट स्पीच को खत्म कर देगा। इसके बजाय, वे AI सिस्टम बनाने वालों के लिए कुछ व्यावहारिक चेतावनियाँ देते हैं:
- डेटा को सपाट न करें (Flatten the Data): सभी मतों को एक संख्या में औसत निकालकर उन्हें खत्म न करें। इससे सबसे दिलचस्प जानकारी खो जाती है। असहमति ही वास्तविक संकेत (signal) है।
- सामान्यीकरण के प्रति सावधान रहें: सिर्फ इसलिए कि एक नियम लोगों के एक समूह के लिए टेक्स्ट के एक सेट पर काम करता है, इसका मतलब यह नहीं है कि वह सबके लिए काम करेगा। एक समूह पर प्रशिक्षित मॉडल दूसरे समूह पर बुरी तरह विफल हो सकता है।
- बेहतर डेटा एकत्र करें: यदि आप विषाक्त भाषा को समझना चाहते हैं, तो आपको यह जानने की आवश्यकता है कि उसे लेबल कौन कर रहा है। आपको उनकी धारणाओं और पृष्ठभूमियों को जानने की आवश्यकता है, न कि केवल उनकी आयु को।
- "घोस्ट" पैटर्न पर नज़र रखें: सावधान रहें कि आपका AI वास्तविक नियमों के बजाय आकस्मिक पैटर्न (जैसे "हिंदू एनोटेटर" ग्लिच) तो नहीं सीख रहा है।
सारांश
इस पेपर को एक ऐसे मानचित्र के रूप में देखें जो कहता है: "मानवीय निर्णय की दुनिया अव्यवस्थित, संवादात्मक और अत्यधिक विशिष्ट है।" आप केवल एक ऐसी मशीन नहीं बना सकते जो कहती है "यह बुरा है।" आपको एक ऐसी मशीन बनानी होगी जो समझती है कि कौन कह रहा है, वे क्या देख रहे हैं, और वे दोनों चीजें आपस में कैसे टकराती हैं। यदि आप "कौन" और "क्या" की परस्पर क्रिया को अनदेखा करते हैं, तो आपका मॉडल मानव संचार के सबसे महत्वपूर्ण हिस्सों के प्रति अंधा होगा।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।