💬 NLP

Quantifying and Predicting Disagreement in Graded Human Ratings

यह शोध पत्र दृष्टिकोण संबंधी विचलन को मापने के लिए 'अपोजिशन इंडेक्स' (Opposition Index) प्रस्तावित करके अनुचित भाषा के लिए श्रेणीबद्ध मानवीय रेटिंग में असहमति के पैटर्न की जांच करता है और यह प्रदर्शित करता है कि पाठ्य विशेषताएँ (textual features) एनोटेशन भिन्नता और विरोधी मानवीय विचारों वाले उदाहरणों की कठिनाई, दोनों का मध्यम स्तर पर पूर्वानुमान लगा सकती हैं।

मूल लेखक: Leixin Zhang, Çağrı Çöltekin

प्रकाशित 2026-05-05

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Leixin Zhang, Çağrı Çöltekin

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक प्रतियोगिता चला रहे हैं जहाँ लोगों को एक विशिष्ट वाक्य की "अभद्रता" (rudeness) को रेट करना होता है। आप पाँच अलग-अलग जजों को एक ही वाक्य को देखने और उसे 0 (बिल्कुल अभद्र नहीं) से 4 (अत्यंत अभद्र) तक का स्कोर देने के लिए कहते हैं।

कभी-कभी, पाँचों जज पूरी तरह सहमत होते हैं। वे सभी "0" देते हैं। अन्य समय में, जज बीच में बँटे होते हैं: दो लोग "0" देते हैं, और तीन लोग "4" देते हैं। यह वही है जिसे पेपर में असहमति (disagreement) कहा गया है।

शोधकर्ता दो चीजें जानना चाहते थे:

क्या हम वाक्य को देखकर ही यह अनुमान लगा सकते हैं कि जज कितना असहमत होंगे? (क्या वे सब सहमत होंगे, या वे आपस में लड़ेंगे?)
क्या हम यह अनुमान लगा सकते हैं कि क्या जजों की राय पूरी तरह से विपरीत होगी? (क्या आधे लोग इसे हानिरहित मानेंगे, जबकि बाकी आधे इसे भयानक मानेंगे?)

यहाँ बताया गया है कि उन्होंने इसे कैसे हल किया, सरल उपमाओं का उपयोग करते हुए:

1. समस्या: सभी बहसें एक जैसी नहीं होतीं

अतीत में, शोधकर्ता सभी असहमतियों के साथ एक जैसा व्यवहार करते थे। लेकिन यह पेपर कहता है कि यह वैसा ही है जैसे रात के खाने में क्या खाना है, इस पर मामूली असहमति और एक गरमागरम राजनीतिक बहस के बीच कोई अंतर न करना। कुछ वाक्य इतने स्पष्ट होते हैं कि सभी सहमत होते हैं (कम असहमति)। अन्य वाक्य पेचीदा, अस्पष्ट या व्यक्तिगत मूल्यों पर आधारित होते हैं, जिससे जज विभाजित हो जाते हैं (उच्च असहमति)।

शोधकर्ताओं ने "अनुचित भाषा" (जैसे हेट स्पीच या विषाक्त टिप्पणियाँ) पर ध्यान केंद्रित किया क्योंकि ये वे क्षेत्र हैं जहाँ लोगों की राय सबसे अधिक टकराती है।

2. नया टूल: "अपोजिशन इंडेक्स" (Opposition Index)

जजों के बीच होने वाली लड़ाई को मापने के लिए, शोधकर्ताओं ने एक नया पैमाना बनाया जिसे अपोजिशन इंडेक्स कहा जाता है।

उपमा: एक सी-सॉ (seesaw) की कल्पना करें।
- यदि सभी बीच में बैठते हैं, तो सी-सॉल सपाट रहता है। यह आम सहमति (consensus) है (कम इंडेक्स)।
- यदि सभी एक तरफ बैठते हैं, तो यह झुका हुआ लेकिन स्थिर होता है। यह एक तरफ मजबूत सहमति है (कम इंडेक्स)।
- यदि आधे लोग बिल्कुल बाईं ओर और बाकी आधे बिल्कुल दाईं ओर बैठते हैं, तो सी-सॉल पूरी तरह संतुलित लेकिन अराजक होता है। यह ध्रुवीकरण (polarization) है (उच्च इंडेक्स)।

"अपोजिशन इंडेक्स" ठीक से गणना करता है कि वह अराजकता कितनी "संतुलित" है। इसका स्कोर 1 है यदि समूह दो चरम विचारों के बीच पूरी तरह से विभाजित है। इसका स्कोर 0 है यदि सभी एक ही बात पर सहमत हैं।

3. प्रयोग: अराजकता का अनुमान लगाना

शोधकर्ताओं ने कंप्यूटर मॉडल (AI) बनाए जो किसी भी इंसान द्वारा रेटिंग देने से पहले वाक्य को देखते हैं और अनुमान लगाने की कोशिश करते हैं:

वैरिएंस (Variance): स्कोर कितने फैले हुए होंगे? (क्या वे सब एक-दूसरे के करीब होंगे, या बिखरे हुए होंगे?)
अपोजिशन (Opposition): क्या स्कोर दो विरोधी समूहों में बँट जाएगा?

उन्होंने AI को सिखाने के दो मुख्य तरीके आजमाए:

विधि A (प्रत्यक्ष): AI को कहें, "बस उस संख्या का अनुमान लगाओ जो असहमति को दर्शाती है।"
विधि B (वितरण/Distribution): AI को कहें, "पूरा विवरण अनुमान लगाओ कि कितने लोग 0 चुनेंगे, कितने 1 चुनेंगे, आदि, और फिर उस असहमति की गणना करो।"

4. उन्हें क्या पता चला

AI "फैलाव" (spread) का अनुमान लगाने में ठीक है, लेकिन पूर्ण नहीं। कंप्यूटर मॉडल असहमति के स्तर का अनुमान लगाने में "मध्यम" सफलता दर के साथ सक्षम थे। यह मौसम के पूर्वानुमान जैसा है जो कहता है "बारिश की संभावना है" बजाय इसके कि "निश्चित रूप से बारिश होगी।"
विधि B थोड़ी बेहतर थी। AI को केवल अंतिम असहमति संख्या बताने के बजाय, उसे पूरी तस्वीर (मतों का वितरण) का अनुमान लगाने के लिए सिखाना अधिक सहायक था। वोटों के आकार को समझकर, AI ने असहमति की संरचना को बेहतर ढंग से सीखा।
AI चरम लड़ाइयों के साथ संघर्ष करता है। मॉडल तब अच्छे थे जब लोग सहमत थे या मामूली रूप से असहमत थे। हालाँकि, जब जज अत्यंत ध्रुवीकृत थे (सी-सॉल पूरी तरह संतुलित था और लोग विपरीत छोरों पर थे), तो AI अक्सर इसे कम करके आंकता था। इसने एक "मध्यम" लड़ाई का अनुमान लगाया जबकि वास्तव में वह एक "बड़ी" लड़ाई थी।

5. ऐसा क्यों होता है?

पेपर सुझाव देता है कि AI के पास ये चरम लड़ाइयाँ सटीक रूप से अनुमान लगाने में असमर्थ होने के कुछ कारण हैं:

दुर्लभ घटनाएँ: प्रशिक्षण डेटा में चरम ध्रुवीकरण के बहुत कम उदाहरण थे जिन्हें AI पैटर्न सीख सके।
छिपे हुए कारक: कभी-कभी, असहमति स्क्रीन पर दिख रहे शब्दों के बारे में नहीं होती है। यह जज के व्यक्तिगत जीवन, उनके राजनीतिक विचारों या उनकी संस्कृति के बारे में होती है। AI केवल टेक्स्ट पढ़ सकता है, जज का दिल नहीं।
शोर (Noise): यदि कोई जज खराब मूड में है और कुछ अजीब रेटिंग देता है, तो यह गणित को बिगाड़ सकता है, जिससे AI भ्रमित हो जाता है।

मुख्य निष्कर्ष (The Bottom Line)

पेपर यह निष्कर्ष निकालता है कि हालांकि हम केवल टेक्स्ट पढ़कर मानवीय बहसों का पूरी तरह से अनुमान नहीं लगा सकते, फिर भी हम एक अच्छा अनुमान प्राप्त कर सकते हैं। सबसे महत्वपूर्ण बात यह है कि कुछ वाक्य स्वाभाविक रूप से दूसरों की तुलना में अधिक कठिन होते हैं।

शोधकर्ता सुझाव देते हैं कि भविष्य में, जब हमें डेटा को लेबल करने की आवश्यकता हो (जैसे हेट स्पीच का पता लगाने के लिए AI को प्रशिक्षित करना), तो हमें हर वाक्य के साथ एक जैसा व्यवहार नहीं करना चाहिए। हमें उन वाक्यों पर अधिक समय और अधिक मानव जजों को खर्च करना चाहिए जिन्हें AI सबसे अधिक असहमति पैदा करने वाला बताता है, और उन आसान वाक्यों पर अपना समय बचाना चाहिए जहाँ सभी सहमत होते हैं।

तकनीकी सारांश: श्रेणीबद्ध मानव रेटिंग में असहमति का परिमाणीकरण और पूर्वानुमान

समस्या विवरण
प्राकृतिक भाषा प्रसंस्करण (NLP) कार्यों में, विशेष रूप से घृणास्पद भाषण (hate speech), अपमानजनक भाषा और विषाक्त सामग्री का पता लगाने जैसे सामाजिक रूप से संवेदनशील डोमेन में, मानव एनोटेटर अक्सर असहमति प्रदर्शित करते हैं। हालांकि यह स्वीकार किया गया है कि एनोटेशन भिन्नता स्वाभाविक है, लेकिन इस विचलन की डिग्री सभी उदाहरणों में समान नहीं होती है। कुछ आइटम मजबूत सहमति उत्पन्न करते हैं, जबकि अन्य महत्वपूर्ण राय विचलन या विरोधी रुख को प्रेरित करते हैं। वर्तमान साहित्य अक्सर असहमति को एक श्रेणीबद्ध भविष्यवाणी समस्या (जैसे, क्या असहमति मौजूद है इसका बाइनरी वर्गीकरण) के रूप में मानता है या विशिष्ट कार्य लेबल (जैसे, NLI एंटेलमेंट) पर ध्यान केंद्रित करता है। इस बात पर शोध की कमी है कि क्या केवल आइटम-स्तरीय पाठ्य विशेषताओं (textual features) से अनिश्चितता की डिग्री और सूक्ष्म-स्तरीय एनोटेशन वितरण (विशेष रूप से लिकर्ट-स्केल रेटिंग) की पूर्ण संरचना का अनुमान लगाया जा सकता है। इसके अलावा, वितरण के आकार (जैसे, बाइमोडैलिटी गुणांक) के लिए मानक मेट्रिक्स अक्सर विरल (sparse) एनोटेशन डेटा (जैसे, प्रति आइटम 3-5 एनोटेटर) पर लागू होने पर विफल हो जाते हैं।

कार्यप्रणाली
लेखक लिकर्ट-स्केल रेटिंग वाले तीन डेटासेट का उपयोग करके एनोटेशन भिन्नता की पूर्वानुमेयता की जांच करते हैं: अपमानजनक भाषा (3-पॉइंट स्केल), घृणास्पद भाषण (3-पॉइंट स्केल), और विषाक्तता (5-पॉइंट स्केल)। अध्ययन दो प्राथमिक उद्देश्यों पर केंद्रित है:

रेटिंग विचरण (Variance) का अनुमान लगाना: आइटम की पाठ्य विशेषताओं के आधार पर एनोटेटर प्रतिक्रियाओं के निष्पक्ष विचरण ( $\sigma^2$ ) का अनुमान लगाना।
विरोधी विचारों की पहचान करना: उन उदाहरणों का पता लगाना जहाँ एनोटेटर वास्तव में परस्पर विरोधी रुख रखते हैं (ध्रुवीकरण)।

इन उद्देश्यों को संबोधित करने के लिए, लेखक दो भविष्यवाणी दृष्टिकोण प्रस्तावित करते हैं:

प्रत्यक्ष विचरण भविष्यवाणी (Direct Variance Prediction): आइटम विशेषताओं से सीधे विचरण मान ( $\sigma^2$ ) की भविष्यवाणी करने के लिए एक रिग्रेशन मॉडल को प्रशिक्षित करना।
वितरण-आधारित भविष्यवाणी (Distribution-Based Prediction): आइटम के लिए पूर्ण लिकर्ट रेटिंग वितरण ( $p_i$ ) की भविष्यवाणी करने के लिए मॉडल को प्रशिक्षित करना, जिससे विचरण और अन्य सांख्यिकी प्राप्त की जा सकती है।

अध्ययन लिकर्ट डेटा की क्रमबद्ध प्रकृति (ordinal nature) के अनुकूल कई लॉस फंक्शन (loss functions) का उपयोग करता है, जो मानक श्रेणीबद्ध क्रॉस-एन्ट्रॉपी से आगे बढ़ते हैं:

अर्थ मूवर्स डिस्टेंस (EMD): रेटिंग श्रेणियों के बीच क्रमबद्ध दूरी को ध्यान में रखता है।
मीन रेगुलराइजेशन के साथ EMD: केंद्रीय प्रवृत्ति को नियंत्रित करने के लिए अपेक्षित रेटिंग पर मीन स्क्वेर्ड एरर टर्म के साथ EMD को जोड़ता है।
ऑर्डिनल क्युमुलेटिव क्रॉस एन्ट्रॉपी: मल्टी-क्लास समस्या को $K-1$ बाइनरी निर्णयों में बदल देता है।
कुलबैक-लीब्लर (KL) डाइवर्जेंस: स्पष्ट क्रमबद्ध दूरी पर विचार किए बिना सॉफ्ट-लेबल प्रतिनिधित्व के लिए बेसलाइन के रूप में उपयोग किया जाता है।

विरोधी रुख को मापने के लिए, लेखक अपोजिशन इंडेक्स (Opposition Index) पेश करते हैं। यह मीट्रिक रेटिंग वितरण को लो (low), मिड (mid), और हाई (high) खंडों में विभाजित करता है ( $P_{low}, P_{mid}, P_{high}$ )। इंडेक्स को $2 \cdot \min(P_{low}, P_{high}) \cdot (1 - P_{mid})$ के रूप में परिभाषित किया गया है। यह 0 (सहमति/यूनिमोडल) से 1 (अधिकतम ध्रुवीकरण, जहाँ आधे एनोटेटर सबसे निचली रेटिंग चुनते हैं और आधे उच्चतम) तक होता है।

प्रमुख योगदान

अपोजिशन इंडेक्स: एक नया मीट्रिक जो विरल एनोटेशन सेटिंग्स में परिप्रेक्ष्य विरोध को मापने के लिए डिज़ाइन किया गया है जहाँ पारंपरिक बाइमोडैलिटी परीक्षण अस्थिर होते हैं।
वितual मॉडलिंग: यह प्रदर्शन कि पूर्ण लिकर्ट वितरण की भविष्यवाणी करना (क्रमबद्ध-जागरूक लॉस फंक्शन का उपयोग करके) प्रत्यक्ष विचरण रिग्रेशन का एक व्यवहार्य विकल्प है, जो अक्सर एनोटेशन भिन्नता की संरचना को अधिक मजबूती से पुनर्प्राप्त करता है।
ध्रुवीकरण का अनुभवजन्य विश्लेषण: उच्च-विरोध वाले आइटमों की भविष्यवाणी करने की क्षमता की एक विस्तृत जांच, जो अत्यधिक ध्रुवीकरण को मॉडल करने में विशिष्ट चुनौतियों को प्रकट करती है।

परिणाम

विचरण भविष्यवाणी: सभी डेटासेट में अनुमानित और प्रेक्षित एनोटेशन विचरण के बीच एक मध्यम सकारात्मक सहसंबंध (Spearman's $r \approx 0.3$ $r \approx 0.3$ से $0.45$) है।
- प्रदर्शन: प्रत्यक्ष विचरण रिग्रेशन और वितरण-आधारित भविष्यवाणी (विशेष रूप से EMD+MSE) तुलनीय प्रदर्शन प्राप्त करते हैं। EMD+MSE लगातार मानक EMD और KL-सॉफ्ट मॉडल से बेहतर प्रदर्शन करता है।
- सीमाएं: मॉडल उच्च-विचरण वाले आइटमों का कम अनुमान लगाते हैं और शायद ही कभी ठीक 0 के विचरण मान की भविष्यवाणी करते हैं, अक्सर भविष्यवाणियों को एक मध्य श्रेणी में केंद्रित करते हैं।
विरोधी रुख की भविष्यवाणी: मॉडल उन आइटमों के बीच अंतर करने में सफल होते हैं जिनमें कोई विरोध नहीं है और मध्यम विरोध वाले आइटमों के बीच। हालांकि, वे अत्यधिक ध्रुवीकरण के साथ संघर्ष करते हैं।
- कम अनुमान (Underestimation): उच्च वास्तविक अपोजिशन इंडेक्स (1 के करीब) वाले आइटमों का मॉडल द्वारा अक्सर कम अनुमान लगाया जाता है, और अनुमानित स्कोर अक्सर एक मध्य-श्रेणी (लगभग 0.4) में स्थिर हो जाते हैं।
- कारण: इस कम अनुमान का श्रेय प्रशिक्षण डेटा में अत्यधिक ध्रुवीकृत उदाहरणों की कमी, इंडेक्स की शोर (noise) के प्रति संवेदनशीलता, और इस तथ्य को दिया गया है कि अत्यधिक विरोध उन कारकों (विचारधारा, व्यक्तिगत अनुभव) से उत्पन्न हो सकता है जिन्हें केवल टेक्स्ट से नहीं समझा जा सकता है।
असहमति का पता लगाना: मॉडल किसी भी एनोटेशन भिन्नता की उपस्थिति का पता लगाने में मजबूत प्रदर्शन (F1 > 0.6) प्राप्त करते हैं, हालांकि प्रदर्शन डेटासेट और लॉस फंक्शन के अनुसार थोड़ा भिन्न होता है।

महत्व और दावे
यह पेपर दावा करता है कि आइटम-स्तरीय एनोटेशन पैटर्न, विशेष रूप से विचरण और रुख विरोध, को पाठ्य विशेषताओं से आंशिक रूप से अनुमानित किया जा सकता है, हालांकि मध्यम सहसंबंध के साथ। लेखक अपने कार्य को मानव एनोटेशन भिन्नता की संरचनाओं को लक्षणित करने की दिशा में एक कदम के रूप में प्रस्तुत करते हैं।

इसका प्राथमिक महत्व व्यावहारिक एनोटेशन वर्कफ़्लो अनुकूलन में है। उन आइटमों की पहचान करके जो महत्वपूर्ण राय विचलन उत्पन्न करने की संभावना रखते हैं, शोधकर्ता संसाधनों का अधिक कुशलता से आवंटन कर सकते हैं: विवादास्पद या परिप्रेक्ष्य-विभाजित मामलों को कैप्चर करने के लिए अधिक एनोटेटर्स आवंटित करना, जबकि मजबूत सहमति वाले आइटमों पर प्रयास कम करना। यह अध्ययन वर्तमान मॉडलों की अत्यधिक ध्रुवीकरण को पकड़ने की सीमाओं को भी रेखांकित करता है, जो सुझाव देता है कि सामाजिक रूप से जटिल डोमेन में मानव निर्णय को पूरी तरह से मॉडल करने के लिए केवल टेक्स्ट-आधारित विशेषताएं अपर्याप्त हो सकती हैं। लेखक विनम्र रहते हुए कहते हैं कि एम्बेडिंग मॉडल सभी भाषाई संकेतों को कैप्चर नहीं कर सकते हैं और विरल लिकर्ट डेटा की असतत (discrete) प्रकृति वितरण अनुमानों की सूक्ष्मता को सीमित करती है।