Majority Vote Silences Minority Values: Annotator Disagreement at the Hate/Offensive Boundary in HateXplain

यहाँ इस शोध पत्र का सरल भाषा और रोज़मर्रा के उदाहरणों के साथ विवरण दिया गया है।

बड़ी समस्या: जब "बहुमत" अल्पसंख्यकों की आवाज़ दबा देता है

कल्पना कीजिए कि आप यह तय करने की कोशिश कर रहे हैं कि कोई चुटकुला मज़ेदार है या अपमानजनक। आप 100 लोगों के एक समूह से वोट मांगते हैं।

• 51 लोग कहते हैं, "यह सिर्फ एक मज़ाक है, यह मज़ेदार है।"
• 49 लोग कहते हैं, "यह वास्तव में अपमानजनक और दुखद है।"

कंप्यूटर विज्ञान और AI की दुनिया में, मानक नियम यह है: "बहुमत की जीत होती है।" कंप्यूटर को बताया जाता है, "ठीक है, 51 लोगों ने कहा कि यह मज़ेदार है, इसलिए यह मज़ेदार है।" कंप्यूटर फिर यह सीख लेता है कि यही परम सत्य है।

यह शोध पत्र तर्क देता है कि यह सरल नियम खतरनाक है। यह एक उलझे हुए, जटिल मानवीय मतभेद को एक स्पष्ट तथ्य की तरह मानता है। लेखक दिखाते हैं कि जब आप कंप्यूटर को इस "बहुमत के वोट" से सीखने के लिए मजबूर करते हैं, तो वह उन पोस्ट्स पर बुरी तरह विफल हो जाता है जहाँ लोग सबसे अधिक भ्रमित होते हैं।

परिवेश: "HateXplain" डेटासेट

शोधकर्ताओं ने HateXplain नामक एक डेटासेट का अध्ययन किया, जिसमें मानव श्रमिकों द्वारा लेबल किए गए सोशल मीडिया पोस्ट शामिल हैं। श्रमिकों को तीन श्रेणियों में से चुनने के लिए कहा गया था:

1. सामान्य (हानिरहित)
2. अपमानजनक (अभद्र या कष्टदायक, लेकिन नफरत भरे भाषण नहीं)
3. हेट स्पीच/नफरत भरा भाषण (खतरनाक, किसी समूह को लक्षित करने वाला)

शोधकर्ताओं ने पाया कि इंसान अक्सर अपमानजनक और हेट स्पीच के बीच अंतर करने में संघर्ष करते हैं। यह एक धुंधली रेखा है, जैसे यह तय करना कि सूर्यास्त "नारंगी" है या "लाल"।

मुख्य निष्कर्ष

1. असहमति यादृच्छिक (Random) नहीं है; यह एक "सीमा युद्ध" है

लेखकों ने पाया कि मानव श्रमिकों के बीच होने वाली लगभग 43% बहसें "अपमानजनक" और "हेट स्पीच" के बीच की सीमा पर हुईं।

• उपमा: कल्पना कीजिए कि दो देशों के बीच एक सीमा है। अधिकांश लोग सहमत हैं कि देश A के अंदर क्या है और देश B के अंदर क्या है। लेकिन ठीक सीमा रेखा पर, लोग लगातार बहस करते हैं।
• पेपर का दावा: डेटा दिखाता है कि जब मनुष्य असहमत होते हैं, तो वे केवल बेतरतीब ढंग से भ्रमित नहीं होते। वे विशेष रूप से इस बात पर लड़ रहे होते हैं कि "अभद्र" और "नफरत भरे" के बीच रेखा कहाँ खींची जाए।

2. "खामोशी" का प्रभाव

जब डेटासेट बनाने वालों ने वोटों को लिया और विजेता (बहुमत) को चुना, तो उन्होंने प्रभावी रूप से अल्पसंख्यक की आवाज़ को दबा दिया।

• यदि 2 लोगों ने "हेट" कहा और 1 ने "अपमानजनक" कहा, तो कंप्यूटर सीखता है "हेट"।
• यदि 2 लोगों ने "अपमानजनक" कहा और 1 ने "हेट" कहा, तो कंप्यूटर सीखता है "अपमानजनक"।
• परिणाम: कंप्यूटर कभी यह नहीं सीख पाता कि वहाँ एक वैध बहस चल रही है। वह सोचता है कि उत्तर स्पष्ट है, भले ही वह स्पष्ट न हो।

3. AI आत्मविश्वास के साथ गलत होता है

शोधकर्ताओं ने यह देखने के लिए तीन अलग-अलग प्रकार के AI मॉडल प्रशिक्षित किए कि क्या वे इसे ठीक कर सकते हैं:

• मॉडल A (मानक): "बहुमत के वोट" वाले लेबल से सीखा।
• मॉडल B (सॉफ्ट लर्नर): प्रतिशत से सीखा (जैसे, "60% ने हेट कहा, 40% ने अपमानजनक कहा")।
• मॉडल C (इंडिविजुअलिस्ट/व्यक्तिवादी): समूह के औसत के बजाय प्रत्येक विशिष्ट कार्यकर्ता के विचार को सीखने की कोशिश की।

चौंकाने वाला परिणाम:

• तीनों मॉडल उन पोस्ट्स को लेबल करने में बहुत अच्छे थे जहाँ मनुष्यों के बीच सहमति थी (लगभग 80% सटीकता)।
• लेकिन उन पोस्ट्स पर जहाँ मनुष्यों के बीच असहमति थी (सीमा वाले मामले), तीनों मॉडल विफल हो गए, और उनकी सटीकता गिरकर लगभग 55% रह गई।
• "अति-आत्मविश्वास" का जाल: मानक मॉडल (मॉडल A) ने न केवल इन मामलों में गलती की; बल्कि उसने उच्च आत्मविश्वास के साथ गलती की। वह कहेगा, "मुझे 71% यकीन है कि यह हेट स्पीच है," जबकि वास्तव में वह एक विवादास्पद मामला था।
• "ईमानदार" मॉडल: मॉडल C (व्यक्तिवादी) इन गलतियों पर कम आत्मविश्वासी (49%) था। वह अपनी अनिश्चितता के बारे में अधिक ईमानदार था, लेकिन वह अभी भी उतना ही गलत था।

उपमा: एक मौसम विज्ञानी की कल्पना करें।

• मॉडल A एक बादल वाले दिन को देखता है और कहता है, "निश्चित रूप से बारिश होगी!" (उच्च आत्मविश्वास, लेकिन गलत)।
• मॉडल C उसी दिन को देखता है और कहता है, "मुझे यकीन नहीं है, शायद बारिश हो, शायद न हो।" (कम आत्मविश्वास, लेकिन फिर भी उसे उत्तर नहीं पता)।
• बिंदु: न जानने के बारे में "ईमानदार" होना भी काम नहीं आता यदि सिस्टम अभी भी गलत निर्णय ले रहा है।

हम AI को ठीक क्यों नहीं कर सकते?

शोधकर्ताओं ने तीन अलग-अलग "डाउनस्ट्रीम" सुधारों (AI के सीखने या वोट देने के तरीके को बदलना) को आज़माया। उनमें से कोई भी काम नहीं आया।

• उपमा: कल्पना कीजिए कि आप एक छात्र को एक आदर्श वृत्त (circle) बनाना सिखा रहे हैं। लेकिन शिक्षक छात्र को बार-बार एक वर्ग (square) की तस्वीर दिखाता है और कहता है, "यह एक वृत्त है।"
  • आप छात्र को कोमल आवाज़ में सिखाने की कोशिश कर सकते हैं (सॉफ्ट लेबल्स)।
  • आप उन्हें हर शिक्षक का दृष्टिकोण दिखा सकते हैं (पर-एनोटेटर हेड्स)।
  • लेकिन इससे कोई फर्क नहीं पड़ता। यदि "ग्राउंड ट्रुथ" (उत्तर कुंजी) ही गलत है, तो छात्र कभी भी वृत्त बनाना नहीं सीख पाएगा।

पेपर निष्कर्ष निकालता है कि समस्या AI मॉडल की नहीं है, बल्कि एनोटेशन डिज़ाइन (लेबलिंग प्रक्रिया) की है। आप दीवारों को पेंट करके खराब नींव को ठीक नहीं कर सकते।

प्रस्तावित समाधान: शुरू करने से पहले नियम बदलें

चूंकि AI को ठीक करना काम नहीं आया, इसलिए लेखक कहते हैं कि हमें AI के देखने से पहले मानवीय प्रक्रिया को ठीक करना होगा। वे तीन बदलाव सुझाते हैं:

1. "हाँ/नहीं" लेबल का उपयोग बंद करें: श्रमिकों को "अपमानजनक" या "हेट" के बीच चुनने के लिए मजबूर करने के बजाय, उन्हें एक स्केल दें (जैसे 1 से 5 तक)। यह इस बात को स्वीकार करता है कि कुछ चीजें "थोड़ी अपमानजनक" और "थोड़ी नफरत भरी" हो सकती हैं, बजाय इसके कि उन्हें एक बाइनरी विकल्प चुनने के लिए मजबूर किया जाए जो विवाद पैदा करता है।
2. "बॉर्डर केसेस" को चिह्नित करें: जब AI किसी पोस्ट को लेकर अनिश्चित हो (कम आत्मविश्वास), तो उसे अंतिम निर्णय नहीं लेना चाहिए। उसे समीक्षा के लिए एक मानव को फ्लैग (चिह्नित) करना चाहिए।
3. प्रभावित लोगों को शामिल करें: पेपर का तर्क है कि जिन लोगों के कंटेंट का मूल्यांकन किया जा रहा है (जैसे, विशिष्ट सांस्कृतिक या अल्पसंख्यक समूह), उन्हें ही लेबलिंग करने वाला होना चाहिए। उनकी "नफरत" की परिभाषा बहुमत से अलग हो सकती है। यदि आप केवल बहुमत से पूछते हैं, तो आप हमेशा अल्पसंख्यक के दृष्टिकोण को खो देंगे।

समाधान पर एक चेतावनी

लेखक तीसरे बिंदु पर एक प्रमुख नैतिक मुद्दे पर ध्यान देते हैं। प्रभावित समुदायों के सदस्यों से उनके खिलाफ इस्तेमाल की जाने वाली नफरत भरी बातों को देखना मनोवैज्ञानिक रूप से हानिकारक हो सकता है। उनका तर्क है कि यदि हम ऐसा करते हैं, तो हमें उन्हें अच्छा भुगतान करना चाहिए, मानसिक स्वास्थ्य सहायता देनी चाहिए और उन्हें स्वेच्छा से इसमें शामिल होने का विकल्प देना चाहिए। हमें मॉडरेशन (सामग्री नियंत्रण) का बोझ उन लोगों पर नहीं डालना चाहिए जिन्हें नुकसान पहुँचाया जा रहा है।

सारांश

पेपर का तर्क है कि AI प्रशिक्षण में बहुमत का मतदान एक जाल है। यह जटिल मानवीय मतभेदों को नकली "तथ्यों" में बदल देता है। यह AI मॉडल को सबसे संवेदनशील विषयों पर आत्मविश्वास के साथ गलत बनाता है। इसे ठीक करने का एकमात्र तरीका यह नहीं है कि बेहतर AI बनाया जाए, बल्कि यह है कि शुरुआत में ही डेटा को लेबल करने के तरीके को बदला जाए।