When Hate Meets Facts: LLMs-in-the-Loop for Check-worthiness Detection in Hate Speech
यह शोध पत्र WSF-ARG+ को प्रस्तुत करता है, जो घृणास्पद भाषण (hate speech) को जांच-योग्यता (check-worthiness) की जानकारी के साथ संयोजित करने वाला पहला डेटासेट है, और एक LLM-इन-द-लूप फ्रेमवर्क का प्रस्ताव करता है जो मानव एनोटेशन प्रयास को कम करता है और यह प्रदर्शित करता है कि जांच-योग्यता लेबल को शामिल करने से घृणास्पद भाषण का पता लगाने के प्रदर्शन में महत्वपूर्ण सुधार होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि इंटरनेट एक विशाल, अराजक शहर का चौक है। इस चौक में दो मुख्य समस्याएँ हैं: लोग नफरत भरे अपशब्द (Hate Speech) चिल्ला रहे हैं और लोग झूठ या आधे-अधूरे सच (Misinformation) फैला रहे हैं।
लंबे समय तक, शोधकर्ताओं ने इन्हें दो अलग-अलग समस्याओं के रूप में माना। उन्होंने चिल्लाने वालों को पकड़ने के लिए उपकरण बनाए और झूठ बोलने वालों को पकड़ने के लिए अलग उपकरण बनाए। लेकिन यह शोध पत्र तर्क देता है कि वास्तविक दुनिया में, ये दोनों समस्याएँ अक्सर एक ही मुखौटा पहन लेती हैं। नफरत भरे भाषणों को तेजी से "तथ्यों" या "समाचारों" के रूप में छिपाया जा रहा है।
यहाँ लेखकों द्वारा किए गए कार्यों का एक सरल विवरण दिया गया है, जिसमें कुछ रोजमर्रा के उपमाओं (analogies) का उपयोग किया गया है।
1. समस्या: "भेड़ की खाल में भेड़िया"
कल्पना कीजिए कि एक व्यक्ति दंगा भड़काने की कोशिश कर रहा है। केवल अपमान चिल्लाने (जिसे पहचानना आसान है) के बजाय, वह एक ऊंचे मंच पर खड़ा होता है और कहता है, "क्या आप जानते हैं कि 90% [समूह X] वास्तव में एलियंस हैं?"
यह एक तथ्य जैसा दावा (fact-like claim) है। यह एक समाचार रिपोर्ट की तरह लगता है, लेकिन यह एक विशिष्ट समूह के प्रति लोगों को नफरत करने के लिए बनाया गया एक झूठ है।
- पुराना तरीका: मॉडरेटर्स इसे मिस कर सकते थे क्योंकि यह एक मानक अपमान जैसा नहीं दिखता है।
- नया तरीका: यदि हम यह पहचान सकें कि यह वाक्य एक ऐसा "दावा" है जिसे तथ्य-जांच (fact-checking) की आवश्यकता है, तो हम इसके भीतर छिपी नफरत को पकड़ सकते हैं।
लेखक इस मिलन बिंदु को "चेक-वर्दीनेस" (Check-worthiness) कहते हैं। यह पूछता है: "क्या यह एक ऐसा दावा है जो इतना महत्वपूर्ण है कि इसकी तथ्य-जांच की जाए?"
2. समाधान: "मानव-LLM टीम"
इसका अध्ययन करने के लिए, शोधकर्ताओं को इन पेचीदा संदेशों के एक विशाल डेटासेट की आवश्यकता थी। लेकिन उन्हें लेबल करना कठिन काम है। यह 1,000 निबंधों को ग्रेड करने की तरह है जहाँ उत्तर व्यक्तिपरक (subjective) होते हैं। आपको विशेषज्ञों की आवश्यकता होती है, और विशेषज्ञ महंगे और थके हुए होते हैं।
इसलिए, उन्होंने "LLM-in-the-Loop" नामक एक नया वर्कफ़्लो बनाया।
इसे एक निर्माण स्थल (construction site) की तरह समझें:
- LLM (Large Language Model) एक पावर ड्रिल (Power Drill) है। यह तेज़, शक्तिशाली है और भारी काम कर सकता है। यह हजारों संदेशों को स्कैन करता है और कहता है, "यह एक दावा लग रहा है!" या "यह सिर्फ एक राय है!"
- इंसान (Human) एक फोरमैन (Foreman) है। वे हर एक पेंच पर काम नहीं करते। इसके बजाय, वे पावर ड्रिल पर नज़र रखते हैं।
- यदि ड्रिल और फोरमैन सहमत हैं, तो वे आगे बढ़ जाते हैं।
- यदि ड्रिल भ्रमित हो जाती है या फोरमैन से असहमत होती है, तो फोरमैन अंतिम निर्णय लेने के लिए हस्तक्षेप करता है।
परिणाम: उन्होंने इस नए डेटासेट को बनाने के लिए 12 अलग-अलग "पावर ड्रिल्स" (AI मॉडल) का उपयोग किया जिसे WSF-ARG+ कहा जाता है। यह डेटासेट विशेष है क्योंकि इसमें नफरत भरे और गैर-नफरत भरे दोनों संदेश शामिल हैं, और इसके भीतर के प्रत्येक "तथ्य" को या तो "चेक-वर्दी" (जांच योग्य) या "नॉट चेक-वर्दी" (गैर-जांच योग्य) के रूप में लेबल किया गया है।
3. खोज: झूठ नफरत को बदतर बनाता है
एक बार जब उनके पास यह नया डेटासेट आ गया, तो उन्होंने कुछ प्रयोग चलाए और दो आश्चर्यजनक चीजें पाईं:
A. "जहरीला प्याला" (Poisoned Chalice) प्रभाव
उन्होंने पाया कि "चेक-वर्दी" दावों (तथ्यों के रूप में प्रस्तुत झूठ) वाले नफरत भरे भाषण साधारण अपमान की तुलना में अधिक हानिकारक होते हैं।
- उपमा: एक साधारण अपमान कागज के कट (paper cut) की तरह है; यह चुभता है लेकिन जल्दी ठीक हो जाता है। नफरत में लिपटा हुआ झूठ एक जहरीले तीर (poisoned dart) की तरह है; यह डर फैलाता है और समुदाय को गहरा, लंबे समय तक रहने वाला नुकसान पहुँचाता है। डेटा ने दिखाया कि इन संदेशों को "उत्पीड़न" (harassment) और "नफरत" के लिए काफी उच्च रेटिंग दी गई थी।
B. "सुपर-हेल्पर" (Super-Helper) प्रभाव
उन्होंने परीक्षण किया कि क्या AI मॉडल को एक "चीट शीट" (चेक-वर्दीनेस लेबल) देने से उन्हें नफरत भरे भाषणों का पता लगाने में बेहतर मदद मिलती है।
- उपमा: कल्पना कीजिए कि आप घास के ढेर में सुई खोजने की कोशिश कर रहे हैं। यदि आप AI को बताते हैं, "सुई लाल टेप में लिपटी हुई है," तो वह इसे बहुत तेज़ी से ढूंढ लेता है।
- जब उन्होंने AI को "चेक-वर्दीनेस" लेबल दिए, तो AI की नफरत भरे भाषणों को पहचानने की क्षमता में काफी सुधार हुआ, विशेष रूप से बड़े, स्मार्ट मॉडल्स के लिए। यह एक अच्छे जासूस से एक मास्टर जासूस में बदल गया।
4. यह क्यों मायने रखता है
यह शोध पत्र इंटरनेट सुरक्षा के भविष्य के लिए एक ब्लूप्रिंट है।
- हमारे पास एक नया नक्शा है: उन्होंने WSF-ARG+ डेटासेट जारी किया है, जो पहला नक्शा है कि कहाँ नफरत भरे भाषण और फर्जी तथ्य आपस में मिलते हैं।
- हमारे पास एक बेहतर उपकरण है: उन्होंने साबित किया कि आपको डेटा को लेबल करने के लिए 100 इंसानों को काम पर रखने की आवश्यकता नहीं है। आप एक स्मार्ट AI को "जूनियर असिस्टेंट" के रूप में और एक मानव "मैनेजर" को गलतियों को ठीक करने के लिए उपयोग कर सकते हैं। यह गुणवत्ता खोए बिना समय और पैसा बचाता है।
- हम दुश्मन को बेहतर समझते हैं: अब हम जानते हैं कि जब नफरत भरा भाषण "विज्ञान" या "समाचार" जैसा दिखने की कोशिश करता है, तो यह अधिक खतरनाक हो जाता है। केवल अपमान को ब्लॉक करने के बजाय, नफरत के भीतर के तथ्यों पर ध्यान केंद्रित करके, हम तर्क को अधिक प्रभावी ढंग से ध्वस्त कर सकते हैं।
संक्षेप में: लेखकों ने झूठ बोलने वालों को पकड़ने का एक स्मार्ट तरीका बनाया है जो नफरत भी करते हैं, जिसमें इंसान और AI मिलकर काम करते हैं, और उन्होंने साबित किया कि इन विशिष्ट प्रकार के झूठ को पकड़ना इंटरनेट को एक सुरक्षित स्थान बनाता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।