SPAR-Hate: An Auditor-Guided Multi-Agent Framework for Bilingual Hate Speech Parsing

इंटरनेट मानवीय अभिव्यक्ति का एक विशाल, शोर भरा बाजार है, जहाँ एक अकेला वाक्य किसी व्यक्ति के लिए एक निर्दोष मजाक हो सकता है और दूसरे के लिए बहिष्कार का हथियार। वर्षों से, कंप्यूटरों ने इस स्थान की निगरानी करने की कोशिश की है, लेकिन वे अक्सर अनाड़ी रहे हैं, जो संदर्भ को समझने के बजाय केवल साधारण अपशब्दों की तलाश करते हैं। वे दोस्तों के बीच एक दोस्ताना अपमान और किसी व्यक्ति की पहचान पर वास्तविक हमले के बीच अंतर करने में संघर्ष करते हैं, खासकर जब हमला स्थानीय स्लैंग (slang), सांस्कृतिक संदर्भों या सूक्ष्म रूढ़ियों के पीछे छिपा हो। नफरत भरे भाषण (hate speech) का पता लगाने की मुख्य चुनौती यही है: यह केवल आपत्तिजनक शब्दों को खोजने के बारे में नहीं है, बल्कि यह समझने के बारे में है कि किसे निशाना बनाया जा रहा है, तर्क क्या है, और वह नुकसान क्यों पहुँचाता है। यह समस्या तब और जटिल हो जाती है जब भाषा अंग्रेजी नहीं होती, या जब नफरत ऐसे कोड में छिपी होती जिसे केवल एक विशिष्ट संस्कृति के लोग ही पहचान सकते हैं।

शोधकर्ताओं की एक टीम ने इस समस्या को हल करने का एक नया तरीका प्रस्तावित किया है, जो एक एकल कंप्यूटर प्रोग्राम द्वारा त्वरित निर्णय लेने के बजाय, एक मानव विशेषज्ञ पैनल की नकल करने वाले सिस्टम की ओर बढ़ता है, जहाँ विभिन्न "एजेंट" अंतिम निष्कर्ष पर पहुँचने से पहले एक ही टेक्स्ट को अलग-अलग दृष्टिकोणों से देखते हैं। उनका काम, जिसे चीनी और अंग्रेजी दोनों टेक्स्ट पर परखा गया, यह सुझाव देता है कि एक लंबे पोस्ट को छोटे टुकड़ों में तोड़ना और कई दृष्टिकोणों को अपना मामला रखने के लिए कहना, यह समझने में बहुत अधिक सटीक होता है कि वास्तव में क्या हो रहा है। यह सिस्टम केवल अनुमान नहीं लगाता; यह कंप्यूटर को अपने तर्क को समझाने, अपने साक्ष्य की जाँच करने और किसी टेक्स्ट को घृणास्पद के रूप में लेबल करने से पहले मतभेदों को सुलझाने के लिए मजबूर करता है।

यिफान ल्यू और सहयोगियों के नेतृत्व में शोधकर्ताओं ने SPAR-Hate नामक एक ढांचा पेश किया है। यह नाम एक संरचित प्रक्रिया को दर्शाता है जो एक लंबे दस्तावेज़ को छोटे, प्रबंधनीय वाक्यों या खंडों में काटकर शुरू होता है। यह महत्वपूर्ण है क्योंकि एक अकेला पोस्ट तीन अलग-अलग समूहों पर तीन अलग-अलग तरीकों से हमला कर सकता है, और एक कंप्यूटर जो एक साथ पूरी चीज़ को पढ़ने की कोशिश करता है, अक्सर भ्रमित हो जाता है, जिससे यह तय करना मुश्किल हो जाता है कि किसे निशाना बनाया जा रहा है और क्या कहा जा रहा है। टेक्स्ट को छोटे इकाइयों में विभाजित करके, सिस्टम एक समय में एक विशिष्ट दावे पर ध्यान केंद्रित कर सकता है। एक बार जब टेक्स्ट का एक छोटा हिस्सा अलग हो जाता है, तो सिस्टम एक एकल AI से यह तय करने के लिए नहीं पूछता कि क्या यह नफरत भरा भाषण है। इसके बजाय, वह तीन अलग-अलग आभासी एजेंटों से इसे पढ़ने के लिए कहता है, जिनमें से प्रत्येक एक विशिष्ट भूमिका निभाता है।

पहला एजेंट "विक्टिम" (पीड़ित) है। यह दृष्टिकोण नुकसान, बहिष्कार और लक्षित होने की भावना के प्रति अत्यधिक संवेदनशील होने के लिए डिज़ाइन किया गया है। यह सूक्ष्म आक्षेपों (micro-aggressions), रूढ़ियों और ऐसी भाषा की तलाश करता है जो किसी समूह को असुरक्षित महसूस कराती है या अमानवीय बनाती है। दूसरा एजेंट "मॉडरेटर" (मध्यस्थ) है, जो एक सोशल मीडिया प्लेटफॉर्म की नियम पुस्तिका की तरह कार्य करता है। यह एजेंट सुरक्षा नीतियों के स्पष्ट उल्लंघन, जैसे कि स्पष्ट अपशब्द, हिंसा की धमकी या सीधा उत्पीड़न, को देखता है, जबकि उन व्यक्तिपरक असहमतियों को अनदेखा करता है जो दुर्व्यवहार की सीमा को पार नहीं करती हैं। तीसरा एजेंट "कल्चरल बायस्टैंडर" (सांस्कृतिक दृष्टा) है, जो स्थानीय संदर्भ का विशेषज्ञ है। यह एजेंट स्थानीय भाषा, ध्वन्यात्मक पहेलियों (homophonic puns) और क्षेत्रीय स्लैंग को पहचानने के लिए प्रशिक्षित है जो एक बाहरी व्यक्ति को हानिरहित लग सकते हैं लेकिन एक विशिष्ट समुदाय के भीतर गहरे अपमानजनक होते हैं। चीनी संस्करण में, इस एजेंट को स्थानीय घृणा शब्दों का एक विशेष शब्दकोश भी दिया गया है ताकि यह छिपे हुए अपमानों को पहचान सके।

इन तीन एजेंटों द्वारा एक ही छोटे टेक्स्ट को पढ़ने के बाद, वे अक्सर असहमत होते हैं। एक कह सकता है कि यह हानिरहित है, जबकि दूसरा स्पष्ट हमले को देख सकता है। यहीं पर सिस्टम का सबसे महत्वपूर्ण नवाचार आता है: एक "ऑडिटर" (लेखा परीक्षक)। यह चौथा एजेंट केवल वोटों की गिनती नहीं करता है। इसके बजाय, यह एक न्यायाधीश के रूप में कार्य करता है, जो तीनों एजेंटों द्वारा दिए गए साक्ष्यों को देखता है। यह जाँचता है कि क्या उनके दावे वास्तविक टेक्स्ट पर आधारित हैं, क्या वे नियमों के अनुरूप हैं, और क्या वे सांस्कृतिक संदर्भ में तर्कसंगमंद हैं। यदि "मॉडरेटर" उस सूक्ष्म सांस्कृतिक अपमान को चूक जाता है जिसे "बाइस्टैंडर" ने पकड़ा है, तो ऑडिटर मॉडरेटर के दृष्टिकोण को ओवरराइड कर सकता है। यदि "विक्टिम" किसी तटस्थ बयान के प्रति बहुत संवेदनशील है, तो ऑडिटर उसे सुधार सकता है। सिस्टम एजेंटों को अपने दावों का समर्थन करने के लिए टेक्स्ट से विशिष्ट उद्धरण प्रदान करने के लिए मजबूर करता है, यह सुनिश्चित करता है कि अंतिम निर्णय एक अस्पष्ट भावना के बजाय साक्ष्य पर आधारित हो।

शोधकर्ताओं ने अपने दृष्टिकोण का परीक्षण दो प्रमुख बेंचमार्क पर किया, एक अंग्रेजी के लिए और एक चीनी के लिए, जो डेटा के मानक सेट हैं जिनका उपयोग कंप्यूटर द्वारा नफरत भरे भाषण को समझने की क्षमता मापने के लिए किया जाता है। अंग्रेजी बेंचमार्क के लिए, सार्वजनिक डेटासेट ने केवल एक टेस्ट सेट प्रदान किया, इसलिए शोधकर्ताओं ने अपने अध्ययन के लिए इसे निर्धारित रूप से पुनर्गठित और पुन: विभाजित किया। उन्होंने अपने मल्टी-एजेंट सिस्टम की तुलना अन्य तरीकों से की, जिसमें सरल प्रॉम्प्ट शामिल हैं जो एक एकल AI को यह काम करने के लिए कहते हैं और अन्य जटिल तर्क ढांचे भी। परिणामों ने दिखाया कि SPAR-Hate सिस्टम ने अन्यों की तुलना में लगातार बेहतर प्रदर्शन किया, विशेष रूप से कठिन कार्यों पर। यह हमले के विशिष्ट लक्ष्य, उपयोग किए गए सटीक शब्दों और नुकसान के सही लेबल को सही ढंग से पहचानने में बहुत बेहतर था। सुधार सबसे अधिक तब देखा गया जब मूल्यांकन सख्त था, जिसमें कंप्यूटर के लिए लक्ष्य, तर्क और लेबल तीनों को एक साथ सही करना आवश्यक था। यह सुझाव देता है कि सिस्टम केवल अधिक बार अनुमान नहीं लगा रहा है, बल्कि वास्तव में नफरत भरे भाषण की संरचना को बेहतर समझ रहा है।

सबसे आश्चर्यजनक निष्कर्षों में से एक यह था कि सिस्टम बिना विशेष रूप से डेटा पर प्रशिक्षित हुए भी अच्छी तरह से काम करता है। शोधकर्ताओं ने एक बड़े भाषा मॉडल (large language model) का उपयोग किया जिसे इस विशिष्ट कार्य के लिए फाइन-ट्यून नहीं किया गया था, बल्कि वे इसके बजाय अपने मल्टी-एजेंट ढांचे और उनके द्वारा लिखे गए प्रॉम्प्ट की गुणवत्ता पर निर्भर थे। यह महत्वपूर्ण है क्योंकि यह सुझाव देता है कि समस्या को कैसे हल किया जाता है—इसे विभाजित करके और विविध दृष्टिकोणों का उपयोग करके—यह केवल एक बड़े या अधिक विशेष मॉडल के होने से अधिक महत्वपूर्ण है। सिस्टम यह भी दिखा सका कि इसे एक छोटे, तेज़ मॉडल में "डिस्टिल" (distill) किया जा सकता है। एक छोटे कंप्यूटर को बड़े दल के चरण-दर-चरण तर्क की नकल करना सिखाकर, शोधकर्ताओं ने एक ऐसा संस्करण बनाया जो लगभग उतना ही सटीक था लेकिन बहुत अधिक कुशल था, जिससे सिद्ध हुआ कि सिस्टम का तर्क सरल तकनीक में स्थानांतरित किया जा सकता है।

अध्ययन ने वर्तमान तकनीक की सीमाओं को भी रेखांकित किया। इस उन्नत ढांचे के बावजूद, सिस्टम कभी-कभी तर्क की सीमाओं के साथ संघर्ष करता है, और कभी-कभी हमले की अपनी परिभाषा में बहुत अधिक टेक्स्ट शामिल कर लेता है। हालाँकि, शोधकर्ताओं ने पाया कि सिस्टम उन सांस्कृतिक बारीकियों को संभालने में विशेष रूप से अच्छा था जो अन्य मॉडलों को उलझा देते हैं। उदाहरण के लिए, चीनी टेक्स्ट में, सिस्टम ने अपने कल्चरल बायस्टैंडर एजेंट के विशेष ज्ञान का उपयोग करके ध्वन्यात्मक अपशब्दों (homophonic slurs)—ऐसे शब्द जो हानिरहित शब्दों की तरह लगते हैं लेकिन अपमानजनक अर्थ निकालने के लिए अलग तरह से लिखे जाते हैं—को सफलतापूर्वक पहचाना। अंग्रेजी में, यह समुदाय के भीतर उपयोग किए जाने वाले 'रिक्लेम्ड स्लैंग' (reclaimed slang) और बाहरी लोगों द्वारा हथियार के रूप में उपयोग किए जाने वाले उन्हीं शब्दों के बीच अंतर करने में बेहतर था।

यह कार्य इस दावे के साथ नहीं आता कि उसने नफरत भरे भाषण का पता लगाने की समस्या को पूरी तरह से हल कर लिया है। शोधकर्ता स्वीकार करते हैं कि उनका सिस्टम वर्तमान में चीनी और अंग्रेजी तक सीमित है और इसका परीक्षण हर संभव भाषा या सांस्कृतिक सेटिंग के विरुद्ध नहीं किया गया है। वे यह भी नोट करते हैं कि किसी भी सिस्टम को हानिकारक सामग्री को चिह्नित करने के लिए डिज़ाइन करने में सेंसरशिप या निगरानी के लिए दुरुपयोग का जोखिम होता है। पेपर इस बात पर जोर देता है कि जबकि उनकी विधि निर्णय लेने की प्रक्रिया को अधिक पारदर्शी और पता लगाने योग्य बनाती है, वास्तविक दुनिया में तैनाती के लिए अभी भी मानवीय निरीक्षण, अपील प्रक्रियाओं और निरंतर निगरानी की आवश्यकता होगी ताकि यह सुनिश्चित हो सके कि यह अनजाने में विशिष्ट समूहों को लक्षित न करे।

अंततः, यह पेपर इस बारे में हमारे सोचने के तरीके में एक बदलाव प्रस्तुत करता है कि हम कंप्यूटर को मानवीय संघर्ष को समझना कैसे सिखाते हैं। एक एकल, पूर्ण एल्गोरिदम बनाने के बजाय जो सब कुछ जानता हो, शोधकर्ता सुझाव देते हैं कि एक सहयोगात्मक दृष्टिकोण, जहाँ विभिन्न विशिष्ट दृष्टिकोणों को तौला और संतुलित किया जाता है, अधिक प्रभावी है। मानव-समान बहस और मध्यस्थता की प्रक्रिया का अनुकरण करके, सिस्टम नफरत भरे भाषण की अव्यवस्थित, व्यक्तिपरक और सांस्कृतिक रूप से निर्भर प्रकृति को उस स्तर की सटीकता के साथ नेविगेट करने में सक्षम है जो पिछले तरीकों में नहीं थी। निष्कर्ष बताते हैं कि सामग्री मॉडरेशन का भविष्य केवल बड़े मॉडलों में नहीं, बल्कि हमारे पास मौजूद मॉडलों का अधिक स्मार्ट, अधिक संरचित तरीके से उपयोग करने में निहित है।