Counter with Evidence! A Multi-Agent Memory Efficient Reasoning Framework for Hate Category Informed Counterspeech Generation
यह शोध पत्र FIRE को प्रस्तुत करता है, जो एक मल्टी-एजेंट फ्रेमवर्क है जो दुर्व्यवहार को पांच विशिष्ट प्रकारों में वर्गीकृत करके और उन्हें लक्षित रणनीतियों से जोड़कर नफरत भरे भाषण के प्रति प्रतिवाद (counterspeech) निर्माण में सुधार करता है, जिसे एक नए डेटासेट (FactualCS) द्वारा समर्थित किया गया है और मौजूदा बेसलाइनों की तुलना में बेहतर तथ्यात्मक सटीकता और कम विषाक्तता प्रदर्शित किया गया है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
ऑनलाइन घृणास्पद भाषण (हेट स्पीच) एक व्यापक समस्या है जो डिजिटल बातचीत को विषाक्त कर देती है, जिससे संवेदनशील समुदायों को वास्तविक मनोवैज्ञानिक क्षति पहुँचती है। जबकि सोशल मीडिया प्लेटफॉर्म दुनिया को जोड़ते हैं, उनका उपयोग अक्सर दुर्व्यवहार फैलाने के लिए हथियार के रूप में भी किया जाता है। इससे निपटने के लिए, शोधकर्ता लंबे समय से "काउंटरस्पीच" (प्रति-भाषण) उत्पन्न करने का तरीका खोज रहे हैं—जो कि विनम्र, तथ्य-आधारित उत्तर हों जो offending कंटेंट (अपमानजनक सामग्री) को केवल हटाने के बजाय उसके प्रभाव को निष्प्रभावी कर दें। चुनौती यह रही है कि घृणास्पद भाषण कोई एक समान चीज़ नहीं है। यह कई रूपों में आता है: कुछ पोस्ट सत्यापन योग्य झूठ फैलाते हैं, कुछ हानिकारक रूढ़ियों (स्टीरियोटाइप्स) पर निर्भर करते हैं, जबकि कुछ लोगों की गरिमा छीनने के लिए साजिश सिद्धांतों (कॉन्स्पिरेंसी थ्योरी) या अमानवीय भाषा का उपयोग करते हैं। इन सभी को एक ही तरह की समस्या मानने से प्रतिक्रियाएं कमजोर हो जाती हैं। एक जवाब जो गलत आंकड़े को खंडित करने के लिए काम करता है, वह क्रूर अपमान को संबोधित करने में विफल रहेगा, ठीक वैसे ही जैसे एक नैतिक तर्क तथ्यात्मक त्रुटि को ठीक नहीं कर सकता। इस क्षेत्र के वैज्ञानिकों के लिए मुख्य प्रश्न यह है कि एक ऐसा सिस्टम कैसे बनाया जाए जो दुर्व्यवहार के इन विभिन्न प्रकारों के बीच अंतर कर सके और प्रत्येक के लिए आवश्यक विशिष्ट रणनीति के साथ प्रतिक्रिया दे सके।
भारतीय प्रौद्योगिकी संस्थान दिल्ली के शोधकर्ताओं की एक टीम ने इस समस्या को हल करने के लिए एक नया दृष्टिकोण विकसित किया है, जो एक एकल, सर्वज्ञ कंप्यूटर प्रोग्राम के विचार से हटकर है। इसके बजाय, उन्होंने FIRE नामक एक प्रणाली बनाई है, जिसका अर्थ है 'फैक्टुअलिटी इन्फॉर्म्ड मल्टी-एजेंट रीजनिंग फ्रेमवर्क' (Factuality Informed Multi-Agent REasoning Framework)। एक बड़े कंप्यूटर मॉडल को एक साथ सब कुछ करने के लिए मजबूर करने के बजाय, FIRE कार्य को छोटे, विशिष्ट चरणों में विभाजित करता है। यह विशेषज्ञों की एक छोटी टीम के रूप में मिलकर काम करने वाले तंत्र की तरह संचालित होता है। सबसे पहले, एक "हेट स्पीच एनालिस्ट" (घृणास्पद भाषण विश्लेषक) अपमानजनक संदेश की जांच करता है ताकि यह निर्धारित किया जा सके कि वह किस प्रकार की घृणा है। क्या यह एक रूढ़ि है? एक साजिश सिद्धांत है? या एक झूठ है? एक बार प्रकार की पहचान हो जाने के बाद, सिस्टम जवाबी कार्रवाई करने का सबसे अच्छा तरीका तय करता है। यदि घृणास्पद भाषण में कोई झूठा दावा शामिल है, तो सिस्टम स्वचालित रूप से उसे गलत साबित करने के लिए वास्तविक साक्ष्य खोजने के लिए इंटरनेट की खोज करता है। अंत में, एक "काउंटरस्पीच जनरेटर" इस विश्लेषण और एकत्रित साक्ष्यों का उपयोग करके एक ऐसा उत्तर लिखता है जो विशिष्ट स्थिति के अनुकूल हो।
इस प्रणाली को यह सिखाने के लिए कि यह कैसे काम करे, शोधकर्ताओं को एक नए प्रकार की प्रशिक्षण सामग्री बनानी पड़ी, क्योंकि मौजूदा डेटा सेट पर्याप्त विस्तृत नहीं थे। उन्होंने 'FactualCS' नामक एक संग्रह तैयार किया, जिसमें लगभग 4,800 उदाहरण हैं जहाँ घृणास्पद भाषण को उच्च-गुणवत्ता वाले काउंटरस्पीच के साथ जोड़ा गया है। जो चीज़ इस डेटासेट को अद्वितीय बनाती है वह यह है कि प्रत्येक उदाहरण को सावधानीपूर्वक घृणा की विशिष्ट श्रेणी, चुने गए उत्तर के पीछे के तर्क और खंडन का समर्थन करने के लिए उपयोग किए गए वास्तविक साक्ष्य के साथ लेबल किया गया है। यह सिस्टम को न केवल यह सीखने में मदद करता है कि क्या कहना है, बल्कि यह भी कि किसी विशेष प्रकार के दुर्व्यवहार के लिए एक विशेष प्रतिक्रिया क्यों प्रभावी है। शोधकर्ताओं ने अपने सिस्टम को बहुत छोटे कंप्यूटर मॉडलों का उपयोग करके प्रशिक्षित किया, जिनमें से प्रत्येक के दो बिलियन से कम पैरामीटर थे, जो आज के आर्टिफिशियल इंटेलिजेंस में उपयोग किए जाने वाले विशाल मॉडलों की तुलना में बहुत छोटा है। अपने छोटे आकार के बावजूद, ये मॉडल जटिल तर्क करने में सक्षम थे क्योंकि उन्हें FIRE फ्रेमवर्क के संरचित चरणों और समृद्ध जानकारी द्वारा निर्देशित किया गया था।
जब शोधकर्ताओं ने अपने सिस्टम का परीक्षण अन्य अग्रणी तरीकों के विरुद्ध किया, तो परिणाम आश्चर्यजनक थे। FIRE सिस्टम ने ऐसे उत्तर उत्पन्न करने में मौजूदा उपकरणों की तुलना में काफी बेहतर प्रदर्शन किया जो तथ्यात्मक रूप से सटीक और संबोधित किए जा रहे घृणा के प्रकार के लिए उपयुक्त थे। इसने सही प्रतिक्रिया रणनीति की पहचान करने की सटीकता में लगभग 11 प्रतिशत का सुधार किया और उत्तरों की तथ्यात्मक शुद्धता को लगभग 12 प्रतिशत तक बढ़ा दिया। सबसे महत्वपूर्ण बात यह है कि FIRE द्वारा उत्पन्न प्रतिक्रियाएं अन्य प्रणालियों की तुलना में कम विषाक्त और अधिक सम्मानजनक थीं। उन परीक्षणों में जहाँ मानव विशेषज्ञों ने आउटपुट की तुलना की, उन्होंने लगातार बहुत बड़े और अधिक शक्तिशाली मॉडलों की तुलना में FIRE के उत्तरों को प्राथमिकता दी। सिस्टम ने यह परिणाम प्राप्त करने के लिए बहुत कम कंप्यूटिंग पावर का उपयोग किया, जिससे यह सिद्ध हुआ कि एक स्मार्ट, संगठित दृष्टिकोण केवल एक बड़े, अधिक महंगे कंप्यूटर का उपयोग करने से अधिक प्रभावी हो सकता है।
शोधकर्ताओं ने यह परीक्षण करने के लिए भी परीक्षण किया कि यदि वे सिस्टम के हिस्सों को हटा देते हैं तो क्या होगा। जब उन्होंने साक्ष्य के लिए वेब खोजने वाले टूल को हटाया, तो सत्य बताने की सिस्टम की क्षमता काफी गिर गई, जिससे पता चला कि झूठ को खारिज करने के लिए वास्तविक तथ्यों तक पहुंच होना अत्यंत महत्वपूर्ण है। जब उन्होंने उस मेमोरी को हटाया जो सिस्टम को पिछले उदाहरणों को याद रखने में मदद करती है, तो उत्तर कम सुसंगत और अधिक दोहराव वाले हो गए। इसने पुष्टि की कि इस परियोजना की सफलता इसके सभी हिस्सों के संयोजन पर निर्भर करती है: समस्या का विश्लेषण करने की क्षमता, साक्ष्य खोजने की क्षमता और प्रभावी ढंग से बोलने का तरीका याद रखने की क्षमता। अध्ययन सुझाव देता है कि घृणा से लड़ने के जटिल कार्य को छोटे, प्रबंधनीय चरणों में तोड़कर, और प्रत्येक प्रतिक्रिया को साक्ष्य के आधार पर रखकर, हम ऐसे उपकरण बना सकते हैं जो वास्तविक दुनिया के उपयोग के लिए अधिक सुरक्षित और प्रभावी हों। हालांकि यह सिस्टम पूर्ण नहीं है और अभी भी बहुत अस्पष्ट भाषा या सांस्कृतिक बारीकियों के साथ चुनौतियां झेल रहा है, फिर भी यह बुद्धिमान, तथ्यात्मक और मानव-केंद्रित तरीके से ऑनलाइन घृणा के साथ जुड़ने के लिए स्वचालित उपकरण बनाने की दिशा में एक महत्वपूर्ण कदम है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।