Detection and Safeguarding of Chinese Toxic Content from Users and LLMs: A Survey
यह शोध पत्र एक व्यापक सर्वेक्षण प्रस्तुत करता है जो चीनी सोशल मीडिया पर उपयोगकर्ता द्वारा उत्पन्न विषाक्त सामग्री का पता लगाने और चीनी लार्ज लैंग्वेज मॉडल्स (LLMs) को LLM-जनित विषाक्तता से सुरक्षित रखने पर शोध की व्यवस्थित रूप से समीक्षा करता है, जिसका उद्देश्य खंडित प्रगति को समेकित करना और भविष्य के विकास के लिए प्रमुख चुनौतियों की पहचान करना है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
इंटरनेट एक विशाल, हलचल भरा सार्वजनिक चौक है जहाँ अरबों लोग हर दिन अपने विचार, चुटकुले और कहानियाँ साझा करते हैं। लेकिन किसी भी भीड़भाड़ वाली जगह की तरह, इसका एक काला पक्ष भी है: विषाक्त सामग्री (toxic content)। इसमें अपमान, घृणास्पद भाषण, बदमाशी और सूक्ष्म उपहास शामिल हैं जो व्यक्तियों को चोट पहुँचा सकते हैं और ऑनलाइन समुदायों के वातावरण को विषाक्त कर सकते हैं। वर्षों से, शोधकर्ताओं ने हानिकारक भाषा को पहचानने के लिए उपकरण बनाए हैं, जो मुख्य रूप से अंग्रेजी पर केंद्रित रहे हैं, जहाँ अपमान और अभद्रता के नियम अच्छी तरह से स्थापित हैं। हालाँकि, चीनी-भाषी दुनिया एक अनूठी चुनौती पेश करती है। चीनी ऑनलाइन संस्कृति में, लोग अक्सर स्लैंग (slang), होमोफोन्स (ऐसे शब्द जो सुनने में समान हैं लेकिन लिखे अलग तरह से जाते हैं), और सांस्कृतिक संदर्भों के पर्दे के पीछे अपने वास्तविक इरादे को छिपाते हैं जिन्हें केवल जानकार ही समझ सकते हैं। एक वाक्यांश कंप्यूटर के लिए निर्दोष लग सकता है, लेकिन एक मानव पाठक के लिए वह एक घातक प्रहार हो सकता है। इसके अलावा, लार्ज लैंग्वेज मॉडल्स (LLMs) के उदय के साथ एक नया स्तर की जटिलता उभर कर आई है। ये शक्तिशाली आर्टिफिशियल इंटेलिजेंस सिस्टम अब मानवीय बातचीत की नकल करने वाला टेक्स्ट उत्पन्न कर सकते हैं, लेकिन उन्हें हानिकारक सामग्री बनाने के लिए बहकाया जा सकता है या दुर्भावनापूर्ण तत्वों द्वारा बड़े पैमाने पर इसे बनाने के लिए उपयोग किया जा सकता है।
कई चीनी विश्वविद्यालयों के शोधकर्ताओं की एक टीम ने अब इस बात का व्यापक विश्लेषण किया है कि यह क्षेत्र इन विशिष्ट चुनौतियों से कैसे निपट रहा है। उन्होंने एक व्यवस्थित समीक्षा (systematic review) आयोजित की, जो अनिवार्य रूप से उन सभी मौजूदा अध्ययनों, डेटासेट्स और विधियों की गहरी जांच है जो चीनी में विषाक्त सामग्री का पता लगाने और उसे रोकने से संबंधित हैं। उनका कार्य दो मुख्य मोर्चों को कवर करता है: पहला, सोशल मीडिया पर मानव उपयोगकर्ताओं द्वारा बनाई गई हानिकारक सामग्री की पहचान कैसे की जाए, और दूसरा, लार्ज लैंग्वेज मॉडल्स को ऐसी सामग्री उत्पन्न करने या ऐसी सामग्री बनाने के लिए हेरफेर किए जाने से कैसे बचाया जाए। शोधकर्ताओं ने पाया कि हालांकि प्रगति हुई है, फिर भी यह क्षेत्र खंडित है। चीनी में क्या विषाक्त माना जाए, इसे परिभाषित करने का कोई एक, एकीकृत तरीका नहीं है, और वर्तमान में उपलब्ध उपकरण अक्सर ऑनलाइन स्लैंग की गतिशील, विकसित होती प्रकृति और शत्रुता व्यक्त करने के सूक्ष्म, अंतर्निहित तरीकों के साथ संघर्ष करते हैं।
शोधकर्ताओं ने डेटा के परिदृश्य को मैप करने से शुरुआत की। कंप्यूटर को विषाक्तता पहचानने के लिए प्रशिक्षित करने हेतु वैज्ञानिकों को उदाहरणों के विशाल संग्रह की आवश्यकता होती है। उन्होंने पाया कि शोधकर्ताओं ने वीबो (Weibo) और झीहू (Zhihi) जैसे प्रमुख चीनी प्लेटफार्मों से डेटा एकत्र किया है, जिससे ऐसे डेटासेट तैयार हुए हैं जो सीधे अपमान से लेकर घृणास्पद भाषण और कटाक्ष के अधिक जटिल रूपों तक सब कुछ कवर करते हैं। हालाँकि, उन्होंने एक महत्वपूर्ण समस्या नोट की: किसी चीज़ को विषाक्त के रूप में लेबल करने के मानदंड अक्सर असंगत होते हैं। एक अध्ययन किसी टिप्पणी को हानिरहित मजाक के रूप में लेबल कर सकता है, जबकि दूसरा उसी टिप्पणी को घृणास्पद मान सकता है, जो सांस्कृतिक संदर्भ या लक्षित विशिष्ट समूह पर निर्भर करता है। सहमति की यह कमी विभिन्न उपकरणों की तुलना करना या विभिन्न स्थितियों में विश्वसनीय रूप से काम करने वाला सिस्टम बनाना कठिन बनाती है। समीक्षा ने यह भी रेखांकित किया कि जबकि टेक्स्ट के लिए कई डेटासेट हैं, संसाधनों की बढ़ती आवश्यकता है जिनमें चित्र, वीडियो और मीम्स शामिल हों, क्योंकि विषाक्तता अक्सर टेक्स्ट और दृश्यों के संयोजन में छिपी होती है।
तकनीकी पक्ष पर, टीम ने परीक्षण किया कि शोधकर्ता इन पहचान समस्याओं को हल करने के लिए कैसे प्रयास कर रहे हैं। शुरुआती तरीके सरल कीवर्ड मिलान (keyword matching) पर निर्भर थे, लेकिन ये तब विफल हो जाते हैं जब उपयोगकर्ता होमोफोन्स के लिए पात्रों को बदल देते हैं या फिल्टर से बचने के लिए इंटरनेट स्लैंग का उपयोग करते हैं। इसका मुकाबला करने के लिए, नए दृष्टिकोण संदेश के गहरे अर्थ और सांस्कृतिक संदर्भ को समझने का प्रयास करते हैं। कुछ विधियाँ "ज्ञान संवर्धन" (knowledge enhancement) का उपयोग करती हैं, जो कंप्यूटर को सांस्कृतिक संदर्भों या क्षेत्रीय स्लैंग के बारे में अतिरिक्त जानकारी प्रदान करती हैं ताकि वह छिपे हुए इरादे को समझ सके। अन्य "मल्टीमॉडल" (multimodal) तकनीकों का उपयोग करती हैं, जो सिस्टम को टेक्स्ट और साथ में दिए गए चित्र या वीडियो दोनों को देखने की अनुमति देती हैं ताकि अपमान की पूरी तस्वीर पकड़ी जा सके। शोधकर्ताओं ने यह भी समीक्षा की कि इन सिस्टम्स को कैसे प्रशिक्षित किया जाता है, यह देखते हुए कि विभिन्न कार्यों को जोड़ना—जैसे कि कटाक्ष का पता लगाने के साथ-साथ घृणास्पद भाषण का पता लगाना सीखना—मॉडल्स को अधिक मजबूत बना सकता है। हालाँकि, उन्होंने पाया कि इनमें से कई उन्नत विधियाँ पूरी तरह से नए प्रकार के हमलों या तेजी से बदलते स्लैंग का सामना करते समय संघर्ष करती हैं।
समीक्षा का दूसरा भाग नए मोर्चे पर केंद्रित था: लार्ज लैंग्वेज मॉडल्स की सुरक्षा। ये AI सिस्टम मददगार होने के लिए डिज़ाइन किए गए हैं, लेकिन इन्हें "जेलब्रेक" (jailbroken) किया जा सकता है—यानी चतुराई से लिखे गए प्रॉम्प्ट के माध्यम से इन्हें अपने सुरक्षा नियमों को अनदेखा करने और विषाक्त सामग्री उत्पन्न करने के लिए बहकाया जा सकता है। शोधकर्ताओं ने इन मॉडल्स का परीक्षण करने के विभिन्न तरीकों का सर्वेक्षण किया, जिसमें सरल प्रश्नों से लेकर जटिल, बहु-चरणीय (multi-turn) बातचीत शामिल है जिसे AI के बचाव को कमजोर करने के लिए डिज़ाइन किया गया है। उन्होंने पाया कि हालांकि कुछ मॉडल्स हानिकारक अनुरोधों को अस्वीकार करने में बेहतर हुए हैं, वे पूर्ण नहीं हैं। एक प्रमुख मुद्दा "अति-संवेदनशीलता" (over-sensitivity) है, जहाँ AI हानिकारक अनुरोधों को कुछ खतरनाक समझने के कारण हानिरहित प्रश्नों का उत्तर देने से इनकार कर देता है, जैसे कि कुछ ऐतिहासिक हस्तियों या सांस्कृतिक विषयों पर चर्चा करने से मना करना। समीक्षा ने यह भी बताया कि इन मॉडल्स को सुरक्षित बनाने के लिए उपयोग की जाने वाली विधियाँ अक्सर एक 'ब्लैक बॉक्स' की तरह होती हैं; हम जानते हैं कि वे कुछ हद तक काम करती हैं, लेकिन हम पूरी तरह से नहीं समझते कि वे विशिष्ट मामलों में क्यों विफल होती हैं या अन्य क्षमताओं को तोड़े बिना उन्हें कैसे ठीक किया जाए।
लेखकों का निष्कर्ष है कि हालांकि क्षेत्र आगे बढ़ा है, लेकिन महत्वपूर्ण बाधाएं अभी भी बनी हुई हैं। सबसे बड़ी चुनौती चीनी इंटरनेट संस्कृति की गतिशील प्रकृति है; जैसे ही एक पहचान उपकरण किसी विशिष्ट प्रकार के अपमान को पहचानना सीखता है, उपयोगकर्ता इसे कहने का एक नया तरीका आविष्कार कर लेते हैं। शोधकर्ता सुझाव देते हैं कि भविष्य के कार्य को यह बनाने पर ध्यान केंद्रित करने की आवश्यकता है कि क्या विषाक्त माना जाए, इसके लिए अधिक सुसंगत मानक विकसित करने, ऐसे सिस्टम बनाने की आवश्यकता है जो नए स्लैंग के प्रति जल्दी सीख सकें और अनुकूलित हो सकें, और इन उपकरणों की निष्पक्षता में सुधार करने की आवश्यकता है ताकि वे विशिष्ट समूहों या बोलियों को अनुचित रूप से सेंसर न करें। वे टेक्स्ट, चित्र और वीडियो के बीच जटिल परस्पर क्रिया को समझने के लिए बेहतर उपकरणों की आवश्यकता पर भी जोर देते हैं। अंततः, लक्ष्य ऐसे सिस्टम बनाना है जो मुक्त अभिव्यक्ति को बाधित किए बिना ऑनलाइन स्थानों की रक्षा कर सकें, एक ऐसा संतुलन जिसके लिए तकनीक और उस मानव संस्कृति दोनों की गहरी समझ की आवश्यकता है जिसकी वह सेवा करती है। यह समीक्षा एक रोडमैप के रूप में कार्य करती है, जो दिखाती है कि वर्तमान उपकरण कहाँ कम पड़ रहे हैं और भविष्य के लिए अधिक लचीले और सांस्कृतिक रूप से जागरूक समाधानों की ओर इशारा करती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।