LLM-Driven Data Augmentation and Fine-Tuned Transformers vs. Few-Shot LLMs for Arabic Propaganda Technique Detection
यह शोध पत्र अरबी दुष्प्रचार (propaganda) का पता लगाने के लिए एक व्यापक पाइपलाइन प्रस्तुत करता है जो यह प्रदर्शित करता है कि कैसे GPT-4.1-संचालित फ्यू-शॉट डेटा ऑग्मेंटेशन पारंपरिक तरीकों की तुलना में काफी बेहतर प्रदर्शन करता है, जिससे एक फाइन-ट्यून्ड BERT मॉडल को अत्याधुनिक परिणाम (F1-Micro=0.66) प्राप्त करने में सक्षम बनाया जा सका है जो पिछले बेंचमार्क और फ्यू-शॉट LLM दृष्टिकोणों दोनों से बेहतर हैं, जबकि यह भी प्रकट करता है कि भाषाई विशेषताएं हानिकारक हैं और डेटा ऑग्मेंटेशन इस कम-संसाधन (low-resource), असंतुलित सेटिंग में सफलता का महत्वपूर्ण कारक है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
सोशल मीडिया के विशाल और शोर-शराबे वाले परिदृश्य में, सूक्ष्म प्रकार का अनुनय अक्सर आंखों के सामने ही छिपा रहता है। फर्जी खबरों के विपरीत, जो खुले झूठ पर निर्भर करती हैं, दुष्प्रचार (प्रोपेगैंडा) सच्चाई को मरोड़ने, भावनात्मक भाषा और अलंकारिक युक्तियों का उपयोग करके लोगों के तथ्यों की व्याख्या करने के तरीके को बदलने का काम करता है। यह प्रभाव का एक ऐसा उपकरण है जो तथ्यात्मक रूप से सटीक हो सकता है लेकिन गहराई से हेरफेर करने वाला हो सकता है। जबकि इस घटना का अंग्रेजी भाषी संदर्भों में लंबे समय से अध्ययन किया गया है, अरबी भाषी दुनिया एक अनूठी चुनौती पेश करती है। अरबी भाषा समृद्ध और जटिल है, जिसमें शब्द वाक्य में उनकी भूमिका के आधार पर अपना रूप बदल लेते हैं, जिससे मानक कंप्यूटर प्रोग्रामों के लिए अर्थ समझना कठिन हो जाता है। इसके अलावा, शोधकर्ताओं को इस व्यवहार के पर्याप्त उदाहरण खोजने में संघर्ष करना पड़ा ताकि वे कंप्यूटर को इसे पहचानने के लिए सिखा सकें। उपलब्ध डेटा दुर्लभ और अत्यधिक असंतुलित है, जहाँ कुछ हेरफेर तकनीकें सैकड़ों बार दिखाई देती हैं जबकि अन्य केवल एक या दो बार आती हैं, जिससे मशीनें सबसे दुर्लभ और अक्सर सबसे खतरनाक प्रकार के प्रभाव को पहचानने में अंधी रह जाती हैं।
इस्लामिक यूनिवर्सिटी ऑफ गाजा और यूनिवर्सिटी ऑफ सालेन्टो के शोधकर्ताओं की एक टीम ने इस दोहरी समस्या को हल करने का लक्ष्य रखा: यह कि कंप्यूटर को सीखने के लिए पर्याप्त उच्च गुणवत्ता वाले प्रशिक्षण उदाहरण कैसे बनाए जाएं, और अरबी में इन तकनीकों का पता लगाने के लिए किस प्रकार का कंप्यूटर मॉडल सबसे उपयुक्त है। उन्होंने ट्वीट्स के एक विशिष्ट डेटासेट पर ध्यान केंद्रित किया जिसमें सत्रह अलग-अलग दुष्प्रचार तकनीकें शामिल थीं, जो "लोडेड लैंग्वेज" (भावनात्मक शब्दों का उपयोग) से लेकर किसी व्यक्ति के चरित्र पर हमला करने वाले "नेम-कॉलिंग" तक फैली हुई हैं। मूल डेटासेट बहुत छोटा और असंतुलित था ताकि कंप्यूटर को प्रभावी ढंग से सिखाया जा सके। इसे ठीक करने के लिए, शोधकर्ताओं ने डेटा को कृत्रिम रूप से विस्तारित करने के तीन अलग-अलग तरीकों का प्रयोग किया। उन्होंने एक बड़े भाषा मॉडल (लार्ज लैंग्वेज मॉडल) का उपयोग करके शब्दों को पर्यायवाची शब्दों से बदलने का प्रयास किया, उन्होंने ट्वीट्स का अंग्रेजी में अनुवाद करने और फिर वापस अरबी में अनुवाद करने का प्रयास किया ताकि नए वाक्यांश बनाए जा सकें, और उन्होंने एक शक्तिशाली एआई (AI) से कुछ वास्तविक उदाहरणों के आधार पर दुष्प्रचार के पूरी तरह से नए उदाहरण लिखने के लिए कहा।
इन प्रयोगों के परिणामों ने सफलता का एक स्पष्ट पदानुक्रम प्रकट किया। पारंपरिक तरीके, जैसे कि शब्दों को बदलना या यादृच्छिक प्रविष्टि, काफी हद तक विफल रहे क्योंकि अरबी का जटिल व्याकरण टूट जाता है जब शब्दों को वाक्य संरचना को समझे बिना इधर-उधर ले जाया जाता है या बदला जाता है। इन प्रयासों ने ऐसा पाठ तैयार किया जो एक मूल वक्ता के लिए गलत लगता था। हालांकि, जब शोधकर्ताओं ने एक परिष्कृत एआई से एक विशिष्ट शैली में दुष्प्रचार के नए, पूर्ण उदाहरण उत्पन्न करने के लिए कहा, तो परिणाम असाधारण थे। इस पद्धति ने प्राकृतिक और व्याकरणिक रूप से सही पाठ तैयार किया, जिसकी मानव समीक्षा के बाद सफलता दर लगभग निन्यानवे प्रतिशत थी। इस एकल रणनीति ने छह सौ प्रविष्टियों के एक छोटे डेटासेट को चार हजार से अधिक अद्वितीय उदाहरणों के एक मजबूत संग्रह में बदल दिया, जिससे कंप्यूटर को प्रभावी रूप से यह सिखाया जा सका कि दुर्लभ दुष्प्रचार तकनीकें वास्तव में कैसी दिखती हैं।
इस नए, विस्तारित लाइब्रेरी के साथ, टीम ने कंप्यूटर को दुष्प्रचार का पता लगाने के लिए प्रशिक्षित करने के दो अलग-अलग दृष्टिकोणों का परीक्षण किया। पहले दृष्टिकोण में "फाइन-ट्यूनिंग" शामिल था, जहाँ एक पूर्व-प्रशिक्षित कंप्यूटर मॉडल को इस कार्य के लिए नए डेटा का उपयोग करके विशेष रूप से समायोजित किया जाता है। दूसरा दृष्टिकोण "फ्यू-शॉट प्रॉम्प्टिंग" में शामिल था, जहाँ एक विशाल, सामान्य-उद्देश्य वाले एआई को केवल कुछ उदाहरण दिए जाते हैं और बिना किसी पूर्व प्रशिक्षण के तकनीकों की पहचान करने के लिए कहा जाता है। शोधकर्ताओं ने दर्जनों प्रयोग चलाए, विभिन्न मॉडल आर्किटेक्चर का परीक्षण किया और यहाँ तक कि मॉडल की मदद करने के लिए व्याकरण और लोगों या स्थानों के नामों के बारे में अतिरिक्त जानकारी जोड़ने का भी प्रयास किया।
निष्कर्ष निर्णायक थे। सबसे अच्छा प्रदर्शन करने वाला सिस्टम वह मॉडल था जिसे नए संवर्धित डेटा पर फाइन-ट्यून किया गया था। इस सिस्टम ने क्षेत्र में पिछले सर्वश्रेष्ठ परिणामों को महत्वपूर्ण अंतर से पीछे छोड़ते हुए सटीकता का एक स्तर प्राप्त किया, विशेष रूप से उन दुर्लभ और सूक्ष्म तकनीकों को पहचानने की अपनी क्षमता में जिन्हें पहले अनदेखा कर दिया गया था। शोधकर्ताओं ने पाया कि अतिरिक्त व्याकरणिक विवरण जोड़ने से मॉडल के प्रदर्शन को नुकसान पहुँचा, जिससे पता चलता है कि भाषा की आंतरिक समझ पहले से ही पर्याप्त थी और अतिरिक्त जानकारी ने केवल भ्रम पैदा किया। इसके विपरीत, शक्तिशाली सामान्य-उद्देश्य वाले एआई मॉडल, सक्षम होने के बावजूद, केवल कुछ उदाहरण दिए जाने पर दुर्लभ तकनीकों को पहचानने में संघर्ष करते थे। वे सामान्य चालों पर अच्छा प्रदर्शन करते थे लेकिन कम बार होने वाली तकनीकों को पहचानने में विफल रहे, और विशेष रूप से प्रशिक्षित मॉडल से पीछे रह गए।
अंततः, यह अध्ययन दर्शाता है कि अरबी जैसी जटिल, कम-संसाधन वाली भाषाओं के लिए, सफलता की कुंजी सबसे बड़े संभव एआई का उपयोग करने में नहीं, बल्कि एक विशेष मॉडल को प्रशिक्षित करने के लिए उपयोग किए जाने वाले डेटा को सावधानीपूर्वक क्यूरेट करने और विस्तारित करने में निहित है। शोधकर्ताओं ने पाया कि डेटा संवर्धन (डेटा ऑग्मेंटेशन) सबसे महत्वपूर्ण कारक था, जिसने सीमित जानकारी के साथ कंप्यूटर क्या कर सकता है और एक समृद्ध, विविध डेटासेट के साथ वह क्या हासिल कर सकता है, उसके बीच के अंतर को पाट दिया। जबकि बड़े एआई मॉडल एक सुविधाजनक विकल्प प्रदान करते हैं जिसके लिए प्रशिक्षण की आवश्यकता नहीं होती, वे वर्तमान में उस मॉडल की सटीकता का मुकाबला नहीं कर सकते जिसे विशेष रूप से एक बड़े, उच्च-गुणवत्ता वाले डेटासेट पर सिखाया गया है। यह कार्य अरबी सोशल मीडिया में हेरफेर का पता लगाने के लिए बेहतर उपकरण बनाने के लिए एक स्पष्ट मार्ग प्रदान करता है, जो दिखाता है कि सही डेटा के साथ, सबसे मायावी रूपों के दुष्प्रचार को भी पहचाना जा सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।