ZeroR@CHiPSAL 2026: Two-Stage Vision-Language Adaptation with Contrastive Learning for Nepali Meme Classification
ZeroR@CHiPSAL 2026 की टीम ने ओसीआर (OCR) निर्भरता को समाप्त करने और कम-संसाधन वाले मल्टीमॉडल हेट स्पीच और सेंटीमेंट डिटेक्शन को प्रभावी ढंग से संभालने के लिए कंट्रास्टिव लर्निंग और लोरा (LoRA) फाइन-ट्यूनिंग के साथ Qwen3-VL-8B-Instruct का उपयोग करते हुए एक टू-स्टेज विजन-लैंग्वेज एडेप्टेशन पाइपलाइन के माध्यम से नेपाली मीम वर्गीकरण में शीर्ष रैंकिंग हासिल की।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि इंटरनेट एक विशाल, अराजक डिजिटल शहर का चौक है जहाँ हर कोई चिल्ला रहा है, फुसफुसा रहा है और दीवारों पर चित्र बना रहा है। इस शहर में, "मीम्स" (memes) संचार करने का सबसे लोकप्रिय तरीका हैं। वे अंदरूनी चुटकुलों की तरह होते हैं जो एक मज़ेदार तस्वीर को एक चतुर कैप्शन के साथ मिलाते हैं। लेकिन कभी-कभी, ये चुटकुले हथियार बन जाते हैं, जो हँसी के पीछे नफरत भरे भाषण या बदमाशी को छिपा लेते हैं। पेचीदा बात यह है कि एक तस्वीर मासूम लग सकती है, लेकिन टेक्स्ट उसे कुछ भयानक अर्थ दे सकता है, या इसके विपरीत। इसे रोकने के लिए, कंप्यूटरों को चित्र और शब्दों दोनों को एक साथ "पढ़ना" सीखना होगा, पूरी कहानी को समझना होगा, न कि केवल उसके हिस्सों को। यह कंप्यूटरों के लिए एक बड़ी चुनौती है, खासकर जब चुटकुले उन भाषाओं में सुनाए जाते हैं जिन्हें वे अच्छी तरह से नहीं जानते, जैसे कि नेपाली, जहाँ लेखन प्रणाली (जिसे देवनागरी कहा जाता है) सीधे चित्रों पर बनाई जाती है।
वैज्ञानिक इन हानिकारक मीम्स को पहचानने के लिए बेहतर "डिजिटल जासूस" बनाने की कोशिश कर रहे हैं। आमतौर पर, वे एक लंबी असेंबली लाइन बनाने की कोशिश करते हैं: पहले, एक मशीन चित्र से टेक्स्ट पढ़ती है (एक स्कैनर की तरह), फिर दूसरी मशीन उसका अनुवाद करती है, और अंत में, तीसरी मशीन तय करती है कि वह बुरा है या नहीं। लेकिन यह एक पहेली को उसके टुकड़ों में अलग करके हल करने जैसा है; आप पूरी तस्वीर खो सकते हैं। यह शोध पत्र एक नए टीम ऑफ डिटेक्टिव्स (जासूसों की टीम) को पेश करता है जिसे असेंबली लाइन की आवश्यकता नहीं है। इसके बजाय, वे एक सुपर-स्मार्ट, ऑल-इन-वन मस्तिष्क का उपयोग करते हैं जो इंसान की तरह ही चित्र और टेक्स्ट को एक साथ देख सकता है।
शोध पत्र की कहानी: एक दो-चरणीय जासूसी प्रशिक्षण
शोधकर्ताओं, नितिज़ खनाल और उनकी टीम ने CHiPSAL 2026 नामक एक प्रतियोगिता में भाग लिया, जिसका लक्ष्य नेपाली मीम्स में नफरत को पहचानने और भावनाओं का विश्लेषण करने के लिए सबसे अच्छा सिस्टम बनाना था। उन्होंने केवल एक कंप्यूटर को समस्या के सामने नहीं फेंका; उन्होंने अपने AI मॉडल के लिए एक चतुर दो-चरणीय प्रशिक्षण शिविर डिजाइन किया।
मुख्य खिलाड़ी: Qwen3-VL
उनके सिस्टम के केंद्र में एक विशाल, प्री-ट्रेन्ड AI है जिसे Qwen3-VL-8B-Instruct कहा जाता है। इस मॉडल को एक प्रतिभाशाली छात्र के रूप में सोचें जिसने पहले ही दुनिया भर की लाखों किताबें पढ़ी हैं और लाखों चित्र देखे हैं। महत्वपूर्ण रूप से, यह छात्र पहले से ही देवनागरी लिपि को जानता है जो नेपाल में उपयोग की जाती है, इसलिए शोधकर्ताओं को इसे शून्य से पढ़ना सिखाने या टेक्स्ट को स्कैन करने के लिए अलग टूल का उपयोग करने की आवश्यकता नहीं थी। यह एक मीम को देख सकता था और चित्र पर लिखे शब्दों को तुरंत "देख" सकता था।
चरण 1: रचनात्मक लेखक (The Creative Writer)
प्रशिक्षण के पहले चरण में, टीम ने AI को एक रचनात्मक लेखक की तरह कार्य करना सिखाया। उन्होंने इसे हजारों मीम्स दिखाए और इसे उत्तर लिखने के लिए कहा: "Hate" (नफरत) या "Safe" (सुरक्षित), या "Negative" (नकारात्मक), "Neutral" (तटस्थ), या "Positive" (सकारात्मक)। इसे कंप्यूटर को तोड़े बिना करने के लिए, उन्होंने LoRA (लो-रैंक अडैप्टेशन) नामक एक तकनीक का उपयोग किया। कल्पना करें कि AI एक विशाल पुस्तकालय है जिसमें लाखों किताबें हैं। हर एक किताब को नेपाली मीम्स के बारे में सिखाने के लिए उसे फिर से लिखने के बजाय, शोधकर्ताओं ने बस अलमारियों पर कुछ स्टिकी नोट्स (छोटे, सीखने योग्य लेयर्स) जोड़ दिए। इसने AI को नए कार्य को तेज़ी से और कुशलता से सीखने में मदद की।
हालाँकि, उनके पास जो डेटा था वह अव्यवस्थित था। उनके पास "Hate" वाले मीम्स की तुलना में बहुत अधिक "Safe" मीम्स थे, और "Neutral" मीम्स की तुलना में बहुत अधिक "Positive" या "Negative" मीम्स थे। यह एक दुर्लभ जानवर को पहचानने के लिए सीखने जैसा है जब आपके पास बाघ की केवल एक फोटो हो लेकिन बिल्लियों की हज़ार फोटो हों। इसे ठीक करने के लिए, टीम ने oversampling (दुर्लभ मीम्स की अतिरिक्त प्रतियां बनाना) और image augmentation (छवियों को पलटना, घुमाना और चमकीला बनाना) का उपयोग किया ताकि AI केवल चित्रों को याद न करे बल्कि पैटर्न को वास्तव में सीख सके। तीन-वर्गों वाले सेंटिमेंट टास्क के लिए, उन्होंने Focal Loss नामक एक विशेष गणितीय ट्रिक का भी उपयोग किया, जिसने AI को उन कठिन उदाहरणों पर विशेष ध्यान देने के लिए कहा जिन्हें वह बार-बार गलत कर रहा था।
चरण 2: सख्त कोच (The Strict Coach)
पहला चरण अच्छा था, लेकिन शोधकर्ता चाहते थे कि AI और भी तेज़ हो जाए। दूसरे चरण में, उन्होंने एक "कॉन्ट्रास्टिव लर्निंग" (विपरीत शिक्षण) कोच जोड़ा। यह "अंतर खोजने के खेल" की तरह है। कोच AI को दो मीम्स दिखाता था जो दोनों "Hate" थे और कहता, "ये दोनों एक साथ आते हैं!" फिर वह एक "Hate" मीम और एक "Safe" मीम दिखाता और कहता, "ये दोनों बिल्कुल अलग हैं! इन्हें दूर धकेलो!" इसने AI को समान विचारों को मजबूती से एक साथ समूहबद्ध करने और अलग विचारों को अपने दिमाग में दूर धकेलने में मदद की। इस चरण ने केवल उत्तर नहीं पूछा; इसने AI को डेटा के आकार को समझने के लिए मजबूर किया, जिससे इसके निर्णय अधिक मजबूत हुए।
अंतिम निर्णय: स्कोर का मिश्रण
जब अंतिम परीक्षा का समय आया, तो टीम ने केवल चरण 1 या चरण 2 से उत्तर नहीं चुना। उन्होंने एक टीम हडल बनाया। उन्होंने "क्रिएटिव राइटर" (चरण 1) से प्राप्त प्रोबेबिलिटी स्कोर और "स्ट्रिक्ट कोच" (चरण 2) के स्कोर को एक विशेष वेट (भार) के साथ मिला दिया। उन्होंने सबसे अधिक स्कोर देने वाले सही संतुलन को खोजने के लिए एक अभ्यास सेट पर विभिन्न मिश्रण अनुपातों का परीक्षण किया।
उन्होंने क्या पाया
परिणाम प्रभावशाली थे। टीम के सिस्टम ने नफरत भरे भाषण का पता लगाने के कार्य के लिए आधिकारिक लीडरबोर्ड पर द्वितीय स्थान प्राप्त किया, जिसका स्कोर (जिसे Macro F1 कहा जाता है) 0.797 था। इसका मतलब है कि सिस्टम हानिकारक सामग्री को पहचानने में बहुत अच्छा था, भले ही वर्ग असंतुलन (class imbalance) चुनौतीपूर्ण था। सेंटिमेंट विश्लेषण कार्य (यह पता लगाना कि मीम सकारात्मक, नकारात्मक या तटस्थ था) के लिए, उन्होंने 0.518 के स्कोर के साथ लीडरबोर्ड पर चौथा स्थान प्राप्त किया।
शोधकर्ताओं ने पाया कि दो-चरणीय दृष्टिकोण ही असली सफलता का मंत्र था। यदि वे केवल पहले चरण (केवल उत्तर लिखना) का उपयोग करते, तो उनका स्कोर कम होता। दूसरे चरण (कॉन्ट्रास्टिव लर्निंग) को जोड़ने से उनके प्रदर्शन में काफी वृद्धि हुई। उन्होंने यह भी खोजा कि दोनों कार्यों के लिए अलग-अलग प्रशिक्षण शैलियों की आवश्यकता थी। नफरत का पता लगाने वाला कार्य थोड़ा सीधा था, लेकिन सेंटिमेंट कार्य सीखना बहुत कठिन था क्योंकि "न्यूट्रल" और "पॉजिटिव" या "नेगेटिव" के बीच की रेखाएं अक्सर धुंधली होती हैं, विशेष रूप से हास्य के साथ। सेंटिमेंट मॉडल को भ्रमित होने से रोकने के लिए बहुत सख्त नियमों (रेगुलराइजेशन) की आवश्यकता थी।
यह क्यों मायने रखता है (और क्या नहीं)
यह शोध पत्र सुझाव देता है कि नेपाली जैसी कम-संसाधन वाली भाषाओं के लिए, एक शक्तिशाली, ऑल-इन-वन विजन-लैंग्वेज मॉडल का उपयोग करना, जो मूल रूप से स्क्रिप्ट को समझता है, एक गेम-चेंजर है। यह साबित करता है कि आपको मीम्स को समझने के लिए उपकरणों की एक जटिल श्रृंखला (जैसे अलग टेक्स्ट स्कैनर और अनुवादक) की आवश्यकता नहीं है; एक एकल, स्मार्ट मॉडल इसे एंड-टू-एंड कर सकता है।
हालाँकि, लेखक सावधानीपूर्वक यह भी बताते हैं कि उनका सिस्टम पूर्ण नहीं है। वे स्वीकार करते हैं कि AI कभी-कभी गहरे सांस्कृतिक संदर्भ को मिस कर देता है। उदाहरण के लिए, एक मीम में कोई ऐतिहासिक व्यक्ति या विशिष्ट सांस्कृतिक चुटकुला हो सकता है जो AI को हानिरहित लग सकता है लेकिन वास्तव में एक नेपाली व्यक्ति के लिए अपमानजनक हो सकता है। AI स्मार्ट है, लेकिन इसमें अभी तक संस्कृति का जीवंत अनुभव नहीं है। वे यह भी नोट करते हैं कि चूंकि डेटासेट अपेक्षाकृत छोटा था (प्रत्येक कार्य के लिए लगभग 1,000 मीम्स), इसलिए इस बात का जोखिम है कि मॉडल ने वास्तव में सीखने के बजाय प्रशिक्षण डेटा को याद कर लिया होगा, और परिणाम बदल सकते हैं यदि वे एक अलग रैंडम सीड के साथ शुरुआत करते हैं।
अंत में, यह कार्य एक आशाजनक मार्ग दिखाता है: बड़े, स्मार्ट AI मॉडल्स को उन भाषाओं में मीम्स की अस्त-व्यस्त, मज़ेदार और कभी-कभी खतरनाक दुनिया को समझना सिखाना जो तकनीक द्वारा पीछे छोड़ दी गई हैं। यह डिजिटल टाउन स्क्वायर को सभी के लिए सुरक्षित और अधिक समावेशी बनाने की दिशा में एक कदम है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।