Adapting Reinforcement Learning with Chain-of-Thought Supervision for Explainable Detection of Hateful and Propagandistic Memes
यह शोध पत्र अंग्रेजी और अरबी बेंचमार्क में घृणास्पद और प्रचार संबंधी मीम्स (memes) के सटीक पता लगाने और व्याख्यात्मक मॉडरेशन के लिए थिंकिंग-आधारित मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स को बेहतर बनाने हेतु ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइजेशन (GRPO) और चेन-ऑफ-थॉट सुपरविजन का उपयोग करते हुए एक रिइन्फोर्समेंट लर्निंग-आधारित पोस्ट-ट्रेनिंग विधि प्रस्तावित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
मुख्य विचार: मीम्स एक पेचीदा पहेली की तरह
कल्पना कीजिए कि सोशल मीडिया मीम्स दो हिस्सों वाली एक पहेली हैं: एक तस्वीर और एक कैप्शन। कभी-कभी तस्वीर मज़ेदार दिखती है और कैप्शन मासूम लगता है। लेकिन जब आप उन्हें एक साथ रखते हैं, तो वे एक छिपा हुआ, बुरा या हेरफेर करने वाला संदेश (जैसे नफरत फैलाने वाली भाषा या प्रोपेगंडा) प्रकट करते हैं।
इसे पहचानने के लिए, कंप्यूटर को केवल तस्वीर को नहीं देखना है या केवल टेक्स्ट को नहीं पढ़ना है। उसे यह समझना होगा कि वे आपस में कैसे जुड़े हैं। यह एक ऐसे चुटकुले को समझने जैसा है जहाँ पंचलाइन तभी समझ आती है जब आपको सेटअप का संदर्भ पता हो।
समस्या: स्मार्ट कंप्यूटर, लेकिन वे "सोचते" नहीं हैं
शोधकर्ताओं ने शक्तिशाली AI मॉडल (जिन्हें मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स कहा जाता है) का उपयोग किया जो देखने और पढ़ने में बहुत अच्छे हैं। हालाँकि, ये मॉडल अक्सर उस छात्र की तरह व्यवहार करते हैं जो बिना अपना काम दिखाए गणित के टेस्ट में उत्तर का अनुमान लगा लेता है। वे भाग्य से सही उत्तर पा सकते हैं, या वे गलत हो सकते हैं क्योंकि उन्होंने छवि और टेक्स्ट के बीच के संबंध पर "सोच-विचार" नहीं किया।
इस शोध का लक्ष्य इन AI मॉडलों को उत्तर देने से पहले अपना काम दिखाने (स्टेप-बाय-स्टेप सोचना) के लिए सिखाना था, और इसे पहले से बेहतर करना था।
समाधान: तीन-चरणीय ट्रेनिंग कैंप
लेखकों ने इन AI मॉडलों के लिए एक विशेष प्रशिक्षण कार्यक्रम बनाया है, जिसे वे "चेन-ऑफ-थॉट सुपरविजन" और "रीइन्फोर्समेंट लर्निंग" का संयोजन कहते हैं। आप इसे तीन चरणों वाले बूट कैंप के रूप में देख सकते हैं:
चरण 1: वॉर्म-अप (सुपरवाइज्ड फाइन-ट्यूनिंग)
इससे पहले कि AI अपने आप सीख सके, उसे नियम सीखने होंगे।
- उन्होंने क्या किया: उन्होंने AI को हजारों मीम्स के उदाहरण दिए, साथ ही सही उत्तर और सबसे महत्वपूर्ण रूप से, मनुष्यों या अधिक शक्तिशाली AI मॉडलों द्वारा लिखे गए स्पष्टीकरण भी दिए।
- उपमा: कल्पना कीजिए कि एक कोच खिलाड़ी को प्लेबुक दिखा रहा है। कोच कहता है, "यह एक बुरा मीम है। यह बुरा क्यों है। यहाँ वह स्टेप-बाय-स्टेप लॉजिक है जिसका हमने इसे समझने के लिए उपयोग किया।" AI इन पैटर्न्स को याद कर लेता है।
- ट्विस्ट: उन्होंने AI को केवल उत्तर (नफरत/कोई नफरत नहीं) नहीं दिया। उन्होंने इसे बारीक विवरण भी दिए (जैसे, "यह एक विशिष्ट धर्म को लक्षित करने वाली नफरत भरी भाषा है" या "यह एक विशिष्ट प्रोपेगंडा तकनीक का उपयोग करता है")। यह खिलाड़ी को केवल यह सिखाने जैसा नहीं है कि "फाउल मत करो," बल्कि यह सिखाने जैसा है कि "खिलाड़ी को पीछे से मत गिराओ।"
चरण 2: प्रैक्टिस लीग (GRPO के साथ रीइन्फोर्समेंट लर्निंग)
अब जब AI नियम जान गया है, तो उसे निर्णय लेने और फीडबैक प्राप्त करने का अभ्यास करने की आवश्यकता है।
- उन्होंने क्या किया: उन्होंने GRPO (ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइजेशन) नामक विधि का उपयोग किया। AI को केवल "सही" या "गलत" बताने के बजाय, AI एक ही मीम के लिए कई संभावित उत्तर और स्पष्टीकरण तैयार करता है। सिस्टम फिर उनकी तुलना करता है।
- उपमा: कल्पना कीजिए कि एक डिबेट क्लब है। AI एक ही मीम के बुरे होने के लिए 16 अलग-अलग तर्क देता है। कोच (रिवॉर्ड सिस्टम) उन सभी 16 तर्कों को देखता है। यदि उनमें से 15 कमजोर हैं और एक मजबूत है, तो AI मजबूत वाले तर्क को चुनने के लिए सीखता है।
- "सोचने" का रिवॉर्ड: शोधकर्ताओं ने देखा कि AI "आलसी" हो रहा था। वह केवल रिवॉर्ड पाने के लिए बहुत छोटे, खाली "सोचने" वाले नोट्स लिखकर जीतना चाह रहा था। इसलिए, उन्होंने एक नियम जोड़ा: "आपको कम से कम एक निश्चित समय तक सोचना होगा।" यदि AI सोचने की प्रक्रिया को छोड़ने की कोशिश करता है, तो उसे दंडित किया जाता है। यह AI को समस्या पर गहराई से विचार करने के लिए मजबूर करता है।
चरण 3: स्व-शिक्षण चरण (सेल्फ-सुपरवाइज्ड लर्निंग)
मानवीय शिक्षक महंगे और धीमे होते हैं। क्या होगा अगर AI बिना लेबल वाले मीम्स (ऐसे मीम्स जहाँ किसी ने नहीं बताया है कि वे बुरे हैं या अच्छे) से सीख सके?
- उन्होंने क्या किया: उन्होंने AI को नए मीम्स देखने दिया और खुद से पूछने दिया, "क्या यह बुरा है?" वह कई राय उत्पन्न करता है। यदि उसके अपने 5 में से 3 "स्वर" इस बात पर सहमत होते हैं कि एक मीम बुरा है, तो वे इसे एक "स्यूडो-लेबल" (एक नकली लेबल जो असली लेबल की तरह काम करता है) मानते हैं और इसका उपयोग आगे के प्रशिक्षण के लिए करते हैं।
- उपमा: कल्पना कीजिए कि एक छात्र अकेले पढ़ाई कर रहा है। वह एक अभ्यास परीक्षा लेता है, अपने उत्तरों को अपने ही विचारों के सर्वसम्मति के आधार पर ग्रेड करता है, और सुधार के लिए उनका उपयोग करता है।
- चुनौती: यह अरबी डेटासेट के लिए बहुत अच्छा रहा (जहाँ AI समान स्रोतों से सीख रहा था), लेकिन इसने अंग्रेजी डेटासेट को वास्तव में थोड़ा खराब कर दिया। क्यों? क्योंकि "अनलेबल" अंग्रेजी मीम्स उन जगहों से नहीं आए थे जहाँ से टेस्ट मीम्स आए थे, जिससे AI का स्व-ग्रेडिंग सिस्टम भ्रमित हो गया।
परिणाम: उन्होंने क्या हासिल किया?
शोधकर्ताओं ने इस पद्धति का परीक्षण दो प्रमुख बेंचमार्क पर किया:
- हेटफुल मीम्स (अंग्रेजी): द्विपक्षीय (हाँ/नहीं) नफरत भरी भाषा का एक डेटासेट।
- ArMeme (अरबी): एक अधिक जटिल डेटासेट जिसमें चार श्रेणियां हैं (प्रोपेगंडा, प्रोपेगंडा नहीं, मीम नहीं, अन्य)।
जीत:
- बेहतर सटीकता: नई पद्धति ने सभी पिछले रिकॉर्ड तोड़ दिए। अंग्रेजी टेस्ट पर, सटीकता लगभग 2% बढ़ गई। कठिन अरबी टेस्ट पर, "मैक्रो-F1" स्कोर (जो सभी श्रेणियों को समान रूप से संभालने का एक माप है) 7.6% बढ़ गया।
- बेहतर स्पष्टीकरण: AI ने केवल अनुमान नहीं लगाया; इसने प्राकृतिक भाषा में ऐसे स्पष्टीकरण लिखना शुरू कर दिया जो मनुष्यों के लिए समझ में आने योग्य थे।
- संतुलित प्रदर्शन: पिछली विधियाँ स्पष्ट नफरत को पकड़ने में अच्छी थीं लेकिन सूक्ष्म प्रोपेगंडा को मिस कर देती थीं। यह नई विधि अधिक संतुलित थी, जो स्पष्ट चीजों को मिस किए बिना पेचीदा चीजों को भी पकड़ लेती थी।
निष्कर्ष
यह पेपर दिखाता है कि AI को हानिकारक मीम्स पहचानने में कुशल बनाने के लिए, आप केवल उसे डेटा नहीं दे सकते। आपको:
- उसे अपना काम दिखाना सिखाना होगा (स्टेप-बाय-स्टेप सोचना)।
- उसे गहराई से सोचने के लिए रिवॉर्ड देना होगा (केवल अनुमान लगाने के बजाय)।
- प्रोपेगंडा जैसे जटिल विषयों के लिए विस्तृत लेबल बनाने हेतु कई AI "शिक्षकों" का उपयोग करना होगा।
इन तकनीकों को जोड़कर, AI सोशल मीडिया कंटेंट के लिए एक अधिक विश्वसनीय और व्याख्यात्मक मॉडरेटर बन गया।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।