Fine-tuning with Hierarchical Prompting for Robust Propaganda Classification Across Annotation Schemas
यह शोध पत्र एक नया इरादा-केंद्रित (intent-focused) प्रचार वर्गीकरण और पदानुक्रमित प्रॉम्प्टिंग (Hierarchical Prompting - HiPP) विधि प्रस्तुत करता है, जो यह प्रदर्शित करता है कि इस दृष्टिकोण के साथ भाषा मॉडलों को फाइन-ट्यून करने से विभिन्न एनोटेशन स्कीमा, विशेष रूप से अस्पष्ट और कम-सहमति वाले डेटासेट में मजबूती और प्रदर्शन में महत्वपूर्ण सुधार होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप रोबोटों के एक समूह को सोशल मीडिया पोस्ट में प्रोपेगेंडा (प्रचार) पहचानना सिखाने की कोशिश कर रहे हैं। समस्या यह है कि प्रोपेगेंडा बहुत पेचीदा होता है: यह छोटा, अव्यवस्थित होता है, और अक्सर इस बात पर निर्भर करता है कि किसी ने वह क्यों लिखा, न कि केवल इस पर कि उसने क्या लिखा।
यह शोध पत्र इस बात की रिपोर्ट कार्ड है कि विभिन्न रोबोट शिक्षकों (AI मॉडल्स) ने इस कार्य को कितनी अच्छी तरह सीखा, और यह उन्हें सिखाने के तीन अलग-अलग तरीकों का परीक्षण करता है।
दो "पाठ्यपुस्तकें" (Annotation Schemas)
सबसे पहले, शोधकर्ताओं ने रोबोटों के सीखने के लिए दो अलग-अलग "पाठ्यपुस्तकें" या नियम पुस्तिकाएं बनाईं।
- "तकनीक" की पाठ्यपुस्तक (Sahitaj et al.): यह विशिष्ट ट्रिक्स की एक चेकलिस्ट की तरह है। यह कहती है, "यदि आप एक डरावना शब्द देखते हैं, तो वह 'डर' (Fear) है। यदि आप नाम रखने (name-calling) जैसा कुछ देखते हैं, तो वह 'एड होमिनेम' (Ad Hominem) है।" यह बहुत स्पष्ट है, और मानव शिक्षकों (एनोटेटर्स) ने अधिकांश समय इन नियमों पर सहमति जताई। इसे ग्रेड करना आसान है, लेकिन यह बड़े परिप्रेक्ष्य को मिस कर सकती है।
- "इरादा" (Intent) की पाठ्यपुस्तक (नया आविष्कार): यह शोधकर्ताओं का नया आविष्कार है। केवल ट्रिक्स की सूची बनाने के बजाय, उन्होंने पूछा, "इस पोस्ट का लक्ष्य क्या है?" क्या लक्ष्य "दोष मढ़ना" (Shift the Blame) है? क्या लक्ष्य "दर्शकों को भ्रमित करना" (Confuse the Audience) है? क्या लक्ष्य "आक्रामकता को सही ठहराना" (Justify Aggression) है?
- चुनौती: यह बहुत कठिन है। यह किसी छात्र से व्याकरण की गलती पकड़ने के बजाय शिक्षक के मकसद का अनुमान लगाने के लिए पूछने जैसा है। मानव शिक्षकों ने इन लेबलों पर बहुत अधिक असहमति जताई क्योंकि मकसद अस्पष्ट और व्यक्तिपरक होते हैं।
तीन शिक्षण विधियाँ
शोधकर्ताओं ने चार अलग-अलग रोबोट दिमागों (AI मॉडल्स) का तीन शिक्षण रणनीतियों का उपयोग करके परीक्षण किया:
- "ज़ीरो-शॉट" (Zero-Shot) विधि: आप बस रोबोट को पाठ्यपुस्तक थमा देते हैं और कहते हैं, "जाओ और इसे समझ लो।" रोबोट इसमें बहुत खराब थे। उन्होंने रैंडम अंदाज़े लगाए, जैसे कोई छात्र बिना पढ़ाई किए परीक्षा देने बैठा हो।
- "फाइन-ट्यूनिंग" (Fine-Tuning) विधि: यह एक बड़ी सफलता है। शोधकर्ताओं ने रोबोट्स को हजारों उदाहरण दिखाए और उन्हें तब तक अभ्यास करने दिया जब तक कि वे इसे सही ढंग से नहीं कर लेते।
- परिणाम: यही जादुई कुंजी थी। इसने कमजोर, भ्रमित रोबोटों को तेज और प्रतिस्पर्धी रोबोटों में बदल दिया। पेपर का दावा है कि इस अभ्यास सत्र के बिना, रोबोट इस कार्य को अच्छी तरह से नहीं सीख पाते।
- "हाइरार्किकल प्रॉम्प्टिंग" (Hierarchical Prompting - HiPP) विधि: यह एक चतुर तरीका है। रोबोट से सीधे "मुख्य लक्ष्य क्या है?" पूछने के बजाय, उन्होंने उससे लगातार दो प्रश्न पूछे:
- चरण 1: "यहाँ कौन सी विशिष्ट ट्रिक इस्तेमाल की जा रही है?"
- चरण 2: "ठीक है, उस ट्रिक के आधार पर, मुख्य लक्ष्य क्या है?"
- उपमा: कल्पना कीजिए कि आप एक पक्षी की पहचान करने की कोशिश कर रहे हैं। सीधे प्रजाति का अनुमान लगाने के बजाय, आप पहले पूछते हैं, "क्या इसकी चोंच लंबी है?" और फिर, "लंबी चोंच के आधार पर, क्या यह एक बगुला (heron) है?"
- निष्कर्ष: यह दो-चरणीय विधि (विशेष रूप से "इरादा" वाली पाठ्यपुस्तक पर जहाँ नियम अव्यवस्थित थे) तब सबसे अच्छा काम करती है जब रोबोटों ने पहले से अभ्यास (फाइन-ट्यून) किया हो। इसने रोबोटों को व्यवस्थित रहने में मदद की जब उत्तर भ्रमित करने वाले थे।
परिणाम: कौन जीता?
- सबसे अच्छे रोबोट: Qwen परिवार के रोबोट (विशेष रूप से Qwen3-14B) समग्र रूप से सबसे अच्छा प्रदर्शन करते हैं। वे "ऑनर्स स्टूडेंट" (मेधावी छात्र) हैं।
- उपविजेता: Phi-4 रोबोट भी बहुत मजबूत था, जिसने GPT-4.1-nano रोबोट को लगातार पीछे छोड़ा।
- कठिनाई पर सबक: रोबोटों ने कठिन "इरादा" पाठ्यपुस्तक की तुलना में आसान "तकनीक" पाठ्यपुस्तक पर उच्च स्कोर किया। यह साबित करता है कि नए "इरादा" नियम वास्तव में अधिक चुनौतीपूर्ण और यथार्थवादी हैं, भले ही उन्हें सीखना कठिन हो।
"अहा!" क्षण (त्रुटि विश्लेषण)
शोधकर्ताओं ने देखा कि रोबोटों ने कहाँ गलतियाँ कीं।
- अभ्यास से पहले: रोबोट "कीवर्ड हंटर्स" (शब्द खोजने वाले) थे। यदि वे "युद्ध", "रूस", या "नाजी" जैसे शब्द देखते, तो वे तुरंत "प्रोपेगेंडा!" चिल्लाने लगते, भले ही वह केवल एक समाचार रिपोर्ट हो। वे बहुत अधिक संवेदनशील थे।
- अभ्यास के बाद: रोबोट बहुत स्मार्ट हो गए। उन्होंने युद्ध की हर समाचार रिपोर्ट को फ्लैग करना बंद कर दिया। उन्होंने केवल उन पोस्ट को फ्लैग किया जो वास्तव में लोगों को हेरफेर करने की कोशिश कर रहे थे।
- भ्रम: जब रोबोट भ्रमित हुए, तो उन्होंने रैंडम जवाब नहीं चुने। वे समान लक्ष्यों के बीच भ्रमित हुए (जैसे "दोष मढ़ने" और "वास्तविकता को विकृत करने" के बीच अंतर न कर पाना)। यह वास्तव में एक अच्छी खबर है; इसका मतलब है कि वे तार्किक रूप से सोच रहे हैं, बस बारीक विवरणों में गलती कर रहे हैं, ठीक वैसे ही जैसे एक इंसान करता है।
निचोड़
पेपर यह निष्कर्ष निकालता है कि प्रोपेगेंडा को वास्तव में समझने वाला रोबोट बनाने के लिए, आप केवल उसे एक नियम पुस्तिका देकर उम्मीद नहीं कर सकते। आपको उसे वास्तविक उदाहरणों पर प्रशिक्षित (fine-tune) करना होगा। एक बार प्रशिक्षित होने के बाद, चरण-दर-चरण सोचने की प्रक्रिया (HiPP) का उपयोग करने से उसे उन जटिल, वास्तविक दुनिया की स्थितियों को संभालने में मदद मिलती है जहाँ संदेश के पीछे का "क्यों" स्पष्ट करना कठिन होता है।
उन्होंने अपनी नई "इरादा" पाठ्यपुस्तक और प्रशिक्षित रोबोटों को दूसरों के उपयोग के लिए भी जारी किया है, इस उम्मीद के साथ कि यह शोधकर्ताओं को न केवल यह समझने में मदद करेगा कि प्रोपेगेंडा हो रहा है, बल्कि यह भी कि प्रचार करने वाले वास्तव में क्या हासिल करने की कोशिश कर रहे हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।