💬 NLP

Beyond the Literal: Decomposing Pragmatic Intent in Multimodal Meme Understanding

यह शोध पत्र **इन्टेंट प्रोजेक्शन (Intent Projection)** का प्रस्ताव करता है, जो एक नवीन ढांचा है कि यह ऑर्थोगोनल रिप्रजेंटेशन प्रोजेक्शन, संरचित तर्क और कंट्रास्टिव उद्देश्यों के माध्यम से शाब्दिक दृश्य सामग्री को व्यावहारिक इरादे (प्रैग्मैटिक इंटेंट) से स्पष्ट रूप से विघटित और अलग करके, लार्ज विजन लैंग्वेज मॉडल्स की मीम्स को समझने की क्षमता को बढ़ाता है, जिससे यह उच्च-विचलन वाले मल्टीमॉडल कार्यों पर मौजूदा बेसलाइन्स से काफी बेहतर प्रदर्शन करता है।

मूल लेखक: Zhengyi Zhao, Shubo Zhang, Zezhong Wang, Luyao Ye, Huimin Wang, Hanqi Yan, Binyang Li, Kam-Fai Wong, Yulan He

प्रकाशित 2026-06-03

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Zhengyi Zhao, Shubo Zhang, Zezhong Wang, Luyao Ye, Huimin Wang, Hanqi Yan, Binyang Li, Kam-Fai Wong, Yulan He

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक मीम (meme) देख रहे हैं। इसमें एक खुश, मुस्कुराता हुआ कार्टून कुत्ता दिखाया गया है, लेकिन कैप्शन लिखा है, "एक और शानदार सोमवार" (Another great Monday)।

यदि आप एक मानक AI (एक लार्ज विजन लैंग्वेज मॉडल) से पूछेंगे कि इसका क्या अर्थ है, तो वह संभवतः यह बताएगा: "यह एक खुश कुत्ते की तस्वीर है, और टेक्स्ट कहता है कि सोमवार शानदार है।" वह उस चीज़ का वर्णन करता है जो वह देखता है।

लेकिन एक इंसान तुरंत मज़ाक समझ जाता है: पोस्ट करने वाला व्यक्ति वास्तव में दुखी है और सोमवार से नफरत करता है। वह मुस्कुराता हुआ कुत्ता ही पंचलाइन है, संदेश नहीं। AI ने क्यों को मिस कर दिया।

यह शोध पत्र, जिसका शीर्षक "Beyond the Literal: Decomposing Pragmatic Intent in Multimodal Meme Understanding" है, इस समस्या को ठीक करने के लिए इन्टेंट प्रोजेक्शन (Intent Projection) नामक एक नई विधि पेश करता है। यह कैसे काम करता है, इसे सरल अवधारणाओं में यहाँ समझाया गया है।

मुख्य समस्या: "लिटरल ट्रैप" (Literal Trap - शाब्दिक जाल)

AI के मस्तिष्क को एक ऐसे छात्र की तरह सोचें जो पेंटिंग का वर्णन करने में बहुत अच्छा है लेकिन कलाकार के मूड को समझने में बहुत बुरा है। जब AI किसी मीम को देखता है, तो वह स्पष्ट विवरणों (मुस्कुराते कुत्ते, "शानदार" शब्द) पर "अटक" जाता है। ये विवरण इतने तेज़ और चमकदार होते हैं कि वे सूक्ष्म, छिपे हुए अर्थ (व्यंग्य) को दबा देते हैं।

लेखक इसे "लिटरल कोलैप्स" (Literal Collapse) कहते हैं। AI चित्र के जटिल मज़ाक को एक उबाऊ विवरण में समेट देता है।

समाधान: इन्टेंट प्रोजेक्शन (Intent Projection)

शोधकर्ताओं ने एक नया ढांचा बनाया जो AI को जवाब देने से पहले "क्या" को "क्यों" से अलग करने के लिए मजबूर करता है। वे इसे तीन चतुर चरणों में करते हैं, जैसे कोई जासूस केस सुलझा रहा हो:

1. "नॉइज़-कैंसलिंग हेडफ़ोन" (रिप्रेजेंटेशन लेवल)

कल्पना कीजिए कि AI का मस्तिष्क शोर से भरा एक कमरा है। "लिटरल" शोर (कुत्ता, टेक्स्ट) बहुत तेज़ है। "प्रैग्मैटिक" सिग्नल (मज़ाक) एक धीमी फुसफुसाहट है।

उन्होंने क्या किया: उन्होंने एक विशेष मॉड्यूल जोड़ा जो नॉइज़-कैंसलिंग हेडफ़ोन की तरह काम करता है। यह डेटा में मौजूद तेज़, स्पष्ट दिशाओं (लिटरल चीजों) की पहचान करता है और गणितीय रूप से उन्हें रद्द कर देता है।
परिणाम: जो बचता है वह एक "रेसिड्यूअल" (अवशिष्ट) सिग्नल है—वास्तविक इरादे की एक धीमी फुसफुसाहट। अब, AI मुस्कुराते कुत्ते से विचलित हुए बिना मज़ाक को सुन सकता है।

2. "इमोशन टैग" (आउटपुट लेवल)

कभी-कभी, केवल शोर को हटाना ही काफी नहीं होता। AI को इस बात की याद दिलाने की ज़रूरत होती है कि वह किस प्रकार के मज़ाक को देख रहा है।

उन्होंने क्या किया: उन्होंने AI को एक छोटा सा स्टिकर (टैग) दिया जिसे वह सोचने से पहले मीम पर लगा सके। यह टैग इमेज और टेक्स्ट के बीच के संबंध को लेबल करता है।
- क्या यह खुश इमेज + खुश टेक्स्ट है? (ईमानदार/सच्चा)
- क्या यह खुश इमेज + उदास टेक्स्ट है? (व्यंग्य/Sarcasm)
परिणाम: यह टैग एक दिशा-सूचक (compass) की तरह काम करता है। यह AI को बताता है, "हे, खुश चेहरे पर भरोसा मत करो; छिपी हुई उदासी को खोजो।" यह AI को ट्रैक पर रहने में मदद करता है, भले ही मज़ाक जटिल हो जाए।

3. "एंटी-डिस्क्रिप्शन रिवॉर्ड" (ऑब्जेक्टिव लेवल)

यह प्रशिक्षण चरण है। कल्पना कीजिए कि आप एक कुत्ते को ट्रिक सिखा रहे हैं। यदि कुत्ता गेंद की ओर देखकर बस भौंकता है (लिटरल विवरण), तो आप उसे इनाम नहीं देते।

उन्होंने क्या किया: उन्होंने एक विशेष रिवॉर्ड सिस्टम का उपयोग करके AI को प्रशिक्षित किया।
- यदि AI कहता है, "कुत्ता मुस्कुरा रहा है," तो उसे कोई अंक नहीं मिलते (या दंड मिलता है)।
- यदि AI कहता है, "पोस्ट करने वाला व्यक्ति इस बात का मज़ाक उड़ा रहा है कि सोमवार कितने बुरे होते हैं," तो उसे अंक मिलते हैं।
परिणाम: AI सीख जाता है कि केवल चित्र का वर्णन करना "गलत" है। उसे इनाम पाने के लिए गहरे अर्थ तक पहुँचने के लिए मजबूर किया जाता है।

"चेन ऑफ थॉट" (Chain of Thought)

यह सुनिश्चित करने के लिए कि AI धोखाधड़ी न करे, उन्होंने इसे तीन विशिष्ट चरणों में अपना उत्तर लिखने के लिए मजबूर किया, जैसे कि एक जासूस की नोटबुक:

लिटरल ऑब्जर्वेशन (शाब्दिक अवलोकन): "मैं एक मुस्कुराता हुआ कुत्ता देख रहा हूँ और टेक्स्ट कहता है 'शानदार सोमवार'।" (AI स्वीकार करता है कि वह क्या देख रहा है)।
इन्टेंट इन्फरेंस (इरादा अनुमान): "लेकिन रुकिए, शीर्षक कहता है 'एक और शानदार सोमवार', जो आमतौर पर व्यंग्य का संकेत देता है। मुस्कान नकली है।" (AI बिंदुओं को जोड़ता है)।
फाइनल आंसर (अंतिम उत्तर): "पोस्ट करने वाला व्यक्ति काम के बारे में शिकायत कर रहा है।" (AI वास्तविक उत्तर देता है)।

यह क्यों महत्वपूर्ण है

शोधकर्ताओं ने मीम्स और व्यंग्य से जुड़े छह अलग-अलग बेंचमार्क पर इसका परीक्षण किया।

परिणाम: उनकी विधि मौजूदा ओपन-सोर्स मॉडल्स की तुलना में काफी बेहतर काम करती है।
स्वीट स्पॉट (Sweet Spot): यह विशेष रूप से कठिन मज़ाकों में बहुत अच्छा था—वे जहाँ इमेज और टेक्स्ट पूरी तरह से विपरीत (उच्च विचलन) होते हैं। यह वह जगह है जहाँ अन्य AI आमतौर पर पूरी तरह विफल हो जाते हैं।
तुलना: उनका 8-बिलियन पैरामीटर वाला मॉडल (जो अपेक्षाकृत छोटा है) बहुत बड़े, महंगे "प्रोपराइटरी" मॉडल्स के लगभग बराबर प्रदर्शन करता है।

संक्षेप में

यह शोध पत्र तर्क देता है कि मीम को समझने के लिए, आप केवल चित्र को देख और शब्दों को पढ़ नहीं सकते। आपको छिपे हुए अर्थ को खोजने के लिए स्पष्ट चीजों को सक्रिय रूप से घटाना (subtract) होगा। AI को "तेज़" लिटरल विवरणों को अनदेखा करने और "शांत" प्रैग्मैटिक इरादे पर ध्यान केंद्रित करने के लिए सिखाकर, उन्होंने एक ऐसा सिस्टम बनाया जो अंततः मज़ाक को समझता है।

सीमाओं पर नोट: लेखक उल्लेख करते हैं कि उनका प्रशिक्षण डेटा मुख्य रूप से अंग्रेजी बोलने वाली इंटरनेट संस्कृति (जैसे Reddit) से आता है। इसलिए, हालांकि यह विधि शानदार है, यह अन्य संस्कृतियों या भाषाओं के मीम्स के साथ संघर्ष कर सकती है जिन्हें पहले नहीं देखा गया है। वे यह भी नोट करते हैं कि यह अतिरिक्त सोचने की प्रक्रिया AI को थोड़ा धीमा बना देती है, जो वास्तविक समय (real-time) के अनुप्रयोगों के लिए एक समस्या हो सकती है।

तकनीकी सारांश: शाब्दिक अर्थ से परे: मल्टीमॉडल मीम समझ में प्रैग्मैटिक इंटेंट (व्यावहारिक इरादे) का विखंडन

1. समस्या की परिभाषा

लार्ज विजन लैंग्वेज मॉडल्स (LVLMs) वर्तमान में मल्टीमॉडल मीम्स और व्यंग्यात्मक पोस्ट्स की व्याख्या करने में संघर्ष कर रहे हैं, जब लेखक का संप्रेषणात्मक इरादा (communicative intent) शाब्दिक सामग्री से भिन्न होता है। जब किसी मीम (जैसे, एक हंसता हुआ कुत्ता जिसके साथ कैप्शन है "एक और शानदार सोमवार") को प्रस्तुत किया जाता है, तो LVLMs दृश्य और पाठ्य तत्वों का शाब्दिक विवरण उत्पन्न करने की ओर प्रवृत्त होते हैं, बजाय इसके कि वे अंतर्निहित प्रैग्मैटिक अर्थ (जैसे, काम के बारे में शिकायत करना) का अनुमान लगा सकें।

मौजूदा दृष्टिकोण अक्सर 'इंटेंट' (इरादे) को एक एंड-टू-एंड क्लासिफिकेशन या जनरेशन टारगेट के रूप में देखते हैं, जिसे पूर्ण फ्यूज्ड इमेज-टेक्स्ट रिप्रेजेंटेशन पर प्रशिक्षित किया जाता है। यह शाब्दिक सिग्नल (क्या दर्शाया गया है/कहा गया है) को प्रैग्मैटिक सिग्नल (क्यों कहा गया था) से उलझा देता है। फलस्वरूप, जब लिटरल फीचर्स (जैसे, मुस्कुराता हुआ चेहरा या सकारात्मक शब्द) डोमिनेट करते हैं, तो डिकोडर "लिटरल कोलैप्स" (शाब्दिक पतन) की ओर चला जाता है, जो सुपरविजन लेबल के बावजूद केवल सतही विवरणों को ही दोहराता रहता है। यह विफलता उन हाई-डाइवर्जेंस (उच्च विचलन) परिदृश्यों में सबसे तीव्र होती है जहाँ इच्छित अर्थ सतह के रूप से पूरी तरह विपरीत होता है।

2. कार्यप्रणाली: इंटेंट प्रोजेक्शन (Intent Projection)

लेखक इंटेंट प्रोजेक्शन का प्रस्ताव करते हैं, जो एक फ्रेमवर्क है जिसे तीन स्तरों पर—रिप्रेजेंटेशन, आउटपुट और ऑब्जेक्टिव—एक एकल LVLM बैकबोन के भीतर लिटरल और प्रैग्मैटिक सिग्नल्स को संरचनात्मक रूप से अलग करने के लिए डिज़ाइन किया गया है।

A. रिप्रेजेंटेशन लेवल: प्रैग्मैटिक प्रोजेक्शन

मुख्य नवाचार एक ऑर्थोगोनल प्रोजेक्शन मॉड्यूल है जो फ्यूज्ड रिप्रेजेंटेशन से प्रैग्मैटिक रेसिड्यूल (अवशिष्ट) को अलग करता है।

तंत्र: मॉडल इमेज और टेक्स्ट सारांशों से एक फ्यूज्ड वेक्टर $c$ की गणना करता है। फिर यह इमेज ( $u_v$ ) और टेक्स्ट ( $u_t$ ) के यूनिमोडल सारांशों द्वारा निर्मित "लिटरल सबस्पेस" की पहचान करता है।
प्रोजेक्शन: प्रैग्मैटिक वेक्टर $\hat{h}_{prag}$ की गणना लिटरल दिशाओं के ऑर्थोगोनल सबस्पेस पर $c$ को ऑर्थोगोनली प्रोजेक्ट करके की जाती है:
$\hat{h}_{prag} = (I - P_L)c$
जहाँ $P_L$ लिटरल सबस्पेस पर प्रोजेक्शन मैट्रिक्स है। यह डोमिनेंट यूनिमोडल दिशाओं को हटा देता है, जिससे केवल वह क्रॉस-मोडल इंटरैक्शन बचता है जो 'इंटेंट' को संचालित करता है।
कंडीशनिंग: $\hat{h}_{prag}$ को एक सॉफ्ट टोकन के रूप में डिकोडर को फीड किया जाता है। इसके अतिरिक्त, एक सरफेस-रियल अफेक्ट क्लासिफायर सरफेस सेंटीमेंट (pos/neg) और रियल सेंटीमेंट (pos/neg) के चार-तरफा कार्टेशियन प्रोडक्ट से एक डिस्क्रीट टैग की भविष्यवाणी करता है। यह टैग (जैसे, व्यंग्य के लिए [affect: surface-pos, real-neg]) एक निरंतर प्रैग्मैटिक वेक्टर के पूरक के रूप में एक पर्सिस्टेंट सिम्बोलिक एंकर के रूप में कार्य करता है।

B. आउटपुट लेवल: स्ट्रक्चर्ड रीजनिंग चेन

मॉडल को इस विखंडन को एक स्पष्ट तीन-खंड वाली चेन के रूप में बाहरी रूप देने के लिए प्रशिक्षित किया जाता है:

लिटरल ऑब्जर्वेशन ( $y_{lit}$ ): जो दिखाया और कहा गया है उसका वर्णन करता है।
इंटेंट इन्फरेंस ( $y_{int}$ ): यह हल करता है कि इन दोनों को एक साथ क्यों जोड़ा गया।
फाइनल इंटेंट ( $y^*$ ): लेखक के संप्रेषणात्मक इरादे को शब्दों में व्यक्त करता है।

C. ऑब्जेक्टिव लेवल: कॉन्ट्रास्टिव रीइन्फोर्समेंट लर्निंग

प्रशिक्षण दो चरणों में होता है:

चरण 1 (SFT): सुपरवाइज्ड फाइन-ट्यूनिंग चेन फॉर्मेट और अफेक्ट क्लासिफिकेशन सिखाती है। टारगेट्स सेल्फ-डिस्टिलेशन के माध्यम से प्राप्त किए जाते हैं, जहाँ बैकबोन कम्युनिटी कमेंट्स को सहायक संदर्भ के रूप में उपयोग करके चेन जेनरेट करता है (जो इन्फरेंस के दौरान दिखाई नहीं देते हैं)।
चरण 2 (GRPO): ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइजेशन (GRPO) को एक कॉन्ट्रास्टिव, लिटरल-अवेयर रिवॉर्ड के साथ लागू किया जाता है। रिवॉर्ड फंक्शन $R(y)$ $R (y)$ में शामिल है:
- एक टर्म जो फाइनल इंटेंट $y^*$ को रेफरेंस इंटेंट की ओर खींचता है।
- एक कॉन्ट्रास्टिव पेनल्टी ( $-\lambda_1 \text{sim}(y^*, y_{lit})$ ) जो स्पष्ट रूप से फाइनल आंसर को मॉडल के अपने लिटरल डिस्क्रिप्शन से दूर धकेलता है।
- अफेक्ट कंसिस्टेंसी और चेन फॉर्मेटिंग के लिए रिवॉर्ड।
- ग्रेडिएंट मास्किंग: अपडेट केवल $y_{int}$ और $y^*$ पर लागू होते हैं; $y_{lit}$ को कंट्रास्ट के लिए एक स्थिर संदर्भ बिंदु के रूप में स्थिर रखा जाता है।

3. मुख्य योगदान

समस्या का पुनर्गठन: लेखकों ने मीम समझ में "लिटरल कोलैप्स" को प्राथमिक विफलता मोड के रूप में पहचाना और कार्य को लिटरल-प्रैग्मैटिक डिकम्पोजिशन समस्या के रूप में पुनर्गठित किया।
आर्किटेक्चरल सेपरेशन: उन्होंने एक विधि पेश की जो फ्यूज्ड रिप्रेजेंटेशन से यूनिमोडल लिटरल दिशाओं को स्पष्ट रूप से प्रोजेक्ट करती है, जिससे डिकोडर को प्रैग्मैटिक रेसिड्यूल तक सीधी पहुंच मिलती है।
कॉन्ट्रास्टिव ऑप्टिमाइजेशन: उन्होंने एक रिवॉर्ड मैकेनिज्म प्रस्तावित किया जो लिटरल डिस्क्रिप्शन और जेनरेटेड इंटेंट के बीच समानता को दंडित करता है, जो सीधे केवल टास्क सटीकता के बजाय सिग्नल्स के अलगाव को लक्षित करता है।
सेल्फ-डिस्टिलेशन: फ्रेमवर्क इंटेंट टारगेट्स को बैकबोन से ही निकालने के लिए सेल्फ-डिस्टिलेशन का उपयोग करता है, जिससे मानव एनोटेशन की आवश्यकता समाप्त हो जाती है।

4. प्रयोगात्मक परिणाम

विधि का मूल्यांकन छह बेंचमार्क (MemeReaCon, MemeCap, MET-Meme, MMSD2.0, MuSE, GOAT-Bench) पर तीन ओपन-सोर्स बैकबोन (LLaVA-OneVision-7B, Qwen3-VL-8B, InternVL3.5-8B) का उपयोग करके किया गया।

प्रदर्शन लाभ: इंटेंट प्रोजेक्शन लगातार मजबूत ओपन-सोर्स बेसलाइन्स से बेहतर प्रदर्शन करता है और फ्रंटियर प्रोप्राइटरी मॉडल्स (जैसे, Gemini-3-Flash, GPT-5.4-mini) के अंतर को कम करता है।
- PI-G (पोस्ट इंटेंट जनरेशन) कार्य पर, इंटेंट प्रोजेक्शन के साथ 8B-स्केल Qwen3-VL ने 32.8% ROUGE-L प्राप्त किया, जिससे Gemini-3-Flash के साथ का अंतर लगभग 60% कम हो गया।
हाई-डाइवर्जेंस रिजीम: सबसे महत्वपूर्ण सुधार उन पोस्ट्स पर देखे गए जिनमें उच्च लिटरल-इंटेंट डाइवर्जेंस ( $\Delta(x)$ ) था। जबकि बेसलाइन मॉडल्स हाई-डाइवर्जेंस पोस्ट्स पर तेजी से गिर गए, इंटेंट प्रोजेक्शन ने प्रदर्शन बनाए रखा, जिससे लो और हाई डाइवर्जेंस के बीच के अंतर को 5% से कम कर दिया।
एब्लेशन स्टडीज:
- कॉन्ट्रास्टिव रिवॉर्ड ( $\lambda_1$ ) को हटाने से सबसे बड़ा प्रदर्शन ड्रॉप हुआ, विशेष रूप से हाई-डाइवर्जेंस पोस्ट्स पर, जो लिटरल कोलैप्स को रोकने में इसकी भूमिका की पुष्टि करता है।
- अफेक्ट हेड को हटाने से प्रदर्शन काफी कम हो गया, जो डिस्क्रीट सिम्बोलिक टैग की उपयोगिता को प्रमाणित करता है।
- GRPO स्टेज को अपरिहार्य पाया गया; केवल SFT ने फॉर्मेट तो सिखाया लेकिन लिटरल कोलैप्स को रोकने में विफल रहा।

5. महत्व और दावे

पेपर का दावा है कि इंटेंट प्रोजेक्शन संरचनात्मक रूप से सिग्नल्स के अलगाव को लागू करके LVLMs में "लिटरल कोलैप्स" की घटना को सफलतापूर्वक कम करता है। लेखक तर्क देते हैं कि:

रिप्रेजेंटेशन लेवल पर लिटरल और प्रैग्मैटिक सिग्नल्स को स्पष्ट रूप से अलग करना, केवल मॉडल पैरामीटर्स को स्केल करने की तुलना में अधिक प्रभावी है।
यह फ्रेमवर्क लिटरल-प्रैग्मैटिक सेपरेशन के सिद्धांत को सामान्यीकृत करता है, जो अन्य कार्यों (जैसे, संवाद में विडंबना, हेडलाइंस में निहित रुख) के लिए भी उपयुक्त हो सकता है।
यह दृष्टिकोण विशेष रूप से उन परिदृश्यों में ओपन-सोर्स और प्रोप्राइटरी मॉडल्स के बीच के अंतर को पाटता है जिनमें गहरी प्रैग्मैटिक समझ की आवश्यकता होती है, न कि केवल सतही समझ की।

स्वीकृत सीमाएं: लेखक नोट करते हैं कि उनका डेटा अंग्रेजी-भाषा पश्चिमी इंटरनेट संस्कृति की ओर झुका हुआ है, फ्रेमवर्क संरचनात्मक संशोधनों के कारण मामूली इन्फरेंस लेटेंसी पेश करता है, और उनके सेल्फ-डिस्टिलेशन टारगेट्स बैकबोन मॉडल की अंतर्निहित क्षमताओं पर निर्भर करते हैं।