← नवीनतम पेपर
💬 NLP

"I See What You Did There": Can Large Vision-Language Models Understand Multimodal Puns?

यह शोध पत्र मल्टीपन (MultiPun) डेटासेट और एक जनरेशन पाइपलाइन प्रस्तुत करता है जो मल्टीमॉडल पन्स (multimodal puns) को समझने की लार्ज विजन-लैंग्वेज मॉडल्स की क्षमता का व्यवस्थित रूप से मूल्यांकन करता है, जो उनकी वर्तमान सीमाओं को प्रकट करता है और ऐसी रणनीतियों का प्रस्ताव देता है जो उनके पन बोध (pun comprehension) प्रदर्शन में महत्वपूर्ण सुधार करती हैं।

मूल लेखक: Naen Xu, Jiayi Sheng, Changjiang Li, Chunyi Zhou, Yuyuan Li, Tianyu Du, Jun Wang, Zhihui Fu, Jinbao Li, Shouling Ji

प्रकाशित 2026-04-08
📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें
CC BY 4.0

मूल लेखक: Naen Xu, Jiayi Sheng, Changjiang Li, Chunyi Zhou, Yuyuan Li, Tianyu Du, Jun Wang, Zhihui Fu, Jinbao Li, Shouling Ji

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक पार्टी में हैं, और कोई आपको एक ऐसा चुटकुला सुनाता है जो एक तस्वीर और एक कैप्शन के मेल पर आधारित है। उदाहरण के लिए, दो नाशपाती (pears) के हाथ पकड़े हुए होने की तस्वीर और कैप्शन, "We make a great pear." (हम एक बेहतरीन जोड़ी/नाशपाती हैं)।

यदि आपको चुटकुला समझ आ जाता है, तो आप महसूस करते हैं कि वे केवल फल के बारे में बात नहीं कर रहे हैं; वे "pear" के "pair" (जोड़ी) जैसा सुनाई देने वाले शब्द के साथ खेल रहे हैं। यह एक मल्टीमॉडल पन (multimodal pun) है।

यह शोध पत्र वास्तव में आर्टिफिशियल इंटेलिजेंस (AI) के लिए एक रिपोर्ट कार्ड है कि वह इन पेचीदा, दृश्य शब्द-क्रीड़ा वाले चुटकुलों को कितनी अच्छी तरह समझता है। यहाँ इसका विवरण सरल शब्दों में दिया गया है:

1. समस्या: AI एक "हाँ में हाँ मिलाने वाला" (Yes-Man) है

शोधकर्ताओं ने पाया कि वर्तमान AI मॉडल (जिन्हें विजन-लैंग्वेज मॉडल कहा जाता है) इन चुटकुलों को पहचानने में बहुत खराब हैं। वे दो मुख्य समस्याओं से जूझते हैं:

  • "भ्रम" (Hallucination) की आदत: यदि AI फलों की तस्वीर देखता है और एक वाक्य सुनता है जो चुटकुले जैसा सुनाई देता है, तो वह अक्सर कहता है, "हाँ, यह एक पन (pun) है!" भले ही वह न हो। यह उस छात्र की तरह है जो गलत होने के डर से हर सही/गलत प्रश्न पर "हाँ" का अनुमान लगा लेता है।
  • "दिखावा करने" (Fake It) की समस्या: AI अक्सर इस बात के कारण बनाने लगता है कि कोई चीज़ मज़ेदार क्यों है। यह एक लैंप की तस्वीर देखकर कह सकता है, "ओह, 'lamp' शब्द 'fan' जैसा लगता है!" भले ही वे सुनने में बिल्कुल भी एक जैसे न हों। यह चतुर दिखने की बहुत कोशिश करता है और अंत में मनगढ़ंत बातें बनाने लगता है।

2. समाधान: एक "पन जिम" (MULTIPUN) बनाना

AI को ठीक से परखने के लिए, शोधकर्ताओं ने MULTIPUN नामक एक नया प्रशिक्षण मैदान बनाया। इसे AI के लिए एक जिम की तरह समझें जहाँ वह चुटकुलों को पहचानना सीख सके।

  • वर्कआउट: उन्होंने 445 असली पन (वजन/weights) और 890 नकली पन (डिस्ट्रैक्टर्स/distractors) बनाए।
  • पेचीदा हिस्सा: नकली चुटकुलों को इस तरह बनाया गया है कि वे लगभग असली लगें। उदाहरण के लिए, उन्होंने "pears" के बारे में एक असली पन लिया और उसे "apples" में बदल दिया। चूंकि "apple" का उच्चारण "pair" जैसा नहीं है, इसलिए यह एक चुटकुला नहीं है। लेकिन AI अक्सर अंतर को पहचानने में विफल रहता है और फिर भी इसे एक चुटकुला बताता है।

3. परिणाम: AI संघर्ष कर रहा है

जब उन्होंने शीर्ष AI मॉडलों (जैसे GPT-4, Claude और अन्य) को इस जिम में डाला, तो परिणाम मिले-जुले रहे:

  • स्पष्ट चीजों को पहचानने में अच्छा: AI तस्वीर में मौजूद शब्द को खोजने में माहिर है (जैसे, "मुझे एक नाशपाती दिख रही है")।
  • तर्क में बुरा: AI यह समझने में बहुत खराब है कि यह चुटकुला क्यों है। यह अक्सर "समान ध्वनि" या "दोहरे अर्थ" वाले संबंध को मिस कर देता है।
  • "सोचने वाले" (Thinking) मॉडल: कुछ नए AI जो जवाब देने से पहले "सोचने" के लिए डिज़ाइन किए गए हैं, वे थोड़े बेहतर थे, लेकिन वे अभी भी नकली चुटकुलों से भ्रमित हो गए।

बड़ी सीख: AI वर्तमान में एक ऐसे पर्यटक की तरह है जो "apple" शब्द तो जानता है लेकिन उसके पीछे के सांस्कृतिक चुटकुले को नहीं समझता। वह फल को तो देखता है, लेकिन पंचलाइन को नहीं समझ पाता।

4. सुधार: दो नई प्रशिक्षण विधियाँ

शोधकर्ताओं ने केवल AI को ग्रेड देने तक ही सीमित नहीं रहे; उन्होंने इसे बेहतर तरीके से सिखाने की कोशिश की। उन्होंने दो रणनीतियों का उपयोग किया:

  • रणनीति A: "जासूस चेकलिस्ट" (Pun-CoT)
    जवाब का अनुमान लगाने के बजाय, उन्होंने AI को जवाब देने से पहले एक सख्त 3-चरणीय चेकलिस्ट का पालन करने के लिए मजबूर किया:

    1. देखो (Look): तस्वीर में वास्तव में क्या है? (अनुमान मत लगाओ!)
    2. पढ़ो (Read): लिखा हुआ सटीक शब्द क्या है? (अपने दिमाग में इसे बदलो मत!)
    3. जोड़ो (Connect): क्या तस्वीर और शब्द वास्तव में एक जैसे सुनाई देते हैं या उनके दो अर्थ हैं?
    • परिणाम: इसने AI को नकली संबंध बनाने से रोक दिया। यह अधिक सावधान और सटीक हो गया।

  • रणनीति B: "बूट कैंप" (Pun-Tuning)
    उन्होंने AI को विशेष रूप से उनके नए डेटासेट (असली और नकली चुटकुलों) पर प्रशिक्षित किया। यह AI को एक विशेष कॉमेडी स्कूल में भेजने जैसा है।

    • परिणाम: AI ने यह कहना सीख लिया कि जब उसने कोई नकली चुटकुला देखा तो "नहीं, यह चुटकुला नहीं है" और जब असली देखा तो "हाँ, यह एक चुटकुला है।" उनकी सटीकता में काफी उछाल आया।

सारांश

यह शोध पत्र AI को मानवीय हास्य (humor) समझाने के बारे में है, जो कि एक बहुत ही सूक्ष्म और जटिल चीज़ है।

  • पहले: AI उस बच्चे की तरह था जो सब कुछ देखकर हंस देता है क्योंकि वह चुटकुले को नहीं समझता।
  • बाद में: नए डेटासेट और प्रशिक्षण विधियों के साथ, AI एक समझदार वयस्क की तरह बनने की सीख रहा है जो एक चतुर पन और एक साधारण वाक्य के बीच अंतर कर सकता है।

अंतिम लक्ष्य क्या है? एक ऐसा AI बनाना जो केवल तस्वीरें और टेक्स्ट न देखे, बल्कि वास्तव में चुटकुले को समझ सके।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →

इसी तरह के और पेपर

इस विषय के सभी पेपर देखें 💬 cs.CL →