← नवीनतम पेपर
💬 NLP

VOILA: Evaluation of MLLMs For Perceptual Understanding and Analogical Reasoning

यह शोध पत्र VOILA को प्रस्तुत करता है, जो एक गतिशील बेंचमार्क है जो दृश्य उपमाओं (visual analogies) के माध्यम से अमूर्त संबंधात्मक तर्क करने की मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स की क्षमता का मूल्यांकन करता है, और यह प्रकट करता है कि मल्टी-स्टेप प्रॉम्प्टिंग रणनीतियों से सुधार के बावजूद, वर्तमान मॉडल मानव प्रदर्शन की तुलना में छवियों के बीच के संबंधों को समझने में काफी संघर्ष करते हैं।

मूल लेखक: Nilay Yilmaz, Maitreya Patel, Yiran Lawrence Luo, Tejas Gokhale, Chitta Baral, Suren Jayasuriya, Yezhou Yang

प्रकाशित 2026-02-26
📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें
CC BY 4.0

मूल लेखक: Nilay Yilmaz, Maitreya Patel, Yiran Lawrence Luo, Tejas Gokhale, Chitta Baral, Suren Jayasuriya, Yezhou Yang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को इंसान की तरह सोचना सिखा रहे हैं। आप उसे एक बिल्ली के चूहे का पीछा करने की तस्वीर दिखाते हैं, और फिर एक कुत्ते के गेंद के पीछे भागने की तस्वीर। आप रोबोट से पूछते हैं: "अगर मैं तुम्हें एक पक्षी को कीड़े का पीछा करते हुए दिखाऊं, तो आगे क्या होगा?"

एक मानव बच्चा तुरंत कहेगा, "पक्षी कीड़े को पकड़ लेगा!" क्योंकि वह पैटर्न को समझता है: "जानवर A, जानवर B का शिकार करता है।"

लेकिन अगर रोबोट सिर्फ तस्वीरों को देखता है और कहता है, "मुझे नहीं पता, शायद पक्षी उड़ जाए"? यह वही समस्या है जिसे शोधकर्ता VOILA नामक एक नए परीक्षण के माध्यम से हल करने की कोशिश कर रहे हैं।

यहाँ रोजमर्रा के उपमाओं (analogies) का उपयोग करके इस पेपर का एक सरल विवरण दिया गया है।

1. समस्या: रोबोट "देख" सकते हैं लेकिन "कड़ियों को जोड़" नहीं सकते

वर्तमान AI मॉडल (जैसे वे जो चैटबॉट्स और इमेज जनरेटर को शक्ति देते हैं) जो वे देखते हैं उसका वर्णन करने में माहिर हैं। यदि आप उन्हें कुत्ते की तस्वीर दिखाते हैं, तो वे बता सकते हैं, "यह एक दौड़ता हुआ भूरा कुत्ता है।"

हालाँकि, वे सादृश्य तर्क (analogical reasoning) में संघर्ष करते हैं। यह दो चीजों को देखने, उनके बीच के संबंध को समझने और उसी संबंध को एक नई स्थिति में लागू करने की क्षमता है।

  • उपमा: कल्पना कीजिए कि आप "अंतर पहचानो" (Spot the Difference) खेल खेल रहे हैं। आपके पास दो जोड़े फोटो हैं। जोड़ा A एक बदलाव दिखाता है (जैसे, एक छोटा कप एक बड़े कप में बदल जाता है)। जोड़ा B एक छोटी गेंद दिखाता है। रोबोट को यह समझना होगा कि गेंद को एक बड़ी गेंद बनना चाहिए।
  • वास्तविकता: अधिकांश AI मॉडल यहाँ अटक जाते हैं। वे छोटे कप और बड़े कप का वर्णन तो कर सकते हैं, लेकिन वे यह समझने में विफल रहते हैं कि नियम "इसे बड़ा बनाना" है और इसे गेंद पर लागू करते हैं।

2. समाधान: "VOILA" का परिचय

शोधकर्ताओं ने VOILA (Visual Open-ended Analogical Intelligence and Learning Assessment) नामक एक विशाल नया परीक्षण बनाया है। VOILA को AI के लिए एक विशाल, गतिशील "पहेली फैक्ट्री" के रूप में समझें।

AI को बहुविकल्पीय प्रश्न (जहाँ वह केवल A, B, C या D चुनता है) देने के बजाय, VOILA AI को उत्तर बनाने के लिए कहता है।

  • सेटअप: AI तीन चित्र देखता है:
    1. चित्र A (जैसे, कार चला रहे 2 भालू)।
    2. चित्र B (जैसे, किताब पढ़ रहे 2 भालू)।
    3. चित्र C (जैसे, फुटबॉल खेलते 4 खरगोश)।
  • कार्य: AI को A और B के बीच के नियम को समझना होगा (भालू कार चलाने से बदलकर किताब पढ़ रहे हैं) और उस नियम को C पर लागू करना होगा। इसलिए, AI को किताब पढ़ते हुए 4 खरगोशों की एक छवि बनानी होगी।

3. "भटकाव" का जाल (The "Distraction" Trap)

परीक्षण को कठिन बनाने के लिए, शोधकर्ताओं ने एक "डिस्ट्रेक्शन" मोड (VOILA-WD) जोड़ा है।

  • रूपक: कल्पना कीजिए कि एक शिक्षक पूछता है, "यदि 2 सेब 4 सेब बन जाते हैं, तो 2 संतरे का क्या होगा?"
  • भटकाव: लेकिन मेज पर, एक रैंडम केला और एक लाल टोपी भी रखी है। एक स्मार्ट इंसान केले और टोपी को अनदेखा करेगा और केवल सेब और नारंगी पर ध्यान केंद्रित करेगा।
  • AI का संघर्ष: AI अक्सर अतिरिक्त "शोर" (noise) से भ्रमित हो जाता है। वह अपने उत्तर में केले या टोपी को शामिल करने की कोशिश करता है क्योंकि वह यह फ़िल्टर नहीं कर पाता कि क्या महत्वपूर्ण है और क्या केवल बैकग्राउंड का कचरा है।

4. परिणाम: इंसान जीतते हैं, AI संघर्ष करता है

शोधकर्ताओं ने सबसे स्मार्ट AI मॉडलों (जैसे GPT-4o और LLaMa) का मनुष्यों के साथ परीक्षण किया।

  • स्कोरबोर्ड:
    • इंसान: लगभग 70% उत्तर सही दे पाए।
    • सर्वश्रेष्ठ AI: लगभग 13% से 29% सही दे पाए।
  • निष्कर्ष: AI उस छात्र की तरह है जिसने शब्दकोश तो रट लिया है लेकिन कहानी को नहीं समझा है। वह चित्रों का सटीक वर्णन तो कर सकता है, लेकिन जब पहेली सुलझाने के लिए तर्क का उपयोग करने को कहा जाता है, तो वह खो जाता है।

5. AI को बेहतर सोचने में मदद कैसे करें

पेपर में कुछ ऐसी तरकीबें मिलीं जो AI के प्रदर्शन में सुधार करती हैं, हालांकि यह अभी भी मानव-स्तर तक नहीं पहुँचा है:

  • "चरण-दर-चरण" सीढ़ी (Least-to-Most): AI से केवल "पहेली सुलझाओ" कहने के बजाय, शोधकर्ताओं ने इसे तोड़ दिया:
    1. "पहले चित्र का वर्णन करें।"
    2. "चित्र 1 और 2 के बीच क्या बदला?"
    3. "उस बदलाव को चित्र 3 पर लागू करें।"
    4. "परिणाम का चित्र बनाएं।"
    • परिणाम: इससे AI को बहुत मदद मिली, जैसे किसी छात्र को हिंट शीट देना।
  • "कोलाज" बनाम "अलग" समस्या: जब तीनों छवियों को एक साथ एक बड़े कोलाज में सिकोड़ दिया गया, तो AI भ्रमित हो गया। जब उन्हें क्रम में तीन अलग-अलग छवियों के रूप में दिखाया गया, तो उसने बहुत बेहतर प्रदर्शन किया। यह एक ऐसी किताब पढ़ने जैसा है जहाँ पन्ने आपस में चिपके हुए हैं बनाम पन्ने दर पन्ने पलटना।

सारांश

VOILA एक नया, कठिन परीक्षण है जो दिखाता है कि वर्तमान AI अभी भी एक "तोता" है न कि एक "विचारक"। यह जो देखता है उसे दोहरा सकता है, लेकिन विभिन्न छवियों को जोड़ने वाले छिपे हुए नियमों को समझने में संघर्ष करता है। हालांकि चरण-दर-चरण निर्देश देने से मदद मिलती है, लेकिन इन पहेलियों को सुलझाने के तरीके में इंसानों और मशीनों के बीच एक बड़ा अंतर बना हुआ है।

शोधकर्ता आशा करते हैं कि इस परीक्षण का उपयोग करके, हम ऐसा AI बना सकते हैं जो केवल दुनिया को "देखता" ही नहीं, बल्कि उसके पीछे के तर्क को वास्तव में समझता भी है।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →

इसी तरह के और पेपर

इस विषय के सभी पेपर देखें 💬 cs.CL →