LaViSA: A Language and Vision Structural Ambiguity Benchmark
यह शोध पत्र LaViSA को प्रस्तुत करता है, जो सात श्रेणियों में अस्पष्ट वाक्यों और उनके संगत स्पष्टीकरण देने वाले चित्रों से बना एक बेंचमार्क है, ताकि संरचनात्मक अस्पष्टता को हल करने की विजन-लैंग्वेज मॉडल्स की क्षमता का मूल्यांकन किया जा सके, जिससे यह पता चलता है कि हालांकि वर्तमान मॉडल कुछ क्षमता प्रदर्शित करते हैं, फिर भी वे विशिष्ट अस्पष्टता प्रकारों और सूक्ष्म दृश्य अंतरों के साथ संघर्ष करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक घोड़े और एक पक्षी की तस्वीर देख रहे हैं। कोई आपको एक नोट थमाता है जिस पर लिखा है, "एक घोड़ा और एक उड़ता हुआ पक्षी।"
अब, रुकिए। इसका वास्तव में क्या अर्थ है?
- व्याख्या A: घोड़ा उड़ रहा है, और पक्षी भी उड़ रहा है।
- व्याख्या B: घोड़ा ज़मीन पर खड़ा है, और केवल पक्षी उड़ रहा है।
इसे भाषाविद् स्ट्रक्चरल एम्बिग्युइटी (संरचनात्मक अस्पष्टता) कहते हैं। यह वाक्य एक पहेली की तरह है जिसके दो वैध समाधान हैं, और बिना किसी अन्य संकेत के, आप नहीं जान सकते कि कौन सा सही है। मनुष्य इसमें काफी कुशल होते हैं; यदि हम एक ऐसी तस्वीर देखते हैं जहाँ घोड़ा ज़मीन पर है, तो हमारा मस्तिष्क तुरंत व्याख्या B को चुन लेता है।
लेकिन क्या AI ऐसा कर सकता है? यही वह प्रश्न है जिसका उत्तर देने के लिए यह शोध पत्र, LaViSA तैयार किया गया है।
समस्या: AI की "अंध बिंदु" (Blind Spot)
लेखकों ने एक नया परीक्षण बनाया जिसे LaViSA (लैंग्वेज एंड विजन स्ट्रक्चरल एम्बिग्युइटी) कहा जाता है। इसे AI मॉडल के लिए एक "जिम" की तरह समझें जहाँ वे अपनी आँखों और कानों का एक साथ अभ्यास कर सकते हैं।
इस जिम में, AI को दिया जाता है:
- एक पेचीदा वाक्य (जैसे घोड़ा/पक्षी वाला उदाहरण)।
- एक तस्वीर जो अर्थ को स्पष्ट करती है।
- विकल्पों की एक सूची कि उस वाक्य का क्या अर्थ हो सकता है।
AI का काम तस्वीर को देखना, वाक्य को पढ़ना और सही अर्थ चुनना है। यह "कहानी पहचानने" के खेल जैसा है जहाँ तस्वीर ही एकमात्र सुराग है।
प्रयोग: किसने टेस्ट पास किया?
शोधकर्ताओं ने विभिन्न प्रकार के AI मॉडल का परीक्षण किया, जिनमें सबसे स्मार्ट और महंगे "प्रोपराइटरी" (जैसे नवीनतम GPT और Gemini संस्करण) से लेकर मुफ्त, ओपन-सोर्स मॉडल तक शामिल थे।
यहाँ उन्होंने एक सरल उपमा का उपयोग करते हुए पाया:
- "स्मार्ट" मॉडल (प्रोपराइटरी): ये मॉडल उन छात्रों की तरह हैं जिन्होंने कड़ी मेहनत से पढ़ाई की है। वे आम तौरයෙන් बहुत अच्छा प्रदर्शन करते हैं, विशेष रूप से "आसान" पहेलियों के साथ। उदाहरण के लिए, यदि वाक्य इस बारे में था कि कोई चीज़ कहाँ जुड़ी हुई है (जैसे "लड़का सीटी के साथ लड़की को बुलाता है"), तो वे तस्वीर देखकर बता सकते थे कि लड़का या लड़की सीटी पकड़े हुए है।
- "संघर्ष करने वाले" मॉडल (ओपन सोर्स): कुछ छोटे ओपन-सोर्स मॉडल उन छात्रों की तरह थे जिन्होंने पर्याप्त पढ़ाई नहीं की थी। वे अक्सर तुक्के लगाते थे या भ्रमित हो जाते थे, खासकर जब तस्वीर वास्तविक फोटो के बजाय एक कार्टून होती थी।
- "सोचने वाले" मॉडल: शोधकर्ताओं ने उन मॉडलों का भी परीक्षण किया जो जवाब देने से पहले "सोचने" के लिए डिज़ाइन किए गए हैं (जैसे एक छात्र जो अपना काम लिखकर हल करता है)। आश्चर्यजनक रूप से, वे हमेशा मानक मॉडलों से बेहतर नहीं रहे। कभी-कभी, बहुत अधिक सोचना उन्हें गलत रास्ते पर ले जाता है।
बड़ा खुलासा: AI कहाँ फंसता है
हालाँकि AI मॉडल बेहतर हो रहे हैं, लेकिन अभी भी उनमें एक बड़ा अंध बिंदु (blind spot) है। शोध में पाया गया कि AI वस्तुओं को पहचानने में तो माहिर है, लेकिन संबंधों (relationships) को समझने में बहुत खराब है।
एक दृश्य की कल्पना करें जिसमें एक लड़की, एक लैपटॉप, एक पेन और एक किताब है।
- वाक्य: "लड़की लैपटॉप या पेन और किताब पकड़ती है।"
- जाल: तस्वीर में, लड़की पेन और किताब पकड़े हुए है। लैपटॉप पास में ही एक शेल्फ पर रखा है।
- AI की गलती: क्योंकि लैपटॉप दृश्यमान रूप से मौजूद है (वह फोटो में वहीं है), AI विचलित हो जाता है। वह सोचता है, "ओह, लैपटॉप तस्वीर में है, इसलिए लड़की उसे भी पकड़ रही होगी!" वह यह समझने में विफल रहता है कि "पकड़ना" एक विशिष्ट क्रिया है, न कि केवल "पास होना"।
शोध पत्र इसे कंजंक्शन स्कोप (Conjunction Scope) (शब्दों को समूह में रखना) और एलिप्सिस (Ellipsis) (शब्दों को छोड़ देना) के साथ संघर्ष कहता है।
- कंजंक्शन स्कोप: जब वाक्य में "या" (or) और "और" (and) का उपयोग होता है, तो AI यह नहीं समझ पाता कि कौन सी वस्तुएं किस क्रिया से जुड़ी हैं।
- एलिप्सिस: यदि कोई वाक्य कहता है, "शेर मुर्गी खाता है। साथ ही बिल्ली भी," तो AI यह समझने में संघर्ष करता है कि क्या बिल्ली भी मुर्गी को खा रही है, या बिल्ली को भी खाया जा रहा है। वह दृश्य विवरणों में खो जाता है और व्याकरण को चूक जाता है।
निष्कर्ष
शोध पत्र निष्कर्ष निकालता है कि दृश्य दृश्य (visual scenes) AI को भाषा समझने में मदद करने के लिए एक शक्तिशाली उपकरण हैं। जब तस्वीर स्पष्ट होती है, तो AI अक्सर पहेली सुलझा लेता है।
हालाँकि, AI अभी भी एक ऐसे पर्यटक की तरह है जो स्थलों को तो पहचान सकता है लेकिन स्थानीय संस्कृति को नहीं समझता। वह चित्र में वस्तुओं को देखता है, लेकिन अक्सर उन्हें वाक्य के सही "कथानक" से जोड़ने में विफल रहता है। वह यह कहने में संघर्ष करता है कि, "सिर्फ इसलिए कि वस्तु वहां मौजूद है, इसका मतलब यह नहीं है कि वह वह क्रिया कर रही है जो वाक्य में वर्णित है।"
लेखकों ने यह बेंचमार्क हमें यह दिखाने के लिए बनाया है कि हमारे AI मॉडल वास्तव में कहाँ विफल हो रहे हैं, ताकि भविष्य के शोधकर्ता उन्हें केवल छवि की सतह से गहरा देखने के लिए सिखा सकें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।