WorldSense: Evaluating Real-world Omnimodal Understanding for Multimodal LLMs
यह शोध पत्र WorldSense को प्रस्तुत करता है, जो विविध परिदृश्यों में सिंक्रनाइज़ ऑडियो, विजुअल और टेक्स्ट इनपुट को एकीकृत करके मल्टीमॉडल LLMs की वास्तविक दुनिया की समझ का मूल्यांकन करने के लिए डिज़ाइन किया गया पहला बेंचमार्क है, जो यह प्रकट करता है कि वर्तमान अत्याधुनिक मॉडल सुसंगत ओम्नी-मोडल धारणा प्राप्त करने में अभी भी महत्वपूर्ण चुनौतियों का सामना कर रहे हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को कार चलाना सिखाने की कोशिश कर रहे हैं। आप उसे सड़क की तस्वीरें (दृष्टि) दिखा सकते हैं और सड़क के नियम (टेक्स्ट) बता सकते हैं। लेकिन क्या होगा अगर आप उसे केवल तस्वीरें ही दिखाएं? वह पीछे से आती हुई सायरन की आवाज़ या अपने ब्लाइंड स्पॉट में बजते हॉर्न को मिस कर जाएगा। यह वैसा ही होगा जैसे आप अपनी आँखें खुली रखकर गाड़ी चला रहे हों लेकिन आपके कान बंद हों।
यही वह समस्या है जिसे WorldSense पेपर हल करने की कोशिश कर रहा है।
यहाँ एक सरल विवरण दिया गया है कि शोधकर्ताओं ने क्या किया, जिसमें रोजमर्रा के उदाहरणों का उपयोग किया गया है:
1. समस्या: "एक कान वाला" रोबोट
लंबे समय से, AI मॉडल (रोबोट के "दिमाग") तस्वीरों को देखने और टेक्स्ट पढ़ने में बहुत अच्छे रहे हैं। लेकिन जब बात वीडियो की आती है, तो वे अक्सर आवाज़ को अनदेखा कर देते हैं। वे ऐसे होते हैं जैसे कोई व्यक्ति फिल्म देख रहा हो लेकिन वॉल्यूम पूरी तरह से कम हो। वे एक पात्र को रोते हुए देख सकते हैं, लेकिन वे उस दुखद संगीत को नहीं सुन पाएंगे जो आपको बताता है कि वह क्यों रो रहा है, या उनकी आवाज़ के उस विशिष्ट लहजे को नहीं पकड़ पाएंगे जो यह बताता है कि वे वास्तव में दुखी नहीं बल्कि क्रोधित हैं।
इन AI मॉडल्स के लिए मौजूदा परीक्षण एक अंधे व्यक्ति को एल्बम कवर देखकर गाना पहचानने के लिए कहने जैसा था। यह इस बात का परीक्षण नहीं करता कि क्या वे वास्तव में दुनिया को समझ सकते हैं।
2. समाधान: "WorldSense" परीक्षा
शोधकर्ताओं ने एक नया, अत्यंत चुनौतीपूर्ण परीक्षण बनाया जिसे WorldSense कहा जाता है। इसे AI के लिए "बार एग्जाम" (वकीलों की परीक्षा) की तरह समझें, लेकिन विशेष रूप से वास्तविक जीवन को समझने के लिए।
- सामग्री: उन्होंने वास्तविक दुनिया के 1,662 छोटे वीडियो क्लिप एकत्र किए। ये केवल कार्टून नहीं हैं; ये वास्तविक लोग हैं जो वास्तविक काम कर रहे हैं, जिसमें बैकग्राउंड का शोर, संगीत और बातचीत पूरी तरह से शामिल है।
- प्रश्न: उन्होंने इन वीडियो के बारे में 3,000 से अधिक बहुविकल्पीय प्रश्न लिखे।
- चुनौती: प्रश्न इस तरह से डिज़ाइन किए गए हैं कि यदि आप तस्वीर या आवाज़ में से किसी एक को भी अनदेखा करते हैं, तो आप सही उत्तर नहीं दे पाएंगे।
पेपर से एक उदाहरण:
- दृश्य: एक आदमी एक फल पकड़े हुए है।
- प्रश्न: "वह क्या कर रहा है?"
- जाल: यदि आप केवल वीडियो देखते हैं, तो आप देखते हैं कि एक आदमी ब्लूबेरी पकड़े हुए है। आप अनुमान लगा सकते हैं कि वह "रंग दिखा रहा है"। लेकिन यदि आप ऑडियो सुनते हैं, तो आप सुनते हैं कि वह कह रहा है, "यह एक क्वार्टर (सिक्के) से बड़ा है।" अब आप जानते हैं कि वह आकार (size) दिखा रहा है।
- परिणाम: एक AI जो आवाज़ को अनदेखा करता है वह असफल हो जाएगा। एक AI जो वीडियो को अनदेखा करता है वह भी असफल हो जाएगा। सही होने के लिए उसे दोनों का उपयोग करना होगा।
3. परिणाम: AI अभी भी एक बच्चा (Toddler) है
शोधकर्ताओं ने उपलब्ध सबसे स्मार्ट AI मॉडल्स (जिसमें Google का Gemini और OpenAI का GPT-4o जैसे बड़े नाम शामिल हैं) को यह परीक्षा दी।
- स्कोर: दुनिया का सबसे अच्छा AI भी लगभग 65% उत्तर सही दे पाया।
- वास्तविकता की जाँच: कई ओपन-सोर्स (मुफ्त) AI मॉडल लगभग 25% पर रहे। चूंकि बहुविकल्पीय प्रश्नों में आमतौर पर 4 विकल्प होते हैं, इसलिए 25% का मतलब है कि वे केवल तुक्का मार रहे थे।
उपमा: कल्पना कीजिए कि एक इंसान ड्राइविंग टेस्ट दे रहा है। यदि वह 65% प्राप्त करता है, तो वह पास हो जाएगा, लेकिन वह एक जोखिम भरा ड्राइवर होगा। यदि वह 25% प्राप्त करता है, तो वह तुरंत फेल हो जाएगा और उसे वापस ड्राइविंग स्कूल जाने के लिए कहा जाएगा। यह पेपर दिखाता है कि सबसे "स्मार्ट" AI भी वर्तमान में वास्तविक जीवन की पूरी तस्वीर को समझने में बहुत खराब हैं।
4. वे क्यों विफल हो रहे हैं?
पेपर में तीन मुख्य कारण मिले हैं जिनकी वजह से AI संघर्ष कर रहे हैं:
- वे "बधिर" हैं: वे देखने में बहुत अच्छे हैं लेकिन सुनने में बहुत खराब। वे अक्सर आवाज़ के लहजे, बैकग्राउंड के शोर या संगीत को मिस कर देते हैं।
- उनका तालमेल नहीं बैठता: भले ही वे देख और सुन रहे हों, लेकिन वे दोनों को मिला नहीं पाते। यह एक ऐसे दिमाग की तरह है जो आँखों और कानों को दो अलग-अलग कमरों में प्रोसेस करता है जो आपस में कभी बात ही नहीं करते।
- वे तर्क नहीं कर पाते: कभी-कभी वे सही चीज़ देखते हैं और सही चीज़ सुनते हैं, लेकिन वे टुकड़ों को जोड़कर एक तार्किक निष्कर्ष नहीं निकाल पाते।
5. भविष्य: एक "सुपर-सेंस" का निर्माण
लेखकों को उम्मीद है कि WorldSense को एक मानक परीक्षण के रूप में उपयोग करके, अन्य शोधकर्ता बेहतर AI बनाने के लिए मजबूर होंगे। वे ऐसे मॉडल बनाना चाहते हैं जो केवल "देखें" और "पढ़ें" नहीं, बल्कि वास्तव में मनुष्यों की तरह दुनिया को महसूस (perceive) करें—दृष्टि, ध्वनि और संदर्भ को एक साथ जोड़कर।
संक्षेप में:
दुनिया एक शोर भरी, रंगीन और जटिल जगह है। वर्तमान AI एक ऐसे पर्यटक की तरह है जो केवल गाइडबुक पढ़ता है और आसपास के दृश्यों और ध्वनियों को अनदेखा कर देता है। WorldSense वह परीक्षण है जो AI को बाहर निकलने, सड़क की आवाज़ सुनने और वास्तव में यह समझने के लिए मजबूर करता है कि क्या हो रहा है। अभी, AI इस परीक्षण में विफल हो रहा है, लेकिन यह बेंचमार्क हमें इसे ठीक करने का रोडमैप देता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।