Hidden Meanings in Plain Sight: RebusBench for Evaluating Cognitive Visual Reasoning
यह शोध पत्र RebusBench को प्रस्तुत करता है, जो 1,164 रेबस पहेलियों का एक बेंचमार्क है जिसे लार्ज विजन-लैंग्वेज मॉडल्स की संज्ञानात्मक दृश्य तर्क क्षमता का मूल्यांकन करने के लिए डिज़ाइन किया गया है, जो यह प्रकट करता है कि उनकी मजबूत संवेदी क्षमताओं के बावजूद, वर्तमान अत्याधुनिक मॉडल इन पहेलियों को हल करने के लिए आवश्यक बहु-चरणीय न्यूरोसिंबोलिक तर्क (neurosymbolic reasoning) में गंभीर रूप से संघर्ष करते हैं, और मॉडल के पैमाने या इन-कॉन्टेक्स्ट लर्निंग के बावजूद 10% से भी कम सटीक मिलान सटीकता प्राप्त करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान रोबोट है जो किसी तस्वीर को देख सकता है और बिल्कुल सटीक रूप से बता सकता है कि उसे क्या दिख रहा है। यदि आप उसे चटाई पर बैठी एक बिल्ली की फोटो दिखाते हैं, तो वह खुशी-खुशी आपको बताएगा, "वहाँ एक चटाई पर एक बिल्ली है।" यह रोबोट देखने में बहुत माहिर है।
लेकिन क्या होगा अगर आप उस रोबोट को एक ऐसी तस्वीर दिखाएं जो सिर्फ एक फोटो नहीं है, बल्कि एक दृश्य पहेली (visual riddle) है?
समस्या: रोबोट देख सकता है, लेकिन "समझ" नहीं सकता
यह शोध पत्र RebusBench नामक एक नया परीक्षण पेश करता है। "रीबस" (rebus) एक पहेली है जहाँ चित्रों और अक्षरों को आपस में मिलाया जाता है ताकि एक सामान्य वाक्यांश को छिपाया जा सके।
इसे इस तरह सोचिए:
- तस्वीर: आप एक लाल रंग का अक्षर "E" और दो शब्द "GO" देखते हैं।
- रोबोट का नज़रिया: "मैं एक लाल 'E' और दो 'GO' देख रहा हूँ।" (यह वह है जो रोबोट वास्तव में कहता है)।
- इंसानी नज़रिया: "रुको, 'Red E' सुनने में 'Ready' जैसा लगता है, और 'Two Gos' सुनने में 'To Go' जैसा लगता है। उत्तर है 'Ready to go'!"
इसे हल करने के लिए, आप केवल पिक्सेल को नहीं देख सकते। आपको:
- रंग और पुनरावृत्ति पर ध्यान देना होगा।
- याद रखना होगा कि "Red E" का उच्चारण "Ready" जैसा है।
- उन ध्वनियों को एक सामान्य मुहावरे से जोड़ना होगा।
इसे सिस्टम 2 थिंकिंग (System 2 thinking) कहा जाता है—धीमी, विचारशील, रचनात्मक तर्क प्रक्रिया। यह एक चेहरा पहचानने (सिस्टम 1) और एक रहस्य सुलझाने (सिस्टम 2) के बीच का अंतर है।
प्रयोग: "विशाल मस्तिष्क" पहेली परीक्षण में विफल रहा
शोधकर्ताओं ने सबसे स्मार्ट, सबसे बड़े उपलब्ध AI मॉडल (जैसे Qwen, InternVL, और LLaVA) लिए और उन्हें 1,164 ऐसी पहेलियाँ दीं। उन्होंने मॉडलों की मदद करने के लिए सब कुछ आज़माया:
- मॉडलों को बड़ा बनाना: उन्होंने अरबों पैरामीटर्स वाले मॉडलों का उपयोग किया (जैसे साइकिल से रॉकेट शिप में अपग्रेड करना)।
- उन्हें उदाहरण देना: उन्होंने मॉडलों को पहले कुछ हल की हुई पहेलियाँ दिखाईं (जैसे किसी छात्र को अभ्यास टेस्ट देना)।
परिणाम क्या रहा? मॉडल बुरी तरह विफल रहे।
- सबसे बड़े मॉडल भी केवल 5% से 8% उत्तर ही सही दे पाए।
- मॉडलों को बड़ा बनाने से ज्यादा मदद नहीं मिली।
- उन्हें उदाहरण देने से भी ज्यादा मदद नहीं मिली।
उपमा: पुस्तकालय बनाम लाइब्रेरियन
कल्पना कीजिए कि ये AI मॉडल विशाल पुस्तकालयों की तरह हैं जिनमें दुनिया की हर किताब मौजूद है। उनके पास सभी शब्द, सभी चित्र और सभी तथ्य हैं।
- वे इसमें अच्छे हैं: यदि आप उनसे पूछते हैं, "इस चित्र में क्या है?" तो वे "बिल्ली" वाली किताब निकाल सकते हैं और आपको बिल्ली का चित्र दिखा सकते हैं।
- वे इसमें खराब हैं: यदि आप उनसे कोई पहेली पूछते हैं, तो वे अटक जाते हैं। उनके पास सभी सामग्री (शब्द "Red", शब्द "E", शब्द "Go") तो हैं, लेकिन उनके पास वह शेफ (chef) नहीं है जो उन्हें एक नया व्यंजन बनाने के लिए मिला सके।
उनके पास सामग्री (दृष्टि और भाषा) तो है, लेकिन उनके पास वह पकाने की विधि (cooking recipe) गायब है (वह संज्ञानात्मक "गोंद" जो बिंदुओं को जोड़ने का काम करता है)।
यह क्यों मायने रखता है?
शोध पत्र का तर्क है कि हम एक दीवार से टकरा रहे हैं। हम अपने AI को बड़ा बना रहे हैं और इसे अधिक डेटा दे रहे हैं, लेकिन फिर भी यह उस तरह से "सोच" नहीं पाता जैसे इंसान पहेलियाँ सुलझाते समय करते हैं।
- वर्तमान AI: "मैं एक लाल E और दो G देख रहा हूँ।" (शाब्दिक)
- मानवीय बुद्धिमत्ता: "Red E + Two Gs = Ready to Go!" (अमूर्त)
शोधकर्ता इसे एक "संज्ञानात्मक अंतराल" (cognitive gap) कहते हैं। यह सुझाव देता है कि केवल अधिक कंप्यूटिंग पावर जोड़ना AI को रचनात्मक होने या पहेलियाँ सुलझाने के लिए पर्याप्त नहीं है। हमें एक नए प्रकार के "गोंद" की आवश्यकता है जो इन मॉडलों को जो वे देखते हैं उसे चतुराई से जो वे जानते हैं, उससे जोड़ने में मदद करे।
निचोड़
यह शोध पत्र एक चेतावनी है। यह कहता है: "हमारा AI दुनिया का वर्णन करने में अद्भुत है, लेकिन यह दुनिया के छिपे हुए चुटकुलों और पहेलियों को समझने में बहुत बुरा है।"
जब तक हम यह पता नहीं लगा लेते कि AI को वह "अहा!" (aha!) वाला क्षण कैसे दिया जाए, तब तक यह एक बहुत ही स्मार्ट तोते जैसा रहेगा जो तथ्यों को दोहरा तो सकता है लेकिन पहेली को पूरी तरह से सुलझा नहीं सकता।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।