JigShape: Evaluating Visual-Geometric Reasoning in VLMs through Jigsaw Puzzles
यह शोध पत्र JigShape प्रस्तुत करता है, जो इंटरलॉकिंग टुकड़ों वाला एक जिगसॉ पज़ल बेंचमार्क है जो यह प्रकट करता है कि वर्तमान विजन-लैंग्वेज मॉडल मजबूत ज्यामितीय तर्क (geometric reasoning) की कमी रखते हैं, क्योंकि वे सरल 4×4 पहेलियों पर मजबूत प्रदर्शन के बावजूद छोटे ग्रिड से आगे बढ़ने में विफल रहते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को दुनिया को समझने के लिए सिखाने की कोशिश कर रहे हैं, केवल यह नहीं कि चीजें कैसी दिखती हैं, बल्कि यह भी कि वे अंतरिक्ष में एक साथ कैसे फिट होती हैं। यह विज़न-लैंग्वेज मॉडल्स (VLMs) का क्षेत्र है, जो एक प्रकार का आर्टिफिशियल इंटेलिजेंस है जो छवियों को "देख" सकता है और टेक्स्ट को "पढ़" सकता है, और अक्सर जो वह देखता है उसके बारे में चर्चा भी कर सकता है। हालांकि ये रोबोट वस्तुओं के नाम बताने या दृश्यों का वर्णन करने में अविश्वसनीय रूप से कुशल हो रहे हैं, वैज्ञानिक अब सवाल उठाने लगे हैं: क्या वे वास्तव में स्थान (space) के बारे में तर्क कर सकते हैं? क्या वे वस्तुओं के बिखरे हुए ढेर को देखकर यह पता लगा सकते हैं कि प्रत्येक टुकड़ा वास्तव में कहाँ होना चाहिए, ठीक वैसे ही जैसे एक इंसान करता है? यह केवल एक दिखावा नहीं है; यह एक मौलिक कौशल है जिसकी आवश्यकता रोबots को उपकरण उठाने के लिए, वास्तुकारों को इमारतें डिजाइन करने के लिए, और किसी भी AI को भौतिक दुनिया को वास्तव में समझने के लिए होती है। यदि कोई AI यह नहीं समझ सकता कि टुकड़े एक साथ कैसे जुड़ते हैं, तो यह एक ऐसे लाइब्रेरियन की तरह है जो हर किताब को पढ़ तो सकता है लेकिन अलमारियों को व्यवस्थित नहीं कर सकता।
यहाँ जिगशेप (JigShape) नामक एक नया अध्ययन आता है, जो इन AI दिमागों को बचपन की एक क्लासिक चुनौती के साथ परखने का निर्णय लेता है: एक जिग्सॉ पज़ल (jigsaw puzzle)। लेकिन कोई भी साधारण पज़ल नहीं। शोधकर्ताओं ने महसूस किया कि पिछले परीक्षण थोड़े "चीटिंग" जैसे थे। उन्होंने ऐसे पज़ल का उपयोग किया जहाँ टुकड़े केवल एक फोटो से कटे हुए साधारण वर्ग (squares) थे। यदि आपके पास नीले आकाश की तस्वीर होती, तो कोई भी नीला वर्ग कहीं भी फिट हो सकता था, जिससे यह बताना असंभव हो जाता कि AI वास्तव में "सोच" रहा था या केवल अनुमान लगा रहा था। इसे ठीक करने के लिए, टीम ने टैब-एंड-ब्लैंक (tab-and-blank) टुकड़ों का उपयोग करके एक नया बेंचमार्क बनाया—वे टुकड़े जिनमें छोटे उभार (bumps) और छेद (holes) होते हैं जो आपस में लॉक हो जाते हैं। यह एक सख्त नियम जोड़ता है: एक उभार को अनिवार्य रूप से छेद में ही जाना होगा। यह पहेली को एक अस्पष्ट अनुमान लगाने वाले खेल से बदलकर एक सटीक तर्क समस्या में बदल देता है जहाँ केवल एक ही सही उत्तर होता है।
शोधकर्ताओं ने इन पज़ल्स की एक विशाल लाइब्रेरी बनाई, जो 4x4 ग्रिड से लेकर सैकड़ों टुकड़ों वाले विशाल 16x16 ग्रिड तक फैली हुई है। इसके बाद उन्होंने दुनिया के सबसे स्मार्ट AI मॉडल्स को इन्हें हल करने के लिए कहा। परिणाम आश्चर्य और निराशा का मिश्रण थे। जब पज़ल्स छोटे (4x4) थे, तो एक शीर्ष-स्तरीय मॉडल, GPT-5.5, ने वास्तव में काफी अच्छा प्रदर्शन किया, और 69.65% की पीस एक्यूरेसी (Piece Accuracy) हासिल की (इसका अर्थ है कि, औसतन, लगभग 70% टुकड़ों को उनके सही स्थानों पर रखा गया)। ऐसा लगा कि वह चित्र और टुकड़ों के आकार दोनों को समझ रहा था। हालांकि, लगभग अन्य सभी मॉडल, यहाँ तक कि वे भी जिन्हें बेहतर "तर्क" करने के लिए डिज़ाइन किया गया था, बुरी तरह विफल रहे, और उनका प्रदर्शन केवल रैंडम तरीके से टुकड़े चुनने से बेहतर नहीं था।
असली कहानी, हालांकि, तब शुरू हुई जब पज़ल्स बड़े हो गए। जैसे-जैसे ग्रिड 8x8 और 12x12 तक बढ़ा, बेहतरीन मॉडल्स का प्रदर्शन भी गिर गया। वह मॉडल जो छोटे पज़ल्स पर अच्छा कर रहा था, बड़े पज़ल्स पर अचानक रैंडम अनुमान लगाने के स्तर पर आ गया। शोधकर्ता इसे "स्केलिंग क्लिफ" (scaling cliff) कहते हैं। यह सुझाव देता है कि हालांकि ये AI कुछ टुकड़ों को संभाल सकते हैं, लेकिन जब टुकड़ों की संख्या अधिक हो जाती है, तो वे सभी नियमों को याद रखने की अपनी क्षमता पूरी तरह से खो देते हैं। वे एक बड़े बोर्ड पर "लॉक-एंड-की" (lock-and-key) तर्क को बनाए नहीं रख पाते हैं।
टीम ने यह देखने के लिए भी गहराई से जांच की कि मॉडल पज़ल्स को कैसे हल कर रहे थे। उन्होंने पाया कि जो मॉडल छोटे पज़ल्स को हल करना सीख गए थे (उन पर प्रशिक्षण प्राप्त करके), वे वास्तव में थोड़ा "चीटिंग" कर रहे थे। वे लगभग पूरी तरह से टुकड़ों के आकार (उभार और छेद) पर निर्भर थे और उन्होंने टुकड़े के अंदर के चित्र को लगभग अनदेखा कर दिया। जब शोधकर्ताओं ने आकार हटा दिए और उन्हें सादे वर्गाकार टुकड़े दिए, तो ये "प्रशिक्षित" मॉडल बिखर गए, और उनकी सटीकता 97% से गिरकर केवल 10% रह गई। यह बताता है कि उन्होंने वास्तव में छवि को समझना नहीं सीखा था; उन्होंने केवल आकार के नियमों को याद कर लिया था।
अंत में, जिगशेप एक कड़वा सच उजागर करता है: वर्तमान AI मॉडल अभी भी ज्यामितीय तर्क (geometric reasoning) में बहुत खराब हैं। वे फोटो में बिल्ली को पहचान सकते हैं, लेकिन उन्हें यह समझने में संघर्ष होता है कि उस बिल्ली के सौ टुकड़े 3D स्पेस में एक साथ कैसे फिट होते हैं। जबकि एक मॉडल ने छोटे कार्यों पर उम्मीद की एक किरण दिखाई, "स्केलिंग क्लिफ" यह सिद्ध करता है कि जैसे-जैसे जटिलता बढ़ती है, ये सिस्टम एक दीवार से टकरा जाते हैं। पेपर सुझाव देता है कि AI के लिए भौतिक दुनिया को वास्तव में समझने के लिए, हमें उनके लिए दृश्य संकेतों को ज्यामितीय नियमों के साथ जोड़ने के नए तरीके बनाने की आवश्यकता है, न कि केवल पैटर्न को याद करने की। फिलहाल के लिए, जिग्सॉ पज़ल एक ऐसी चुनौती बनी हुई है जिसे दुनिया के सबसे स्मार्ट रोबोट भी पूरी तरह से मास्टर नहीं कर सके हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।