PolyComp: A Polycube-based Benchmark for Compositional 3D Spatial Reasoning in Multimodal Models
यह शोध पत्र PolyComp प्रस्तुत करता है, जो मल्टीमॉडल मॉडल्स में कंपोजिशनल 3D स्थानिक तर्क (spatial reasoning) का मूल्यांकन करने के लिए डिज़ाइन किए गए 120 समस्याओं के एक प्रक्रियात्मक रूप से जनरेट किए गए बेंचमार्क का परिचय देता है, जो यह प्रकट करता है कि जबकि GPT-5.6 Sol जैसे उन्नत मॉडल्स मध्यम सटीकता (50%) प्राप्त करते हैं, अन्य मॉडल्स विभिन्न लागतों और प्रस्तुति प्रारूपों के बावजूद रैंडम गेसिंग (random guessing) के स्तर के करीब संघर्ष करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
मानव मस्तिष्क में जटिल आकृतियों को अलग करने और यह कल्पना करने की एक शांत, लगभग स्वाभाविक प्रतिभा होती है कि वे वापस कैसे जुड़ सकती हैं। हम एक पहेली के टुकड़े, एक टूटे हुए खिलौने, या बक्सों के ढेर को देख सकते हैं और तुरंत कल्पना कर सकते हैं कि उसके हिस्से पूरे रूप से कैसे संबंधित हैं, भले ही हम हर सतह को न देख पा रहे हों। यह क्षमता, जिसे स्थानिक तर्क (spatial reasoning) कहा जाता है, हमारे भौतिक संसार में नेविगेट करने का एक आधार स्तंभ है। दशकों से, वैज्ञानिक यह जानना चाहते रहे हैं कि क्या कृत्रिम बुद्धिमत्ता (AI) की नई पीढ़ी, जो छवियों को देख सकती है और टेक्स्ट पढ़ सकती है, ने भी इसी तरह की आंतरिक स्थानिक समझ विकसित की है। जबकि ये मशीनें तस्वीरों में बिल्लियों को पहचानने या लेखों का सारांश निकालने में उत्कृष्ट हैं, यह स्पष्ट नहीं है कि क्या वे वास्तव में वस्तुओं की त्रि-आयामी (3D) ज्यामिति को समझ सकती हैं, या वे केवल पहले देखे गए पैटर्न के आधार पर अनुमान लगा रही हैं।
एक नया अध्ययन इस प्रश्न को सुलझाने के लिए डिज़ाइन किए गए एक कठोर परीक्षण को पेश करता है, जो सरल चित्र पहचान से आगे बढ़कर इस बात की जांच करता है कि मशीनें आकार और संयोजन के बारे में कैसे सोचती हैं। शोधकर्ताओं ने 'पॉलीकॉम्प' (PolyComp) नामक एक बेंचमार्क बनाया, जो ब्लॉकनुमा, घन-आधारित संरचनाओं से बनी 120 दृश्य पहेलियों का एक संग्रह है। प्रत्येक पहेली में, एक कृत्रिम बुद्धिमत्ता को दो अलग-अलग कोणों से देखी जाने वाली कई जुड़ी हुई घनों (cubes) से बनी एक लक्षित वस्तु दिखाई जाती है। फिर उसे चार संभावित जोड़ों में से एक जोड़ा दिखाया जाता है और उससे पूछा जाता है कि कौन सा जोड़ा, घुमाने और हिलाने पर, मूल लक्षित वस्तु को पूरी तरह से पुन: बनाने के लिए संयोजित होगा। इस कार्य के लिए मॉडल को टुकड़ों का एक मानसिक 3D प्रतिनिधित्व बनाना होगा, यह सिम्युलेट करना होगा कि वे अंतरिक्ष में कैसे घूम सकते हैं, और यह सत्यापित करना होगा कि वे बिना किसी अंतराल या ओवरलैप के फिट होते हैं या नहीं। यह स्मृति या भाषा का परीक्षण नहीं है, बल्कि ज्यामितीय तर्क का एक शुद्ध परीक्षण है।
अध्ययन ने तीन सबसे उन्नत कृत्रिम बुद्धिमत्ता प्रणालियों को परखने के लिए उन्हें चुनौती दी: GPT-5.6 Sol, Claude Fable 5, और Gemini 3.1 Pro Preview। प्रत्येक प्रणाली को समान 120 पहेलियाँ हल करने के लिए कहा गया, लेकिन पहेलियों को तीन अलग-अलग तरीकों से प्रस्तुत किया गया ताकि यह देखा जा सके कि इमेज का प्रारूप मदद करता है या बाधा डालता है। कभी-कभी लक्ष्य और विकल्प एक ही छवि में एक साथ दिखाई देते थे; अन्य समय में, लक्ष्य को एक छवि में दिखाया गया और चार विकल्पों को चार अलग-अलग छवियों में विभाजित किया गया, जिनमें या तो सामान्य लेबल थे या वर्णनात्मक नाम। लक्ष्य यह देखना था कि क्या दृश्य जानकारी को छोटे टुकड़ों में तोड़ने से कार्य आसान हो गया, या क्या मॉडल जानकारी प्रदर्शित होने के तरीके के बावजूद संघर्ष करते रहे।
परिणामों ने मानव-स्तर की सहजता और वर्तमान मशीन क्षमताओं के बीच एक महत्वपूर्ण अंतर को उजागर किया। सबसे अच्छा प्रदर्शन करने वाला मॉडल, GPT-5.6 Sol, केवल आधे पहेलियों को सही ढंग से हल कर पाया, जिसने 50 प्रतिशत की सटीकता हासिल की। दूसरे मॉडल, Claude Fable 5 ने लगभग 39 प्रतिशत हल किया, जबकि तीसरे मॉडल, Gemini 3.1 Pro Preview ने रैंडम गेसिंग (यादृच्छिक अनुमान) के स्तर के करीब प्रदर्शन किया, जिससे उसके 27.5 प्रतिशत उत्तर सही थे। चूंकि प्रत्येक पहेली के लिए चार विकल्प थे, इसलिए अंधाधुंध अनुमान लगाने वाले कंप्यूटर से 25 प्रतिशत सही होने की उम्मीद की जा सकती थी। इसका अर्थ है कि सबसे उन्नत मॉडल संयोग से थोड़े ही बेहतर थे, और कम उन्नत मॉडल मूल रूप से अनुमान लगा रहे थे। अध्ययन में यह भी पाया गया कि आकार का प्रकार, छवियों को प्रस्तुत करने के तरीके से अधिक महत्वपूर्ण था। मॉडल आयताकार लूप (rectangular loops) वाली पहेलियों के साथ सबसे अधिक संघर्ष करते थे, जहाँ टुकड़े एक वलय जैसी संरचना बनाते थे, लेकिन उन पहेलियों पर थोड़ा बेहतर प्रदर्शन करते थे जो साधारण ब्लॉकों के टूटने या जुड़ने जैसे दिखते थे।
दिलचस्प बात यह है कि पहेलियों को दिखाने का तरीका परिणामों में कोई बड़ा अंतर नहीं लाया। छवियों को अलग-अलग फाइलों में विभाजित करने या वर्णनात्मक लेबल जोड़ने से किसी भी मॉडल के स्कोर में कोई महत्वपूर्ण वृद्धि नहीं हुई। यह सुझाव देता है कि कठिनाई मॉडलों की तस्वीरों को स्पष्ट रूप से देखने की क्षमता में नहीं, बल्कि वस्तुओं का एक स्थिर, आंतरिक 3D मॉडल बनाने और उनके हिलने-डुलने का अनुकरण करने में उनकी अक्षमता में है। शोधकर्ताओं ने नोट किया कि जब मॉडल सफल होते थे, तो अक्सर इसलिए होता था क्योंकि टुकड़ों का एक बहुत ही स्पष्ट समग्र आकार या एक बड़ा, सपाट सतह होता था जो उन्हें मिलान करने में आसान बनाता था। जब पहेलियों के लिए छोटे छिपे हुए कोनों को ट्रैक करने या यह समझने की आवश्यकता थी कि टुकड़े एक खोखले स्थान के भीतर कैसे फिट होते हैं, तो मॉडल लगातार विफल रहे।
अध्यध्ययन ने इस प्रकार के गहरे तर्क की लागत पर भी प्रकाश डाला। 360 कुल प्रश्नों (120 पहेलियाँ तीन तरीकों से प्रस्तुत की गईं) को हल करने के लिए, सबसे सक्षम मॉडल ने भारी मात्रा में कंप्यूटिंग संसाधनों का उपयोग किया, जिसकी मानक मूल्य निर्धारण का उपयोग करने पर प्रति प्रश्न लगभग एक डॉलर की लागत आई। कम सक्षम मॉडल चलाने में सस्ते थे लेकिन कम सटीक भी थे। यह ट्रेड-ऑफ बताता है कि भले ही हम उपलब्ध सबसे शक्तिशाली प्रणालियों के लिए भुगतान करें, फिर भी उनमें वह मौलिक स्थानिक बुद्धिमत्ता नहीं होती है जो मनुष्य स्वाभाविक रूप से विकसित करते हैं। शोधकर्ताओं ने सभी 120 पहेलियाँ और उपयोग किया गया कोड जारी कर दिया है, जिससे दूसरों को भविष्य के मॉडलों को इसी मानक के विरुद्ध परीक्षण करने के लिए आमंत्रित किया गया है।
अंततः, यह कार्य एक स्पष्ट नैदानिक उपकरण के रूप में कार्य करता है, जो दिखाता है कि हालांकि कृत्रिम बुद्धिमत्ता ने भाषा और वस्तुओं को पहचानने में जबरदस्त प्रगति की है, लेकिन उसने अभी तक त्रि-आयामी स्थान को मानसिक रूप से हेरफेर करने की क्षमता में महारत हासिल नहीं की है। मॉडल एक घन का वर्णन कर सकते हैं या एक आकार की पहचान कर सकते हैं, लेकिन वे अभी तक विश्वसनीय रूप से यह कल्पना नहीं कर सकते कि दो अलग-अलग टुकड़े हवा में घूमने और मुड़ने पर एक साथ कैसे फिट होंगे। जब तक मशीनें इन आंतरिक 3D मानचित्रों का निर्माण नहीं कर सकतीं और उनके भीतर परिवर्तनों का अनुकरण नहीं कर सकतीं, तब तक उनका स्थानिक तर्क नाजुक रहेगा, जो त्रुटियों के प्रति संवेदनशील है, जिसे एक मानव बच्चा आसानी से हल कर लेगा। अध्ययन यह दावा नहीं करता है कि यह क्षमता मशीनों के सीखने के लिए असंभव है, लेकिन यह दृढ़ता से स्थापित करता है कि वर्तमान प्रणालियों ने इसे अभी तक प्राप्त नहीं किया है, जिससे भविष्य के अनुसंधान के लिए इस अंतर को पाटने का एक स्पष्ट मार्ग मिल गया है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।