ShapeCodeBench: A Renewable Benchmark for Perception-to-Program Reconstruction of Synthetic Shape Scenes
यह शोधपत्र ShapeCodeBench को प्रस्तुत करता है, जो एक नवीकरणीय सिंथेटिक बेंचमार्क है जिसे धारणा-से-प्रोग्राम पुनर्निर्माण (perception-to-program reconstruction) कार्यों पर मॉडलों का मूल्यांकन करने के लिए डिज़ाइन किया गया है, जिसमें उन्हें रेंडर की गई छवियों से निष्पादन योग्य ड्राइंग प्रोग्राम उत्पन्न करने की आवश्यकता होती है, जिससे यह पता चलता है कि जबकि वर्तमान मल्टीमॉडल मॉडल अग्रभूमि संरचना (foreground structure) को संरक्षित करते हैं, वे मामूली पैरामीटर त्रुटियों के कारण सटीक मिलान करने में अभी भी संघर्ष करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने नहीं लिखा है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रहस्य सुलझाने वाले जासूस हैं। आपको एक तैयार ड्राइंग सौंपी गई है—सफेद बैकग्राउंड पर काले और सफेद रंग के घेरे (circles) और वर्ग (squares) की एक तस्वीर। आपका काम सिर्फ तस्वीर का वर्णन करना नहीं है; आपको वह सटीक कंप्यूटर कोड लिखना है जिसका उपयोग एक रोबोट उस तस्वीर को शुरुआत से बनाने के लिए करेगा।
यह ShapeCodeBench की चुनौती है, जो शोधकर्ता शिवम कुमार द्वारा बनाया गया एक नया "टेस्ट" है, यह देखने के लिए कि आधुनिक AI मॉडल इस विशिष्ट कार्य में कितने अच्छे हैं।
यहाँ बताया गया है कि यह कैसे काम करता है, यह क्यों खास है, और इसके परिणाम हमें क्या बताते हैं, सरल उपमाओं (analogies) का उपयोग करते हुए।
1. खेल: "एक ड्राइंग को रिवर्स-इंजीनियर करना"
AI मॉडल्स को ऐसे छात्रों के रूप में सोचें जो एक बहुत ही सख्त परीक्षा दे रहे हैं।
- इनपुट (Input): छात्र एक सफेद कैनवास पर काले आकार (एक "रास्टर") वाली तस्वीर देखता है।
- कार्य (Task): छात्र को एक बहुत ही विशिष्ट भाषा (एक "DSL") का उपयोग करके एक प्रोग्राम टाइप करना होगा जो कंप्यूटर को उन सटीक आकारों को बनाने का निर्देश दे।
- नियम (Rules): इस भाषा में केवल चार मूव्स हैं: एक भरा हुआ घेरा (filled circle), एक आउटलाइन वाला घेरा, एक भरा हुआ वर्ग (filled square), या एक आउटलाइन वाला वर्ग। कैनवास हमेशा 512x512 पिक्सल का होता है।
- ग्रेडिंग (Grading): एक कंप्यूटर केवल छात्र के कोड को पढ़ता नहीं है; यह उसे चलाता (run) भी है। यह कोड के आधार पर चित्र को फिर से बनाता है और नए चित्र की तुलना मूल चित्र से करता है। यदि एक भी पिक्सेल गलत जगह पर है, तो उत्तर "परफेक्ट" नहीं माना जाता।
2. यह टेस्ट अलग क्यों है: "अनंत ताज़ा कागज़"
अधिकांश AI टेस्ट निश्चित प्रश्नों (जैसे एक मानक गणित परीक्षण) का उपयोग करते हैं। एक बार जब AI उत्तर याद कर लेता है, तो टेस्ट बेकार हो जाता है। इसे "कंटैमिनेशन" (contamination) कहा जाता है।
ShapeCodeBench एक जादुई ड्राइंग मशीन की तरह है।
- हर बार जब आप एक नया टेस्ट चाहते हैं, तो आप एक हैंडल (एक "सीड" या seed) घुमाते हैं।
- मशीन तुरंत आकारों का एक बिल्कुल नया, अनूठा सेट बनाती है जिसमें अलग-अलग आकार, ओवरलैप और स्थितियाँ होती हैं।
- क्योंकि शोधकर्ता एक नए सीड से जब चाहें तब एक नया 'होल्ड-आउट' सेट बना सकते हैं, यह सटीक-इंस्टेंस कंटैमिनेशन (contamination) के जोखिम को कम करता है—यानी यह जोखिम कि मॉडल ने ट्रेनिंग के दौरान पहले से ही उन विशिष्ट टेस्ट प्रश्नों को देख लिया होगा।
3. कठिनाई के स्तर (Difficulty Levels)
इस टेस्ट में एक वीडियो गेम की तरह तीन स्तर हैं:
- आसान (Easy): कुछ आकार, जो एक-दूसरे से दूर हैं और आपस में नहीं मिल रहे हैं।
- मध्यम (Medium): अधिक आकार, जिनमें से कुछ पास आ रहे हैं या थोड़ा ओवरलैप हो रहे हैं।
- कठिन (Hard): बहुत सारे आकार, जो सब एक साथ ठुंसे हुए हैं, भारी मात्रा में ओवरलैप हो रहे हैं, और कुछ पेज के किनारे से कटे हुए हैं।
4. प्रतियोगी (Contestants)
पेपर ने दो प्रकार के "छात्रों" का परीक्षण किया:
- पुराने जमाने का रोबोट (Heuristic): एक पारंपरिक कंप्यूटर प्रोग्राम जो तस्वीर को देखता है, काले रंग के धब्बों को ढूंढता है, और अनुमान लगाता है, "यह एक घेरा है," "यह एक वर्ग है।" यह तेज़ है और सरल चीजों के लिए अच्छा है, लेकिन ओवरलैप होने पर भ्रमित हो जाता है।
- सुपर-AI (Multimodal Models): दुनिया के दो सबसे स्मार्ट AI मॉडल्स (Claude Opus 4.7 और GPT-5.5) को तस्वीर देखने और कोड लिखने के लिए कहा गया। उन्हें अलग-अलग स्तर के "सोचने के प्रयास" (जैसे उन्हें "ज़्यादा गहराई से सोचने" या "ज़्यादा समय लेने" के लिए कहना) के साथ टेस्ट किया गया।
5. परिणाम: दो शक्तियों की कहानी
परिणाम आश्चर्यजनक थे और उन्होंने दिखाया कि अभी तक कोई भी पक्ष पूरी तरह से परफेक्ट नहीं है।
आसान स्तरों पर: पुराने जमाने का रोबोट वास्तव में जीत गया! वह सरल, बिना ओवरलैप वाले आकारों के लिए सटीक कोड प्राप्त करने में बेहतर था। सुपर-AI अक्सर आकारों को सही पहचान लेते थे लेकिन छोटी बारीकियों में चूक जाते थे (जैसे कि रेडियस/त्रिज्या कुछ पिक्सल कम या ज्यादा होना)।
- उपमा: रोबोट एक बढ़ई (carpenter) की तरह है जो एक अलग रखे हुए बोर्ड को सटीक रूप से माप सकता है। AI एक रचनात्मक कलाकार की तरह है जो जानता है कि कुर्सी कैसी दिखती है, लेकिन कुर्सी के पैरों को मिलीमीटर तक मापने में संघर्ष करता है।
कठिन स्तरों पर: जब आकार एक-दूसरे के ऊपर रखे गए, तो पुराना ज़माने का रोबोट भ्रमित हो गया और अक्सर उन्हें एक बड़े धब्बे के रूप में देखने लगा। सुपर-AI ने कठिन दृश्यों में अधिक स्थानिक संरचना (spatial structure) को बनाए रखा — विशेष रूप से फोरग्राउंड IoU (दो चित्रों के चित्रित क्षेत्रों के बीच ओवरलैप) के आधार पर मापा गया — और ऐसा कोड बनाया जो ढेर के सामान्य लेआउट को कैप्चर करता था। लेकिन दोनों में से कोई भी कठिन दृश्यों में महारत हासिल नहीं कर पाया: यहाँ तक कि सुपर-AI भी सटीक पिक्सेल-लेवल विवरणों को पुनर्गठित करने में संघर्ष कर रहे थे।
- उपमा: रोबोट कपड़ों के ढेर को देखता है और कहता है, "यह एक ढेर है।" AI उस ढेर को देखता है और कहता है, "यह एक शर्ट, एक मोज़ा और एक टोपी है जो आपस में उलझे हुए हैं," लेकिन फिर भी उन्हें पूरी तरह से अलग करने में संघर्ष करता है।
"परफेक्ट स्कोर" की समस्या: सबसे अच्छा AI मॉडल भी शायद ही कभी 100% परफेक्ट स्कोर (जहाँ दोबारा बनाया गया चित्र मूल चित्र से पिक्सेल-दर-पिक्सेल मेल खाता हो) प्राप्त कर पाता है। वे आमतौर पर संरचना (सही जगह पर सही आकार) को सही कर लेते थे, लेकिन सटीकता (आकार और स्थिति के सटीक नंबर) में विफल रहते थे।
6. इसका क्या अर्थ है
पेपर यह निष्कर्ष निकालता है कि हम इस समस्या के "अंत" तक नहीं पहुँचे हैं।
- यह टेस्ट सैचुरेटेड (saturated) नहीं है (यह बहुत आसान नहीं है)।
- वर्तमान AI मॉडल बड़ी तस्वीर (स्थानिक संरचना) को समझने में तो बेहतरीन हैं, लेकिन छोटी बारीकियों (सटीक पैरामीटर) के लिए अभी भी संघर्ष कर रहे हैं।
- यह टेस्ट प्रगति को मापने का एक स्पष्ट तरीका प्रदान करता: जैसे-जैसे AI बेहतर होगा, उसे आसान स्तरों पर पुराने ज़माने के रोबोट को हराना शुरू करना चाहिए और कठिन स्तरों पर अपनी बढ़त बनाए रखनी चाहिए।
संक्षेप में, ShapeCodeBench एक ताज़ा, नवीकरणीय खेल का मैदान है जहाँ हम देख सकते हैं कि AI कहाँ मजबूत है (जटिल दृश्यों को समझना) और कहाँ वह अभी भी अनाड़ी है (सटीक विवरण मापना)।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।