💻 computer science

pySpatial: Generating 3D Visual Programs for Zero-Shot Spatial Reasoning

यह शोध पत्र pySpatial को प्रस्तुत करता है, जो एक ज़ीरो-शॉट विज़ुअल प्रोग्रामिंग फ्रेमवर्क है जो 3D स्थानिक उपकरणों के साथ इंटरफेस करने के लिए पायथन कोड जनरेट करके मल्टी-मोडल लार्ज लैंग्वेज मॉडल्स की स्थानिक तर्क क्षमताओं को बढ़ाता है, जिससे यह बेंचमार्क पर मौजूदा बेसलाइन्स से बेहतर प्रदर्शन करता है और बिना फाइन-ट्यूनिंग के सफल वास्तविक दुनिया के इनडोर नेविगेशन को सक्षम बनाता है।

मूल लेखक: Zhanpeng Luo, Ce Zhang, Silong Yong, Cunxi Dai, Qianwei Wang, Haoxi Ran, Guanya Shi, Katia Sycara, Yaqi Xie

प्रकाशित 2026-03-03

📖 4 मिनट में पढ़ें☕ कॉफ़ी ब्रेक में पढ़ें

CC BY 4.0

मूल लेखक: Zhanpeng Luo, Ce Zhang, Silong Yong, Cunxi Dai, Qianwei Wang, Haoxi Ran, Guanya Shi, Katia Sycara, Yaqi Xie

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक ऐसे घर में रहस्य सुलझाने की कोशिश कर रहे हैं जहाँ आप पहले कभी नहीं गए, लेकिन आपके पास केवल अलग-अलग कोनों से ली गई कुछ धुंधली तस्वीरें हैं। आपको एक पेचीदा सवाल का जवाब देना है जैसे, "अगर मैं किचन में खड़ा होकर फ्रिज को देख रहा हूँ, तो लिविंग रूम में सोफे के पीछे क्या छिपा है?"

वर्तमान के अधिकांश AI मॉडल शानदार अनुमान लगाने वालों की तरह हैं। वे आपकी तस्वीरों को देखते हैं और अपने दिमाग में घर के बाकी हिस्से की कल्पना करने की कोशिश करते हैं। कभी-कभी वे भाग्यशाली होते हैं, लेकिन अक्सर वे भ्रमित हो जाते हैं, बाएँ और दाएँ को आपस में मिला देते हैं, या ऐसा फर्नीचर बना देते हैं जो वहाँ है ही नहीं। यह एक सपाट ड्राइंग को देखकर अपने दिमाग में घर का 3D मॉडल बनाने की कोशिश करने जैसा है; गहराई और कोणों (angles) को सही समझना बहुत कठिन है।

पेश है pySpatial, इस पेपर में पेश किया गया एक नया फ्रेमवर्क। pySpatial को एक अनुमान लगाने वाले के रूप में नहीं, बल्कि एक स्मार्ट आर्किटेक्ट और उसके जादुई टूलकिट के रूप में सोचें।

यह कैसे काम करता है, इसे सरल चरणों में यहाँ दिया गया है:

1. "जादुई ब्लूप्रिंट" (3D पुनर्निर्माण/Reconstruction)

तस्वीरों को सिर्फ घूरने के बजाय, pySpatial उन सपाट 2D छवियों को लेता है और तुरंत कमरे का एक आभासी 3D मॉडल बना देता है।

उपमा (Analogy): कल्पना कीजिए कि आप 2D ब्लूप्रिंट के एक ढेर और एक लेजर स्कैनर का उपयोग करके तुरंत घर का एक पूर्ण-पैमाने वाला, चलने योग्य कार्डबोर्ड मॉडल प्रिंट कर रहे हैं। अब, AI केवल अनुमान नहीं लगा रहा है; उसके पास निरीक्षण करने के लिए एक भौतिक (डिजिटल) वस्तु है।

2. "रोबोट इंटर्न" (विजुअल प्रोग्रामिंग)

यह सबसे शानदार हिस्सा है। AI केवल उत्तर के बारे में "सोचता" नहीं है; यह उत्तर खोजने के लिए खुद एक पायथन प्रोग्राम (निर्देशों का एक सेट) लिखता है।

उपमा: कल्पना कीजिए कि आपके पास एक रोबोट इंटर्न है। इंटर्न से यह पूछने के बजाय कि, "सोफे के पीछे क्या है?" और यह उम्मीद करने के बजाय कि वह सही अनुमान लगाए, आप उसे एक चेकलिस्ट देते हैं:
1. उस स्थान पर जाओ जहाँ से फोटो ली गई थी।
2. कैमरे को 90 डिग्री बाईं ओर घुमाओ।
3. अब जो दिख रहा है उसकी एक नई तस्वीर लो।
4. मुझे वह तस्वीर दिखाओ।

AI इस चेकलिस्ट (कोड) को तैयार करता है, उसे चलाता है, और उत्तर को साबित करने के लिए एक नई, सिंथेसाइज्ड फोटो प्राप्त करता है।

3. "नया दृष्टिकोण" (नोवेल व्यू सिंथेसिस)

एक बार जब रोबोट इंटर्न वह नई तस्वीर ले लेता है, तो AI उस सवाल का जवाब देने के लिए उस पर नज़र डालता है।

उपमा: यदि आपने पूछा, "नीली कुर्सी के बाईं ओर क्या है?", तो AI अनुमान नहीं लगाता है। वह वास्तव में अपने 3D मॉडल में कैमरे को घुमाता है, बाईं ओर का एक फोटो खींचता है, और कहता है, "आह, मुझे वहाँ एक नीला कूड़ेदान दिखाई दे रहा है।"

यह एक बड़ी बात क्यों है?

कोई ट्रेनिंग की आवश्यकता नहीं: अधिकांश AI मॉडल्स को यह करने के लिए सीखने हेतु लाखों उदाहरणों पर "ट्रेन" होने की आवश्यकता होती है। pySpatial जीरो-शॉट (zero-shot) तरीके से काम करता है, जिसका अर्थ है कि यह एक नए, अजीब कमरे में भी तुरंत प्रवेश कर सकता है जिसे इसने पहले कभी नहीं देखा है और अपने टूल्स का उपयोग करके पहेली को तुरंत हल कर सकता है।
यह पारदर्शी है: क्योंकि AI कोड लिखता है, हम देख सकते हैं कि इसने समस्या को कैसे हल किया। यदि यह गलत होता है, तो हम कोड को देख सकते हैं और कह सकते हैं, "ओह, इसने गलत दिशा में घुमाया था!" यह कोई 'ब्लैक बॉक्स' नहीं है; यह एक स्पष्ट, तार्किक प्रक्रिया है।
वास्तविक दुनिया का उपयोग: यह पेपर एक वास्तविक रोबोट (एक चार पैरों वाले कुत्ते वाले रोबोट) पर इसे काम करते हुए दिखाता है। रोबोट ने pySpatial का उपयोग करके एक वास्तविक ऑफिस में नेविगेट किया, दरवाजों से गुजरा और एक खिलौने वाले मशरूम को ढूँढा, और वह भी बिना टकराए।

निचोड़ (The Bottom Line)

pySpatial से पहले, AI एक भविष्यवक्ता की तरह था जो कुछ सुरागों के आधार पर कमरे के लेआउट का अनुमान लगाने की कोशिश कर रहा था। pySpatial के साथ, AI एक जासूस बन जाता है जो एक 3D मॉडल बनाता है, उसके चारों ओर आभासी रूप से घूमता है, नई तस्वीरें लेता है, और सबूत के साथ उत्तर खोजता है।

यह "स्थानिक तर्क" (spatial reasoning - स्थान को समझने) की कठिन समस्या को "निर्देशों का पालन करने" के एक सरल खेल में बदल देता है, जिससे रोबोट नेविगेशन और ऑगमेंटेड रियलिटी जैसे कार्यों के लिए AI बहुत अधिक सुरक्षित और स्मार्ट हो जाता है।

यहाँ शोध पत्र "pySpatial: GENERATING 3D VISUAL PROGRAMS FOR ZERO-SHOT SPATIAL REASONING" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

मल्टी-मोडल लार्ज लैंग्वेज मॉडल्स (MLLMs) ने सामान्य धारणा और तर्क कार्यों (जैसे इमेज कैप्शनिंग, वीडियो समझ) में उल्लेखनीय सफलता हासिल की है। हालाँकि, वे 3D स्थानिक तर्क (3D spatial reasoning) में काफी संघर्ष करते हैं, विशेष रूप से उन परिदृश्यों में जिनमें शामिल हैं:

सीमित दृश्य (Limited Views): ऐसे वातावरण जिन्हें केवल विरल (sparse) 2D इमेज अनुक्रमों के माध्यम से देखा गया हो।
बहु-दृश्य संबंध (Multi-View Relations): वे कार्य जिनमें मॉडल को विभिन्न कैमरा दृष्टिकोणों के बीच तर्क करने की आवश्यकता होती है (जैसे, "यदि मैं दृश्य 1 से दृश्य 2 में जाता हूँ, तो वस्तु X के बाईं ओर क्या है?")।
अंतर्निहित कल्पना (Implicit Imagination): वर्तमान दृष्टिकोण अक्सर 3D लेआउट को सिम्युलेट करने के लिए मॉडल की आंतरिक "कल्पना" या 2D संज्ञानात्मक मानचित्रों पर निर्भर करते हैं, जिससे मतिभ्रम (hallucinations) और ज्यामितीय विसंगतियाँ उत्पन्न होती हैं।

मौजूदा अत्याधुनिक MLLMs MINDCUBE जैसे बेंचमार्क पर केवल रैंडम गेसिंग (random guessing) से थोड़ा बेहतर प्रदर्शन करते हैं, जो एगोसेंट्रिक मोशन और मल्टी-व्यू संबंधों पर तर्क का परीक्षण करता है। मुख्य चुनौती इन मॉडल्स के लिए एक स्पष्ट ज्यामितीय आधार (geometric foundation) की कमी है ताकि वे अपने तर्क को ग्राउंड कर सकें।

2. कार्यप्रणाली: pySpatial (Methodology: pySpatial)

लेखक pySpatial का प्रस्ताव करते हैं, जो एक जीरो-शॉट विजुअल प्रोग्रामिंग फ्रेमवर्क है जो MLLMs को पायथन कोड जनरेशन के माध्यम से 3D वातावरण के साथ इंटरैक्ट करने की क्षमता प्रदान करता है। अंतर्निहित तर्क पर निर्भर रहने के बजाय, pySpatial मॉडल को स्पष्ट रूप से 3D प्रतिनिधित्व बनाने और हेरफेर करने के लिए मजबूर करता है।

मुख्य वर्कफ़्लो (Core Workflow)

इनपुट: 2D छवियों का एक अनुक्रम ( $I$ ) और एक प्राकृतिक भाषा प्रश्न ( $q$ )।
3D पुनर्निर्माण (3D Reconstruction): फ्रेमवर्क पहले 2D इमेज अनुक्रम को एक्सप्लोरेबल 3D सीन में बदलने के लिए फीड-फॉरवर्ड 3D पुनर्निर्माण मॉडल्स (जैसे, नॉर्मलाइज्ड स्पेस के लिए VGGT, मेट्रिक स्केल के लिए CUT3R) का उपयोग करता है। इससे एक पॉइंट क्लाउड ( $P$ ), कैमरा इंट्रिंसिक्स ( $K$ ), और एक्सट्रिंसिक्स ( $G$ ) प्राप्त होता है।
कोड जनरेशन (द एजेंट): एक MLLM (एक कोड एजेंट के रूप में कार्य करते हुए, जैसे GPT-4o) एक पूर्व-निर्धारित pySpatial API का उपयोग करके एक पायथन प्रोग्राम ( $z$ $z$ ) जेनरेट करता है।
- एजेंट के पास आंतरिक मॉडल वेट्स (weights) तक पहुंच नहीं होती है, बल्कि वह एक हाई-लेवल इंटरफेस के साथ इंटरैक्ट करता है।
- प्रोग्राम विशिष्ट प्रश्न को हल करने के लिए "स्पेशियल टूल्स" के फंक्शन कॉल्स को कंपोज़ करता है।
प्रोग्राम निष्पादन (Program Execution): एक पायथन इंटरप्रेटर द्वारा पुनर्निर्मित 3D सीन के विरुद्ध जेनरेट किए गए कोड को निष्पादित किया जाता है।
- स्पेशियल टूल्स (Spatial Tools): API में निम्नलिखित के लिए फंक्शन शामिल हैं:
  - reconstruct(): 3D सीन बनाना।
  - rotate_left/right(), move_forward/backward(), turn_around(): कैमरा पोज़ का हेरफेर करना।
  - synthesize_novel_view(): 3D सीन के भीतर मनचाहे कैमरा पोज़ से नए चित्र रेंडर करना।
  - describe_camera_motion(): मैट्रिक्स ट्रांसफॉर्मेशन को प्राकृतिक भाषा विवरणों में बदलना।
अंतिम तर्क (Final Reasoning): MLLM मूल चित्र, प्रश्न, और प्रोग्राम से प्राप्त मध्यवर्ती आउटपुट ( $O$ ) (जैसे, किसी वस्तु के "बाएं" हिस्से को दिखाने वाला एक नया सिंथेसाइज़ किया गया चित्र) प्राप्त करता है। यह स्पष्ट दृश्य साक्ष्य का उपयोग अंतिम उत्तर उत्पन्न करने के लिए करता है।

प्रमुख डिज़ाइन विशेषताएं (Key Design Features)

जीरो-शॉट (Zero-Shot): किसी ग्रेडिएंट-आधारित फाइन-ट्यूनिंग की आवश्यकता नहीं है। फ्रेमवर्क प्री-ट्रेंड MLLMs के साथ काम करता है।
व्याख्यात्मकता (Interpretability): जेनरेट किया गया पायथन कोड एक स्पष्ट मध्यवर्ती प्रतिनिधित्व के रूप में कार्य करता है, जिससे शोधकर्ताओं को तर्क के चरणों का निरीक्षण, डिबग और सत्यापन करने की अनुमति मिलती है।
कंपोजेबिलिटी (Composability): फ्रेमवर्क विविध स्थानिक कार्यों को संभालने के लिए जटिल कंट्रोल फ्लो (लूप, कंडीशनल) की अनुमति देता है।

3. मुख्य योगदान (Key Contributions)

pySpatial फ्रेमवर्क: एक नवीन जीरो-शॉट फ्रेमवर्क जो MLLMs को स्थानिक टूल्स (पुनर्निर्माण, कैमरा हेरफेर, नोवेल व्यू सिंथेसिस) को ऑर्केस्ट्रेट करने वाले विजुअल प्रोग्राम जेनरेट और निष्पादित करके 3D स्पेस में स्पष्ट रूप से तर्क करने में सक्षम बनाता है।
स्पष्ट 3D ग्राउंडिंग (Explicit 3D Grounding): 2D संज्ञानात्मक मानचित्रों या अंतर्निहित कल्पना पर निर्भर पिछले तरीकों के विपरीत, pySpatial 2D इनपुट को एक एक्सप्लोरेबल 3D पॉइंट क्लाउड में बदल देता है, जिससे ज्यामितीय रूप से सुसंगत तर्क संभव होता है।
व्यापक मूल्यांकन (Comprehensive Evaluation):
- बेंचमार्क्स: MINDCUBE (मल्टी-व्यू) और OMNI3D-BENCH (सिंगल-व्यू) पर व्यापक परीक्षण।
- वास्तविक दुनिया का अनुप्रयोग: इंडोर नेविगेशन के लिए एक क्वाड्रुपेडल रोबोट (Unitree Go1) पर तैनाती, जो भौतिक एजेंटों के लिए तर्क क्षमताओं के ट्रांसफर को प्रदर्शित करता है।
प्रदर्शन: यह प्रदर्शित करता है कि कोड जनरेशन के माध्यम से स्पष्ट 3D तर्क, ओपन-वेट और प्रोप्रायटरी MLLMs, साथ ही विशेष स्थानिक मॉडल्स की तुलना में काफी बेहतर प्रदर्शन करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

मात्रात्मक प्रदर्शन (Quantitative Performance)

MINDCUBE बेंचमार्क:
- pySpatial ने 58.56% की समग्र सटीकता प्राप्त की।
- इसने सबसे मजबूत प्रोप्रायटरी बेसलाइन (GPT-4.1-mini) को 12.94% से पीछे छोड़ा।
- इसने सर्वश्रेष्ठ ओपन-वेट मॉडल (DeepSeek-VL2-Small) को 10.94% से पछाड़ा।
- "Among" श्रेणी में (अन्य सभी के सापेक्ष एक वस्तु के बारे में तर्क करना), इसने 60.54% प्राप्त किया, जबकि कोई भी बेसलाइन 50% से ऊपर नहीं पहुँच सकी।
MINDCUBE-1k:
- "Spatial Mental Models" (Yin et al., 2025) से लगभग 20% बेहतर प्रदर्शन किया।
- VADAR (एक पिछला विजुअल प्रोग्रामिंग दृष्टिकोण) को 21.9% से पछाड़ा, भले ही VADAR को समान 3D पुनर्निर्माण मॉड्यूल के साथ सुसज्जित किया गया था।
OMNI3D-BENCH (Single-View):
- 44.2% कुल सटीकता के साथ एक नया स्टेट-ऑफ-द-आर्ट प्राप्त किया, जिसने VADAR को 3.8% और GPT-4o को पीछे छोड़ दिया।

गुणात्मक और वास्तविक दुनिया के परिणाम (Qualitative & Real-World Results)

गुणात्मक विश्लेषण: जेनरेट किए गए प्रोग्रामों ने कैमरा घुमाने और एक नया दृश्य सिंथेसाइज़ करके "नीले बैग के दाईं ओर क्या है?" जैसे जटिल कार्यों को सफलतापूर्वक संभाला, जिससे दृश्य साक्ष्य प्रदान हुआ जिसने अंतिम उत्तर को ग्राउंड किया।
रोबोट नेविगेशन: 50 $m^2$ के इनडोर वातावरण में, pySpatial ने दरवाजों के माध्यम से नेविगेट करने और लक्ष्य वस्तु तक पहुँचने के लिए एक क्वाड्रुपेडल रोबोट के लिए मोशन प्लान सफलतापूर्वक जेनरेट किया। इसके विपरीत, GPT-4.1 बेसलाइन गलत दिशा अनुमान और टक्कर-प्रवण (collision-prone) प्रक्षेपवक्र के कारण विफल रही।

विफलता विश्लेषण (Failure Analysis)

MINDCUBE पर त्रुटि विश्लेषण से पता चला कि केवल 6% विफलताएं गलत प्रोग्राम जनरेशन के कारण थीं।
20% त्रुटियां अंतिम तर्क चरण (MLLM द्वारा विजुअल क्लू को गलत समझना) से उत्पन्न हुईं।
13% त्रुटियां 3D पुनर्निर्माण मॉडल (जैसे, खराब पॉइंट क्लाउड गुणवत्ता) की सीमाओं के कारण थीं।
यह दर्शाता है कि फ्रेमवर्क का पाइपलाइन मजबूत है, और भविष्य के सुधार पुनर्निर्माण और रीजनिंग मॉडल्स को बेहतर बनाकर किए जा सकते हैं।

5. महत्व और प्रभाव (Significance and Impact)

पैराडाइम शिफ्ट: pySpatial क्षेत्र को "अंतर्निहित कल्पना" से "स्पष्ट ज्यामितीय तर्क" की ओर ले जाता है। यह सिद्ध करता है कि MLLMs को 3D स्पेस में तर्क करने के लिए विशाल 3D डेटासेट पर फाइन-ट्यून करने की आवश्यकता नहीं है; उन्हें केवल उन टूल्स को कॉल करने की क्षमता चाहिए जो 3D प्रतिनिधित्व का निर्माण करते हैं।
सामान्यीकरण (Generalizability): यह फ्रेमवर्क विभिन्न MLLMs (GPT-4o, GPT-4.1, Qwen, आदि) और विभिन्न 3D पुनर्निर्माण बैकबोन (VGGT, CUT3R, Pi3) के लिए काम करता है, जो यह सुझाव देता है कि यह दृष्टिकोण मॉडल-अज्ञेयवादी (model-agnostic) है।
व्यावहारिक उपयोगिता: एक भौतिक रोबोट पर सफल तैनाती यह प्रदर्शित करती है कि यह दृष्टिकोण केवल एक बेंचमार्क ट्रिक नहीं है, बल्कि एम्बॉडीड AI, रोबोटिक्स और ऑगमेंटेड रियलिटी के लिए एक व्यवहार्य समाधान है जहाँ सटीक स्थानिक समझ सुरक्षा और नेविगेशन के लिए महत्वपूर्ण है।
दक्षता (Efficiency): फ्रेमवर्क कुशल है, जो सिंगल GPU पर प्रति क्वेरी औसतन 7.45 सेकंड लेता है, जिससे यह रियल-टाइम या नियर-रियल-टाइम अनुप्रयोगों के लिए उपयुक्त बनता है।

निष्कर्षतः, pySpatial विजुअल प्रोग्रामिंग का लाभ उठाकर 2D विजुअल इनपुट और 3D ज्यामितीय समझ के बीच के अंतर को पाटकर 3D स्थानिक तर्क के लिए एक नया मानक स्थापित करता है, जो बिना किसी महंगे फाइन-ट्यूनिंग के स्टेट-ऑफ-द-आर्ट परिणाम प्राप्त करता है।