💻 computer science

SATURN: Symbolic Spatial Reasoning for Multi-Perspective Grounding

SATURN एक न्यूरो-सिम्बोलिक फ्रेमवर्क है जो अनुमानित 3D दृश्यों को पुनर्गठित करके और एक प्रशिक्षण-मुक्त सिम्बोलिक एक्सेक्यूटर के माध्यम से सॉफ्ट, पर्सपेक्टिव-अवेयर प्रेडिकेट्स को संयोजित करके मजबूत बहु-परिप्रेक्ष्य स्थानिक तर्क (multi-perspective spatial reasoning) प्राप्त करता है, जो नए 3D FORCE डायग्नोस्टिक बेंचमार्क और वास्तविक दुनिया के MindCube डेटासेट दोनों पर मौजूदा विजन-लैंग्वेज मॉडल्स की तुलना में काफी बेहतर प्रदर्शन करता है।

मूल लेखक: Danial Kamali, Tanawan Premsri, Shreya Rajpal, Amir Zadeh, Chuan Li, Parisa Kordjamshidi

प्रकाशित 2026-06-23

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Danial Kamali, Tanawan Premsri, Shreya Rajpal, Amir Zadeh, Chuan Li, Parisa Kordjamshidi

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप किसी को दिशा निर्देश देने की कोशिश कर रहे हैं, लेकिन वह शहर 3D ब्लॉक्स से बना है, और हर कोई अलग दिशा में देख रहा है।

यदि आप कहते हैं, "कॉफी शॉप बैंक के बाईं ओर है," तो यह निर्देश तब तक भ्रमित करने वाला है जब तक कि आपको यह न पता हो कि आप किसके बाएं की बात कर रहे हैं। क्या यह बैंक के सामने खड़े व्यक्ति का बायां है? बैंक का बायां (यदि उसका कोई चेहरा होता)? या फोटो खींचने वाले व्यक्ति का बायां?

यह वही समस्या है जिसे SATURN पेपर हल करने की कोशिश करता है। वर्तमान AI मॉडल (विज़न-लैंग्वेज मॉडल्स) वस्तुओं को पहचानने में बहुत अच्छे हैं ("वह एक ट्रक है!"), लेकिन वे विभिन्न दृष्टिकोणों (viewpoints) से जुड़ी जटिल स्थानिक संबंधों (spatial relationships) को समझने में अक्सर भटक जाते हैं। वे वास्तव में ज्यामिति (geometry) के माध्यम से "सोचने" के बजाय पैटर्न के आधार पर अनुमान लगाने लगते हैं।

यहाँ बताया गया है कि SATURN कैसे काम करता है, जिसे सरल अवधारणाओं में विभाजित किया गया है:

1. समस्या: "अनुमान लगाने का खेल"

वर्तमान AI मॉडल दृश्य पहेलियों को हल करने के लिए चित्र को देखते हैं और उत्तर का अनुमान लगाते हैं। यह गणित की समस्या को उत्तर कुंजी (answer key) देखकर हल करने जैसा है और इस उम्मीद में कि संख्याएँ सही दिखेंगी।

समस्या: यदि आप पूछते हैं, "क्या लाल कार नीले ट्रक के दृष्टिकोण से उसके पीछे है?", तो एक मानक AI केवल चित्र को देखेगा और अपने 'अंतर्ज्ञान' (gut feeling) के आधार पर "हाँ" या "नहीं" कह देगा। यदि ट्रक किसी दूसरी दिशा में है, तो AI अक्सर विफल हो जाता है क्योंकि वह स्पष्ट रूप से कोण (angle) की गणना नहीं करता है।

2. समाधान: SATURN (एक "आर्किटेक्ट" और एक "कैलकुलेटर")

लेखकों ने एक सिस्टम बनाया है जिसे SATURN कहा जाता है, जो दो चरणों वाली टीम की तरह काम करता है: एक आर्किटेक्ट और एक कैलकुलेटर।

चरण 1: आर्किटेक्ट (न्यूरल परसेप्शन)
सबसे पहले, सिस्टम छवियों को देखता है और दृश्य का एक मोटा 3D मानचित्र बनाता है। इसे सटीक होने की आवश्यकता नहीं है; इसे बस यह जानने की आवश्यकता है कि वस्तुएं मोटे तौर पर कहाँ हैं और वे किस दिशा में देख रही हैं। इसे एक स्केच आर्टिस्ट की तरह समझें जो जल्दी से कमरे का लेआउट बना रहा है।
- महत्वपूर्ण चरण: यह टेक्स्ट को भी सुनता है। यदि प्रश्न कहता है, "इमेज 2 को 90 डिग्री मुड़ने के बाद लिया गया था," तो SATURN अपने स्केच को ठीक करने के लिए इसे एक ठोस तथ्य के रूप में लिख लेता है।
चरण 2: कैलकुलेटर (सिंबोलिक निष्पादन)
अनुमान लगाने के बजाय, SATURN प्रश्न को एक सरल कंप्यूटर प्रोग्राम (जो पायथन में लिखा गया है) में अनुवादित करता है। यह प्रोग्राम शुरुआत से जटिल गणित नहीं करता है; यह "सॉफ्ट" नियमों का उपयोग करता है।
- "सॉफ्ट" नियम: यह कहने के बजाय कि "कार निश्चित रूप से बाईं ओर है," यह कहता है, "70% संभावना है कि कार बाईं ओर है।" यह महत्वपूर्ण है क्योंकि प्रारंभिक स्केच थोड़ा धुंधला हो सकता है। संख्याओं को "सॉफ्ट" (संभावनाओं) के रूप में रखने से, सिस्टम बिना क्रैश हुए अनिश्चितता को संभाल सकता है।
- तर्क (Logic): प्रोग्राम फिर एक तार्किक श्रृंखला चलाता है: "यदि नीली कार यहाँ है, और ट्रक उस दिशा में देख रहा है, तो लाल कार शायद उसके पीछे है।"

3. नया परीक्षण: 3D FORCE

यह साबित करने के लिए कि उनका सिस्टम काम करता है, लेखकों ने 3D FORCE नामक एक नया परीक्षण बनाया है।

कल्पना कीजिए कि एक वीडियो गेम लेवल है जहाँ आपको एक पहेली के आधार पर छिपी हुई वस्तु को खोजना है जैसे कि: "उस वस्तु को खोजें जो नीली कार के पीछे है (नीली कार के दृष्टिकोण से), जो एक ट्रक के बाईं ओर है (ट्रक के दृष्टिकोण से)।"
मौजूदा AI मॉडल इसमें बुरी तरह विफल हो जाते हैं जब पहेलियाँ लंबी होती हैं और दृष्टिकोण अधिक मिश्रित होते हैं। वे "संदर्भ के फ्रेम" (frames of reference) से भ्रमित हो जाते हैं।
हालाँकि, SATURN इसे एक तर्क पहेली की तरह मानता है। यह पहेली को तोड़ता है, कोणों की गणना करता है, और उच्च सटीकता के साथ इसे हल करता है।

4. परिणाम

पेपर में SATURN का परीक्षण आज के सबसे स्मार्ट AI मॉडल्स (जैसे GPT-4, Gemini और विशिष्ट स्थानिक मॉडल्स) के विरुद्ध किया गया।

परिणाम: जब प्रश्न जटिल हो गए (जिसमें कई दृष्टिकोण और तर्क की लंबी श्रृंखला शामिल थी), तो अन्य मॉडल्स का प्रदर्शन तेजी से गिर गया। वे भटक गए।
SATURN का प्रदर्शन: SATURN स्थिर रहा। इसने लगभग 78% वास्तविक दुनिया के मामलों को सही ढंग से हल किया, जो अगले सर्वश्रेष्ठ मॉडल से 14 प्रतिशत अंक अधिक था।

निष्कर्ष (The Bottom Line)

SATURN को एक ऐसे AI के रूप में समझें जो केवल एक तस्वीर को "देखता" नहीं है; यह दुनिया का एक मानसिक मॉडल बनाता है, प्रश्न के विशिष्ट नियमों को सुनता है, और फिर उत्तर खोजने के लिए एक तार्किक स्क्रिप्ट चलाता है। यह देखने (जो शोर भरा और अपूर्ण हो सकता है) और तर्क करने (जो सटीक, चरण-दर-चरण तर्क द्वारा किया जाता है) के कार्य को अलग करता है।

पेपर का दावा है कि यह दृष्टिकोण AI को स्थानिक संबंधों को समझने में बहुत अधिक विश्वसनीय बनाता है, विशेष रूप से जब परिप्रेक्ष्य बदलता है, बिना हर नए प्रकार की पहेली पर उसे फिर से प्रशिक्षित किए।

तकनीकी सारांश: SATURN – बहु-परिप्रेक्ष्य ग्राउंडिंग के लिए प्रतीकात्मक स्थानिक तर्क (Symbolic Spatial Reasoning)

समस्या विवरण (Problem Statement)

विज़न-लैंग्वेज मॉडल्स (VLMs) वर्तमान में उन स्थानिक तर्क कार्यों को करने में अत्यधिक अविश्वसनीयता प्रदर्शित करते हैं जिनमें विशिष्ट संदर्भ फ्रेम (Frames of Reference - FoR) पर निर्भर संबंधों की संरचना (composition) की आवश्यकता होती है। एक स्थानिक संबंध जैसे कि "बाएँ" (left of), पूर्ण नहीं होता है; इसका अर्थ इस पर निर्भर करता है कि परिप्रेक्ष्य कैमरा, एक एजेंट, या स्वयं एक वस्तु के आंतरिक ओरिएंटेशन पर आधारित है। जबकि मौजूदा न्यूरो-सिंबोलिक दृष्टिकोण स्पष्ट तर्क बनाने का प्रयास करते हैं, वे अक्सर शोर वाले परिधीय आउटपुट (perceptual outputs) पर नाजुक ज्यामितीय प्रक्रियाओं और कठोर, बाइनरी निर्णयों पर निर्भर रहते हैं। यह नाजुकता उन मल्टी-हॉप रीजनिंग कार्यों में विफलता का कारण बनती है जहाँ परिधीय अनिश्चितता को स्थानिक संबंधों की एक श्रृंखला के माध्यम से प्रसारित किया जाना आवश्यक होता है। इसके अलावा, वर्तमान बेंचमार्क अक्सर परिप्रेक्ष्य-जागरूक संरचनात्मक ग्राउंडिंग (perspective-aware compositional grounding) की विशिष्ट क्षमता को आइसोलेट करने में विफल रहते हैं, और इसे मौलिक स्थानिक निर्णयों या व्यापक एम्बोडीड नेविगेशन कार्यों के साथ मिला देते हैं।

कार्यप्रणाली: SATURN फ्रेमवर्क (Methodology: SATERN Framework)

लेखक SATURN का प्रस्ताव करते हैं, जो एक न्यूरो-सिंबोलिक फ्रेमवर्क है जिसे धारणा (perception) को तर्क (reasoning) से अलग करने और अनुमान प्रक्रिया के दौरान अनिश्चितता को बनाए रखने के लिए डिज़ाइन किया गया है। SATURN तीन अलग-अलग चरणों में कार्य करता है:

क्वेरी-निर्देशित दृश्य अनुमान (Query-Guided Scene Estimation):
- एक VLM-आधारित पार्सर प्राकृतिक भाषा क्वेरी और विजुअल कॉन्टेक्स्ट से संभावित वस्तुओं और प्रासंगिक कैमरा दृश्यों की पहचान करता है।
- सिस्टम वस्तुओं और कैमरों के लिए 3D स्थिति ( $x$ ) और ओरिएंटेशन ( $R$ ) का अनुमान लगाता है।
- महत्वपूर्ण रूप से, SATURN स्पष्ट टेक्स्ट-स्टेटेड पोज़ कंस्ट्रेंट्स (जैसे, "इमेज 2 को इमेज 1 से 90° घुमाया गया था") निकालता है ताकि इमेज-व्युत्पन्न कैमरा अवस्थाओं को परिष्कृत किया जा सके। इसमें या (yaw) कोणों को संरेखित करने के लिए रोटेशन कंस्ट्रेंट्स लागू करना और कैमरा स्थानों को औसत (average) करने के लिए समान-स्थिति कंस्ट्रेंट्स का उपयोग करना शामिल है, जिससे एक परिष्कृत ज्यामितिक दृश्य अवस्था निर्मित होती है।
स्थानिक इंजन (सॉफ्ट प्रेडिकेट डेरिवेशन) (Spatial Engine: Soft Predicate Derivation):
- निम्न-स्तरीय ज्यामितीय कोड उत्पन्न करने के बजाय, स्थानिक इंजन अनुमानित दृश्य अवस्था को सॉफ्ट, परिप्रेक्ष्य-जागरूक स्थानिक प्रेडिकेट्स में परिवर्तित करता है।
- यह एक एकीकृत एंकर एब्स्ट्रैक्शन (anchor abstraction) को परिभाषित करता है जहाँ कोई भी इकाई (वस्तु, कैमरा, या वर्चुअल व्यूअर) एक स्थानीय समन्वय प्रणाली (local coordinate system) प्रेरित करती है।
- एक लक्षित इकाई $i$ , संदर्भ इकाई $j$ , और एंकर $a$ के लिए, इंजन एंकर के स्थानीय फ्रेम में विस्थापन $\Delta^a_{ij}$ और सापेक्ष ओरिएंटेशन की गणना करता है।
- इन ज्यामितीय मात्राओं को सिग्मॉइड फंक्शन का उपयोग करके निरंतर स्कोर $S^a_r[i, j] \in [0, 1]$ में मैप किया जाता है, जिसमें सीखने योग्य मार्जिन और टेम्परेचर होते हैं। यह सिस्टम को दिशात्मक संबंधों (जैसे, बाएँ, सामने) और ओरिएंटेशन-आधारित संबंधों (जैसे, समानांतर, लंबवत) को हार्ड बूलियन मानों के बजाय संभाव्य स्कोर के रूप में प्रदर्शित करने की अनुमति देता है।
प्रोग्राम जनरेशन और सॉफ्ट निष्पादन (Program Generation and Soft Execution):
- एक LLM एक पायथोनिक प्रोग्राम उत्पन्न करता है जो क्वेरी के तार्किक संयोजन (logical composition) को निर्दिष्ट करता है।
- प्रोग्राम एक सिंबोलिक एक्सेक्यूटर के माध्यम से स्थानिक इंजन के साथ इंटरैक्ट करता है। यह कच्ची ज्यामिति (raw geometry) का प्रदर्शन नहीं करता है बल्कि सिमेंटिक स्कोर (जैसे, "क्या यह एक कार है?") और सॉफ्ट स्थानिक प्रेडिकेट स्कोर प्राप्त करने के लिए इंटरफेस को कॉल करता है।
- एक्सेक्यूटर इन स्कोर को सॉफ्ट लॉजिकल ऑपरेटर्स (जैसे, फजी लॉजिक कंजंक्शन्स जैसे $A \land B = \min(A, B)$ ) का उपयोग करके संयोजित करता है। यह दृष्टिकोण ऑब्जेक्ट ग्राउंडिंग और 3D अनुमान से अनिश्चितता को मल्टी-हॉप रीजनिंग चेन के माध्यम से प्रसारित करता है, जिससे प्रेडिकेट्स को प्रक्रिया के शुरुआती चरणों में हार्ड थ्रेशोल्डिंग में बदलने से जुड़ी त्रुटियों के संचय से बचा जा सकता है।

मुख्य योगदान (Key Contributions)

SATURN फ्रेमवर्क: एक न्यूरो-सिंबोलिक आर्किटेक्चर जो शोर वाले 3D परसेप्शन को पुन: प्रयोज्य, सॉफ्ट FoR-जागरूक स्थानिक प्रेडिकेट्स में बदल देता है और उन्हें सिंबोलिक निष्पादन के माध्यम से संयोजित करता है। यह रीजनिंग इंटरफ़ेस को कच्चे 3D स्टेट्स से ऊपर उठाकर गुणात्मक, अनिश्चितता-जागरूक संबंधों तक ले जाता है।
3D FORCE बेंचमार्क: 3D Frames Of Reference Composition Evaluation (3D FORCE) का परिचय, जो परिप्रेक्ष्य-जागरूक संरचनात्मक स्थानिक ग्राउंडिंग को आइसोलेट करने के लिए डिज़ाइन किया गया एक डायग्नोस्टिक बेंचमार्क है। इसमें दो उपसमूह हैं:
- 3D FORCE-SAG: मल्टी-हॉप स्थानिक व्यवस्था ग्राउंडिंग (यह निर्धारित करना कि क्या एक कॉन्फ़िगरेशन संबंधों के सेट को संतुष्ट करता है) का मूल्यांकन करता है।
- 3D FORCE-REF: परिप्रेक्ष्य-जागरूक संरचनात्मक संदर्भित अभिव्यक्ति (referring expression) ग्राउंडिंग (जटिल, मल्टी-हॉप स्थानिक विवरणों के आधार पर एक लक्षित वस्तु की पहचान करना) का मूल्यांकन करता है।
- यह बेंचमार्क रीजनिंग डेप्थ, संबंध टोपोलॉजी (चेन, स्टार, हाइब्रिड), दृश्य संख्या और FoR असाइनमेंट को स्पष्ट रूप से नियंत्रित करता है।
अनुभवजन्य सत्यापन (Empirical Validation): व्यापक मूल्यांकन जो दर्शाता है कि SATURN, जटिल FoR संयोजन और मल्टी-हॉप रीजनिंग वाले परिदृश्यों में, अत्याधुनिक VLMs और टूल-ऑगमेंटेड बेसलाइन्स को पीछे छोड़ते हुए उत्कृष्ट प्रदर्शन करता है।

परिणाम (Results)

3D FORCE पर प्रदर्शन: SATURN ने 88.85% की समग्र सटीकता प्राप्त की, जिसने सबसे मजबूत न्यूरल बेसलाइन (Qwen3.5-9B @ 67.08%) को 21 प्रतिशत अंक से और टूल-ऑगमेंटेड बेसलाइन्स को एक बड़े अंतर से पीछे छोड़ दिया।
जटिलता के प्रति मजबूती: जैसे-जैसे रीजनिंग डेप्थ बढ़ी और कार्य सिंगल-इमेज कैमरा परिप्रेक्ष्य से ऑब्जेक्ट-सेंट्रिक या मिक्स-परस्पेक्टिव सेटिंग्स की ओर बढ़े, VLM का प्रदर्शन तेजी से गिरा, जबकि SATURN स्थिर रहा। उदाहरण के लिए, 4-हॉप स्टार टोपोलॉजी पर, SATURN ने सर्वश्रेष्ठ VLM बेसलाइन से 63 प्रतिशत अंक अधिक प्राप्त किए।
वास्तविक दुनिया का सामान्यीकरण: MindCube बेंचमार्क (रियल-वर्ल्ड मल्टी-व्यू रीजनिंग) पर, SATURN ने 78.57% सटीकता प्राप्त की, जो सबसे मजबूत बेसलाइन से 14.37 प्रतिशत अंक अधिक है। MMSI पर भी, इसने पोजीशनल, मोशन और एट्रिब्यूट श्रेणियों में सर्वश्रेष्ठ समग्र प्रदर्शन किया।
एब्लेशन अध्ययन (Ablation Studies): लेखकों ने प्रदर्शित किया कि सिंबोलिक निष्पादन की "सॉफ्ट" प्रकृति महत्वपूर्ण है। निरंतर प्रेडिकेट स्कोर को हार्ड थ्रेशोल्ड निर्णय या निम्न-स्तरीय ज्यामितीय प्रोग्रामिंग से बदलने के परिणामस्वरूप प्रदर्शन में महत्वपूर्ण गिरावट आई, जिससे पुष्टि हुई कि अनिश्चितता को बनाए रखना मल्टी-हॉप रीजनिंग के लिए महत्वपूर्ण है।

महत्व और दावे (Significance and Claims)

यह पेपर दावा करता है कि मजबूत स्थानिक तर्क के लिए धारणा (perception) को स्पष्ट, परिप्रेक्ष्य-जागरूक स्थानिक गणना से अलग करना आवश्यक है। लेखक तर्क देते हैं कि वर्तमान VLMs, भले ही उन्हें स्थानिक डेटा पर फाइन-ट्यून किया गया हो, इसलिए विफल होते हैं क्योंकि वे स्थानिक संबंधों को सीखे गए प्रायर्स (learned priors) के रूप में एनकोड करते हैं न कि उन्हें स्पष्ट रूप से दृश्य ज्यामिति से प्राप्त करते हैं। एक सॉफ्ट, FoR-जागरूक प्रेडिकेट्स पर संचालित होने वाले सिंबोलिक एक्सेक्यूटर में अपनी रीजनिंग प्रक्रिया को बाहरी बनाने के माध्यम से, SATURN संरचनात्मक स्थानिक कार्यों के लिए एक अधिक विश्वसनीय तंत्र प्रदान करता है।

इस कार्य का महत्व इस बात के प्रदर्शन में निहित है कि मल्टी-व्यू और संदर्भ फ्रेम (FoR) वाले कार्यों के लिए स्पष्ट परिप्रेक्ष्य-जागरूक तर्क आवश्यक है। लेखक प्रतिपादित करते हैं कि जबकि स्थानिक पर्यवेक्षण (spatial supervision) संबंध पहचान में सुधार करता है, यह स्वाभाविक रूप से विभिन्न FoR के बीच व्यवस्थित संबंध संरचना (relation composition) प्रदान नहीं करता है। SATURN इस अंतर को संबोधित करता है, जहाँ अनिश्चितता को गणितीय रूप से प्रबंधित किया जाता है, जो अधिक विश्वसनीय एम्बोडीड AI सिस्टम की ओर एक मार्ग प्रदान करता है जो गतिशील वातावरण में जटिल स्थानिक व्यवस्थाओं के बारे में तर्क कर सकते हैं। पेपर निष्कर्ष निकालता है कि धारणा को तर्क से अलग करना, जबकि अनिश्चितता प्रसार को बनाए रखना, विज़न-लैंग्वेज मॉडल्स में स्थानिक बुद्धिमत्ता को आगे बढ़ाने के लिए एक आवश्यक कदम है।