💬 NLP

Unleashing Spatial Reasoning in Multimodal Large Language Models via Textual Representation Guided Reasoning

यह शोध पत्र TRACE प्रस्तुत करता है, जो एक प्रॉम्प्टिंग विधि है जो मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स की 3D स्थानिक तर्क क्षमताओं को बढ़ाने के लिए उन्हें एगोजेंट्रिक वीडियो वातावरण के संरचित टेक्स्ट-आधारित एलोसेंट्रिक निरूपण उत्पन्न करने के लिए निर्देशित करती है, जिसके परिणामस्वरूप विविध बेंचमार्क और मॉडल बैकबोन में सुसंगत प्रदर्शन सुधार प्राप्त होते हैं।

मूल लेखक: Jiacheng Hua, Yishu Yin, Yuhang Wu, Tai Wang, Yifei Huang, Miao Liu

प्रकाशित 2026-03-25

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Jiacheng Hua, Yishu Yin, Yuhang Wu, Tai Wang, Yifei Huang, Miao Liu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक घर में घूम रहे हैं और एक कैमरा पकड़े हुए सब कुछ रिकॉर्ड कर रहे हैं। आप एक कॉफी कप देखते हैं, फिर एक लैंप, और फिर एक दरवाज़ा। यह एक एगोसेंट्रिक वीडियो (egocentric video) है (एक "स्व-केंद्रित" दृश्य)।

अब, कल्पना कीजिए कि कोई आपसे एक पेचीदा सवाल पूछता है: "अगर मैं कूड़ेदान के पास खड़ा होकर टेलीफोन की ओर देख रहा होता, तो क्या कप मेरे सामने-बाएँ (front-left) होता या पीछे-दाएँ (back-right)?"

एक इंसान के लिए, यह बहुत आसान है। हम वीडियो को केवल फ्रेम-दर-फ्रेम नहीं देखते। हम अपने दिमाग में तुरंत एक मानसिक मानचित्र (mental map) बना लेते हैं। हम जानते हैं कि दीवारें कहाँ हैं, फर्नीचर एक-दूसरे के सापेक्ष कहाँ स्थित है, और हम उस सवाल का जवाब देने के लिए मानसिक रूप से खुद को कूड़ेदान के पास "टेलीपोर्ट" कर सकते हैं।

समस्या:
वर्तमान AI मॉडल (Multimodal Large Language Models, या MLLMs) ऐसे व्यक्ति की तरह हैं जिन्हें केवल एक समय में एक ही फोटो देखने की अनुमति है। वे किसी तस्वीर में क्या है, इसका वर्णन करने में बहुत अच्छे हैं ("मुझे एक लाल कप दिख रहा है"), लेकिन वे 3D मानसिक मानचित्र बनाने में बहुत खराब हैं। वे विवरणों में खो जाते हैं और स्थानिक संबंधों (spatial relationships) को समझने में असमर्थ होते हैं, ठीक वैसे ही जैसे एक पर्यटक जो जानता है कि एक सड़क कैसी दिखती है, लेकिन उसे यह नहीं पता कि होटल से संग्रहालय तक कैसे पहुँचना है।

समाधान: TRACE
इस शोध के लेखकों ने TRACE नामक एक नई विधि बनाई है (Textual Representation of Allococentric Context from Egocentric Video)।

TRACE को एक अनुवादक (translator) के रूप में समझें जो एक भ्रमित करने वाले, चलते-फिरते वीडियो को AI द्वारा सवाल का जवाब देने से पहले एक संरचित "चीट शीट" या ब्लूप्रिंट में बदल देता है।

यहाँ बताया गया है कि TRACE कैसे काम करता है, एक सरल उपमा (analogy) का उपयोग करते हुए:

उपमा: जासूस की केस फाइल (The Detective's Case File)

कल्पना कीजिए कि AI एक जासूस है जो एक धुंधले सुरक्षा वीडियो के आधार पर अपराध स्थल को सुलझाने की कोशिश कर रहा है।

पुराना तरीका (Direct Prompting): जासूस वीडियो देखता है और तुरंत उत्तर देने की कोशिश करता है। वे कह सकते हैं, "मुझे लगता है कि कप बाईं ओर है!" लेकिन वे केवल एक धुंधले फ्रेम के आधार पर अनुमान लगा रहे हैं। वे अक्सर गलत होते हैं।
TRACE वाला तरीका: अनुमान लगाने से पहले, जासूस को दृश्य को व्यवस्थित करने के लिए एक केस फाइल (Case File) लिखने के लिए मजबूर किया जाता है। इस फाइल के तीन विशिष्ट भाग हैं:
- भाग 1: कमरे का ब्लूप्रिंट (Meta-Context)
  - उपमा: जासूस कमरे का एक सरल नक्शा बनाता है। "यह एक आयताकार कार्यालय है। उत्तर दिशा खिड़की वाली दीवार है। मूल बिंदु (0,0) दरवाज़ा है।"
  - यह कैसे मदद करता है: यह AI को एक निश्चित समन्वय प्रणाली (coordinate system) देता है ताकि कैमरा घूमने पर वह भ्रमित न हो।
- भाग 2: वॉकथ्रू लॉग (Camera Trajectory)
  - उपमा: जासूस अपने कदमों का विवरण लिखता है: "0 सेकंड पर, मैं उत्तर-पश्चिम की ओर देखते हुए दरवाजे पर खड़ा था। 5 सेकंड पर, मैं 2 मीटर आगे बढ़ा और डेस्क को देखने के लिए दाईं ओर मुड़ा।"
  - यह कैसे मदद करता है: यह गति को ट्रैक करता है। AI को पता चलता है कि हर क्षण "प्रेक्षक" (observer) कहाँ था, जिससे एक अराजक वीडियो एक स्पष्ट पथ में बदल जाता है।
- भाग 3: वस्तु रजिस्ट्री (Entity Registry)
  - उपमा: जासूस प्रत्येक वस्तु की सूची बनाता है, जैसे कि GPS निर्देशांकों के साथ किराने की सूची। "कूड़ेदान: दरवाजे से 2 मीटर बाईं ओर। कप: फोन से 1 मीटर बाईं ओर।"
  - यह कैसे मदद करता है: केवल "देखने" के बजाय, अब AI के पास एक सटीक सूची है कि चीजें एक-दूसरे के सापेक्ष कहाँ हैं।

यह क्यों काम करता है

एक बार जब AI इस "केस फाइल" (टेक्स्ट विवरण) को उत्पन्न कर लेता है, तो उसे अब अनुमान लगाने की आवश्यकता नहीं होती। वह बस ब्लूप्रिंट को पढ़ सकता है।

प्रश्न: "क्या कप फोन के बाईं ओर है?"
TRACE का उत्तर: "रजिस्ट्री देखें। फोन [2, 2] पर है। कप [1, 2] पर है। इसलिए, कप बाईं ओर है।"

परिणाम

शोधकर्ताओं ने विभिन्न AI मॉडलों का उपयोग करके दो प्रमुख बेंचमार्क (VSI-Bench और OST-Bench) पर इसका परीक्षण किया।

परिणाम: TRACE ने लगातार अन्य सभी तरीकों को पछाड़ दिया। इसने यहाँ तक कि छोटे, कम शक्तिशाली AI मॉडलों को भी बहुत बेहतर प्रदर्शन करने में मदद की।
मुख्य बात: AI को जवाब देने से पहले "मानचित्र बनाने" (टेक्स्ट के रूप में) के लिए मजबूर करके, हम 3D स्थान को समझने की उसकी क्षमता को अनलॉक करते हैं। यह एक छात्र को ज्यामिति की समस्या हल करने के लिए उससे पहले ग्राफ पेपर और रूलर देने जैसा है, बजाय इसके कि केवल उससे उसके दिमाग में अनुमान लगाने के लिए कहा जाए।

संक्षेप में: TRACE AI को केवल पिक्सेल को घूरना बंद करने और एक मानसिक मानचित्र बनाना सिखाता है, जिससे एक भ्रमित करने वाले वीडियो को एक स्पष्ट, व्यवस्थित कहानी में बदल दिया जाता है जिसे कंप्यूटर वास्तव में समझ और तर्क कर सकता है।

यहाँ शोध पत्र "Unleashing Spatial Reasoning in Multimodal Large Language Models via Textual Representation Guided Reasoning" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स (MLLMs) वर्तमान में 3D स्थानिक तर्क (3D spatial reasoning) कार्यों में संघर्ष कर रहे हैं, विशेष रूप से एगोजेंट्रिक (प्रथम-व्यक्ति) वीडियो इनपुट को प्रोसेस करते समय। विशाल वीडियो डेटासेट पर प्रशिक्षित होने के बावजूद, ये मॉडल अक्सर 3D वातावरण के संरचित अमूर्त (structured abstractions) बनाने में विफल रहते हैं। स्थानिक संबंधों के पदानुक्रमित (hierarchical) निरूपण बनाने के बजाय, वे निम्नलिखित प्रवृत्तियाँ दिखाते हैं:

2D विजुअल संकेतों पर अत्यधिक ध्यान केंद्रित करना।
निहित स्थानिक संकेतों (implicit spatial cues) से शॉर्टकट सहसंबंधों (shortcut correlations) पर निर्भर रहना।
सुसंगत आंतरिक 3D निरूपण बनाए रखने में विफल रहना, जिससे समग्र दृश्य समझ (जैसे, चलते हुए कैमरे के सापेक्ष वस्तुओं के स्थान को निर्धारित करना) वाले कार्यों में त्रुटियां होती हैं।

मौजूदा समाधान या तो भारी सुपरवाइज्ड फाइन-ट्यूनिंग की मांग करते हैं (जो स्केलेबिलिटी को सीमित करता है) या जटिल ज्यामितीय/स्टीरियो मोडैलिटीज को शामिल करते हैं (जो सिस्टम की जटिलता बढ़ाता है और 'ऑफ-द-शेल्फ' मॉडल्स की प्रयोज्यता को प्रतिबंधित करता है)। लेखक यह प्रश्न उठाते हैं: क्या MLLMs को केवल 2D विजुअल ऑब्जर्वेशन से प्राप्त 3D स्थानिक वातावरण के संरचित एलोसेंट्रिक (विश्व-केंद्रित) निरूपणों को स्पष्ट रूप से निर्मित करने के लिए निर्देशित किया जा सकता है?

2. कार्यप्रणाली: TRACE (Methodology: TRACE)

लेखक TRACE (Textual Representation of Allocentric Context from Egocentric Video) का प्रस्ताव करते हैं, जो एक प्रॉम्प्टिंग विधि है जो MLLMs को एक मध्यवर्ती रीजनिंग ट्रेस के रूप में 3D वातावरण का एक संरचित टेक्स्ट-आधारित निरूपण उत्पन्न करने के लिए प्रेरित करती है।

मानव स्थानिक तर्क के संज्ञानात्मक सिद्धांतों (विजुअल इनपुट को पदानुक्रमित ऑब्जेक्ट/रिलेशनशिप निरूपणों में बदलना) से प्रेरित होकर, TRACE मॉडल को अंतिम प्रश्न का उत्तर देने से पहले एक विशिष्ट स्कीमा आउटपुट करने के लिए मजबूर करता है। निरूपण $G$ को एक टुपल $\langle M, T, E \rangle$ के रूप में परिभाषित किया गया है:

TRACE के मुख्य घटक:

मेटा कॉन्टेक्स्ट ( $M$ ):
- एक रूम-अलाइन्ड कोऑर्डिनेट सिस्टम स्थापित करता है।
- रूम टोपोलॉजी को परिभाषित करता है (जैसे, "आयताकार कार्यालय")।
- ग्रिड अक्षों को संरेखित करता है (जैसे, $+Y$ को सबसे लंबी दृश्य दीवार के साथ संरेखित करना) न कि कैमरा की प्रारंभिक दिशा के साथ।
- इस ग्लोबल ग्रिड के सापेक्ष ऑब्जर्वर की प्रारंभिक दिशा को रिकॉर्ड करता है।
कैमरा ट्रजेक्टरी ( $T$ ):
- ऑब्जर्वर के पथ को चरणों के एक असतत अनुक्रम (discrete sequence) के रूप में पुनर्गठित करता है।
- प्रत्येक चरण के लिए, यह लॉग करता है: टाइमस्टैम्प, अनुमानित 2D स्थिति $[x, y]$ , फेसिंग दिशा (कार्डिनल पॉइंट्स), और एक्शन कॉन्टेक्स्ट।
- यह मॉडल को क्षणिक विजुअल मेमोरी पर निर्भर रहने के बजाय एक "स्थिर मानचित्र" (static map) के माध्यम से नेविगेट करने की अनुमति देता है।
एंटिटी रजिस्ट्री ( $E$ ):
- देखे गए सभी ऑब्जेक्ट्स की एक संरचित सूची बनाए रखता है जिसमें अद्वितीय ID (जैसे, chair_01) होती है।
- प्रत्येक एंटिटी के लिए, यह रिकॉर्ड करता है:
  - टेम्पोरल स्टैम्पिंग: पहली बार देखे जाने का समय।
  - विजुअल सिग्नेचर: समान वस्तुओं के बीच अंतर करने के लिए संक्षिप्त उपस्थिति विवरण।
  - मेट्रिक एस्टीमेशन: ग्रिड ओरिजिन के सापेक्ष मीटर में अनुमानित 2D निर्देशांक $[x, y]$ ।
  - स्थानिक संबंध: पास के एंकर्स के साथ प्राकृतिक भाषा में संबंधों का विवरण।
  - स्ट्रिक्ट सीरियलाइजेशन: सटीक गिनती और स्थानीयकरण सुनिश्चित करने के लिए वस्तुओं को व्यक्तिगत रूप से सूचीबद्ध किया जाता है।

इन्फरेंस मैकेनिज्म (Inference Mechanism)

इन्फरेंस प्रक्रिया एक सिंगल-पास जनरेशन है जहाँ MLLM पहले संरचित TRACE (स्पेशियल डिस्क्रिप्टर) उत्पन्न करता है और फिर इस टेक्स्ट-आधारित "स्पेशियल कैश" का उपयोग प्रश्न का उत्तर देने के लिए (रीजनिंग पार्सर) करता है। यह एक विशेष चेन-ऑफ़-थॉट (CoT) के रूप में कार्य करता है जो अंतिम उत्तर निकालने से पहले ज्योमेट्रिक बाधाओं (geometric constraints) के साथ कॉन्टेक्स्ट विंडो को स्पष्ट रूप से लोड करता है।

3. मुख्य योगदान (Key Contributions)

नवाचारी प्रॉम्प्टिंग रणनीति: TRACE पेश किया गया, जो पहला प्रॉम्प्टिंग-आधारित तरीका है जो ऑफ-द-शेल्फ MLLMs को मध्यवर्ती एलोसेंटिक टेक्स्ट निरूपणों को उत्पन्न करके संरचित 3D स्थानिक तर्क करने में सक्षम बनाता है।
संरचित निरूपण डिजाइन: एक कठोर स्कीमा (मेटा कॉन्टेक्ट, ट्रजेक्टरी, एंटिटी रजिस्ट्री) को परिभाषित किया गया जो 2D वीडियो इनपुट और 3D स्थानिक तर्क के बीच के अंतर को पाटता है, जिससे मॉडल को स्थानिक संबंधों को ज्यामितीय बाधाओं में हल करने के लिए मजबूर किया जाता है।
व्यापक मूल्यांकन: विविध मॉडल बैकबोन (Gemini 3 Pro, Qwen2.5-VL, MiMo-VL, o3, GLM-4.5V) और पैरामीटर स्केल के माध्यम से दो प्रमुख बेंचमार्क (VSI-Bench और OST-Bench) पर दृष्टिकोण को मान्य किया गया।
डायग्नोस्टिक इनसाइट्स: ऐसे डिकंपोजिशनल विश्लेषण प्रदान किए गए जिनसे पता चला कि वर्तमान MLLMs अक्सर केवल 'रीजनिंग पार्सर' की कमजोरी के कारण नहीं, बल्कि "स्पेशियल डिस्क्रिप्टर" (3D संरचना का विजुअल परसेप्शन) की कमजोरी के कारण विफल होते हैं, और यह कि छोटे मॉडल्स के लिए स्पष्ट ज्यामितीय ग्राउंडिंग महत्वपूर्ण है।

4. प्रयोगात्मक परिणाम (Experimental Results)

शोध पत्र व्यापक प्रयोगों की रिपोर्ट करता है जो प्रदर्शित करते हैं कि TRACE लगातार मौजूदा प्रॉम्प्टिंग रणनीतियों (Direct, CoT, Tree-of-Thought, Least-to-Most, और Cognitive Map) से बेहतर प्रदर्शन करता है।

प्रदर्शन लाभ:
- VSI-Bench: TRACE ने स्टेट-ऑफ-द-आर्ट परिणाम प्राप्त किए। उदाहरण के लिए, Gemini 3 Pro पर, इसने डायरेक्ट बेसलाइन की तुलना में औसत स्कोर में +7.54% और पिछले सर्वश्रेष्ठ (Cognitive Map) पर +0.43% का सुधार किया। Qwen2.5-VL-72B पर, इसने +3.10% का सुधार किया।
- OST-Bench: TRACE ने निरंतर लाभ दिखाया, विशेष रूप से ओपन-सोर्स MiMo-VL-7B मॉडल पर (+2.4% Direct पर), जो यह सिद्ध करता है कि छोटे, कॉम्पैक्ट मॉडल्स के लिए जहाँ स्पष्ट ज्यामितीय ग्राउंडिंग सामान्य भाषाई तर्क से अधिक महत्वपूर्ण है, वहाँ भी यह प्रभावी है।
अन्य विधियों के साथ तुलना:
- TRACE ने VSI-Bench (टेक्स्ट-ओनली सेटिंग) पर Cognitive Map दृष्टिकोण (Yang et al., 2025b) को 9.7% से पछाड़ दिया, जो यह दर्शाता है कि TRACE की सूक्ष्मता (निर्देशांकों के साथ व्यक्तिगत एंटिटीज) मोटे 10x10 ग्रिड की तुलना में श्रेष्ठ है।
- इसने Spatial Captioning विधियों को भी 3.53% से पीछे छोड़ दिया।
एब्लेशन स्टडीज (Ablation Studies):
- Entity Registry को हटाने से सबसे बड़ी गिरावट (-5.24%) हुई, जो ऑब्जेक्ट-लेवल ग्राउंडिंग के महत्व को रेखांकित करती है।
- Trajectory जानकारी को हटाने से -1.92% की गिरावट आई, जो दूरी और रूट प्लानिंग कार्यों को प्रभावित करती है।
सामान्यीकरण (Generalization): विधि ने विभिन्न इंडोर सीन डेटासेट्स (ARKitScenes, ScanNet, ScanNetPP) में मजबूत प्रदर्शन लाभ दिखाया, जो इंगित करता है कि यह विशिष्ट वातावरण प्रकारों के प्रति ओवरफिट नहीं है।
टोकन दक्षता (Token Efficiency): कॉम्पैक्ट मॉडल्स (MiMi) पर, TRACE, ToT और LtM की तुलना में अधिक टोकन-कुशल था जबकि बेहतर सटीकता प्रदान की।

5. महत्व और निष्कर्ष (Significance and Conclusion)

यह कार्य मल्टीमॉडल AI की एक महत्वपूर्ण बाधा को संबोधित करता है: 2D वीडियो से 3D स्पेस के बारे में तर्क करने में वर्तमान मॉडल्स की अक्षमता। डायरेक्ट पिक्सेल-टू-आंसर मैपिंग से टेक्स्ट-गाइडेड इंटरमीडिएट रीजनिंग की ओर शिफ्ट होकर, TRACE MLLMs में स्थानिक बुद्धिमत्ता को बढ़ाने के लिए एक सरल, स्केलेबल और अत्यधिक प्रभावी इंटरफेस प्रदान करता है।

मुख्य निष्कर्ष:

संज्ञानात्मक संरेखण (Cognitive Alignment): यह दृष्टिकोण मॉडल को उत्तर देने से पहले एक एलोसेंट्रिक (विश्व-केंद्रित) मानसिक मॉडल बनाने के लिए मजबूर करके मानव संज्ञानात्मक प्रक्रियाओं के साथ संरेखित होता है।
मॉडल एग्नोस्टिक (Model Agnostic): यह बिना किसी आर्किटेक्चरल परिवर्तन या भारी रिट्रेनिंग के, विभिन्न आकार के प्रोप्रायटरी और ओपन-सोर्स मॉडल्स पर प्रभावी ढंग से काम करता है।
भविष्य की दिशा: लेखक सुझाव देते हैं कि यह टेक्स्टुअल निरूपण भविष्य के स्पेशियली-अवेयर मॉडल्स को प्रशिक्षित करने के लिए एक डेटा इंजन के रूप में कार्य कर सकता है और रियल-टाइम एजेंट स्टेट ट्रैकिंग के लिए डायनेमिक, स्ट्रीमिंग TRACE फ्रेमवर्क पर भविष्य के कार्य का प्रस्ताव करते हैं।

संक्षेप में, TRACE प्रदर्शित करता है कि संरचित टेक्स्टुअल निरूपण मौजूदा मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स की अंतर्निहित 3D स्थानिक तर्क क्षमताओं को "अनलीश" करने के लिए एक शक्तिशाली मध्यवर्ती चरण है।