Do 3D Large Language Models Really Understand 3D Spatial Relationships?

यहाँ ICLR 2026 में प्रकाशित शोध पत्र "Do 3D Large Language Models Really Understand 3D Spatial Relationships?" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र 3D लार्ज लैंग्वेज मॉडल्स (3D-LLMs) के मूल्यांकन में एक महत्वपूर्ण कमी को संबोधित करता है। जबकि हाल के मॉडल्स मजबूत स्थानिक तर्क (spatial reasoning) क्षमताओं का दावा करते हैं, लेखक तर्क देते हैं कि वर्तमान बेंचमार्क (विशेष रूप से SQA3D) दोषपूर्ण हैं।

• प्रगति का भ्रम (The Illusion of Progress): लेखक प्रदर्शित करते हैं कि "ब्लाइंड" लैंग्वेज मॉडल्स (जिन्हें बिना किसी 3D इनपुट के केवल टेक्स्ट प्रश्न-उत्तर युग्मों पर फाइन-ट्यून किया गया है) मौजूदा बेंचमार्क्स पर अत्याधुनिक 3D-LLMs के बराबर या उनसे भी बेहतर प्रदर्शन कर सकते हैं।
• भाषाई शॉर्टकट (Linguistic Shortcuts): यह घटना बताती है कि वर्तमान डेटासेट्स में महत्वपूर्ण पूर्वाग्रह (जैसे, उत्तर के प्राथमिकता वाले पैटर्न, कैनोनिकल ऑब्जेक्ट कॉन्फ़िगरेशन, या प्रमुख वस्तुओं के प्रति प्राथमिकता) मौजूद हैं जो मॉडल्स को तर्क प्रक्रिया को "शॉर्टकट" करने की अनुमति देते हैं। मॉडल्स वास्तविक 3D स्थानिक समझ के बजाय भाषाई पैटर्न के आधार पर प्रश्नों को हल करते हैं।
• मजबूती का अभाव (Lack of Robustness): मौजूदा बेंचमार्क व्यूपॉइंट इनवैरिएंस (viewpoint invariance) का परीक्षण करने में विफल रहते हैं। एक मॉडल एक दृष्टिकोण से सही उत्तर दे सकता है लेकिन पर्यवेक्षक के ओरिएंटेशन (orientation) में परिवर्तन होने पर विफल हो सकता है, जो वास्तविक 3D दृश्य समझ की कमी को दर्शाता है।

2. कार्यप्रणाली (Methodology)

इन समस्याओं को संबोधित करने के लिए, लेखक एक तीन-चरणीय कार्यप्रणाली प्रस्तावित करते हैं: एक नया बेंचमार्क, एक नया मूल्यांकन मीट्रिक, और एक नवीन प्रशिक्षण रणनीति।

A. Real-3DQA बेंचमार्क निर्माण

लेखक Real-3DQA पेश करते हैं, जो एक कठोर बेंचमार्क है जिसे SQA3D से प्राप्त किया गया है ताकि "आसानी से अनुमान लगाने योग्य" प्रश्नों को फ़िल्टर किया जा सके। इसके निर्माण में दो मुख्य फ़िल्टरिंग चरण शामिल हैं:

1. 3D-स्वतंत्रता फ़िल्टरिंग (3D-Independence Filtering): लेखक एक पूर्ण 3D-LLM ($M_{3D}$) बनाम अपने "ब्लाइंड" समकक्ष ($M_{blind}$), जिसे केवल टेक्स्ट डेटा पर फाइन-ट्यून किया गया है, के प्रदर्शन की तुलना करते हैं।
   • यदि दोनों मॉडल एक प्रश्न का सही उत्तर देते हैं, तो प्रश्न को 3D-स्वतंत्र (टेक्स्ट प्रायर द्वारा हल करने योग्य) माना जाता है और हटा दिया जाता है।
   • मजबूती सुनिश्चित करने के लिए इस प्रक्रिया को कई मॉडल्स पर दोहराया जाता है।
2. LLM-केवल फ़िल्टरिंग (LLM-Only Filtering): शेष प्रश्नों को बिना 3D इनपुट के एक सामान्य लार्ज लैंग्वेज मॉडल (GPT-4o-mini) का उपयोग करके और अधिक फ़िल्टर किया जाता है। यदि LLM केवल पाठ्य स्थिति विवरण (textual situation description) के आधार पर सही उत्तर दे सकता है, तो उस प्रश्न को हटा दिया जाता है।
   • परिणाम: अंतिम डेटासेट ($Q_{final}$) में केवल वे प्रश्न शामिल हैं जिन्हें उत्तर देने के लिए वास्तविक 3D विजुअल साक्ष्य की आवश्यकता होती है।

B. व्यूपॉइंट रोटेशन स्कोर (Viewpoint Rotation Score - VRS)

स्थानिक तर्क की निरंतरता का मूल्यांकन करने के लिए, लेखक व्यूपॉइंट रोटेशन स्कोर नामक एक नया मीट्रिक पेश करते हैं।

• तंत्र (Mechanism): प्रत्येक मूल प्रश्न के लिए, सिस्टम एजेंट के व्यूपॉइंट को 90°, 180°, और 270° घुमाकर तीन संवर्धित संस्करण (augmented variants) उत्पन्न करता है। स्थिति का विवरण और अपेक्षित उत्तर को अंतर्निहित 3D ज्यामिति को सुरक्षित रखते हुए नई दिशा को दर्शाने के लिए गतिशील रूप से अपडेट किया जाता है।
• मीट्रिक गणना: एक बैच में 4 संबंधित प्रश्न (मूल + 3 रोटेशन) होते हैं। VRS उन बैचों का प्रतिशत गणना करता है जहाँ मॉडल कम से कम $k$ प्रश्नों का सही उत्तर देता है ($k \in \{1, 2, 3, 4\}$)। अंतिम स्कोर इन प्रतिशत का औसत है।
• लक्ष्य: यह उन मॉडल्स को दंडित करता है जो स्थिर पाठ्य पैटर्न पर निर्भर करते हैं और उन मॉडल्स को पुरस्कृत करता है जो विभिन्न संदर्भ फ्रेमों (reference frames) में स्थानिक निरंतरता बनाए रखते हैं।

C. 3D-अवेयर रीवेटेड फाइन-ट्यूनिंग (3D-Aware Reweighted Fine-Tuning - 3DR-FT)

लेखक एक ऐसी प्रशिक्षण रणनीति प्रस्तावित करते हैं जो मॉडल्स को भाषाई शॉर्टकट के बजाय 3D विजुअल संकेतों पर निर्भर रहने के लिए मजबूर करती है।

• अवधारणा: यह विधि ब्लाइंड मॉडल और वर्तमान 3D मॉडल के बीच प्रदर्शन अंतर को मापकर प्रत्येक प्रशिक्षण नमूने की "3D निर्भरता" को मात्रात्मक रूप से निर्धारित करती है।
• रीवेटिंग फंक्शन (Reweighting Function): ब्लाइंड मॉडल ($p_\phi$) और वर्तमान मॉडल ($p_\theta$) के बीच "सरप्राइज" (नेगेटिव लॉग-लाइक्लीहुड) के अनुपात के आधार पर प्रत्येक टोकन को एक भार $w_j$ दिया जाता है:
  $$w_j(y, x_{text}) = \frac{\log p_\phi(y_j | y_{<j}, x_{text})}{\log p_\theta(y_j | y_{<j}, x_{text}, x_{3D})}$$
• लॉस फंक्शन: प्रशिक्षण लॉस को $w_j$ द्वारा पुन: भारित (reweighted) किया जाता है। वे नमूने जहाँ ब्लाइंड मॉडल अत्यधिक आश्चर्यचकित होता है (जो इंगित करता है कि उत्तर केवल टेक्स्ट से अनुमान लगाना कठिन है), उन्हें अधिक भार दिया जाता है, जिससे मॉडल को 3D संदर्भ ($x_{3D}$) से सीखने के लिए मजबूर किया जाता है।

3. मुख्य योगदान (Key Contributions)

1. Real-3DQA बेंचमार्क: एक नया, डिबायस्ड (debiased) मूल्यांकन ढांचा जो भाषाई शॉर्टकट को फ़िल्टर करता है और जिसमें व्यूपॉइंट रोटेशन निरंतरता परीक्षण शामिल है।
2. 3D-LLM की नाजुकता का निदान: यह खुलासा कि अत्याधुनिक 3D-LLMs आश्चर्यजनक रूप से भंगुर (brittle) हैं। Real-3DQA पर, उनका प्रदर्शन SQA3D की तुलना में 60% से अधिक गिर जाता है, और वे व्यूपॉइंट निरंतरता परीक्षणों पर लगभग पूरी तरह विफल हो जाते हैं (VRS स्कोर अक्सर 20% से नीचे होता है)।
3. 3DR-FT रणनीति: एक प्रशिक्षण उद्देश्य जो सफलतापूर्वक मॉडल्स का ध्यान 3D टोकन की ओर केंद्रित करता है, जिससे नए बेंचमार्क पर स्थानिक तर्क क्षमता में काफी सुधार होता है।
4. व्यूपॉइंट रोटेशन स्कोर (VRS): एक नवीन मीट्रिक जो वर्तमान आर्किटेक्चर में रोटेशन-इनवैरिएंट रीजनिंग की कमी को उजागर करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

• बेंचमार्क प्रभावशीलता:
  • SQA3D पर, LEO और Chat-Scene जैसे मॉडल्स ~50-54% एग्जैक्ट मैच (EM) प्राप्त करते हैं।
  • Real-3DQA पर, यही मॉडल्स नाटकीय रूप से गिर जाते हैं (उदाहरण के लिए, LEO ~14.3% EM तक गिर जाता है), जो शॉर्टकट को फ़िल्टर करने की नए बेंचमार्क की क्षमता की पुष्टि करता है।
  • ब्लाइंड मॉडल्स (केवल टेक्स्ट) SQA3D पर प्रतिस्पर्धी प्रदर्शन करते हैं लेकिन Real-3DQA पर विफल हो जाते हैं।
• रोटेशन मजबूती (Rotation Robustness):
  • मॉडल्स व्यूपॉइंट परिवर्तनों के साथ अत्यधिक संघर्ष करते हैं। सबसे अच्छा मॉडल (GPT4Scene) भी एकल प्रश्नों पर 55.5% सटीकता से गिरकर 0.5% पर आ जाता है जब उसे सभी चार रोटेशन में सही उत्तर देने की आवश्यकता होती है।
  • सभी मॉडल्स के लिए VRS स्कोर कम है (6.6% से 18.2% के बीच), जो स्थानिक निरंतरता बनाए रखने में एक व्यवस्थित विफलता को दर्शाता है।
• प्रशिक्षण रणनीति का प्रभाव:
  • 3DR-FT लागू करने से Real-3DQA पर प्रदर्शन में उल्लेखनीय वृद्धि होती है। उदाहरण के लिए, LEO Standard SFT के 19.1% से बढ़कर Real-3DQA पर 29.3% हो जाता है।
  • अटेंशन विश्लेषण: 3DR-FT के बाद, मॉडल्स 3D टोकन पर काफी उच्च अटेंशन स्कोर दिखाते हैं, जो पुष्टि करता है कि वे विजुअल डेटा का उपयोग कर रहे हैं।
  • SQA3D विरोधाभास (Paradox): दिलचस्प बात यह है कि 3DR-FT के कारण मूल SQA3D बेंचमार्क पर प्रदर्शन में थोड़ी कमी आती है। लेखक बताते हैं कि यह इसलिए है क्योंकि यह रणनीति उन "भाषाई शॉर्टकट" को दबा देती है जिन्होंने पिछले स्कोर को बढ़ा-चढ़ाकर दिखाया था, जो यह सिद्ध करता है कि पिछला उच्च स्कोर वास्तविक 3D समझ के कारण नहीं था।

5. महत्व (Significance)

यह शोध पत्र 3D-LLM अनुसंधान के वर्तमान पथ को मौलिक रूप से चुनौती देता है।

• पैराडाइम शिफ्ट: यह तर्क देता है कि मौजूदा बेंचमार्क्स पर उच्च सटीकता का अर्थ स्थानिक समझ नहीं है। समुदाय को सरल सटीकता मेट्रिक्स से आगे बढ़कर निरंतरता (consistency) और मजबूती (robustness) (जैसे, व्यूपॉइंट रोटेशन के माध्यम से) का मूल्यांकन करना चाहिए।
• प्रशिक्षण मार्गदर्शन: यह प्रदर्शित करता है कि मानक सुपरवाइज्ड फाइन-ट्यूनिंग पर्याप्त नहीं है; मॉडल्स को भाषाई प्रायर के ऊपर 3D विजुअल साक्ष्य को प्राथमिकता देने के लिए विशिष्ट उद्देश्यों (जैसे, 3DR-FT) की आवश्यकता होती है।
• भविष्य की दिशाएं: यह कार्य ऐसे एर्गोसेंट्रिक (egocentric), स्थित (situated) डेटासेट्स और प्रशिक्षण योजनाओं की आवश्यकता पर प्रकाश डालता है जो स्वाभाविक रूप से व्यूपॉइंट परिवर्तनों के प्रति मजबूत हों, और स्टेटिक, एलोसेंट्रिक (allocentric) दृश्य निरूपणों से दूर जाएं।

निष्कर्षतः, लेखक इस क्षेत्र के लिए एक "रियलिटी चेक" प्रदान करते हैं, जो वास्तविक 3D स्थानिक तर्क को बढ़ावा देने के लिए एक स्वच्छ बेंचमार्क और एक बेहतर प्रशिक्षण रणनीति पेश करते हैं।