💻 computer science

Can These Views Be One Scene? Evaluating Multiview 3D Consistency when 3D Foundation Models Hallucinate

यह शोध पत्र \benchmark प्रस्तुत करता है, जो एक सुदृढ़ बेंचमार्क और COLMAP-आधारित मेट्रिक्स का एक परिवार है जो यह प्रदर्शित करता है कि कैसे वर्तमान 3D फाउंडेशन मॉडल असंबंधित या शोरयुक्त इनपुट से ज्यामिति (geometry) की कल्पना कर सकते हैं, जो मानव निर्णय के साथ बेहतर तालमेल बिठाकर मौजूदा न्यूरल विधियों की तुलना में काफी अधिक विश्वसनीय निरंतरता मूल्यांकन प्रदान करता है।

मूल लेखक: Soumava Paul, Prakhar Kaushik, Alan Yuille

प्रकाशित 2026-05-19

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Soumava Paul, Prakhar Kaushik, Alan Yuille

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ इस शोध पत्र "Can These Views Be One Scene?" का सरल भाषा और रोज़मर्रा के उदाहरणों के साथ हिंदी अनुवाद दिया गया है।

बड़ी समस्या: "मैजिक 3D" का भ्रम

कल्पना कीजिए कि आप एक जासूस हैं जो यह पता लगाने की कोशिश कर रहे हैं कि क्या कुछ तस्वीरें एक ही कमरे की ली गई हैं।

परिदृश्य A: आपके पास अलग-अलग कोणों से एक लिविंग रूम की 10 तस्वीरें हैं। आसान है! वे स्पष्ट रूप से एक ही कमरे को दिखाती हैं।
परिदृश्य B: आपके पास एक लिविंग रूम की 5 तस्वीरें और एक किचन की 5 तस्वीरें मिली-जुली हैं।
परिदृश्य C: आपके पास स्टैटिक नॉइज़ (जैसे टीवी पर दिखने वाला बर्फ जैसा शोर/झिलमिलाहट) की 10 तस्वीरें हैं।

अतीत में, कंप्यूटर इस काम में खराब थे। लेकिन हाल ही में, नए "AI 3D मॉडल" बनाए गए हैं जो 2D तस्वीरों को 3D आकारों में बदलने में अविश्वसनीय रूप से तेज़ हैं। समस्या यह है कि, ये AI मॉडल खुश करने के लिए बहुत ज़्यादा उत्सुक हैं।

भले ही आप उन्हें किचन और लिविंग रूम का मिश्रण या केवल रैंडम टीवी शोर दें, AI फिर भी एक 3D मॉडल बनाने की कोशिश करेगा। वह एक 3D आकार "हैलुसिनेट" (मनगढ़ंत बनाना) करेगा जो देखने में तर्कसंगत लगे, भले ही वह भौतिक रूप से असंभव हो।

यह शोध पत्र तर्क देता है कि इन AI मॉडलों को ग्रेड करने के लिए उपयोग किए जाने वाले वर्तमान उपकरण टूटे हुए हैं। वे AI द्वारा बनाए गए "हैलुसिनेटेड" 3D आकार को देखते हैं और कहते हैं, "वाह, यह तो बहुत सुसंगत (consistent) दिख रहा है! बहुत अच्छा काम किया!" जबकि इनपुट वास्तव में निरर्थक था।

उपमा: अति-आत्मविश्वासी आर्किटेक्ट (Over-Confident Architect)

सोचिए कि AI पुनर्निर्माण मॉडल (जैसे DUSt3R, MASt3R, VGGT) अति-आत्मविश्वासी आर्किटेक्ट हैं।

यदि आप उन्हें एक स्पष्ट ब्लूप्रिंट (एक ही कमरे की असली तस्वीरें) देते हैं, तो वे एक आदर्श घर बनाते हैं।
यदि आप उन्हें एक ऐसा ब्लूप्रिंट देते हैं जो आधा किचन और आधा लिविंग रूम है, तो वे यह नहीं कहते, "यह समझ में नहीं आ रहा है।" इसके बजाय, वे एक अजीब, असंभव घर बनाते हैं जो किसी तरह दोनों को जोड़ देता है।
यदि आप उन्हें एक कोरा कागज़ (रैंडम शोर) देते हैं, तो भी वे एक घर बनाते हैं, शायद एक तैरता हुआ गुंबद या एक सपाट सतह, क्योंकि उन्हें हमेशा कुछ न कुछ बनाने के लिए प्रशिक्षित किया गया है।

वर्तमान ग्रेडिंग सिस्टम (जैसे MEt3R) उन निरीक्षकों (inspectors) की तरह हैं जो केवल तैयार घर को देखते हैं। वे देखते हैं कि एक घर खड़ा है और आर्किटेक्ट को "A+" दे देते हैं। वे यह समझने में विफल रहते हैं कि आर्किटेक्ट को शुरुआत करने के लिए एक कोरा कागज़ दिया गया था।

लेखकों ने क्या किया: "SysCON3D" स्ट्रेस टेस्ट

लेखकों ने एक नया परीक्षण मैदान बनाया जिसे SysCON3D कहा जाता है। केवल अच्छी तस्वीरों पर AI का परीक्षण करने के बजाय, उन्होंने जानबूझकर इनपुट को बिगाड़ा ताकि यह देखा जा सके कि क्या ग्रेडिंग टूल्स झूठ पकड़ पाते हैं। उन्होंने तीन प्रकार के "नकली" इनपुट का परीक्षण किया:

द मिक्स (The Mix): दो अलग-अलग कमरों की मिली-जुली तस्वीरें।
द कॉपी (The Copy): बिल्कुल एक ही फोटो को 10 बार दोहराना।
द नॉइज़ (The Noise): शुद्ध रैंडम स्टैटिक (जैसे टीवी का शोर)।

परिणाम: पुराने ग्रेडिंग टूल्स बुरी तरह विफल रहे। उन्होंने शोर और मिश्रित कमरों को उच्च स्कोर दिया, यह सोचकर कि वे एकदम सही 3D दृश्य हैं। AI आर्किटेक्ट्स ने निरीक्षकों को सफलतापूर्वक मूर्ख बना दिया था।

समाधान: दो नए दृष्टिकोण

लेखक इस टूटे हुए ग्रेडिंग सिस्टम को ठीक करने के दो तरीके प्रस्तावित करते हैं।

1. "स्मार्टर इंस्पेक्टर" (न्यूरल मेट्रिक्स)

उन्होंने महसूस किया कि समस्या केवल आर्किटेक्ट की नहीं थी; समस्या यह थी कि इंस्पेक्टर गलतियों को कैसे गिनता था। पुराने इंस्पेक्टर केवल सभी त्रुटियों का औसत लेते थे। यदि AI एक फोटो पर बहुत बड़ी गलती करता था लेकिन बाकी अन्य पर एकदम सही था, तो औसत ठीक दिखता था।

लेखकों ने निरीक्षकों का एक नया परिवार बनाया जो त्रुटियों के वितरण (distribution) को देखता है। केवल औसत लेने के बजाय, वे पूछते हैं, "क्या यहाँ कोई अजीब आउटलेयर (outliers) हैं?"

विजेता: एक नया मेट्रिक जिसे MASt3R-W-IMQ कहा जाता है। यह चीज़ों के गलत होने को पकड़ने में बहुत बेहतर है (पुराने मानक से 3 गुना बेहतर), लेकिन इसमें अभी भी एक कमजोरी है: यदि AI एक ऐसा आकार बनाता है जो बहुत अधिक 'स्मूथ' दिखता है, तो यह स्मार्ट इंस्पेक्टर भी धोखा खा सकता है।

2. "द स्केप्टिक" (क्लासिकल ज्योमेट्री)

लेखकों ने "पुराने स्कूल" के तरीकों (जैसे COLOMP जैसे टूल्स का उपयोग करना) की ओर भी रुख किया। ये तरीके AI जादू का उपयोग करके 3D आकार का अनुमान लगाने की कोशिश नहीं करते हैं। इसके बजाय, वे ठोस सबूतों की तलाश करते हैं:

क्या तस्वीरों में मौजूद फीचर्स वास्तव में आपस में मेल खाते हैं?
क्या हम गणितीय रूप से सिद्ध कर सकते हैं कि ये कैमरे वास्तव में एक ही वस्तु को देख रहे थे?

यदि उत्तर "नहीं" है (जैसे टीवी शोर या मिश्रित कमरों के मामले में), तो "स्केप्टिक" (संदेहवादी) सीधे कहता है, "मैं एक मॉडल नहीं बना सकता।" वह कोई स्कोर देने से इनकार कर देता है।

यह क्यों अच्छा है: वास्तविक दुनिया में, यदि कोई कंप्यूटर कहता है, "मैं इसकी पुष्टि नहीं कर सकता," तो वह एक बहुत ही उपयोगी जानकारी है। यह आपको बताता है, "यह इनपुट कचरा है।"
परिणाम: ये "स्केप्टिक" मेट्रिक्स मानवीय निर्णय के साथ 4 गुना बेहतर तालमेल रखते हैं। जब मनुष्यों ने नकली इनपुट देखे, तो उन्होंने कहा, "यह निरर्थक है।" पुराने AI मेट्रिक्स ने कहा, "यह बहुत बढ़िया है।" स्केप्टिक मेट्रिक्स ने कहा, "यह निरर्थक है।"

मानव परीक्षण: क्या हम सहमत हैं?

लेखकों ने वास्तविक मनुष्यों से विभिन्न AI विधियों द्वारा बनाए गए वीडियो देखने और यह वोट करने के लिए कहा कि कौन से वीडियो एक वास्तविक, सुसंगत 3D दृश्य की तरह दिखते हैं।

पुराने AI मेट्रिक्स: अक्सर मनुष्यों से असहमत थे। वे उन तरीकों को पसंद करते थे जो दिखने में सुंदर थे लेकिन ज्यामितीय रूप से टूटे हुए थे।
नए "स्केप्टिक" मेट्रिक्स: मनुष्यों के साथ लगभग पूरी तरह से सहमत थे। जब मनुष्यों ने एक ग्लिच वाला, असंभव वीडियो देखा, तो स्केप्टिक मेट्रिक्स ने उसे कम स्कोर दिया।

मुख्य निष्कर्ष

लेख यह निष्कर्ष निकालते हैं कि हम AI मॉडल को अपने काम या अन्य AI मॉडल के काम का मूल्यांकन करने के लिए आँख बंद करके भरोसा नहीं कर सकते।

AI आर्किटेक्ट्स निर्माण करने में महान हैं, लेकिन यदि आप उनसे पूछेंगे, तो वे बादलों पर भी महल बना देंगे।
AI इंस्पेक्टर जो आर्किटेक्ट के आउटपुट पर निर्भर करते हैं, वे बादलों पर बने उस महल की प्रशंसा करेंगे।
हमें स्केप्टिक्स (संदेहवादियों) की आवश्यकता है: हमें ऐसे उपकरणों की आवश्यकता है जो यह जाँच सकें कि क्या नींव (तस्वीरें) वास्तव में इमारत को सहारा देती हैं। यदि तस्वीरें निरर्थक हैं, तो टूल को एक 3D दृश्य खोजने का नाटक करने के बजाय यह स्वीकार करना चाहिए कि वह मॉडल नहीं बना सकता।

संक्षेप में: यदि आप कंप्यूटर को निरर्थक चीज़ खिलाते हैं, तो वह उसमें अर्थ निकालने की कोशिश करेगा। 3D निरंतरता (consistency) का मूल्यांकन करने के लिए, हमें ऐसे उपकरणों की आवश्यकता है जो पैटर्न बनाने के बजाय यह कहने का साहस रखें कि, "यह निरर्थक है।"

तकनीकी सारांश: क्या ये दृश्य एक ही दृश्य हैं? जब 3D फाउंडेशन मॉडल मतिभ्रम (Hallucinate) करते हैं तब मल्टीव्यू 3D निरंतरता का मूल्यांकन

समस्या विवरण

मल्टीव्यू 3D मूल्यांकन आमतौर पर यह मानकर चलता है कि इनपुट छवियां एक ही, स्थिर 3D दृश्य के अवलोकन हैं। हालांकि, नवल व्यू सिंथेसिस (NVS) और स्पार्स-व्यू पुनर्निर्माण (sparse-view reconstruction) में, इस धारणा का अक्सर उल्लंघन किया जाता है। इनपुट्स या जनरेटेड आउटपुट्स में आर्टिफैक्ट्स, आउटलायर फ्रेम्स, दोहराए गए दृश्य, या शोर (noise) हो सकते हैं, फिर भी उन्हें वर्तमान मूल्यांकन मेट्रिक्स से उच्च 3D निरंतरता स्कोर प्राप्त होता है।

मौजूदा ग्राउंड-ट्रुथ-फ्री मेट्रिक्स, जैसे कि MEt3R, 3D पुनर्निर्माण बैकबोन (जैसे, DUSt3R, MASt3R, VGGT, Fast3R) पर निर्भर करते हैं जो ज्यामिति (geometry) को समझने के लिए उपयोग किए जाते हैं। इस कार्य में पहचाना गया मुख्य मुद्दा यह है कि ये बैकबोन ज्यामिति उत्पन्न करने के लिए प्रशिक्षित हैं, न कि अमान्य इनपुट्स को खारिज करने के लिए। फलस्वरूप, वे उन इनपुट्स के लिए भी सघन 3D संरचना और क्रॉस-व्यू सपोर्ट "हैलुसिनेट" (मतिभ्रम) कर सकते हैं जो एक सुसंगत दृश्य को परिभाषित नहीं करते (जैसे, असंबंधित दृश्यों का मिश्रण, दोहराई गई छवियां, या गाऊसी शोर)। इन बैकबोन पर आधारित मेट्रिक्स इस विफलता को विरासत में प्राप्त करते हैं, और अमान्य इनपुट्स के लिए स्पुरियसली (spuriously) उच्च निरंतरता रिपोर्ट करते हैं क्योंकि वे ज्यामितीय साक्ष्य की उपस्थिति को सत्यापित करने के बजाय हैलुसिनेटेड कोरेस्पोंडेंस (correspondences) पर फीचर रेसिडुअल्स का मूल्यांकन करते हैं।

कार्यप्रणाली (Methodology)

1. SysCON3D बेंचमार्क

मेट्रिक मजबूती का व्यवस्थित मूल्यांकन करने के लिए, लेखक SysCON3D पेश करते हैं, जो Mip-NeRF360 डेटासेट से मल्टीव्यू इमेज सेट्स में विशिष्ट विसंगतियों को इंजेक्ट करता है। बेंचमार्क में शामिल हैं:

L0 (सुसंगत): एक ही दृश्य से स्वच्छ दृश्य।
L1–L3 (क्रॉस-सीन मिश्रण): विदेशी दृश्यों का बढ़ता घनत्व (एकल आउटलायर, नियंत्रित मिश्रण, रैंडम मिश्रण)।
SysCON3D-N (शोर): पैच्ड गाऊसी शोर (Gaussian noise) और फुल गाऊसी शोर।
यह बेंचमार्क परीक्षण करता है कि क्या मेट्रिक्स स्वच्छ सेट्स की तुलना में इन असंगत समूहों को सही ढंग से कम निरंतरता स्कोर दे सकते हैं।

2. पैरामीट्रिक न्यूरल मेट्रिक फैमिली

लेखक एक एकीकृत ढांचे का प्रस्ताव करते हैं जो न्यूरल मेट्रिक्स को तीन घटकों में विभाजित करता है:
$m(\mathcal{I}) = \mathcal{A}(\rho(B(\mathcal{I}), \phi(\mathcal{I})))$

बैकबोन ( $B$ ): एक पुनर्निर्माण मॉडल (MASt3R, Fast3R, VGGT) जो 3D ज्यामिति उत्पन्न करता है।
रेसिड्यू ( $\rho$ ): एक फंक्शन जो फीचर डिसएग्रीमेंट (DINOv2/FeatUp का उपयोग करके) की गणना करता है, जिसे या तो वार्प-आधारित (व्यू-पेयर वार्पिंग) या पॉइंट-कंसिस्टेंसी (PC) (3D पॉइंट प्रोजेक्शन) विधियों के माध्यम से किया जाता है।
एग्रीगेशन ( $\mathcal{A}$ ): एक फंक्शन जो रेसिड्यू को सारांशित करता है। लेखक मानक मीन एग्रीगेशन (जो MEt3R में उपयोग किया जाता है) की तुलना डिस्ट्रिब्यूशनल एग्रीगेशन (MMD, इनवर्स मल्टीक्वैड्रैटिक (IMQ), एनर्जी डिस्टेंस) से करते हैं, जो रेसिड्यू के वितरण के आकार को बनाए रखते हैं और आउटलायर्स के प्रति अधिक संवेदनशील होते हैं।

3. COLMAP-आधारित मेट्रिक्स

लेर्नड बैकबोन की सीमाओं को दूर करने के लिए, लेखक COLMAP का उपयोग करके क्लासिकल ज्योमेट्रिक वेरिफिकेशन पर आधारित मेट्रिक्स पेश करते हैं। ये मेट्रिक्स पुनर्निर्माण विफलता को विसंगति के संकेत के रूप में देखते हैं:

जियोमेट्रिक-फोटोमेट्रिक कंसिस्टेंसी (GPC): ज्यामितीय और फोटोमेट्रिक डेप्थ मैप्स के बीच समझौते को मापता है, जिसे पिक्सेल वैधता द्वारा भारित (weighted) किया जाता है।
इंटीग्रेटेड कंसिस्टेंसी मास (ICM): कुल विश्वसनीय सघन 3D सपोर्ट को मात्रात्मक रूप से मापता है।
कवरेज-वेटेड GPC (W-GPC): GPC को रजिस्टर्ड कैमरों के कोणीय कवरेज के साथ जोड़ता है।
महत्वपूर्ण रूप से, यदि COLMAP कैमरों को रजिस्टर करने या सघन मानचित्र बनाने में विफल रहता है (ज्यामितीय साक्ष्य की कमी के कारण), तो मेट्रिक स्कोर शून्य हो जाता है, जो स्पष्ट रूप से अमान्य इनपुट्स को दंडित करता है।

4. ह्यूमन एलाइनमेंट स्टडी

लेखकों ने 8 NVS विधियों का मूल्यांकन करने के लिए 11 प्रतिभागियों (विशेषज्ञों सहित) के साथ एक संरचित मानव अध्ययन आयोजित किया। प्रतिभागियों ने 3D निरंतरता, दृश्य यथार्थवाद (visual realism), और प्लाउज़िबिलिटी (plausibility) के आधार पर गुमनाम NVS वीडियो की तुलना की। 3D निरंतरता के लिए ग्राउंड-ट्रुथ मानव प्राथमिकता स्थापित करने के लिए रैंकिंग को एक वेटेड एलो प्रोटोकॉल (weighted Elo protocol) का उपयोग करके एकत्रित किया गया।

मुख्य परिणाम

SysCON3D पर मजबूती

बैकबोन हैलुसिनेशन: सभी परीक्षण किए गए बैकबोन (VGGT, MASt3R, DUSt3R, Fast3R) गाऊसी शोर और क्रॉस-सीन मिश्रण के लिए सघन पॉइंट क्लाउड और नॉन-जीरो ओवरलैप उत्पन्न करते हैं, जो पुष्टि करता है कि वे ज्यामितीय साक्ष्य से बचने के बजाय ज्यामितीय सपोर्ट को हैलुसिनेट करते हैं।
एग्रीगेशन का प्रभाव: मीन एग्रीगेशन से डिस्ट्रिब्यूशनल एग्रीगेशन (विशेष रूप से IMQ) में स्विच करने से मजबूती में काफी सुधार हुआ। सर्वश्रेष्ठ न्यूरल वेरिएंट, MASt3R-W-IMQ ने SysCON3D पर 71% समग्र जीत दर हासिल की, जबकि बेसलाइन MEt3R (MASt3R-W-Base) के लिए यह केवल 23% थी।
सीमाएं: बेहतर एग्रीगेशन के साथ भी, न्यूरल मेट्रिक्स सिंगल आउटलायर (L1) और गाऊसी शोर के साथ संघर्ष करते हैं, क्योंकि एग्रीगेशन स्टेप से पहले ही हैलुसिनेटेड ज्यामिति उत्पन्न हो जाती है।

ह्यूमन एलाइनमेंट

न्यूरल मेट्रिक्स: MASt3R-W-IMQ ने मानव निर्णयों के साथ मध्यम संरेखण (Spearman $\rho \approx 0.48$ at $K=6,9$ ) दिखाया, जो MEt3R से बेहतर प्रदर्शन करता है लेकिन फिर भी विधियों को पूरी तरह से रैंक करने में विफल रहता है।
COLMAP मेट्रिक्स: W-GPC मेट्रिक ने मानव निर्णयों के साथ सबसे मजबूत संरेखण प्राप्त किया, जिसने DL3DV पर 0.98 और Mip-NeRF360 पर 0.98 का स्पीयरमैन सहसंबंध प्राप्त किया। यह MEt3R की तुलना में 4 $\times$ सुधार तक है।
विफलता मोड (Failure Modes): COLMAP मेट्रिक्स ने उन असंगत इनपुट्स को सही ढंग से लगभग शून्य स्कोर दिया जहाँ न्यूरल मेट्रिक्स विफल रहे, जो दर्शाता है कि स्पष्ट ज्यामितीय सत्यापन एक अधिक विश्वसनीय संकेत है।

महत्व और दावे

यह पेपर दावा करता है कि अनक्यूरेटेड सेटिंग्स में लर्नड रिकंस्ट्रक्शन मॉडल्स को इवैल्यूएटर्स के रूप में उपयोग करने पर ग्राउंड-ट्रुथ-फ्री 3D मूल्यांकन की विश्वसनीयता मौलिक रूप से समझौतापूर्ण हो जाती है। केंद्रीय निष्कर्ष यह है कि आधुनिक 3D फाउंडेशन मॉडल उन इनपुट्स के लिए ज्यामितीय सपोर्ट को हैलुसिनेट करते हैं जिनमें वैध मल्टीव्यू साक्ष्य की कमी होती है, जिससे डाउनस्ट्रीम मेट्रिक्स अमान्य डेटा को मान्य कर देते हैं।

लेखक तर्क देते हैं कि:

डिस्ट्रिब्यूशनल एग्रीगेशन न्यूरल मेट्रिक्स में सुधार करता है लेकिन बैकबोन द्वारा उत्पादित अनसपोर्टेड ज्यामिति को पूरी तरह से ठीक नहीं कर सकता है।
क्लासिकल ज्योमेट्रिक वेरिफिकेशन (COLMAP के माध्यम से) एक पूरक, फेलियर-अवेयर सिग्नल प्रदान करता है। पंजीकरण या पुनर्निर्माण करने में असमर्थता को नेगेटिव स्कोर मानकर, ये मेट्रिक्स मानव निर्णयों के साथ काफी बेहतर संरेखण दिखाते हैं।
व्यावहारिक सिफारिश: NVS आउटपुट्स के मजबूत मूल्यांकन के लिए, लेखक W-GPC को ICM और रजिस्ट्रेशन रेट्स के साथ रिपोर्ट करने की सिफारिश करते हैं। MASt3R-W-IMQ जैसे न्यूरल मेट्रिक्स माध्यमिक डायग्नोस्टिक्स के रूप में काम कर सकते हैं लेकिन उन्हें स्पष्ट ज्यामितीय सत्यापन को ओवरराइड नहीं करना चाहिए, विशेष रूप से सुरक्षा-महत्वपूर्ण अनुप्रयोगों में जहां हैलुसिनेटेड ज्यामिति को साक्ष्य के रूप में गलत समझा जा सकता है।

यह कार्य यह दावा नहीं करता है कि इसने पुनर्निर्माण समस्या को स्वयं हल कर दिया है, बल्कि यह एक डायग्नोस्टिक फ्रेमवर्क और मजबूत मेट्रिक्स प्रदान करता है ताकि जनरेटेड कंटेंट में हैलुसिनेटेड 3D निरंतरता की गलत व्याख्या को रोका जा सके।