Track-Leakage-Free Hold-Out Self-Validation for Photogrammetric Reconstruction: Protocol, Sensitivity, and Limits

कल्पना कीजिए कि आप एक जासूस हैं जो केवल तस्वीरों के ढेर का उपयोग करके एक रहस्य सुलझाने की कोशिश कर रहे हैं। आपके पास कोई नक्शा, कोई पैमाना (रूलर), या कोई बाहरी सुराग नहीं है जिससे यह पता चल सके कि वास्तविक दुनिया में चीजें वास्तव में कहाँ स्थित हैं। आपके पास केवल तस्वीरें हैं। कंप्यूटर विज़न की दुनिया में, इसे स्ट्रक्चर-फ्रॉम-मोशन (SfM) कहा जाता है। यह एक जादुई प्रक्रिया है जहाँ एक कंप्यूटर अलग-अलग कोणों से ली गई सैकड़ों तस्वीरों को देखता है और दृश्य का 3D आकार निर्धारित करता है, जैसे कि शून्य से एक डिजिटल मिट्टी का मॉडल बनाना। इसका उपयोग पुलों की दरारों को मापने, खदानों का मानचित्रण करने, या वीडियो गेम के लिए 3D मॉडल बनाने के लिए किया जाता है।

लेकिन पेचीदा हिस्सा यह है: एक बार जब कंप्यूटर एक 3D दुनिया बना लेता है, तो उसे कैसे पता चलता है कि वह सही है? आमतौर पर, किसी माप की सटीकता की जांच करने के लिए, आपको एक "ग्राउंड ट्रुथ" (वास्तविक सत्य) की आवश्यकता होती है—जैसे कि एक वास्तविक पैमाना या जीपीएस सर्वेक्षक जो कह सके, "हाँ, वह दरार ठीक 3 मिलीमीटर चौड़ी है।" लेकिन हर काम स्थल पर सर्वेक्षक को भेजना महंगा और धीमा होता है। इसलिए, बड़ा सवाल वैज्ञानिकों ने पूछा है: क्या कंप्यूटर अपना होमवर्क खुद चेक कर सकता है? क्या वह अपने स्वयं के 3D मॉडल को देख सकता है और कह सकता है, "मुझे 99% यकीन है कि यह सटीक है," बिना कभी किसी वास्तविक दुनिया के पैमाने को देखे? यह शोध पत्र ठीक इसी सवाल की गहराई में जाता है, और एक चतुर नए तरीके का परीक्षण करता है जिससे कंप्यूटर अपने काम का ग्रेड खुद देने की कोशिश कर रहा है।

---

वह सेल्फ-चेक जिसे धोखा दिया गया

इस शोध पत्र के शोधकर्ताओं ने "ट्रैक-लीकेज-फ्री होल्ड-आउट सेल्फ-वैलिडेशन" नामक पद्धति का परीक्षण करने का निर्णय लिया। यह बोलने में थोड़ा कठिन है, तो आइए इसे एक सरल उपमा (analogy) से समझते हैं।

कल्पना कीजिए कि आप एक परीक्षा दे रहे हैं, लेकिन केवल उत्तर देने के बजाय, आपको अपनी परीक्षा को खुद ग्रेड भी करना है। इसे निष्पक्ष बनाने के लिए, आप अपने उत्तर कुंजी (answer key) से कुछ प्रश्नों को छिपाने का निर्णय लेते हैं। फिर आप उन छिपे हुए प्रश्नों को हल करने की कोशिश करते हैं, लेकिन केवल उन उत्तरों का उपयोग करके जो आपने अन्य प्रश्नों के लिए लिखे थे। यदि आपके छिपे हुए उत्तर उन शेष प्रश्नों के उत्तरों से मेल खाते हैं जो आपने लिखे थे, तो आप आश्वस्त महसूस करते हैं कि आपने अच्छा काम किया है।

कंप्यूटर की दुनिया में, इसका अर्थ है:

1. सेटअप: कंप्यूटर 100 तस्वीरों का उपयोग करके एक 3D मॉडल बनाता है।
2. "होल्ड-आउट": यह गुप्त रूप से उन 10 तस्वीरों को छिपा देता है।
3. "बैरियर" (बाधा): यह चतुर हिस्सा है। जब कंप्यूटर यह पता लगाने की कोशिश करता है कि वे 10 छिपी हुई तस्वीरें कहाँ फिट बैठती हैं, तो उसे उन विशिष्ट 3D बिंदुओं का उपयोग करने से मना किया जाता है जिन्हें उन विशिष्ट तस्वीरों ने बनाने में मदद की थी। वह केवल उन बिंदुओं का उपयोग कर सकता है जो अन्य 90 तस्वीरों द्वारा बनाए गए हैं। यह कंप्यूटर को उसके अपने ही काम को देखकर धोखाधड़ी करने से रोकता है।
   • हालांकि, एक सूक्ष्म पकड़ है: भले ही छिपी हुई तस्वीरों को चेक करने के लिए उपयोग किए जाने वाले विशिष्ट 3D बिंदुओं से बाहर रखा गया है, लेकिन वे मूल गणना का हिस्सा थीं जिसने पूरे मॉडल के "गेज" (इसके स्केल और ओरिएंटेशन) को बनाया था। यह टेस्ट "ट्रैक-लीकेज-फ्री" है (यह बिंदुओं के साथ धोखाधड़ी नहीं करता है), लेकिन यह मॉडल के समग्र आकार से पूरी तरह स्वतंत्र नहीं है।
4. चेक: कंप्यूटर छिपी हुई तस्वीरों को फिर से "री-लोकलाइज़" करने की कोशिश करता है। यदि वह उन्हें मॉडल में पूरी तरह से वापस रख पाता है, तो वह खुद को एक उच्च आत्मविश्वास स्कोर देता है (जैसे कि 1.00 में से 1.00)।

शोधकर्ता उम्मीद कर रहे थे कि यह स्कोर उन्हें बताएगा कि मॉडल कितना सटीक था। वे जानना चाहते थे: यदि कंप्यूटर खुद को एक परफेक्ट स्कोर देता है, तो क्या मॉडल वास्तव में सही है?

बड़ा आश्चर्य: "परफेक्ट" झूठ

तीन महाद्वीपों में ड्रोन, नदियों और खानों के वास्तविक डेटा पर परीक्षण करने के बाद, उत्तर एक जोरदार नहीं है।

शोध पत्र में पाया गया कि यह सेल्फ-चेक विशिष्ट प्रकार की बड़ी गलतियों के प्रति अंधा (blind) है। यहाँ ट्विस्ट है: कंप्यूटर एक ऐसा मॉडल बना सकता है जो आंतरिक रूप से पूर्ण (internally perfect) हो लेकिन वैश्विक रूप से गलत (globally wrong) हो।

एक रबर शीट के बारे में सोचें। कल्पना कीजिए कि आप एक रबर शीट पर शहर का एक आदर्श नक्शा बनाते हैं। यदि आप पूरी शीट को समान रूप से खींचते हैं, तो हर सड़क अभी भी अन्य सड़कों के संबंध में सही तरीके से जुड़ी रहती है। सड़कों के बीच की दूरियां एक-दूसरे के सापेक्ष सुसंगत दिखती हैं। यदि आप केवल अन्य सड़कों का उपयोग करके दो सड़कों के बीच की दूरी मापकर नक्शे की जांच करने का प्रयास करते हैं, तो सब कुछ एकदम सही दिखता है। लेकिन यदि आप उस खींची हुई शीट की तुलना एक वास्तविक पैमाने से करते हैं, तो पूरा शहर 50 मीटर बड़ा या अजीब तरह से मुड़ा हुआ हो सकता है।

शोधकर्ताओं ने सिद्ध किया कि वास्तविक जीवन में ऐसा होता है। उन्होंने एक वास्तविक ड्रोन सर्वेक्षण लिया और उसमें "करप्शन" (जैसे कि तस्वीरों के बीच के कनेक्शन को मिला देना) डाला ताकि कंप्यूटर को गलत मॉडल बनाने के लिए मजबूर किया जा सके।

• परिणाम: चार में से तीन परीक्षण मामलों में, कंप्यूटर ने एक ऐसा मॉडल बनाया जो वैश्विक रूप से विकृत (globally distorted) था (जो 55 से 106 मीटर तक गलत था!)।
• स्कोर: एक फुटबॉल मैदान की लंबाई जितनी गलत होने के बावजूद, कंप्यूटर ने खुद को 1.00 का परफेक्ट कॉन्फिडेंस स्कोर दिया।

यह सेल्फ-चेक केवल तभी काम करता था जब मॉडल टूट जाता था। यदि भ्रष्टाचार इतना बुरा था कि 3D मॉडल दो अलग-अलग, असंबद्ध टुकड़ों में विभाजित हो गया, तो स्कोर गिर गया (लग लगभग 0.96 तक)। लेकिन यदि मॉडल एक ही टुकड़े में रहता लेकिन एक सुसंगत तरीके से "मुड़ा हुआ" या "खींचा हुआ" होता, तो कंप्यूटर को पता ही नहीं चलता कि वह गलत है।

दूसरा प्रकार का जाल भी है: यह टेस्ट रिपीटेड-स्ट्रक्चर मर्ज (दोहराव वाली संरचनाओं के विलय) के प्रति भी अंधा है। एक ऐसी इमारत की कल्पना करें जिसमें समान दरवाजों वाला एक लंबा गलियारा है। यदि कंप्यूटर भ्रमित हो जाता है और सोचता है कि गलियारा वापस घूमकर खुद से मिल रहा है (इमारत के दो अलग हिस्सों को एक में मिला रहा है), तो यह एक आत्म-सुसंगत लेकिन भौतिक रूप से असंभव मॉडल बनाता है। क्योंकि "दोहराए गए" हिस्से एक-दूसरे के समान दिखते हैं, कंप्यूटर सोचता है कि सब कुछ पूरी तरह से फिट बैठता है, जिससे वह उच्च स्कोर देता है, भले ही ज्यामिति मौलिक रूप से गलत हो।

यह क्यों मायने रखता है (और यह विफलता क्यों नहीं है)

आप सोच सकते हैं, "तो क्या टेस्ट विफल रहा?" बिल्कुल नहीं। यह शोध पत्र वास्तव में एक ईमानदार सफलता है क्योंकि यह हमें बताता है कि यह टेस्ट क्या नहीं कर सकता है, जो कि यह क्या कर सकता है उससे उतना ही महत्वपूर्ण है।

शोधकर्ताओं ने दिखाया कि यह सेल्फ-चेक एक बेहतरीन "फ्रैगमेंटेशन ट्रिपवायर" (टुकड़ों में टूटने का संकेत) है। यदि मॉडल टुकड़ों में टूट जाता है, तो टेस्ट इसे पकड़ लेगा। यह यह कहने का एक सस्ता, तेज़ तरीका है, "हे, यहाँ कुछ टूटा हुआ है, ध्यान से देखो।"

हालाँकि, यह एक वास्तविक पैमाने का विकल्प नहीं है।

• यह क्या मापता है: यह आंतरिक निरंतरता (internal consistency) को मापता है। यह आपको बताता है कि क्या पहेली के टुकड़े आपस में अच्छी तरह से जुड़ते हैं।
• यह क्या मिस करता है: यह नहीं बता सकता कि क्या पूरा पहेली का आकार गलत है, या यह अंतरिक्ष में मुड़ा हुआ है, या इसने गलती से समान दिखने वाले हिस्सों को एक एकल, असंभव आकार में मिला दिया है।

लेखकों ने कई अलग-अलग डेटासेट, जिनमें सार्वजनिक बेंचमार्क और वास्तविक औद्योगिक कार्य शामिल हैं, पर इसका परीक्षण किया। उन्होंने पाया कि भले ही मॉडल 63 मीटर गलत था, फिर भी कॉन्फिडेंस स्कोर 1.00 रहा। उन्होंने एक प्रसिद्ध डेटासेट को भी देखा जहाँ एक ड्रोन का स्केल ड्रिफ्ट (उड़ते समय बड़ा होता गया) हुआ, और सेल्फ-चेक ने फिर भी इसे परफेक्ट स्कोर दिया क्योंकि ड्रिफ्ट सुचारू और सुसंगत था।

जिज्ञासु किशोरों के लिए निष्कर्ष

तो, मुख्य बात क्या है?

यदि आप एक कंप्यूटर हैं जो तस्वीरों से 3D दुनिया बनाने की कोशिश कर रहे हैं, तो आप खुद से पूछ सकते हैं, "क्या मेरी सभी तस्वीरें एक-दूसरे से सहमत हैं?" यदि उत्तर हाँ है, तो आपको उच्च स्कोर मिलता है। लेकिन इसका मतलब यह नहीं है कि आपकी दुनिया का आकार सही है, वह सही जगह पर है, या यह भी नहीं कि आपने गलती से दो अलग-अलग इमारतों को एक में मिला दिया है। आप एक पूर्ण, सुसंगत विशालकाय, एक पूर्ण, सुसंगत बौना, या एक पूर्ण, सुसंगत लूप हो सकते हैं, और यह टेस्ट अंतर नहीं जान पाएगा।

शोध पत्र निष्कर्ष निकालता है कि हम इस "सेल्फ-चेक" पर वास्तविक सर्वेक्षकों या जीपीएस मापनों को बदलने के लिए भरोसा नहीं कर सकते। यह टूटे हुए मॉडलों को पकड़ने के लिए एक उपयोगी उपकरण है, लेकिन यह वह जादू की छड़ी नहीं है जो आपको बताती है कि आपके माप कितने सटीक हैं। सुचारू, वैश्विक त्रुटियों और दोहराई गई संरचनाओं के लिए "ब्लाइंड स्पॉट" गणित की एक मौलिक सीमा है, न कि केवल कोड की कोई बग।

संक्षेप में: आंतरिक सहमति, पूर्ण सत्य के समान नहीं है। एक मॉडल पूरी तरह से सुसंगत और पूरी तरह से गलत हो सकता है, और यह शोध पत्र इसका प्रमाण है कि हमें अपने डिजिटल मानचित्रों की जांच करने के लिए वास्तविक दुनिया के पैमानों का उपयोग करना जारी रखने की आवश्यकता है।