A Calibration Audit of Confidence in Feed-Forward 3D Reconstruction

कंप्यूटर विज़न की दुनिया में, मशीनें सपाट तस्वीरों से दुनिया को तीन आयामों (3D) में देखना सीख रही हैं। वे दो-आयामी (2D) छवियों की एक श्रृंखला लेते हैं और, एक ही बार में, दृश्य का 3D मानचित्र तैयार करते हैं, जिसमें दीवारों, फर्शों और वस्तुओं को दर्शाने के लिए अंतरिक्ष में बिंदु रखे जाते हैं। इन प्रणालियों को वास्तविक जीवन में उपयोगी बनाने के लिए, जैसे कि किसी रोबोट का मार्गदर्शन करने या स्वायत्त कार (self-driving car) की मदद करने के लिए, उन्हें केवल इस बात के अनुमान की आवश्यकता नहीं है कि चीजें कहाँ हैं; उन्हें यह जानने की भी आवश्यकता है कि उस अनुमान के बारे में वे कितने आश्वस्त हैं। यहीं पर एक "कॉन्फिडेंस सिग्नल" (विश्वास संकेत) काम आता है। हर बार जब मॉडल 3D स्पेस में एक बिंदु का अनुमान लगाता है, तो वह अपने साथ एक संख्या भी जारी करता है जो उसके आत्मविश्वास को दर्शाती है। डाउनस्ट्रीम सिस्टम, जो वास्तव में इस 3D डेटा का उपयोग करते हैं, इस संख्या को एक विश्वसनीयता संकेत के रूप में पढ़ते हैं। यदि आत्मविश्वास अधिक है, तो सिस्टम उस बिंदु पर भरोसा करता है और उसका उपयोग करता है; यदि यह कम है, तो वह उसे अनदेखा कर देता है या उसके प्रति सावधानी बरतता है। वर्षों से, इस कॉन्फिडेंस सिग्नल को एक सरल रैंकिंग टूल के रूप में माना जाता रहा है: पिक्सेल को सबसे विश्वसनीय से लेकर सबसे कम विश्वसनीय के क्रम में व्यवस्थित करने का एक तरीका। लेकिन एक महत्वपूर्ण प्रश्न अनुत्तरित रह गया था: क्या वह संख्या वास्तव में यह बताती है कि त्रुटि (error) कितनी बड़ी हो सकती है?

टेक्निकल यूनिवर्सिटी ऑफ म्यूनिख और अन्य संस्थानों के शोधकर्ताओं की एक टीम ने इस कॉन्फिडेंस सिग्नल को सूक्ष्मदर्शी से परखने का निर्णय लिया। उन्होंने कोई नया मॉडल नहीं बनाया और न ही किसी पुराने को बेहतर बनाने की कोशिश की। इसके बजाय, उन्होंने पहले से ही वैज्ञानिक समुदाय द्वारा उपयोग किए जा रहे सात मौजूदा, सार्वजनिक रूप से जारी मॉडलों का एक कठोर ऑडिट किया। उन्होंने इन मॉडलों का तेरह अलग-अलग डेटासेट्स पर परीक्षण किया, जिसमें इनडोर कमरे और शहर की सड़कों से लेकर सिंथेटिक वीडियो गेम तक शामिल थे, जो अरबों व्यक्तिगत पिक्सेल को कवर करते हैं। उनका लक्ष्य यह देखना था कि क्या ये मॉडल जो कॉन्फिडेंस नंबर उत्पन्न करते हैं, वे अनिश्चितता के सटीक माप हैं, या वे केवल त्रुटियों को क्रमबद्ध करने में अच्छे हैं बिना उनके वास्तविक आकार के बारे में सच बताए।

शोधकर्ताओं ने पाया कि मॉडल रैंकिंग करने में उत्कृष्ट हैं। यदि एक मॉडल कहता है कि एक पिक्सेल दूसरे की तुलना में अधिक आत्मविश्वासी है, तो यह लगभग हमेशा सही होता है कि पहला पिक्सेल वास्तव में अधिक सटीक है। हालाँकि, जब उन्होंने वास्तविक त्रुटि के आकार को देखा, तो एक अलग कहानी सामने आई। मॉडल लगातार अति-आत्मविश्वासी (overconfident) पाए गए। वे जितना दावा करते थे, वास्तव में उससे कहीं अधिक निश्चित थे। औसतन, परीक्षण किए गए सभी मॉडलों में, अनुमानित अनिश्चितता बहुत कम थी। इसका अर्थ है कि यदि एक मॉडल ने एक सेंटीमीटर की त्रुटि का अनुमान लगाया, तो वास्तविक त्रुटि अक्सर 2.4 सेंटीमीटर के करीब थी। समस्या तब और खराब हो गई जब मॉडल अधिक आत्मविश्वासी महसूस करने लगा। जब मॉडल बहुत सुनिश्चित था, तब वह वास्तव में सबसे अधिक गलत था, और उसने अपनी त्रुटि का अनुमान 15 गुना तक कम करके लगाया।

यह अति-आत्मविश्वास इस बात का संकेत नहीं था कि मॉडल ठीक से प्रशिक्षित नहीं थे या उन्होंने सीखना जल्दी छोड़ दिया था। शोधकर्ताओं ने सिद्ध किया कि यदि वे एक जारी किए गए मॉडल को लेते और उसे अपने स्वयं के डेटा पर प्रशिक्षण जारी रखते, तो भी वह अपने गणितीय स्तर तक तेजी से पहुँच जाता और फिर नई, अनदेखी छवियों पर अति-आत्मविश्वासी बना रहता। समस्या यह नहीं थी कि मॉडलों ने पर्याप्त नहीं सीखा था; बल्कि यह थी कि उन्हें कॉन्फिडेंस नंबर देने के लिए जिस तरह से सिखाया गया था, वह वास्तविक दुनिया में उन नंबरों के उपयोग से मौलिक रूप से भिन्न था। प्रशिक्षण के दौरान, मॉडलों ने एक विशिष्ट गणितीय 'लॉस फंक्शन' को कम करना सीखा, जो त्रुटियों की रैंकिंग को अनुकूलित करता था लेकिन यह गारंटी नहीं देता था कि कॉन्फिडेंस नंबर नए वातावरण में वास्तविक भौतिक त्रुटियों के आकार से मेल खाते हैं।

इसे ठीक करने के लिए, शोधकर्ताओं ने एक सरल 'पोस्ट-हॉक' सुधार विकसित किया। उन्होंने पाया कि एक विशिष्ट गणितीय समायोजन लागू करके—एक पावर लॉ (power law) जो मॉडल और डेटासेट के आधार पर कॉन्फिडेंस नंबरों को स्केल करता है—वे अनुमानित अनिश्चितता को सत्य के बहुत करीब ला सकते हैं। इस सुधार ने रैंकिंग को नहीं बदला; मॉडल अभी भी पिक्सेल को सही ढंग से क्रमबद्ध करते थे। लेकिन इसने स्केल को ठीक कर दिया। इस समायोजन के साथ, भविष्यवाणी में औसत त्रुटि 2.4 गुना होने से घटकर केवल 1.35 गुना रह गई। यदि शोधकर्ताओं के पास उपयोग किए जा रहे विशिष्ट डेटासेट से थोड़ा सा लेबल किया हुआ डेटा होता, तो वे इस सुधार को और भी बेहतर बना सकते थे, जिससे त्रुटि घटकर भविष्यवाणी का केवल 1.12 गुना रह जाती।

इस सफलता के बावजूद, शोधकर्ताओं ने पाया कि एक साधारण संख्या क्या ठीक कर सकती है, इसकी एक कठिन सीमा है। हालांकि सुधार औसतन अच्छा काम करता था, लेकिन यह हर एक दृश्य के लिए त्रुटि की सटीक भविष्यवाणी नहीं कर सका। एक सुधार जो पूरे डेटासेट के लिए काम करता है, वह अक्सर एक विशिष्ट कमरे या सड़क के लिए विफल हो जाता है क्योंकि दृश्य में त्रुटि उस दृश्य के अद्वितीय आकार और संरचना पर निर्भर करती है, न कि केवल नंबरों के वैश्विक बदलाव पर। मॉडलों में उस दृश्य की विशिष्ट ज्यामिति (geometry) की गहरी समझ की कमी है जिसे वे देख रहे हैं, और कोई भी रीस्केलिंग उस लुप्त ज्ञान की पूरी तरह से भरपाई नहीं कर सकती।

अध्ययन यह निष्कर्ष निकालता है कि हालांकि ये फीड-फॉरवर्ड 3D पुनर्निर्माण मॉडल शक्तिशाली उपकरण हैं जो विश्वसनीयता की उत्कृष्ट रैंकिंग प्रदान करते हैं, उनके कच्चे कॉन्फिडेंस नंबर को त्रुटि के प्रत्यक्ष माप के रूप में नहीं माना जा सकता। वे क्रमबद्ध करने के लिए विश्वसनीय मार्गदर्शक हैं, लेकिन मापने के लिए नहीं। शोधकर्ताओं ने अपना ऑडिट प्रोटोकॉल और प्रत्येक मॉडल और डेटासेट के लिए विशिष्ट सुधार स्थिरांक (correction constants) जारी किए हैं, जिससे अन्य वैज्ञानिकों और इंजीनियरों को इन सुधारों को तुरंत लागू करने की अनुमति मिलती है। यह कार्य एक स्पष्ट मार्ग प्रदान करता है: उपयोगकर्ता अब इन शक्तिशाली, पूर्व-प्रशिक्षित मॉडलों को ले सकते हैं, अपने कॉन्फिडेंस सिग्नल पर एक सरल सुधार लागू कर सकते हैं, और अपनी वास्तविक सीमाओं की स्पष्ट समझ के साथ उनका उपयोग कर सकते हैं।