From Keypoints to Predictive Distributions: Post-Hoc Uncertainty for YOLO-Pose Models
यह शोध पत्र YOLO-Pose मॉडलों के लिए एक हल्का पोस्ट-हॉक संभाव्य विस्तार (post-hoc probabilistic extension) प्रस्तुत करता है जो उन्हें स्थानिक अनिश्चितता को मापने के लिए कैलिब्रेटेड द्विचरीय भविष्य कहनेवाला वितरण (calibrated bivariate predictive distributions) के साथ संवर्धित करता है, जिससे प्रभावी कीपॉइंट-स्तरीय विश्वसनीयता रैंकिंग और विजन-आधारित विमान लैंडिंग जैसे डाउनस्ट्रीम अनुप्रयोगों में सुधार संभव होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप "वेयर्स वाल्डो?" (Where's Waldo?) के एक हाई-स्टेक्स गेम खेल रहे हैं, लेकिन आप किसी कार्टून को नहीं, बल्कि एक वास्तविक दुनिया के दृश्य को देख रहे हैं, जैसे कि एक व्यस्त हवाईअड्डा रनवे या एक भीड़भाड़ वाली सड़क। आपके पास एक सुपर-फास्ट, सुपर-स्मार्ट कंप्यूटर विजन सिस्टम (एक प्रकार का AI) है जो तुरंत लोगों, कारों या रनवे को पहचान सकता है और उनके महत्वपूर्ण हिस्सों की ओर सटीक रूप से इशारा कर सकता है—जैसे कि नाक, कोहनी, या रनवे का कोना। यह सिस्टम अविश्वसनीय रूप से तेज़ और कुशल है, लेकिन इसमें एक गुप्त दोष है: यह एक 'सब कुछ जानने वाले' (know-it-all) की तरह व्यवहार करता है। यह किसी जगह की ओर इशारा करता है और कहता है, "मुझे 100% यकीन है कि यह नाक है!" बिना कभी यह स्वीकार किए कि, "दरअसल, यह हिस्सा धुंधला है, या शायद वह एक छाया है, इसलिए मैं केवल 60% निश्चित हूँ।"
आर्टिफिशियल इंटेलिजेंस की दुनिया में, यह एक बड़ी समस्या है। जब एक कंप्यूटर कोई अनुमान लगाता है, तो उसे यह जानना चाहिए कि उसे उस अनुमान पर कितना भरोसा करना चाहिए। इसे "अनिश्चितता" (uncertainty) कहा जाता है। इसे मौसम के पूर्वानुमान की तरह समझें। एक बुरा पूर्वानुमान कहता है, "दोपहर 2:00 बजे बारिश होगी।" एक अच्छा पूर्वानुमान कहता है, "दोपहर 1:55 और 2:05 के बीच बारिश होने की 90% संभावना है।" दूसरा वाला आपको भविष्यवाणी के चारों ओर एक "कॉन्फिडेंस बबल" (विश्वास का बुलबुला) देता है। सुरक्षा-महत्वपूर्ण कार्यों के लिए—जैसे कि किसी विमान को लैंड कराने में मदद करना या किसी रोबोट को भीड़ के बीच रास्ता दिखाने के लिए—उस भविष्यवाणी के आसपास के कॉन्फिडेंस बबल के आकार को जानना उतना ही महत्वपूर्ण है जितना कि वस्तु का स्थान जानना। यदि AI गलत है लेकिन उसे लगता है कि वह सही है, तो यह दुर्घटना का कारण बन सकता है। यदि वह सही है लेकिन उसे लगता है कि वह गलत है, तो वह एक महत्वपूर्ण अवसर को खो सकता है। चुनौती इन सुपर-फास्ट AI सिस्टम को उनकी अपनी सटीकता के बारे में एक "गट फीलिंग" (अंतर्ज्ञान) देने का तरीका खोजने की है, बिना उन्हें धीमा किए या उस जादू को तोड़े जो उन्हें इतना अच्छा बनाता है।
पेपर का बड़ा विचार: YOLO को एक "कॉन्फिडेंस बबल" देना
यह पेपर एक लोकप्रिय AI मॉडल परिवार का उपयोग करके इस समस्या का समाधान करता है जिसे YOLO-Pose (You Only Look Once - Pose) कहा जाता है। ये मॉडल स्पीड के सौदागरों की तरह हैं; वे एक ही, बिजली जैसी तेज़ नज़र में वस्तुओं और उनके शरीर के अंगों (कीपॉइंट्स) को ढूंढ सकते हैं। हालाँकि, वे आमतौर पर प्रत्येक शरीर के हिस्से के लिए केवल एक बिंदु (dot) देते हैं, जिससे उन्हें यह पता नहीं चलता कि वह बिंदु कितना डगमगा सकता है। शोधकर्ताओं ने, जो एयरबस और अन्य संस्थानों के शोधकर्ता हैं, एक सरल प्रश्न पूछा: क्या हम इन पहले से प्रशिक्षित, सुपर-फास्ट मॉडलों को बिना पूरे मॉडल को फिर से प्रशिक्षित किए, अपनी भविष्यवाणियों के चारों ओर एक "कॉन्फिडेंस बबल" बनाना सिखा सकते हैं?
उनका उत्तर एक चतुर "पोस्ट-हॉक" (बाद में किया गया) तरीका है। पूरे AI को शुरू से बनाने के बजाय, वे मूल, तेज़ मॉडल को पूरी तरह से फ्रीज और अछूता छोड़ देते हैं। वे बस इसके बगल में एक छोटा, हल्का "प्रोबेबिलिस्टिक हेड" (एक छोटा सा एड-ऑन मॉड्यूल) जोड़ देते हैं। यह एड-ऑन उसी छवि और उसी भविष्यवाणी को देखता है जो मुख्य मॉडल ने की थी, लेकिन केवल यह कहने के बजाय कि "यहाँ नाक है," यह कहता है, "यहाँ नाक है, और यहाँ एक अंडाकार बुलबुला है जो दिखाता है कि नाक कितनी हिल सकती है।"
उन्होंने AI को "चिंता करना" (और शांत होना) कैसे सिखाया
शोधकर्ताओं ने केवल यह अनुमान नहीं लगाया कि ये बुलबुले कितने बड़े होने चाहिए; उन्होंने एड-ऑन को मुख्य मॉडल द्वारा की गई गलतियों से सीखने के लिए प्रशिक्षित किया। उन्होंने एक विशेष गणितीय उपकरण का उपयोग किया जिसे इम्पॉर्टेंस-वेटेड नेगेटिव लॉग-लाइक्लीहुड (importance-weighted negative log-likelihood) कहा जाता है। सरल शब्दों में, यह एड-ऑन को उन गलतियों पर विशेष ध्यान देने का तरीका है जो वास्तव में वास्तविक दुनिया में उपयोग के दौरान होती हैं, न कि केवल उन गलतियों पर जो उसने लैब में अभ्यास के दौरान की थीं।
उन्होंने पाया कि स्थितियों के आधार पर "बुलबुलों" को अलग-अलग आकार की आवश्यकता होती है। कभी-कभी अनिश्चितता एक पूर्ण वृत्त (जैसे कि गॉसियन डिस्ट्रीब्यूशन) होती है, लेकिन अक्सर, छाया या लोगों के एक-दूसरे को रोकने जैसी पेचीदा चीजों के कारण, गलतियाँ "हेवी-टेल्ड" (heavy-tailed) होती हैं। इसका मतलब है कि जबकि अधिकांश अनुमान करीब होते हैं, कभी-कभी ऐसे आउटलेयर्स (outliers) आते हैं जो बहुत ज्यादा भटक जाते हैं। इसे संभालने के लिए, उन्होंने दो प्रकार के बुलबुलों का परीक्षण किया:
- द गॉसियन बबल (The Gaussian Bubble): एक मानक, चिकना अंडाकार। यह उन सिस्टम के लिए बेहतरीन है जिन्हें अन्य गणितीय उपकरणों (जैसे विमान नेविगेशन में उपयोग किए जाने वाले) के साथ तालमेल बिठाने की आवश्यकता होती है।
- द स्टूडेंट-टी बबल (The Student-t Bubble): एक "भारी" बुलबुला जो अधिक लचीला है और उन दुर्लभ, बेकाबू आउटलेयर्स को बेहतर ढंग से पकड़ सकता है।
उनके प्रयोगों ने दिखाया कि स्टूडेंट-टी बबल वास्तविक दुनिया की छवियों की अव्यवस्था को समझाने में सबसे अच्छा था। इसने गॉसियन बबल की तुलना में त्रुटियों के "हेवी टेल्स" (भारी पूंछ/आउटलेयर्स) को बहुत बेहतर तरीके से पकड़ा। हालाँकि, गॉसियन बबल अभी भी बहुत उपयोगी है क्योंकि इसे अन्य सिस्टम द्वारा उपयोग करना आसान है।
"प्रूनिंग" (Pruning) का तरीका: बुरे अनुमानों को काटना
एक बहुत ही दिलचस्प चीज़ जो लेखकों ने खोजी, वह यह है कि इन कॉन्फिडेंस बुलबुलों का उपयोग AI के आउटपुट को साफ करने के लिए किया जा सकता है। कल्पना कीजिए कि आप किसी व्यक्ति के पैरों की एक धुंधली फोटो देख रहे हैं। AI बाएं घुटने और दाएं घुटने के स्थान का अनुमान लगा सकता है, लेकिन वह पूरी तरह से भ्रमित हो सकता है और उन्हें आपस में बदल सकता है। पुराना AI आपको दोनों अनुमान दे देगा। हालाँकि, नया सिस्टम अपने स्वयं के कॉन्फिडेंस बबल को देख सकता है और कह सकता है, "हे, मैं इस घुटने के बारे में वास्तव में अनिश्चित हूँ; बुलबुला बहुत बड़ा और अस्त-व्यस्त है।"
पेपर में एक विधि पेश की गई है जिसे अनसर्टेन्टी-बेस्ड प्रूनिंग (uncertainty-based pruning) कहा जाता है। इसका अर्थ है कि सिस्टम उन अनुमानों को स्वचालित रूप से हटा सकता है जहाँ कॉन्फिडेंस बबल बहुत बड़ा या अव्यवस्थित है। केवल "शायद" वाले अनुमानों को फेंककर और केवल "मैं काफी आश्वस्त हूँ" वाले अनुमानों को रखकर, सिस्टम बहुत अधिक विश्वसनीय हो जाता है। COCO डेटासेट (AI को प्रशिक्षित करने के लिए उपयोग किए जाने वाले चित्रों का एक विशाल संग्रह) पर उनके परीक्षणों में, इस प्रूनिंग ने अच्छे अनुमानों की सटीकता को नहीं बदला, बल्कि गलत अनुमानों को हटा दिया, जिससे शेष डेटा बहुत अधिक स्वच्छ हो गया।
वास्तविक दुनिया का परीक्षण: विमान को लैंड कराना
यह साबित करने के लिए कि यह केवल एक गणितीय खेल नहीं था, शोधकर्ताओं ने एक बहुत ही गंभीर कार्य पर अपने तरीके का परीक्षण किया: विज़न-बेस्ड एयरक्राफ्ट लैंडिंग। उन्होंने एक विमान पर लगे कैमरे से रनवे के कोनों को पहचानने के लिए AI का उपयोग किया। यह एक जीवन-मरण का मामला है जहाँ अनिश्चितता को जानना अत्यंत महत्वपूर्ण है।
उन्होंने पाया कि AI रनवे के कोनों की भविष्यवाणी कर सकता था और अधिक महत्वपूर्ण बात यह है कि प्रत्येक कोने के लिए अनिश्चितता का एक कैलिब्रेटेड "बुलबुला" प्रदान कर सकता था। जब उन्होंने इन बुलबुलों का उपयोग विमान की स्थिति की गणना करने में मदद करने के लिए किया, तो सिस्टम ने शानदार काम किया। अनिश्चितता अनुमान अच्छी तरह से कैलिब्रेटेड थे, जिसका अर्थ है कि यदि सिस्टम ने "95% विश्वास" कहा, तो वह वास्तव में 95% बार सही था। इसने विमान के नेविगेशन सिस्टम को कैमरे के डेटा पर भरोसा करने और इसे सुरक्षित रूप से लैंड करने के लिए अन्य सेंसरों (जैसे GPS) के साथ जोड़ने की अनुमति दी।
हालाँकि, पेपर एक सीमा की ओर भी इशारा करता है। जब उन्होंने कोहरे जैसी स्थितियों (जो AI ने पहले कभी नहीं देखी थी) में सिस्टम का परीक्षण किया, तो कॉन्फिडेंस बुलबुले इतने बड़े नहीं हुए कि सिस्टम को चेतावनी मिल सके कि वह भ्रमित है। कोहरे में AI अभी भी "ओवरकॉन्फिडेंट" (अति-आत्मविश्वासी) था। यह सुझाव देता है कि हालांकि उनका तरीका सामान्य स्थितियों के लिए बहुत अच्छा है, लेकिन इसे पूरी तरह से नई, अप्रत्याशित स्थितियों (जैसे भारी कोहरा) को संभालने के लिए अभी भी मदद की आवश्यकता है।
निष्कर्ष
यह पेपर यह दावा नहीं करता है कि इसने AI की सभी अनिश्चितता समस्याओं को हल कर दिया है। इसके बजाय, यह एक व्यावहारिक, हल्का टूल प्रदान करता है जिसे मौजूदा, उच्च-गति वाले AI मॉडलों में जोड़ा जा सकता है ताकि उन्हें अपनी सटीकता के बारे में एक "गट फीलिंग" दी जा सके। एक चतुर एड-ऑन का उपयोग करके जो "कॉन्फिडेंस बुलबुले" (विशेष रूप से बेहतर सटीकता के लिए स्टूडेंट-टी डिस्ट्रीब्यूशन का उपयोग करके) बनाना सीखता है और फिर उन बुलबुलों का उपयोग करके बुरे अनुमानों को फ़िल्टर करने के माध्यम से, शोधकर्ताओं ने दिखाया है कि हम तेज़ AI मॉडलों को विमान लैंड कराने जैसे महत्वपूर्ण कार्यों के लिए बहुत अधिक सुरक्षित और विश्वसनीय बना सकते हैं। यह एक ऐसे AI की ओर एक कदम है जो न केवल यह जानता है कि वह क्या देख रहा है, बल्कि यह भी जानता है कि वह कितना आश्वस्त है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।