Beyond Pixel Similarity: Task-Aware Evaluation of GAN-Based Synthetic Sonar Data for Robotic Perception

अंडरवॉटर रोबोट्स (जलमग्न रोबोट) एक अनूठी चुनौती का सामना करते हैं: समुद्र अक्सर बहुत अंधेरा, बहुत धुंधला या तैरते हुए मलबे से भरा होता है जिससे मानक कैमरे स्पष्ट रूप से देख नहीं पाते। इन वातावरणों में नेविगेट करने के लिए, इंजीनियर इमेजिंग सोनार पर भरोसा करते हैं, जो ध्वनि तरंगों का उपयोग करके समुद्र तल और उसके भीतर की वस्तुओं की तस्वीरें बनाता है। हालाँकि, ये ध्वनि-आधारित चित्र मानव द्वारा देखी जाने वाली तस्वीरों से बहुत अलग दिखते हैं। वे दानेदार शोर (ग्रेनी नॉइज़), अजीब छायाओं और चमकीले धब्बों से भरे होते हैं जो देखने के कोण और समुद्र तल की बनावट पर बहुत अधिक निर्भर करते हैं। इन कठिन छवियों में रोबोट को किसी जहाज के मलबे या कचरे के टुकड़े को पहचानना सिखाने के लिए, डेवलपर्स को हजारों लेबल किए गए उदाहरणों की आवश्यकता होती है। वास्तविक दुनिया की इन छवियों को इकट्ठा करना और मैन्युअल रूप से चिह्नित करना धीमा, महंगा और अक्सर खतरनाक होता है। एक सामान्य समाधान सिंथेटिक डेटा (synthetic data) बनाना है—कंप्यूटर द्वारा निर्मित छवियां जो असली चीज़ की नकल करती हैं—ताकि रोबोट बिना समुद्र में जाए उदाहरणों के एक विशाल पुस्तकालय से सीख सकें। लेकिन एक महत्वपूर्ण प्रश्न बना हुआ है: हमें यह कैसे पता चलेगा कि एक नकली सोनार छवि वास्तव में एक रोबोट को सिखाने के लिए पर्याप्त अच्छी है या नहीं?

वर्षों से, एक सिंथेटिक छवि की गुणवत्ता को मापने का मानक तरीका यह रहा है कि यह पिक्सेल दर पिक्सेल एक वास्तविक छवि से कितनी निकटता से मेल खाती है। शोधकर्ता दो छवियों के बीच चमक और रंग के अंतर की गणना करने के लिए गणितीय उपकरणों का उपयोग करते हैं, जो उन्हें एक स्कोर देता है जो उनकी समानता को दर्शाता है। यदि स्कोर उच्च है, तो धारणा यह है कि सिंथेटिक छवि यथार्थवादी है और इसलिए उपयोगी है। एक नया अध्ययन इस धारणा को चुनौती देता है, यह सुझाव देते हुए कि अंडरवॉटर रोबोट को "देखने" में मदद करने के विशिष्ट कार्य के लिए, पूरी छवि को देखना उतना महत्वपूर्ण नहीं है जितना कि उन विशिष्ट विवरणों को देखना जिनकी मशीन लर्निंग एल्गोरिदम को किसी वस्तु को खोजने के लिए आवश्यकता होती है। शोधकर्ताओं ने जांच की कि क्या ये पारंपरिक समानता स्कोर वास्तव में यह दर्शाते हैं कि एक सिंथेटिक छवि एक रोबोट को वस्तु का पता लगाने में कितनी अच्छी तरह मदद करेगी, या क्या वे केवल दृश्य समानता को माप रहे हैं बिना डेटा की कार्यात्मक वास्तविकता को पकड़े।

इसकी खोज के लिए, टीम ने आर्टिफिशियल इंटेलिजेंस के एक प्रकार का उपयोग किया जिसे 'जेनरेटिव एडवरसैरियल नेटवर्क' (GAN) कहा जाता है, जो प्रतिस्पर्धी कलाकारों की एक जोड़ी की तरह कार्य करता है। सिस्टम का एक हिस्सा किसी वस्तु की एक सरल रूपरेखा के आधार पर एक यथार्थवादी सोनार छवि बनाने की कोशिश करता है, जबकि दूसरा हिस्सा नकली छवि और एक वास्तविक छवि के बीच अंतर को पहचानने की कोशिश करता है। शोधकर्ताओं ने इस "स्पॉटर" (पहचानने वाले) के चार अलग-अलग संस्करणों का परीक्षण किया, जिनमें से प्रत्येक के पास छवि को देखने का एक अलग तरीका था। एक संस्करण ने छवि को एक समय में एक छोटे बिंदु के रूप में देखा, दूसरे ने छोटे पैच (patches) के रूप में देखा, तीसरे ने मध्यम आकार के क्षेत्रों के रूप में देखा, और चौथे ने पूरी तस्वीर को एक साथ देखा। उन्होंने इन प्रणालियों को दो अलग-अलग स्रोतों से वास्तविक सोनार डेटा का उपयोग करके प्रशिक्षित किया: एक नियंत्रित पूल वातावरण से और दूसरा एक परिवर्तनशील नदी सेटिंग से। एक बार जब सिस्टम ने अपनी सिंथेटिक छवियां उत्पन्न कर लीं, तो टीम ने उन्हें दो तरह से मूल्यांकित किया। पहले, उन्होंने पारंपरिक समानता परीक्षण चलाए यह देखने के लिए कि किस संस्करण ने सबसे सटीक दिखने वाली तस्वीरें बनाईं। दूसरे, उन्होंने सिंथेटिक छवियों को ऑब्जेक्ट-डिटेक्शन सॉफ्टवेयर में डाला जिसे विशेष रूप से वास्तविक सोनार डेटा पर प्रशिक्षित किया गया था, जो अनिवार्य रूप से सॉफ्टवेयर से नकली तस्वीरों में वस्तुओं को खोजने के लिए कहा गया जैसे कि वे असली हों।

परिणामों ने एक आश्चर्यजनक विसंगति को प्रकट किया कि एक छवि कैसी दिखती है और वह कितनी उपयोगी है। नियंत्रित पूल डेटासेट में, उस सिस्टम ने जिसने छवि को एक समय में एक छोटे बिंदु के रूप में देखा, उच्चतम समानता स्कोर प्राप्त किया, जिससे मानक मेट्रिक्स के अनुसार यह वास्तविक संदर्भ छवि जैसा सबसे अधिक दिखाई देने लगा। हालाँकि, जब ऑब्जेक्ट-डिटक्शन सॉफ्टवेयर ने उन छवियों में वस्तुओं को खोजने की कोशिश की, तो इसने उन छवियों के साथ काफी बेहतर प्रदर्शन किया जो छोटे पैच के रूप में चित्र को देखते थे। इसी तरह, नदी डेटासेट में, उस सिस्टम ने सर्वश्रेष्ठ समानता स्कोर प्राप्त किया जिसने पूरी छवि का एक साथ विश्लेषण किया, फिर भी पैच-आधारित प्रणालियों ने फिर से डिटेक्शन सॉफ्टवेयर को वस्तुओं को अधिक सटीकता से खोजने की अनुमति दी। अध्ययन में पाया गया कि जिन कॉन्फ़िगरेशनों ने उच्चतम पिक्सेल-स्तरीय समानता प्राप्त की, वे लगातार सर्वोत्तम डिटेक्शन प्रदर्शन प्रदान नहीं कर सके। वास्तव में, जिन प्रणालियों ने थोड़ी धुंधली या कम पिक्सेल-परफेक्ट छवियां बनाईं, उन्होंने अक्सर उन तीक्ष्ण किनारों और स्थानीय संरचनाओं को सुरक्षित रखा जिनकी डिटेक्शन सॉफ्टवेयर को लक्ष्यों की पहचान करने के लिए आवश्यकता थी।

यह निष्कर्ष बताता है कि सिंथेटिक डेटा को आंकने के लिए वर्तमान में उपयोग किए जाने वाले उपकरण चित्र के सबसे महत्वपूर्ण हिस्सों को मिस कर सकते हैं। पारंपरिक स्कोर एक छवि को एक वास्तविक फोटो के समग्र चमक और सामान्य संरचना से मेल खाने के लिए पुरस्कृत करते हैं, जो कभी-कभी ऐसी छवियां बना सकता है जो चिकनी और एकसमान होती हैं लेकिन उनमें उन विशिष्ट, उच्च-कंट्रास्ट विवरणों की कमी होती है जिनकी एक रोबोट को निर्णय लेने के लिए आवश्यकता होती है। पैच-आधारित प्रणालियों ने, स्थानीय क्षेत्रों पर ध्यान केंद्रित करके, उन महत्वपूर्ण विशेषताओं को संरक्षित किया जो एक मशीन को बैकग्राउंड से किसी वस्तु को अलग करने में मदद करते हैं, भले ही समग्र छवि एक मानव पर्यवेक्षक के लिए थोड़ी कम पूर्ण दिखे। शोधकर्ता निष्कर्ष निकालते हैं कि अंडरवॉटर रोबोटिक धारणा के लिए इच्छित सिंथेटिक सोनार डेटा के लिए, केवल दृश्य समानता मेट्रिक्स पर निर्भर रहना अपर्याप्त है। इसके बजाय, एक सिंथेटिक छवि की गुणवत्ता का वास्तविक परीक्षण यह होना चाहिए कि वह रोबोट को उसका वास्तविक काम करने में कितनी अच्छी तरह मदद करती है। दृष्टिकोण में यह बदलाव यह संकेत देता है कि अंडरवॉटर रोबोटों को प्रशिक्षित करने का भविष्य इस बात पर कम निर्भर करेगा कि वे वास्तविकता जैसी दिखने वाली छवियां बनाते हैं, बल्कि इस पर कि वे उन मशीनों के लिए प्रभावी ढंग से कार्य करने वाली छवियां कैसे बनाते हैं जिन्हें देखने की आवश्यकता है।