SeFaR: Semantic Feature-aware Robustness Testing of Deep Neural Networks
यह शोध पत्र SeFaR का प्रस्ताव करता है, जो एक नवीन ढांचा है जो यथार्थवादी, आवश्यकता-संरक्षण करने वाले व्यवधानों (perturbations) को उत्पन्न करने और एक अनुकूली फीडबैक प्रक्रिया के माध्यम से विफलता-प्रेरित विशेषताओं की पहचान करने के लिए पदानुक्रमित अवधारणा मॉडलिंग (hierarchical concept modeling) और जनरेटिव एआई का लाभ उठाकर डीप न्यूरल नेटवर्क की सिमेंटिक सुदृढ़ता का व्यवस्थित रूप से परीक्षण करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को कार चलाना या मंगल ग्रह जैसे पथरीले ग्रह पर नेविगेट करना सिखा रहे हैं। आप रोबोट को नियमों का एक सेट देते हैं, जैसे "यदि आपके सामने एक कार है, तो अपनी गति न बढ़ाएं।" लेकिन यहाँ एक पेच है, रोबोट चित्रों को देखकर सीखते हैं, और वे आश्चर्यजनक रूप से मूर्ख हो सकते हैं। वे भ्रमित हो सकते हैं यदि सामने वाली कार लाल के बजाय नीली है या आकाश धूल भरा नारंगी हो जाता है। यह डीप न्यूरल नेटवर्क्स (Deep Neural Networks) की दुनिया है, जो सेल्फ-ड्राइविंग कारों और अंतरिक्ष रोवर्स के पीछे का बुद्धिमान सॉफ्टवेयर है। हालांकि ये सिस्टम आदर्श स्थितियों में चीजों को पहचानने में माहिर होते हैं, लेकिन जब दुनिया अजीब, अंधेरी या स्कूल में देखी गई चीज़ों से अलग हो जाती है, तो वे अक्सर दुर्घटनाग्रस्त हो जाते हैं या गलतियाँ करते हैं।
इन रोबोटों को सुरक्षित रखने के लिए, हमें उन्हें केवल रैंडम शोर (noise) के साथ ही नहीं, बल्कि सिमेंटिक फीचर्स (semantic features) के साथ भी टेस्ट करने की आवश्यकता है। इन्हें आप किसी चित्र के "अर्थपूर्ण" हिस्से मान सकते हैं: जैसे कार का रंग, मौसम का प्रकार, या चट्टान का आकार। बड़ा सवाल जो शोधकर्ता पूछ रहे हैं, वह यह है: "यदि हम कार का रंग बदल दें लेकिन नियम 'गति न बढ़ाएं' को सच रखें, तो क्या रोबोट घबरा जाएगा?" यह पेपर इस सवाल का जवाब देने का एक नया तरीका पेश करता है, जो केवल पिक्सेल को बदलने से आगे बढ़कर वास्तव में एक नियंत्रित और स्मार्ट तरीके से चित्र की कहानी को बदलने की ओर बढ़ता है।
रोबोट की "क्या होगा अगर?" मशीन
SeFaR (सिमेंटिक फीचर-अवेयर रोबस्टनेस टेस्टिंग) से मिलिए। आप SeFAr को रोबोटों के लिए एक बहुत ही रचनात्मक, थोड़े शरारती कला शिक्षक के रूप में देख सकते हैं। इसका काम रोबोट के "नियमों" और उन नियमों का पालन करने वाले चित्रों के एक समूह को लेना है, और फिर पूछना है, "क्या होगा यदि हम चित्र के बारे में केवल एक चीज़ बदल दें, जैसे एक सेडान को ट्रक में बदलना, या मौसम को धूल भरी आंधी में बदलना, जबकि बाकी दृश्य को बिल्कुल वैसा ही रहने दें?"
रोबोटों को टेस्ट करने के पुराने तरीके रोबोट की आँखों में रेत फेंकने या उनकी दृष्टि को धुंधला करने जैसे थे। यह बहुत मददगार नहीं है क्योंकि वास्तविक जीवन केवल धुंधला नहीं होता; यह विशिष्ट परिवर्तनों से भरा होता है, जैसे कि हरी बत्ती का लाल होना या किसी पैदल यात्री का अचानक सामने आना। SeFAr अलग है। यह एक विशेष "पदानुक्रमित अवधारणा मॉडल" (hierarchical concept model) का उपयोग करता है, जो विचारों के लिए एक फैमिली ट्री (वंशवृक्ष) की तरह है। शीर्ष पर, आपके पास "वाहन" (Vehicle) या "मौसम" (Weather) जैसी व्यापक श्रेणियां हैं। जैसे-जैसे आप शाखाओं में नीचे जाते हैं, आप अधिक विशिष्ट होते जाते हैं: "वाहन" विभाजित होकर "ट्रक" या "सेडान" बनता है, और "रंग" विभाजित होकर "नीला", "हरा", या यहाँ तक कि "टील" (Teal) बनता है।
SeFAr चित्रों को फिर से बनाने के लिए डिफ्यूजन मॉडल्स (diffusion models) नामक शक्तिशाली AI टूल्स का उपयोग करता है (इन्हें बहुत स्मार्ट डिजिटल चित्रकार समझें)। यदि आप इसे कहते हैं, "कार को नीले ट्रक में बदल दो," तो यह सड़क, आकाश या अन्य कारों को छेड़े बिना दृश्य में एक नीला ट्रक पेंट कर देगा। इसके बाद यह जाँचता है कि क्या रोबोट अभी भी नियमों का पालन करता है। यदि रोबोट अचानक गति बढ़ाने लगता है क्योंकि कार अब नीली है, तो SeFAr उसे पकड़ लेता है!
जासूसी का काम
सबसे दिलचस्प बात यह है कि SeFAr उस सटीक कारण को खोज निकालता है जिसकी वजह से रोबोट विफल हुआ। कभी-कभी, रोबोट इसलिए विफल हो सकता है क्योंकि रंग विशिष्ट था, जैसे "टील", जिसके लिए उसके रचनाकारों ने कभी परीक्षण करने के बारे में सोचा भी नहीं था। SeFAr एक जासूस की तरह काम करता है। यह विफल हुए चित्रों को देखता है और क्या बदला है, इसे समझाने के लिए एक अन्य AI टूल (एक विजन-लैंग्वेज मॉडल) का उपयोग करता है। यह कह सकता है, "हे, कार टील रंग की हो गई, और इसीलिए रोबोट घबरा गया।"
इस पेपर ने तीन अलग-अलग परिदृश्यों पर इसका परीक्षण किया:
- सेल्फ-ड्राइविंग कारें (SGSM): नियमों का परीक्षण करना जैसे "यदि 10 मीटर आगे एक कार है, तो गति न बढ़ाएं।"
- एक कैंपस रोवर (RRAV): यह परीक्षण करना कि क्या वह ट्रैफिक कोन और लोगों को देख सकता है।
- मंगल ग्रह का रोवर (AI4MARS): यह परीक्षण करना कि क्या वह मंगल की सतह पर बड़ी चट्टानों को देख सकता है।
उन्होंने क्या पाया
शोधकर्ताओं ने पाया कि SeFAr एक बहुत अच्छा कलाकार है। जब इसने चित्रों को बदला, तो इसने औसतन 93.4% बार नियमों को सत्य रखा। इसका मतलब है कि इसने सफलतापूर्वक नियम को गलती से तोड़े बिना (जैसे कार को गायब किए बिना) कार का रंग या मौसम बदल दिया।
लेकिन असली आश्चर्य विफलताओं में था। SeFAr ने खोजा कि रोबोट आश्चर्यजनक रूप से नाजुक होते हैं।
- ड्राइविंग टेस्ट में, कार का रंग बदलकर हरा करने से रोबोट लगभग 39.7% बार विफल हुआ। इसे ट्रक में बदलने से विफलता दर 10.5% रही।
- और भी दिलचस्प बात यह है कि जब उन्होंने बदलावों को मिलाया—जैसे कि एक हरा ट्रक—तो विफलता दर उछलकर 25.5% हो गई।
- मंगल रोवर के लिए, एक धूल भरी आंधी एक बड़ी समस्या थी, जिससे विफलताएं हुईं, जबकि अन्य मौसम परिवर्तनों ने इसे परेशान नहीं किया।
पेपर सुझाव देता है कि ये विफलताएं इसलिए होती हैं क्योंकि रोबोट "स्पूरियस कोरिलेशन" (spurious correlations - भ्रामक सहसंबंधों) पर निर्भर हैं—वे उन चीजों के आधार पर अनुमान लगा रहे हैं जो महत्वपूर्ण नहीं होनी चाहिए, जैसे कि नीले का एक विशिष्ट शेड या पेड़ की छाया की उपस्थिति, बजाय वास्तविक नियम के।
निष्कर्ष
SeFAr हमें केवल यह नहीं बताता कि रोबोट क्यों विफल हुआ; यह हमें बताता है कि क्यों कहकर कि कौन सा "फीचर" रोबोट के दिमाग को खराब कर गया। इसने पाया कि रोबोट अक्सर नाजुक होते हैं, वे विशिष्ट, यथार्थवादी परिवर्तनों जैसे कि टील कार या धूल भरी आंधी के सामने विफल हो जाते हैं, भले ही वे परिवर्तन सुरक्षा नियमों का उल्लंघन न करते हों।
लेखक आश्वस्त हैं कि यह विधि अच्छी तरह से काम करती है। उन्होंने दिखाया कि इन "क्या होगा अगर" वाले परिदृश्यों को व्यवस्थित रूप से खोजकर, हम उन दोषों को उजागर कर सकते हैं जिन्हें मानक परीक्षण मिस कर देता है। हालाँकि उन्होंने यह दावा नहीं किया कि उन्होंने रोबोट सुरक्षा की समस्या को हमेशा के लिए हल कर दिया है, लेकिन उन्होंने प्रदर्शित किया कि SeFAr यह सुनिश्चित करने के लिए एक शक्तिशाली नया उपकरण है कि हमारे भविष्य के रोबोट रंग में एक साधारण बदलाव या अचानक आई धूल भरी आंधी से भ्रमित न हों। यह सुनिश्चित करने की दिशा में एक कदम है कि जब हम रोबोट को स्टीयरिंग व्हील सौंप दें, तो वह केवल इसलिए घबरा न जाए क्योंकि आकाश थोड़ा अलग दिख रहा है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।