Model Confidence Under Answer-Preserving Attacks: An Informativeness-Manipulability Frontier
यह शोध पत्र प्रदर्शित करता है कि तैनात विजन-लैंग्वेज सिस्टम में कॉन्फिडेंस रीडआउट्स (confidence readouts) उत्तर-संरक्षण हमलों (answer-preserving attacks) के प्रति अत्यधिक संवेदनशील हैं, जो यह सिद्ध करता है कि वे एक सुदृढ़ निगरानी संकेत के बजाय अखंडता-संवेदनशील (integrity-sensitive) संकेतों के रूप में कार्य करते हैं जिन्हें गलत उत्तरों को स्वीकार करने या समग्र सटीकता को बेसलाइन स्तर से नीचे गिराने के लिए हेरफेर किया जा सकता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक अंतरिक्ष यान के कप्तान हैं, लेकिन आप सितारों या नियंत्रणों को देख नहीं सकते। इसके बजाय, आपके पास एक बहुत ही बुद्धिमान रोबोट सह-पायलट है जो उपकरणों को देखता है और आपको बताता है, "मुझे 90% यकीन है कि हम सही रास्ते पर हैं," या "मुझे केवल 50% यकीन है, शायद हमें रुक जाना चाहिए।" आप रोबोट के आत्मविश्वास स्कोर (confidence score) पर भरोसा करते हैं ताकि यह तय किया जा सके कि उड़ान जारी रखनी है या रुककर किसी इंसान से मदद मांगनी है। आज के कई आधुनिक AI सिस्टम इसी तरह काम करते हैं: वे केवल आपको उत्तर नहीं देते; वे एक "कॉन्फिडेंस स्कोर" भी देते हैं ताकि वे आपको बता सकें कि आपको उस उत्तर पर कितना भरोसा करना चाहिए।
लेकिन यहाँ एक पेचीदा बात है: क्या होगा अगर कोई रोबोट को इस तरह चकमा दे सके कि वह अपने उत्तर को बदले बिना अपनी निश्चितता (certainty) के स्तर को बदल ले? यह एक जादूगर की तरह है जो वजन बदले बिना तराजू को "भारी" से "हल्का" दिखा देता है। यदि आपका निर्णय लेने से रोकने वाली एकमात्र चीज़ रोबोट का कॉन्फिडेंस स्कोर है, और वह स्कोर फर्जी हो सकता है, तो आपकी सुरक्षा जाल में एक छेद है। यह शोध पत्र ठीक उसी छेद की गहराई में जाता है, और एक डरावना लेकिन महत्वपूर्ण प्रश्न पूछता है: क्या हम इन AI रोबोटों को उनके उत्तर को बदले बिना, उनकी निश्चितता के बारे में झूठ बोलने के लिए मजबूर कर सकते हैं?
इस अध्ययन के शोधकर्ताओं ने कई शक्तिशाली विजन-लैंग्वेज मॉडल्स (ऐसे AI जो चित्र देख सकते हैं और प्रश्नों के उत्तर दे सकते हैं) के साथ "कमजोरी खोजने" का एक उच्च-दांव वाला खेल खेलने का निर्णय लिया। उनका लक्ष्य यह देखना था कि क्या वे एक छवि में एक सूक्ष्म, लगभग अदृश्य परिवर्तन कर सकते हैं जो AI के कॉन्फिडेंस स्कोर को नाटकीय रूप से बदल दे, भले ही AI का अंतिम उत्तर हर एक अक्षर और स्थान (space) के साथ बिल्कुल समान रहे। उन्होंने AI के कॉन्फिडेंस स्कोर को एक नाजुक कांच की खिड़की की तरह माना: वे देखना चाहते थे कि क्या वे फ्रेम (उत्तर) को तोड़े बिना कांच (कॉन्फिडेंस) को चकनाचूर कर सकते हैं।
उन्होंने पाया कि वह कांच उम्मीद से कहीं अधिक नाजुक है। "आंसर-प्रिजर्विंग अटैक्स" (उत्तर-संरक्षण हमलों) नामक एक विधि का उपयोग करते हुए, वे लगभग हर परीक्षण में AI के आंतरिक कॉन्फिडेंस स्कोर में हेरफेर करने में सफल रहे। वास्तव में, उन्होंने पाया कि उनके द्वारा परीक्षण किए गए कई AI मॉडल्स के लिए, वे सिस्टम को एक गलत उत्तर को ऐसे स्वीकार करने के लिए या एक सही उत्तर को ऐसे अस्वीकार करने के लिए धोखा दे सकते थे जैसे कि वह सही या गलत हो, केवल छवि को थोड़ा सा बदलकर कॉन्फिडेंस मीटर को मूर्ख बना दिया।
उनकी खोज का सबसे आश्चर्यजनक हिस्सा यह है कि यह केवल छवि के बारे में नहीं है। शोधकर्ताओं ने दिखाया कि वे छवि को छुए बिना भी AI के आंतरिक मस्तिष्क (इसके हिडन स्टेट्स) को सीधे "धक्का" दे सकते हैं, जैसे किसी विचार को एक विशिष्ट दिशा में मोड़ना, और वही परिणाम प्राप्त कर सकते हैं। यह सुझाव देता है कि समस्या केवल इस बात में नहीं है कि AI चित्रों को कैसे देखता है, बल्कि यह AI द्वारा अपनी निश्चितता की गणना करने के तरीके के साथ जुड़ी एक गहरी समस्या है।
उन्होंने कई "डिफेंस" रणनीतियों का भी परीक्षण किया—जैसे छवि में शोर (noise) जोड़ना या AI को परिवर्तनों के प्रति कम संवेदनशील बनाने के लिए प्रशिक्षित करना। दुर्भाग्य से, इनमें से कोई भी रक्षा रणनीति पर्याप्त रूप से काम नहीं कर पाई। उनके सिमुलेशन में, जब उन्होंने इन हेरफेर किए गए कॉन्फिडेंस स्कोर का उपयोग वास्तविक दुनिया के निर्णय लेने के लिए किया, तो सिस्टम का प्रदर्शन वास्तव में उस स्थिति से भी खराब था जब उन्होंने कॉन्फिडेंस स्कोर को पूरी तरह से अनदेखा कर दिया होता और हर उत्तर को स्वीकार कर लिया होता।
तो, भविष्य के लिए इसका क्या अर्थ है? शोध पत्र निष्कर्ष निकालता है कि हम AI के आंतरिक कॉन्फिडेंस स्कोर को एक सुरक्षा संकेत के रूप में अंधाधुंध विश्वास नहीं कर सकते, खासकर यदि डेटा देने वाला व्यक्ति इसे धोखा देने की कोशिश कर रहा हो। कॉन्फिडेंस स्कोर "इंटीग्रिटी-सेंसिटिव" (अखंडता के प्रति संवेदनशील) है, जिसका अर्थ है कि इसे आसानी से भ्रष्ट किया जा सकता है। लेखक सुझाव देते हैं कि यदि हम इन कॉन्फिडेंस स्कोर का उपयोग महत्वपूर्ण निर्णय लेने के लिए करना चाहते हैं, तो हमें उन्हें सत्यापित करने के लिए नए, बाहरी तरीके बनाने की आवश्यकता है, न कि केवल AI द्वारा बताए गए भरोसे पर निर्भर रहने की। यह एक याद दिलाता है कि AI की दुनिया में, केवल इसलिए कि एक रोबोट कहता है "मैं निश्चित हूँ," इसका मतलब यह नहीं है कि वह वास्तव में है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।