Responsiveness Verification: Will Predictions Change? How Much? How Often?
यह शोध पत्र एक ढांचे और एल्गोरिदम को प्रस्तुत करता है जो "प्रतिक्रियाशीलता" (responsiveness) को मापने के लिए है—अर्थात यह संभावना कि किसी मशीन लर्निंग मॉडल का आउटपुट इंटरैक्शन, शोर या हेरफेर द्वारा अपने इनपुट में बदलाव किए जाने पर बदल जाता है—जो पुनरावृत्ति भविष्यवाणी (recidivism prediction), सामग्री मॉडरेशन और एलएलएम (LLM) बेंचमार्किंग जैसे डोमेन में सुरक्षा और विश्वसनीयता बढ़ाने के लिए सांख्यिकीय गारंटी प्रदान करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक वीडियो गेम खेल रहे हैं जहाँ हर बार बटन दबाने पर नियम बदल जाते हैं। यदि आप कूदते हैं, तो फर्श हिल सकता है; यदि आप गोली चलाते हैं, तो दुश्मन टेलीपोर्ट हो सकता है। वास्तविक दुनिया में, "खिलाड़ी" लोग हैं, और "खेल" वे मशीन लर्निंग मॉडल हैं जो यह तय करते हैं कि किसे ऋण मिलना चाहिए, किसे बॉट के रूप में चिह्नित किया जाना चाहिए, या कौन सा AI चैटबॉट उपयोग के लिए सुरक्षित है। ये मॉडल आमतौर पर दुनिया के एक स्थिर स्नैपशॉट पर प्रशिक्षित होते हैं, जैसे कि एक तस्वीर। लेकिन वास्तविक दुनिया एक फिल्म है; लोग अपना व्यवहार बदलते हैं, कभी सिस्टम को चकमा देने के लिए, तो कभी बस अपनी ज़िंदगी जीने के लिए। वैज्ञानिक एक बड़ा सवाल पूछ रहे हैं: यदि कोई व्यक्ति अपने इनपुट (जैसे कि उनकी आय, उनके सोशल मीडिया पोस्ट, या उनके टाइप करने का तरीका) बदलता है, तो क्या मॉडल का उत्तर इस तरह बदलता है जिसे हम अनुमानित कर सकें? या क्या मॉडल अटक जाता है, और व्यक्ति कुछ भी करे, वही गलत उत्तर देता रहता है? यह "रिस्पॉन्सिवनेस" (प्रतिक्रियाशीलता) की समस्या है। यदि कोई मॉडल रिस्पॉन्सिव नहीं है, तो यह खतरनाक हो सकता है क्योंकि यह किसी को स्थायी रूप से अवसरों से वंचित कर सकता है या बुरे तत्वों को बिना हमारी नज़र में आए निकल जाने दे सकता है।
यह शोध पत्र इन मॉडलों का परीक्षण करने का एक नया तरीका पेश करता है, उन्हें शून्य से पूरी तरह से बनाने की कोशिश करने के बजाय, बल्कि एक "स्ट्रेस-टेस्ट इंजीनियर" की तरह कार्य करके। लेखक, हैरी चियोन और उनकी टीम, "रिस्पॉन्सिवनेस" को मापने का एक तरीका प्रस्तावित करते हैं—वह संभावना कि किसी व्यक्ति के इंटरैक्ट करने पर मॉडल का पूर्वानुमान वास्तव में बदल जाएगा। इसे एक पुल के लिए "शेक टेस्ट" (झटका परीक्षण) की तरह समझें। केवल ब्लूप्रिंट देखने के बजाय, आप पुल पर एक ट्रक भेजते हैं यह देखने के लिए कि क्या पुल डगमगाता है, थमता है, या ढह जाता है। टीम ने एक ऐसा टूलकिट विकसित किया है जो किसी को भी यह परिभाषित करने की अनुमति देता है कि एक व्यक्ति कैसे अपने डेटा को बदलने की कोशिश कर सकता है (जैसे कि "मैं अपनी बचत बढ़ा सकता हूँ लेकिन मैं अपनी उम्र नहीं बदल सकता") और फिर इन हजारों परिवर्तनों को सिम्युलेट करने के लिए गणित का उपयोग करता है। वे केवल अनुमान नहीं लगाते; वे यह कहने के लिए सख्त सांख्यिकीय नियमों का उपयोग करते हैं कि, "हमें 95% विश्वास है कि यह मॉडल 88% बार अपना मन बदलेगा," या इसके विपरीत, "यह मॉडल जिद्दी है और अपना मन नहीं बदलेगा, भले ही आप प्रयास करें।"
शोधकर्ताओं ने पाया कि कई मॉडल आश्चर्यजनक रूप से जिद्दी हैं। पुनरावृत्ति (recidivism) भविष्यवाणी (यह अनुमान लगाना कि क्या कोई व्यक्ति फिर से अपराध करेगा) से जुड़े एक परीक्षण में, उन्होंने पाया कि लगभग 17.3% लोग जिन्हें फिर से अपराध करने की भविष्यवाणी की गई थी, वे "प्रिक्लूडेड" (पूर्ववर्जित) थे—अर्थात सिमुलेशन में उन्होंने अपने आपराधिक रिकॉर्ड को सुधारने की कितनी भी कोशिश क्यों न की हो, मॉडल अभी भी कहता था "हाँ, वे फिर से अपराध करेंगे।" मॉडल अनिवार्य रूप से उनके सुधार के प्रयासों को अनदेखा कर रहा था। एक अन्य परीक्षण के साथ जो कंटेंट मॉडरेशन (नकली बॉट खातों को पकड़ना) से संबंधित था, उन्होंने दिखाया कि कुछ मॉडल कागज़ पर बहुत अच्छे दिखते हैं लेकिन वास्तव में उन्हें चकमा देना आसान है। जब उन्होंने बड़े भाषा मॉडलों (स्मार्ट चैटबॉट्स) का निर्दहर (harmless) प्रॉम्प्ट्स के साथ परीक्षण किया, तो कुछ सुरक्षित लगे। लेकिन जब उन्होंने स्पेलिंग की गलतियों या अन्य भाषाओं में अनुवाद करके प्रॉम्प्ट्स को "गेम" किया, तो मॉडलों की सुरक्षा काफी कम हो गई। उदाहरण के लिए, OLMo 2 7B नामक एक मॉडल शुरू में बहुत सुरक्षित लग रहा था, लेकिन इन इंटरैक्टिव परीक्षणों के तहत, हानिकारक अनुरोधों के प्रति इसकी अनुपालन दर बढ़ गई, जिससे यह पहले की तुलना में बहुत कम सुरक्षित हो गया।
यह शोध पत्र इस विचार के विरुद्ध तर्क देता है कि हमें अपने मॉडलों को उपयोग करने से पहले उन्हें "अनुमानित" बनाने के लिए उन्हें फिर से डिज़ाइन करने की आवश्यकता है। इसके बजाय, वे सुझाव देते हैं कि हमें पहले हमारे पास मौजूद मॉडलों का परीक्षण करना चाहिए ताकि यह देखा जा सके कि वे कहाँ टूटते हैं। उन्होंने लोगों को यह परीक्षण करने में मदद करने के लिए एक पायथन लाइब्रेरी बनाई। उनका मुख्य निष्कर्ष यह है कि रिस्पॉन्सिवनेस को मापकर, हम इन छिपे हुए विफलताओं को वास्तविक दुनिया के नुकसान पहुँचाने से पहले पकड़ सकते हैं। उन्होंने केवल यह सुझाव नहीं दिया कि यह काम कर सकता है; उन्होंने एल्गोरिदम, सांख्यिकीय गारंटी और वास्तविक दुनिया के उदाहरण प्रदान किए जो दिखाते हैं कि विभिन्न परिदृश्यों के तहत भविष्यवाणियाँ कितनी बदलीं (या नहीं बदलीं)। उन्होंने साबित किया कि इस तरह के परीक्षण के बिना, हम ऐसे मॉडलों पर भरोसा कर सकते हैं जो वास्तव में काफी नाजुक हैं, या इससे भी बदतर, ऐसे मॉडल जो अपरिवर्तनीय और अन्यायपूर्ण हैं। शोध पत्र निष्कर्ष निकालता है कि हालांकि हम यह नियंत्रित नहीं कर सकते कि लोग हमारे सिस्टम के साथ कैसे इंटरैक्ट करते हैं, हम निश्चित रूप से यह देखने के लिए बेहतर उपकरण बना सकते हैं कि हमारे सिस्टम उन इंटरैक्शन के प्रति कैसी प्रतिक्रिया देते हैं, जिससे यह सुनिश्चित हो सके कि वे सुरक्षित और निष्पक्ष बने रहें, भले ही उनके आसपास की दुनिया बदल जाए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।