The Exceedance Design Effect: Effective Sample Size for Thresholds under Clustering
यह शोध पत्र यह प्रदर्शित करता है कि जब अंशांकन डेटा (calibration data) स्वतंत्र होने के बजाय क्लस्टर में होता है, तो थ्रेशोल्ड-आधारित मशीन लर्निंग सिस्टम के लिए प्रभावी नमूना आकार (effective sample size) एक एकल निश्चित मान होने के बजाय विशिष्ट थ्रेशोल्ड स्तर पर निर्भर करता है, जिसके लिए कवरेज विश्वसनीयता का सटीक अनुमान लगाने और मौजूदा विधियों के दोषों से बचने हेतु एक नए क्लोज्ड-फॉर्म सुधार की आवश्यकता होती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आधुनिक आर्टिफिशियल इंटेलिजेंस की दुनिया में, प्रणालियों को अक्सर सतर्क रहना सिखाया जाता है। इससे पहले कि कोई AI किसी कठिन प्रश्न का उत्तर दे या कोड का कोई हिस्सा तैयार करे, वह यह निर्णय लेने के लिए एक सुरक्षा जांच (सेफ्टी चेक) चलाता है कि क्या वह आगे बढ़ने के लिए पर्याप्त आश्वस्त है। इस सुरक्षा जांच को निर्धारित करने के लिए, इंजीनियर अभ्यास के उदाहरणों का एक बड़ा संग्रह एकत्र करते हैं, जिसे 'कैलिब्रेशन सेट' कहा जाता है। वे इन उदाहरणों को AI द्वारा दिए गए स्कोर को देखते हैं और एक कटऑफ पॉइंट (सीमा बिंदु) चुनते हैं, जो आमतौर पर रैंकिंग में एक विशिष्ट स्थान पर होता है, जैसे कि शीर्ष नब्बे प्रतिशत। यह वादा किया जाता है कि यदि AI का उपयोग नए, अनदेखे डेटा पर किया जाता है, तो वह नब्बे प्रतिशत समय उस सुरक्षा सीमा के भीतर रहेगा। यह वादा एक मौलिक धारणा पर निर्भर करता है: कि प्रत्येक अभ्यास उदाहरण एक स्वतंत्र, अद्वितीय घटना है, जैसे कि पासा फेंकना जहाँ एक रोल का परिणाम अगले रोल को प्रभावित नहीं करता है।
हालाँकि, आज के लैंग्वेज मॉडल्स को चलाने वाले जटिल पाइपलाइनों में, यह स्वतंत्रता अक्सर एक भ्रम होती है। जब एक AI किसी समस्या के माध्यम से तर्क देता है, तो वह एक ही शुरुआती बिंदु से विचार के कई अलग-अलग पथ या "शाखाएं" (ब्रांचेस) उत्पन्न कर सकता है। ये शाखाएं एक साझा इतिहास साझा करती हैं, ठीक वैसे ही जैसे भाई-बहन एक ही पारिवारिक पृष्ठभूमि साझा करते हैं। क्योंकि वे एक ही स्रोत से आती हैं, उनके स्कोर भी एक साथ चलते हैं। यदि एक शाखा आश्वस्त है, तो अन्य भी होने की संभावना होती है। दशकों से, सांख्यिकीविदों (स्टेटिस्टिशियन) को साधारण औसत की गणना करते समय इस तरह के क्लस्टर्ड डेटा (समूहीकृत डेटा) को संभालने का तरीका पता था, लेकिन वे यह नहीं जानते थे कि नियम कैसे बदले जाएं जब लक्ष्य एक थ्रेशोल्ड या कटऑफ लाइन निर्धारित करना हो। यह अंतराल एक ऐसा अर्थ निकाला गया था कि AI सिस्टमों को सुरक्षा के झूठे अहसास के साथ कैलिब्रेट किया जा रहा था, यह विश्वास करते हुए कि उनके पास वास्तव में जितना डेटा था, उससे कहीं अधिक स्वतंत्र डेटा मौजूद है।
स्वतंत्र शोधकर्ता एडम नूनन का एक नया अध्ययन स्पष्ट रूप से बताता है कि यह साझा वंशावली इन प्रणालियों की सुरक्षा गारंटी को कैसे विकृत करती है। शोध यह प्रदर्शित करता है कि डेटा पॉइंट्स को गिनने का मानक तरीका विफल हो जाता है जब डेटा समूहों (क्लस्टर्स) में आता है। अध्ययन दिखाता है कि स्वतंत्र उदाहरणों की "प्रभावी" संख्या डेटासेट के लिए एक एकल निश्चित संख्या नहीं है। इसके बजाय, यह इस बात पर निर्भर करता है कि सुरक्षा कटऑफ कहाँ सेट किया गया है। स्कोर का एक क्लस्टर एक एकल स्वतंत्र बिंदु की तरह कार्य कर सकता है यदि कटऑफ उच्च है, लेकिन दो अलग-अलग बिंदुओं की तरह लग सकता है यदि कटऑफ कम है। स्कोर की संख्याओं की समानता मायने नहीं रखती; जो मायने रखता है वह यह है कि क्या वे रेखा के एक ही तरफ गिरते हैं या नहीं।
शोधकर्ताओं ने इस घटना का वर्णन करने वाला एक गणितीय नियम सिद्ध किया है, जिसे वे "एक्सीडेंस डिजाइन इफेक्ट" (exceedance design effect) कहते हैं। उन्होंने पाया कि क्लस्टर्ड डेटा के लिए सुधार करने का सामान्य तरीका, जो यह देखता है कि स्कोर आपस में कितने समान हैं, अक्सर गलत होता है। कई वास्तविक मामलों में, स्कोर असंबंधित (अनकोरिलेटेड) दिख सकते हैं, फिर से पास या फेल होने का निर्णय अत्यधिक सहसंबंधित (कोरिलेटेड) होता है। जब शोधकर्ताओं ने इसका परीक्षण एक प्रोसेस-रिवॉर्ड मॉडल के पच्चीस हजार से अधिक उदाहरणों वाले जारी किए गए डेटासेट पर किया, तो उन्होंने एक चौंकाने वाली वास्तविकता की खोज की। जबकि डेटासेट में पच्चीस हजार पंक्तियाँ थीं, वास्तविक स्वतंत्र जानकारी जो इसने प्रदान की थी, वह केवल लगभग एक हजार तीन सौ के बराबर थी। सिस्टम ऐसे व्यवहार कर रहा था जैसे कि उसके पास उपलब्ध डेटा से बीस गुना कम डेटा हो।
यह विसंगति उन सभी के लिए गंभीर परिणाम लेकर आती है जो इन प्रणालियों को तैनात (डिप्लॉय) कर रहे हैं। सिस्टम का औसत प्रदर्शन कई परीक्षणों में सही लग सकता है, लेकिन एकल तैनाती के लिए, विफलता का जोखिम बहुत अधिक है। अध्ययन दिखाता है कि सुरक्षा मार्जिन केवल थोड़ा सा ही गलत नहीं है; यह अपेक्षित से काफी अधिक व्यापक है, जिसका अर्थ है कि व्यक्तिगत मामलों में सिस्टम औसत आंकड़ों की तुलना में बहुत कम विश्वसनीय है। इसके अलावा, शोध इस विचार को खारिज करता है कि केवल एक ही स्रोत से अधिक डेटा एकत्र करने से समस्या हल हो जाएगी। एक ही प्रश्न के लिए तर्क की शाखाओं की संख्या बढ़ाने से घटते प्रतिफल (डिमिनिशिंग रिटर्न्स) मिलते हैं क्योंकि शाखाएं बहुत समान होती हैं। सुरक्षा जांच की विश्वसनीयता को वास्तव में बढ़ाने का एकमात्र तरीका अधिक विशिष्ट प्रश्न एकत्र करना है, न कि उसी प्रश्न के अधिक संस्करण।
यह शोध इस गलत धारणा को भी संबोधित करता है कि समस्या को स्कोर के बीच सहसंबंध (कोरिलेशन) को देखकर हल किया जा सकता है। शोधकर्ताओं ने दिखाया कि यह दृष्टिकोण खतरनाक रूप से भ्रामक हो सकता है। एक मानक रीडिंग कॉम्प्रिहेन्शन डेटासेट से जुड़े एक मामले में, स्कोर के बीच सहसंबंध शून्य के बहुत करीब था कि एक अभ्यासी निष्कर्ष निकाल लेता कि किसी सुधार की आवश्यकता नहीं है। फिर भी, जब उन्होंने वास्तविक पास-या-फेल निर्णयों को देखा, तो सहसंबंध महत्वपूर्ण था, और सिस्टम प्रभावी रूप से दिखने की तुलना में बहुत छोटा था। अध्ययन चिकित्सकों के लिए एक नया नुस्खा प्रदान करता है: डेटासेट की प्रत्येक पंक्ति को गिनने के बजाय, उन्हें स्वतंत्र स्रोतों की संख्या गिननी चाहिए, जैसे कि अद्वितीय प्रश्नों की संख्या, और अपने अपेक्षाओं को उन स्रोतों के क्लस्टरिंग के आधार पर समायोजित करना चाहिए।
अंततः, यह कार्य क्लस्टर्ड डेटा सुरक्षा थ्रेशोल्ड को कैसे प्रभावित करता है, इसे समझने के लिए एक स्पष्ट, क्लोज्ड-फॉर्म कानून प्रदान करता है। यह अस्पष्ट चेतावनियों से आगे बढ़कर जोखिम का सटीक माप प्रदान करता है। निष्कर्ष पुष्टि करते हैं कि इन निर्भरताओं को अनदेखा करने से होने वाला नुकसान औसत परिणामों में अदृश्य है लेकिन उस उपयोगकर्ता द्वारा पूरी तरह से महसूस किया जाता है जो सिस्टम को एक बार तैनात करता है। यह समझकर कि एक डेटासेट का आकार सुरक्षा के हर स्तर के लिए अलग होता है जिसे वह प्राप्त करने का लक्ष्य रखता है, इंजीनियर अंततः अपनी सीमाओं के यथार्थवादी दृष्टिकोण के साथ अपने AI सिस्टम को कैलिब्रेट कर सकते हैं, जिससे यह सुनिश्चित होता है कि उपयोगकर्ताओं से किए गए वादे वास्तव में निभाए जाएं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।