Position, not importance: what a likelihood threshold actually defers on
यह शोध पत्र प्रदर्शित करता है कि एम्पावर (Empower) असिस्टेंट-ट्रेनिंग पद्धति का संभावना-आधारित स्टॉपिंग नियम (likelihood-based stopping rule) खतरनाक और निर्दोष कोड पूर्णता के बीच अंतर करने में विफल रहता है, बल्कि टोकन स्थिति और स्थानीय पूर्वानुमान क्षमता के आधार पर निर्णय लेता है, जिसके परिणामस्वरूप या तो उपयोगी कोड अधूरा रह जाता है या असुरक्षित शाखाओं का निर्माण होता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
सॉफ्टवेयर विकास की दुनिया में, आर्टिफिशियल इंटेलिजेंस (AI) एक ऐसे उपकरण से विकसित होकर एक ऐसे साथी के रूप में बदल गया है जो इंसानों के साथ मिलकर कोड लिखता है। ये डिजिटल सहायक, जिन्हें अक्सर कोडिंग एजेंट कहा जाता है, प्रोग्रामर द्वारा टाइप किए गए शब्दों पर नज़र रखते हैं और फिर काम की गति बढ़ाने के लिए कोड की अगली कुछ पंक्तियों का सुझाव देते हैं। इन प्रणालियों के लिए केंद्रीय चुनौती यह जानना है कि कब रुकना है। यदि सहायक बहुत अधिक लिख देता है, तो वह प्रोग्रामर के लिए एक महत्वपूर्ण निर्णय ले सकता है, जैसे कि सुरक्षा सेटिंग चुनना या डेटाबेस कमांड चुनना, जिससे मानव को विकल्प की समीक्षा करने का अवसर दिए बिना प्रभावी रूप से कीबोर्ड छीन लिया जाता है। यदि यह बहुत जल्दी रुक जाता है, तो यह बहुत कम मदद करता है। लंबे समय तक, शोधकर्ताओं को उम्मीद थी कि एक कंप्यूटर यह सीख सकता है कि मानव को कब हस्तक्षेप करने की आवश्यकता है, इसके लिए यह मापकर कि कंप्यूटर अपनी ही भविष्यवाणियों से कितना "आश्चर्यचकित" (surprised) है। सिद्धांत यह था कि जब कोई मॉडल इस बात को लेकर अनिश्चित होता है कि आगे क्या होगा, तो इसकी संभावना अधिक होती है कि कोई कठिन या महत्वपूर्ण निर्णय लिया जा रहा है, और यही मदद मांगने के लिए रुकने का सही समय है।
एक हालिया अध्ययन ने कंप्यूटर प्रोग्रामिंग के उच्च-जोखिम वाले वातावरण में इस सिद्धांत का परीक्षण करने के लिए एक योजना बनाई। शोधकर्ताओं ने एक विशिष्ट परीक्षण वातावरण बनाया जिसमें सैकड़ों छोटे कोड स्निपेट्स शामिल थे, जिनमें से कुछ में खतरनाक विकल्प थे—जैसे कि सुरक्षा द्वार खुला छोड़ देना या कमजोर पासवर्ड विधि का उपयोग करना—और अन्य केवल हानिरहित, नियमित कोड थे। उन्होंने एक नियम लागू किया जो कंप्यूटर को तब तक लिखने के लिए कहता था जब तक कि वह आत्मविश्वास महसूस करता था, और केवल तभी रुकता था जब संचयी आत्मविश्वास (cumulative confidence) एक निश्चित रेखा से नीचे गिर जाता था। उम्मीद यह थी कि यह नियम खतरनाक विकल्पों से पहले स्वाभाविक रूप से रुक जाएगा, जिससे मानव को उनकी समीक्षा करने का मौका मिलेगा। हालाँकि, परिणामों ने एक चौंकाने वाला अंतर प्रकट किया। कंप्यूटर इसलिए नहीं रुका क्योंकि कोई विकल्प खतरनाक था; बल्कि इसलिए रुका क्योंकि टेक्स्ट (पाठ) का अनुमान लगाना कठिन हो गया था। कोड की दुनिया में, सबसे खतरनाक विकल्प अक्सर सबसे सामान्य और पूर्वानुमेय (predictable) होते हैं, जबकि वास्तव में आश्चर्यजनक टेक्स्ट अक्सर केवल रैंडम शोर (random noise) होता है। फलस्वरूप, सिस्टम अक्सर खतरनाक कोड को पूरा लिख देता था, जबकि वह हानिरहित, उबाऊ टेक्स्ट के बीच में अचानक रुक जाता था।
शोधकर्ताओं ने, जिनका नेतृत्व दयानंद सागर यूनिवर्सिटी के शुभानंदन टी वाई और सहयोगियों ने किया, सटीक रूप से यह मापने के लिए CEDE-Bench नामक एक विस्तृत बेंचमार्क बनाया। इस परीक्षण में 112 विशिष्ट परिदृश्य शामिल थे जहाँ एक प्रोग्रामर को सुरक्षित पथ और जोखिम भरे पथ के बीच चयन करना होता है, जैसे कि सुरक्षा जांच को अक्षम करने या पासवर्ड को कैसे संभालना है। उन्होंने इसमें 12 हानिरहित नियंत्रण आइटम भी शामिल किए जिनमें कोई वास्तविक निर्णय नहीं था, केवल मानक बॉयलरप्लेट कोड था। जब उन्होंने इन आइटम्स पर कंप्यूटर का स्टॉपिंग रूल (रुकने का नियम) चलाया, तो परिणाम स्पष्ट थे। एक पिछले उपयोगकर्ता अध्ययन में उपयोग की गई सेटिंग पर, सिस्टम 33 प्रतिशत मामलों में खतरनाक शाखा (dangerous branch) को लिख देता था। कुछ उदाहरणों में, इसने एक असुरक्षित SQL डेटाबेस क्वेरी के लगभग पूरे हिस्से को लिख दिया, जो हैकिंग के प्रति संवेदनशील था, रुकने से पहले उन्नीस में से अठारह टोकन लिख दिए। ऐसा इसलिए नहीं हुआ क्योंकि कंप्यूटर खतरे को देखने में विफल रहा, बल्कि इसलिए हुआ क्योंकि खतरनाक कोड वही था जिसकी कंप्यूटर ने अपने प्रशिक्षण डेटा के आधार पर अपेक्षा की थी।
अध्ययन में पाया गया कि सिस्टम का व्यवहार लगभग पूरी तरह से इस बात से संचालित था कि निर्णय टेक्स्ट में कहाँ दिखाई देता है, न कि इस बात से कि निर्णय क्या था। यदि कोई जोखिम भरा विकल्प सुझाव के पहले कुछ शब्दों के भीतर दिखाई देता, तो कंप्यूटर उसे लगभग हमेशा लिख देता था। यदि वही जोखिम भरा विकल्प बाद में दिखाई देता, जहाँ कंप्यूटर पहले ही अपने "बजट" के भरोसेमंद शब्दों का उपयोग कर चुका होता, तो वह उससे पहले ही रुक जाता। शोधकर्ताओं ने पाया कि यह नियम किसी निर्णय के महत्व को तौलने वाले न्यायाधीश की तरह कम और एक सरल टोकन काउंटर की तरह अधिक कार्य करता है। यह कंप्यूटर को आसपास के टेक्स्ट की पूर्वानुमेयता के आधार पर शब्दों की एक निश्चित संख्या लिखने की अनुमति देता है, और फिर रुक जाता है। क्योंकि कोड में खतरनाक विकल्प अक्सर बहुत पूर्वानुमेय होते हैं—जैसे कि एक मानक लेकिन असुरक्षित फंक्शन का उपयोग करना—वे इस शुरुआती विंडो के भीतर आते हैं और लिखे जाते हैं। इसके विपरीत, हानिरहित टेक्स्ट जिसमें रैंडम दिखने वाले स्ट्रिंग्स होते हैं, जैसे कि एक फर्जी API की (key), अप्रत्याशित होता है और कंप्यूटर को जल्दी रोक देता है, भले ही वहां कोई खतरा न हो।
यह निष्कर्ष इस विचार को चुनौती देता है कि एक कंप्यूटर केवल अपनी अनिश्चितता को मापकर मनुष्यों के प्रति समर्पण (defer) करना सीख सकता है। अध्ययन ने दिखाया कि सिस्टम का रुकने का बिंदु खतरनाक और हानिरहित आइटम्स के बीच सांख्यिकीय रूप से अविभेद्य (indistinguishable) था। यह हानिरहित बॉयलरप्लेट कोड के बीच में भी उतनी ही बार रुकता था जितना कि खतरनाक कोड से पहले। शोधकर्ताओं ने निष्कर्ष निकाला कि नियम 'महत्व' के प्रति अंधा है। इसे यह नहीं पता कि कोड की एक विशिष्ट पंक्ति डेटाबेस को हटा सकती है या पासवर्ड लीक कर सकती है; यह केवल यह जानता है कि इसने कितने शब्द लिखे हैं और अगला शब्द कितना आश्चर्यजनक महसूस होता है। वास्तव में, सिस्टम एक हानिरहित आइटम पर रुकने के लिए अधिक प्रवृत्त था जिसमें रैंडम दिखने वाला स्ट्रिंग था, बजाय एक ऐसे खतरनाक आइटम के जो एक सामान्य, पूर्वानुमेय पैटर्न का पालन करता था। इसका अर्थ है कि नियम की संवेदनशीलता को ट्यून करना इस समस्या को ठीक नहीं कर सकता; इसे जल्दी रोकने का मतलब है कि यह उपयोगी कोड को जल्दी रोकना है, जबकि इसे देर से रोकने का मतलब है कि यह अधिक खतरनाक कोड लिखता है।
इन खोजों के निहितार्थ हमारे एआई सहायकों को बनाने और उन पर भरोसा करने के तरीके के लिए महत्वपूर्ण हैं। अध्ययन बताता है कि यह तय करने के लिए कि नियंत्रण कब मानव को वापस सौंपना है, मॉडल के अपने आत्मविश्वास पर भरोसा करना एक त्रुटिपूर्ण रणनीति है। सिस्टम मानव के इनपुट की आवश्यकता होने के कारण मानव के प्रति समर्पण नहीं कर रहा है; यह इसलिए समर्पण कर रहा है क्योंकि टेक्स्ट गणितीय रूप से कठिन हो गया है। शोधकर्ताओं ने नोट किया कि उनके परीक्षणों में, सिस्टम रुकने से पहले केवल लगभग एक-तिहाई हानिरहित बॉयलरप्लेट कोड ही पूरा कर पाया, जिसका अर्थ है कि वह बिना किसी ठोस कारण के प्रोग्रामर को बार-बार बाधित कर रहा था। साथ ही, यह सबसे खतरनाक निर्णयों के लिए रुकने में विफल रहा, जो अक्सर सबसे रूटीन और अपेक्षित थे। यह एक ऐसी स्थिति पैदा करता है जहाँ सहायक या तो बहुत दखल देने वाला है या बहुत जोखिम भरा है, जिसमें ऐसा कोई मध्य मार्ग नहीं है जो सुरक्षा और उपयोगिता दोनों को संतुष्ट करे।
अंततः, पेपर का तर्क है कि इन एआई सहायकों के पीछे के तंत्र को एक मौलिक पुनर्विचार की आवश्यकता है। वर्तमान दृष्टिकोण, जो यह मानता है कि अनिश्चितता ही महत्व है, सॉफ्टवेयर विकास की वास्तविक दुनिया में टिक नहीं पाता है। शोधकर्ता प्रस्तावित करते हैं कि मॉडल को अनिश्चितता के माध्यम से महत्व को पहचानना सिखाने के बजाय, हमें खतरनाक पैटर्न को पकड़ने के लिए सरल, अधिक प्रत्यक्ष तरीकों का उपयोग करना चाहिए, जैसे कि ज्ञात सुरक्षा खामियों को खोजने वाले स्टैटिक कोड चेकर्स। इन उपकरणों को यह अनुमान लगाने की आवश्यकता नहीं है कि कब रुकना है; वे ज्ञात जोखिम भरे पैटर्न को बिना इस पर ध्यान दिए फ्लैग (चिह्नित) कर सकते हैं कि एआई कितना आश्वस्त महसूस कर रहा है। यह अध्ययन एक स्पष्ट चेतावनी के रूप में कार्य करता है कि हालांकि एआई सहायक मददगार हो सकते हैं, लेकिन उनकी रुकने की क्षमता बुद्धिमत्ता या सुरक्षा का संकेत नहीं है, बल्कि केवल इस बात का प्रतिबिंब है कि टेक्स्ट कितना पूर्वानुमेय है। जब तक तकनीक एक उबाऊ रूटीन और एक महत्वपूर्ण निर्णय के बीच अंतर नहीं कर लेती, तब तक उन अंतरों को स्वयं करने के लिए उस पर भरोसा करना एक जुआ लगाने जैसा है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।