Machine Learning in the Wild: Early Evidence of Non-Compliant ML-Automation in Open-Source Software
यह शोध पत्र 16 डोमेन के 173 ओपन-सोर्स GitHub प्रोजेक्ट्स में गैर-अनुपालन वाले, स्वायत्त ML मॉडल उपयोग और जोखिम-निवारण उपायों की कमी के स्तर का मूल्यांकन करने के लिए एक प्रारंभिक जांच प्रस्तुत करता है, जिसका उद्देश्य नियामक उल्लंघनों की पहचान करने के लिए दिशानिर्देश और उपकरण स्थापित करना है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपने अभी-अभी एक बिल्कुल नया, सुपर-स्मार्ट रोबोटिक असिस्टेंट खरीदा है। आपने इसे शून्य से नहीं बनाया; आपने इसे GitHub नामक एक विशाल, सार्वजनिक लाइब्रेरी से डाउनलोड किया है। यह रोबोट बीमारियों का निदान करने, कार चलाने या आपके पैसे प्रबंधित करने जैसे कामों में अविश्वसनीय रूप से प्रतिभाशाली है।
लेकिन यहाँ एक पेंच है: इस रोबोट के साथ एक उपयोगकर्ता नियमावली (Terms of Use) और एक सरकारी सुरक्षा निरीक्षक (जैसे EU AI Act जैसे नियम) भी आए थे, जिन्होंने कहा था, "हे, आप इस रोबोट को बिना किसी इंसान की निगरानी के अपने आप जीवन-मरण के निर्णय लेने की अनुमति नहीं दे सकते।"
यह पेपर उन जांचकर्ताओं के समूह की तरह है जो इन डाउनलोड किए गए रोबोटों के एक विशाल गोदाम में जाकर देखते हैं कि लोग वास्तव में क्या कर रहे हैं। उन्होंने 173 अलग-अलग प्रोजेक्ट्स (जैसे ऐप्स या सॉफ्टवेयर सिस्टम) का अध्ययन किया जो स्वास्थ्य सेवा, वित्त और खुद चलने वाली कारों जैसे "उच्च-जोखिम" वाले क्षेत्रों में इन रोबोटों का उपयोग करते हैं।
यहाँ उन्होंने क्या पाया, जिसे सरल कहानियों में विभाजित किया गया है:
1. "हाथ-ऑफ" की समस्या (RQ1)
जांचकर्ताओं ने पूछा: "क्या ये रोबोट वास्तव में अंतिम निर्णय ले रहे हैं, या इंसान बस इसकी लगाम थामे खड़ा है?"
- निष्कर्ष: लगभग 26% प्रोजेक्ट्स इन रोबलों को पूरी तरह से अकेले कार चलाने देते हैं।
- उपमा: एक सेल्फ-ड्राइविंग कार की कल्पना करें। कुछ प्रोजेक्ट्स में, कार लाल बत्ती देखती है, और रोबोट तुरंत ब्रेक लगा देता है। अन्य मामलों में, रोबोट कहता है, "मुझे लगता है कि यह लाल है," और फिर एक मानव ड्राइवर को खिड़की से बाहर देखना पड़ता है और कहना पड़ता है, "हाँ, यह लाल है," इससे पहले कि ब्रेक लगाए जाएं।
- वास्तविकता: अध्ययन में पाया गया कि कई प्रोजेक्ट्स इन खतरनाक स्थितियों में भी, जैसे चिकित्सा निदान या वित्तीय ट्रेडिंग में, बिना किसी मानव सह-पायलट के रोबोट को चलाने की अनुमति दे रहे हैं।
2. "सेफ्टी नेट" की जाँच (RQ2)
जांचकर्ताओं ने पूछा: "यदि रोबोट कोई गलती करता है, तो क्या उसे पकड़ने के लिए कोई सुरक्षा जाल (सेफ्टी नेट) है?"
- निष्कर्ष: अधिकांश प्रोजेक्ट्स (45 में से 40) में किसी न किसी प्रकार का सेफ्टी नेट है। वे रोबोट के कच्चे आउटपुट पर आँख मूंदकर भरोसा नहीं करते हैं।
- उपमा: रोबोट को एक बहुत तेज़ लेकिन कभी-कभी अनाड़ी शेफ के रूप में सोचें।
- रॉ आउटपुट (Raw Output): शेफ आपके ऊपर खाने की एक प्लेट फेंकता है।
- पोस्ट-प्रोसेसिंग (सेफ्टी नेट): आपके पास खाना पहुँचने से पहले, एक सहायक शेफ (sous-chef) उसकी जाँच करता है। वे ऐसा कर सकते हैं:
- संरचना बनाना: यह सुनिश्चित करना कि खाना वास्तव में एक प्लेट पर है और फर्श पर बिखरा हुआ नहीं है।
- निरंतरता की जाँच: यह सुनिश्चित करना कि शेफ ने गलती से सूप में ज़हर तो नहीं डाल दिया (नियमों के विरुद्ध जाँच)।
- कॉन्फिडेंस चेक: यदि शेफ केवल 50% आश्वस्त है कि यह बर्गर है या पत्थर, तो सेफ्टी नेट कहता है, "रुको, चलो मुख्य शेफ से पूछते हैं।"
- वास्तविकता: हालांकि ये सेफ्टी नेट अच्छे हैं, लेकिन ये पूर्ण नहीं हैं। वे एक सीटबेल्ट की तरह हैं; वे मदद करते हैं, लेकिन वे इस बात की गारंटी नहीं देते कि यदि ड्राइवर (रोबोट) भ्रमित (hallucinating) हो रहा है तो आपका एक्सीडेंट नहीं होगा।
3. "नियम तोड़ने वाले" (RQ3)
जांचकर्ताओं ने पूछा: "क्या ये प्रोजेक्ट्स रोबोट की नियमावली में लिखे नियमों का पालन कर रहे हैं?"
- निष्कर्ष: यह सबसे चिंताजनक हिस्सा है। आधे से अधिक (56%) प्रोजेक्ट्स नियमों को तोड़ रहे हैं।
- उपमा: कल्पना कीजिए कि आपने एक कंपनी से कार किराए पर ली है। अनुबंध कहता है, "आप इस कार को किराने के सामान के लिए ले जा सकते हैं, लेकिन आप इसे ट्रैक पर रेस करने या ज्वालामुखी में चलाने के लिए नहीं ले जा सकते।"
- अध्ययन में पाया गया कि बहुत से लोग इन रोबोटों (जिन्हें चैट करने या कोड लिखने के लिए प्रशिक्षित किया गया था) का उपयोग कैंसर का निदान करने या शेयर बाजार को प्रबंधित करने के लिए कर रहे हैं।
- रोबोट की नियमावली (Terms of Use) स्पष्ट रूप से कहती है, "मुझे चिकित्सा या वित्तीय सलाह के लिए उपयोग न करें!"
- लेकिन डेवलपर्स उस चेतावनी को अनदेखा कर रहे हैं, प्रभावी रूप से कार को ज्वालामुखी में चला रहे हैं।
- दोषी: सबसे आम नियम तोड़ने वाले प्रसिद्ध, क्लोज्ड-सोर्स रोबोट जैसे GPT-4 या Gemini का उन तरीकों से उपयोग कर रहे हैं जिनके लिए उन्हें अनुमति नहीं थी।
बड़ी तस्वीर
इस पेपर के लेखक खतरे का अलार्म बजा रहे हैं। वे यह नहीं कह रहे हैं कि "AI का उपयोग करना बंद करें।" वे कह रहे हैं:
"हम एक ऐसी दुनिया बना रहे हैं जहाँ सॉफ्टवेयर उच्च-दांव वाले निर्णय लेता है। अभी, कई डेवलपर्स इन शक्तिशाली उपकरणों के साथ जादू की छड़ी जैसा व्यवहार कर रहे हैं, सुरक्षा चेतावनियों और उपयोगकर्ता नियमावलियों को अनदेखा कर रहे हैं। हमें स्वचालित रूप से यह जाँचने के लिए बेहतर उपकरण बनाने की आवश्यकता है कि क्या डेवलपर्स नियमों का पालन कर रहे हैं, ताकि हम एक ऐसी प्रणाली के साथ न रह जाएँ जहाँ एक रोबोट गलती से आपके बॉस को नौकरी से निकाल दे या गलत दवा लिख दे।"
संक्षेप में: हम शक्तिशाली, नियमों से बंधे रोबोटों को खुले में छोड़ रहे हैं, और उनमें से बहुत से बिना किसी लगाम के, निर्देशों को अनदेखा करते हुए और संभावित रूप से परेशानी पैदा करते हुए घूम रहे हैं। यह पेपर यह सुनिश्चित करने के लिए एक "पुलिस बल" बनाने की दिशा में पहला कदम है कि वे सही व्यवहार करें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।