On the (In)Security of Loading Machine Learning Models
यह शोध पत्र यह प्रकट करता है कि मशीन लर्निंग मॉडल साझा करने के व्यापक प्रसार के बावजूद, वर्तमान ढांचे और हब अपर्याप्त सुरक्षा संरक्षण प्रदान करते हैं, जिनमें अक्सर गंभीर कमजोरियां होती हैं जो मनमाने कोड निष्पादन (arbitrary code execution) को सक्षम बनाती हैं और उपयोगकर्ताओं को सुरक्षा की झूठी भावना में भ्रमित करती हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपने अभी-अभी एक नई, हाई-टेक कॉफी मशीन खरीदी है। उसके डिब्बे पर लिखा है, "प्लग एंड प्ले! असेंबली की कोई आवश्यकता नहीं!" आप लेबल पर भरोसा करते हैं, उसे प्लग में लगाते हैं, और बटन दबाते हैं। लेकिन कॉफी बनाने के बजाय, मशीन अचानक आपके लिविंग रूम की दीवारों को फिर से पेंट करने, आपका वाई-फाई पासवर्ड चुराने और आपके घर में 500 पिज्जा ऑर्डर करने का फैसला कर लेती है।
यह मूल रूप से इस पेपर के बारे में है, लेकिन कॉफी मशीनों के बजाय, यह मशीन लर्निंग (ML) मॉडल्स के बारे में है।
AI की दुनिया में, डेवलपर्स "प्री-ट्रेन्ड मॉडल्स" (जैसे कि वह कॉफी मशीन) को Hugging Face या Kaggle जैसे प्लेटफॉर्म पर साझा करते हैं। ये ऐसे टूल्स होने चाहिए जिन्हें कोई भी डाउनलोड और रन कर सके। यह पेपर तर्क देता है कि इन मॉडल्स को लोड करना वर्तमान में इंटरनेट से कोई भी रैंडम एक्जीक्यूटेबल फाइल डाउनलोड करने जितना खतरनाक है, फिर भी हर कोई इन्हें सुरक्षित डेटा फाइलों की तरह मानता है।
यहाँ उनके निष्कर्षों का सरल उपमाओं (analogies) का उपयोग करके विवरण दिया गया है:
1. "सुरक्षित फॉर्मेट" का भ्रम
लंबे समय से, लोगों ने सोचा था: "यदि कोई फाइल केवल डेटा है (जैसे कि एक JSON टेक्स्ट फाइल) और कोड (जैसे कि एक प्रोग्राम) नहीं है, तो वह हमें नुकसान नहीं पहुँचा सकती।"
शोधकर्ताओं ने पाया कि यह एक बड़ा झूठ है।
- उपमा: कल्पना कीजिए कि एक "सुरक्षित" लिफाफा है जिसमें केवल सामग्रियों (ingredients) की सूची है। आप सोचते हैं, "बहुत बढ़िया, सामग्रियां मुझे नुकसान नहीं पहुँचा सकतीं।" लेकिन जिस व्यक्ति ने वह सूची लिखी है, उसने एक गुप्त कोड का उपयोग किया है जहाँ "चीनी" शब्द का अर्थ वास्तव में "सामने का दरवाजा खोलें" है।
- वास्तविकता: पेपर ने पाया कि यहाँ तक कि "सुरक्षित" फॉर्मेट (जैसे Keras का
.kerasया Skops का.skops) भी मूल रूप से छद्म कोड (disguised code) हैं। वे डेटा की तरह दिखते हैं, लेकिन जब कंप्यूटर उन्हें पढ़ने की कोशिश करता है, तो वे छिपे हुए निर्देशों को निष्पादित (execute) करते हैं। शोधकर्ताओं ने इन "सुरक्षित" फॉर्मेट्स में छह बिल्कुल नए (0-day) कमजोरियां पाईं, जो हैकर्स को आपके कंप्यूटर पर कोई भी कमांड चलाने की अनुमति देती थीं।
2. "सेफ मोड" का जाल
कई फ्रेमवर्क्स में एक स्विच होता है जिसे safe_mode या weights_only कहा जाता है। डॉक्यूमेंटेशन कहता है, "इसे चालू करें, और आप सुरक्षित हैं!"
- उपमा: यह एक कार की तरह है जिसमें "चाइल्ड लॉक" बटन है। मैनुअल कहता है, "यदि आप इसे दबाते हैं, तो पीछे के दरवाजे नहीं खुलेंगे।" लेकिन शोधकर्ताओं ने पाया कि यदि आप कार के चलते समय यह बटन दबाते हैं, या यदि आप एक विशिष्ट प्रकार की चाबी का उपयोग करते हैं, तो लॉक काम ही नहीं करता है।
- वास्तविकता:
- Keras में,
safe_modeचालू करने से भी हैकर्स को कोड चलाने से नहीं रोका जा सका। - PyTorch में,
weights_onlyमोड (जो कोड के बजाय केवल नंबर लोड करता है) अधिक सुरक्षित है, लेकिन यह आपको मॉडल के लिए कोड खुद लिखना पड़ता है। यदि आप वह कोड किसी संदिग्ध स्रोत से डाउनलोड करते हैं, तो आप वापस वहीं पहुँच जाते हैं जहाँ से शुरू किया था। - "लेगेसी" (Legacy) समस्या: भले ही आप नए "सुरक्षित" सेटिंग्स का उपयोग करें, सॉफ्टवेयर अक्सर बैकवर्ड कम्पैटिबिलिटी के लिए पुराने, असुरक्षित फाइल फॉर्मेट्स (जैसे
.h5या.pkl) का समर्थन करता रहता है। यह एक आधुनिक, सुरक्षित घर खरीदने जैसा है लेकिन पीछे का दरवाजा खुला छोड़ देना क्योंकि आप "बाद में शायद एक सोफा अंदर ले जाने के लिए इसकी जरूरत पड़ सकती है।"
- Keras में,
3. "सिक्योरिटी स्कैनर" की अंधाधुंध दृष्टि (Blind Spot)
Hugging Face जैसे प्लेटफॉर्म्स में "सिक्योरिटी स्कैनर्स" होते हैं जो उपयोगकर्ताओं को डाउनलोड करने से पहले अपलोड किए गए मॉडल्स की वायरस के लिए जांच करते हैं। वे मॉडल्स को "Safe" या "Unsafe" लेबल देते हैं।
- उपमा: कल्पना कीजिए कि क्लब के एक सुरक्षा गार्ड के पास आपकी आईडी है जो यह जांचती है कि आपकी आईडी असली है या नहीं। यदि आपके पास एक नकली आईडी है जो बिल्कुल असली जैसी दिखती है, तो गार्ड आपको अंदर जाने देता है। लेकिन यदि आप टक्सीडो (एक अलग फॉर्मेट) पहनकर आते हैं, तो गार्ड को समझ ही नहीं आता कि आपके साथ क्या करना है, इसलिए वह बस आपको बिना किसी समस्या के अंदर जाने देता है क्योंकि उसके पास टक्सीडो के लिए कोई चेकलिस्ट नहीं है।
- वास्तविकता: शोधकर्ताओं ने अपने दुर्भावनापूर्ण (malicious) मॉडल्स का इन स्कैनर्स के खिलाफ परीक्षण किया।
- स्कैनर्स ने नए हमलों को मिस कर दिया क्योंकि वे पुराने तरीकों को ढूंढ रहे थे।
- जब स्कैनर्स किसी फाइल फॉर्मेट को पहचान नहीं पाए (जैसे कि नया
.skops), तो उन्होंने अक्सर इसे "Safe" लेबल कर दिया क्योंकि वे नहीं जानते थे कि वह क्या है। इसने उपयोगकर्ताओं को सुरक्षा का झूठा अहसास दिया।
4. "भरोसा करो" सर्वेक्षण
शोधकर्ताओं ने 60 से अधिक AI विशेषज्ञों से पूछा, "आप इन टूल्स का उपयोग करने में कितना सुरक्षित महसूस करते हैं?"
- उपमा: यह लोगों से पूछने जैसा है, "आप सड़क पार करते समय कितना सुरक्षित महसूस करते हैं यदि वहां 'पैदल यात्री क्रॉसिंग' का साइन लगा हो?" अधिकांश लोग सुरक्षित महसूस करते हैं। लेकिन यदि शोधकर्ता फिर यह खुलासा करते हैं कि ट्रैफिक लाइट खराब है और कारें फुटपाथ पर चल रही हैं, तो सुरक्षा का वह अहसास गायब हो जाता है।
- वास्तविकता: जब उपयोगकर्ताओं ने "Safe Mode" स्विच या "Hugging Face द्वारा स्कैन किया गया" लेबल देखा, तो उनका आत्मविश्वास बहुत बढ़ गया। वे 90% अधिक सुरक्षित महसूस करने लगे। पेपर का तर्क है कि यह खतरनाक है क्योंकि यह लोगों को आलसी बनाता है। वे आलोचनात्मक रूप से सोचना बंद कर देते हैं और बस लेबल पर भरोसा करने लगते हैं, भले ही अंतर्निहित तकनीक छेदों से भरी हो।
मुख्य निष्कर्ष (The Big Takeaway)
पेपर निष्कर्ष निकालता है कि कोई भी जादुई समाधान (silver bullet) नहीं है।
- मॉडल्स कोड हैं: आपको हर डाउनलोड किए गए AI मॉडल के साथ वैसा ही व्यवहार करना चाहिए जैसा कि आप अपने द्वारा लिखे गए किसी प्रोग्राम के साथ करते। यह वह सब कुछ कर सकता है जो आपका कंप्यूटर कर सकता है।
- लेबल पर भरोसा न करें: सिर्फ इसलिए कि एक फाइल "Safe" या "Scanned" कहती है, इसका मतलब यह नहीं है कि वह है।
- समझौता (Trade-off): वास्तव में सुरक्षित होने के लिए, आपको लचीलेपन (flexibility) का त्याग करना होगा। आपको यह प्रतिबंधित करना होगा कि मॉडल क्या कर सकता है, जिससे वह कम उपयोगी हो जाता है।
संक्षेप में: AI की दुनिया वर्तमान में "डेटा फाइल्स" के रूप में छिपी हुई "लोडेड गन्स" (सशस्त्र बंदूकें) साझा कर रही है। जब तक उद्योग इन फाइलों को हानिरहित होने का नाटक करना बंद नहीं करता और इन्हें सॉफ्टवेयर कोड की तरह ही अत्यधिक सावधानी के साथ नहीं देखता, तब तक इंटरनेट से मॉडल डाउनलोड करना एक जोखिम भरा जुआ बना रहेगा।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।