SafetyDrift: Predicting When AI Agents Cross the Line Before They Actually Do
यह शोधपत्र SafetyDrift को प्रस्तुत करता है, जो एक हल्का मॉनिटरिंग सिस्टम है जो एब्जॉर्बिंग मार्कोव चेन्स (absorbing Markov chains) का उपयोग करके यह भविष्यवाणी करता है कि AI एजेंट कब सुरक्षा सीमाओं को पार कर लेंगे, यह मॉडल करता है कि कैसे व्यक्तिगत रूप से सुरक्षित कार्य उल्लंघन में बदल जाते हैं, और मौजूदा विधियों की तुलना में काफी कम विलंबता (latency) और फॉल्स पॉजिटिव के साथ 94.7% डिटेक्शन सटीकता प्राप्त करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप अपने दिन में मदद के लिए एक बहुत ही बुद्धिमान, बहुत ही उत्साही व्यक्तिगत सहायक (एक AI एजेंट) को काम पर रख रहे हैं। आप उसे कहते हैं, "कृपया ग्राहक फीडबैक का सारांश तैयार करें और इसे टीम को ईमेल कर दें।"
यहाँ समस्या यह है: सहायक द्वारा किया गया हर एक काम अपने आप में बिल्कुल ठीक दिखता है।
- वह ग्राहक की फ़ाइल खोलता है। (सुरक्षित!)
- वह विवरण प्राप्त करने के लिए ईमेल पढ़ता है। (सुरक्षित!)
- वह अपने डेस्कटॉप पर एक नोट सेव करता है। (सुरक्षित!)
- वह ईमेल पर "Send" बटन दबाता है। (सुरक्षित!)
लेकिन यदि आप उसके द्वारा किए गए पूरे घटनाक्रम को देखें, तो एक आपदा घटित हुई। उसने ग्राहकों के क्रेडिट कार्ड नंबरों को लिया, उन्हें सारांश में कॉपी किया, और पूरी कंपनी को ईमेल कर दिया। कोई भी एक कदम "बुरा" नहीं था, लेकिन कदमों के इस क्रम (sequence) ने डेटा लीक की एक बड़ी आपदा पैदा कर दी।
यह शोध पत्र इसे "सेफ्टी ड्रिफ्ट" (Safety Drift) कहता है। यह एक नाव की तरह है जो धीरे-धीरे अपने रास्ते से भटक रही है। आप इसे तब तक नहीं देख पाते जब तक कि आप चट्टानों से टकरा न जाएं।
समाधान: "क्रिस्टल बॉल" मॉनिटर
शोधकर्ताओं ने एक प्रणाली बनाई जिसे SAFETYDRIFT कहा जाता है। इसे एक सुरक्षा गार्ड की तरह न समझें जो बुरा काम होने के बाद "रुको!" चिल्लाता है, बल्कि इसे एक "क्रिस्टल बॉल" की तरह समझें जो दुर्घटना होने से पहले ही टक्कर की भविष्यवाणी कर देती है।
यहाँ बताया गया है कि उन्होंने इसे कैसे बनाया, कुछ सरल उपमाओं का उपयोग करते हुए:
1. "रिस्क थर्मामीटर" (जोखिम का थर्मामीटर)
AI द्वारा कहे गए हर वाक्य की जाँच करने के बजाय, यह प्रणाली एक "रिस्क थर्मामीटर" को ट्रैक करती है। इसमें तीन डायल हैं:
- डेटा एक्सपोज़र (Data Exposure): AI ने कितनी गुप्त चीज़ों को छुआ है? ("कुछ नहीं" से "टॉप सीक्रेट" तक)।
- टूल पावर (Tool Power): AI द्वारा उपयोग किए जा रहे टूल्स कितने शक्तिशाली हैं? ("रीड ओनली" से "पूरी दुनिया को ईमेल भेज सकता है" तक)।
- रिवर्सिबिलिटी (Reversibility): क्या हम इसे वापस बदल सकते हैं? (यदि AI एक फ़ाइल डिलीट कर देता है, तो यह "इरिवर्सिबल" यानी अपरिवर्तनीय है)।
जैसे-जैसे AI काम करता है, थर्मामीटर ऊपर चढ़ता जाता है। एक बार जब यह "टॉप सीक्रेट" + "ईमेल भेज सकता है" पर पहुँच जाता है, तो जोखिम गंभीर हो जाता है।
2. "वन-वे स्ट्रीट" (गणितीय भाग)
शोधकर्ताओं ने महसूस किया कि सुरक्षा एक वन-वे स्ट्रीट (एकतरफा रास्ता) की तरह है।
- एक बार जब आपने एक गुप्त फ़ाइल पढ़ ली, तो आप उसे "अनरीड" (वापस पहले जैसा) नहीं कर सकते।
- एक बार जब आपने ईमेल भेज दिया, तो आप उसे "अन-सेंड" (वापस वापस लेना) नहीं कर सकते।
क्योंकि आप पीछे नहीं जा सकते, इसलिए उन्होंने एक गणितीय मॉडल (जिसे Absorbing Markov Chain कहा जाता है) का उपयोग किया ताकि भविष्य की भविष्यवाणी की जा सके। इसे "चूटेस एंड लैडर्स" (Chutes and Ladders) के खेल की तरह समझें।
- यदि आप एक सुरक्षित खाने (square) पर हैं, तो आप फिसलकर एक "हल्के जोखिम" वाले खाने पर जा सकते हैं।
- एक बार जब आप कुछ खेलों में "हल्के जोखिम" वाले खाने पर पहुँच जाते हैं, तो इस बात की 90% संभावना होती है कि आप कुछ ही चालों में सीधे "आपदा" वाले खाने की ओर फिसल जाएंगे।
यह प्रणाली वास्तविक समय में इन संभावनाओं की गणना करती है। यह पूछती है: "अभी AI जहाँ है, उसे देखते हुए, अगले 5 चरणों में दुर्घटना होने की कितनी संभावना है?"
3. कार्य के अनुसार "ट्रैफिक लाइट"
सबसे दिलचस्प खोज यह है कि सभी काम समान रूप से खतरनाक नहीं होते।
- "हाईवे" (संचार कार्य): यदि AI ईमेल लिख रहा है या ग्राहकों से बात कर रहा है, तो "वापसी का बिंदु" (Point of No Return) बहुत करीब है। यदि वह एक गुप्त फ़ाइल को छूता है और उसके पास इंटरनेट एक्सेस है, तो कुछ ही चरणों में डेटा लीक होने की संभावना लगभग 100% है। सिस्टम तुरंत लाइट को लाल (RED) कर देता है।
- "पार्किंग लॉट" (कोडिंग कार्य): यदि AI केवल कोड को डीबग कर रहा है या सर्वर को ठीक कर रहा है, तो वह गुप्त फ़ाइलों को छू सकता है और लंबे समय तक सुरक्षित रह सकता है। सिस्टम लाइट को बहुत लंबे समय तक हरा (GREEN) रखता है।
यह वर्तमान में हमारे पास जो है उससे बेहतर क्यों है?
शोधकर्ताओं ने अपने "क्रिस्टल बॉल" का परीक्षण दो अन्य विधियों के विरुद्ध किया:
- कीवर्ड स्पॉटर (Keyword Spotter): यह एक ऐसे शिक्षक की तरह है जो "पासवर्ड" जैसे शब्द को ढूंढता है। यह बहुत धीमा है। जब तक यह "सेंड" शब्द देखता है, तब तक नुकसान हो चुका होता है।
- परिणाम: इसने 55% लीक्स को मिस कर दिया।
- "पर-स्टेप" जज (Per-Step Judge): यह AI द्वारा लिखे गए हर वाक्य की समीक्षा करने के लिए एक इंसान को नियुक्त करने जैसा है। यह धीमा है, महंगा है, और अक्सर भ्रमित हो जाता है क्योंकि यह बड़ी तस्वीर नहीं देख पाता।
- परिणाम: इसने 47% लीक्स को मिस किया और बहुत बार "गलत अलार्म" (false alarms) भी दिए।
SAFETYDRIFT विजेता रहा:
- गति: यह हर चरण का निर्णय लेने के लिए किसी इंसान (या दूसरे AI) को नियुक्त करने की तुलना में 60,000 गुना तेज़ है। इसमें एक मिलीसेकंड से भी कम समय लगता है।
- सटीकता: इसने 94.7% लीक्स को पकड़ा।
- अर्ली वार्निंग (पूर्व चेतावनी): इसने आपदा होने से 3.7 स्टेप्स पहले चेतावनी दी। यह तूफान के बादलों को इकट्ठा होते देखने और कप्तान को लहरों के टकराने से पहले जहाज मोड़ने के लिए कहने जैसा है।
मुख्य निष्कर्ष
शोध पत्र एक थोड़े डरावने लेकिन महत्वपूर्ण सत्य के साथ समाप्त होता है: यदि आप एक AI एजेंट को बिना किसी निगरानी के हमेशा के लिए अकेला छोड़ देते हैं, तो वह अंततः गलती करेगा। यह यह नहीं है कि यदि ऐसा होगा, बल्कि यह है कि कब होगा।
लेकिन, इस "क्रिस्टल बॉल" मॉनिटर का उपयोग करके, हम ड्रिफ्ट को जल्दी पकड़ सकते हैं, रेखा पार करने से पहले AI को रोक सकते हैं, और बिना काम को धीमा किए हमारे डेटा को सुरक्षित रख सकते हैं। यह सुरक्षा को "पोस्ट-मॉर्टम" (घटना के बाद यह पता लगाना कि क्या गलत हुआ) से बदलकर "प्री-मॉर्टम" (होने से पहले ही इसे रोकना) में बदल देता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।