The Perils of Agency: How Developers Perceive, Prioritize, and Address Risks in Agentic AI Products
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप अपने व्यवसाय को चलाने में मदद करने के लिए एक अत्यधिक कुशल, सुपर-फास्ट इंटर्न को काम पर रख रहे हैं। यह इंटर्न केवल एक निष्क्रिय कार्यकर्ता नहीं है; वे एक एजेंटिक एआई (Agentic AI) हैं। वे अपने आप निर्णय ले सकते हैं, आपके उपकरणों (जैसे आपका ईमेल, आपका डेटाबेस, या आपका कैलेंडर) का उपयोग कर सकते हैं, और बिना आपके हाथ पकड़ने के जटिल समस्याओं को हल करने का तरीका निकाल सकते हैं।
यह सुनने में अद्भुत लगता है, है ना? लेकिन जिस पेपर के बारे में आप पूछ रहे हैं, "द पेरिल्स ऑफ एजेंसी" (The Perils of Agency), वह वास्तव में 35 बिल्डर्स (डेवलपर्स) के एक समूह की रिपोर्ट है जो इन "सुपर-इंटर्न" को काम पर रखने और प्रबंधित करने की कोशिश कर रहे हैं। उन्होंने पाया कि हालांकि ये एजेंट शक्तिशाली हैं, लेकिन वे अनियंत्रित कुत्तों की तरह भी हैं: वे गुण जो उन्हें उपयोगी बनाते हैं (तेजी से दौड़ना, गिलहरियों का पीछा करना, दरवाजे खोलना), वही गुण उन्हें खतरनाक भी बनाते हैं।
यहाँ उस पेपर में मिली बातों का एक सरल विवरण दिया गया है, रोजमर्रा के उपमाओं (analogies) का उपयोग करते हुए।
1. बिल्डर्स को कौन से जोखिम दिखाई देते हैं? ("ब्लाइंड स्पॉट्स")
बिल्डर्स उन जोखिमों को पहचानने में बहुत अच्छे हैं जो ऑफिस में उनके ठीक सामने होते हैं।
- "ऑफिस" के जोखिम: वे चिंतित हैं कि यदि इंटर्न गलत फ़ाइल डिलीट कर देता है, किसी लूप में फंस जाता है, या गलती से किसी गलत व्यक्ति को गोपनीय ईमेल भेज देता है। ये एक कुत्ते द्वारा कूड़ेदान को गिराने या जूता चबा लेने के समान हैं।
- "दुनिया" के जोखिम (ब्लाइंड स्पॉट): हालाँकि, वे बड़े, दीर्घकालिक परिणामों के बारे में बहुत कम चिंतित हैं। वे इस बात पर अधिक समय नहीं बिताते कि क्या इंटर्न अंततः सभी की नौकरी छीन लेगा या बड़े पैमाने पर लोगों की गोपनीयता का उल्लंघन करेगा।
- उपमा: यह एक माता-पिता की तरह है जो इस बात की चिंता करते हैं कि उनका बच्चा आज एक फूलदान तोड़ सकता है, लेकिन इस बात की चिंता नहीं करते कि बच्चा दस साल बाद एक लापरवाह ड्राइवर बन सकता है। तात्कालिक गड़बड़ी को देखना दूर के भविष्य को देखने की तुलना में आसान होता है।
2. वे क्या ठीक करने का निर्णय कैसे लेते हैं? ("बिजनेस फ़िल्टर")
जब बिल्डर्स के पास 100 संभावित समस्याओं की सूची होती है, तो वे तय कैसे करते हैं कि किसे पहले ठीक किया जाए? वे एक "बिजनेस सक्सेस फ़िल्टर" का उपयोग करते हैं।
- उच्च प्राथमिकता: वे उन चीजों को ठीक करते हैं जिनसे उत्पाद धीमा हो सकता है, क्रैश हो सकता है, या ग्राहक नाराज हो सकते हैं। यदि इंटर्न बहुत धीमा है, तो व्यवसाय पैसा खो देता है। यदि इंटर्न ग्राहक से झूठ बोलता है, तो व्यवसाय विश्वास खो देता है।
- कम प्राथमिकता: वे अक्सर उन जोखिमों को अनदेखा कर देते हैं जिन्हें ठीक करना महंगा है या जो अभी व्यवसाय को नुकसान नहीं पहुँचाते दिखते हैं।
- उपमा: कल्पना कीजिए कि आप एक रेस कार चला रहे हैं। आप तुरंत एक टायर फटने को ठीक करेंगे क्योंकि वह रेस को रोकता है। आप इस बात को अनदेखा कर सकते हैं कि कार हवा को प्रदूषित कर रही है या ड्राइवर तनाव में है, क्योंकि ये चीजें आज रेस जीतने से नहीं रोकतीं। बिल्डर्स "रेस जीतने" (व्यावसायिक लक्ष्यों) को "पर्यावरण बचाने" (सामाजिक जोखिमों) से ऊपर प्राथमिकता देते हैं।
3. वे जोखिमों को रोकने की कोशिश कैसे करते हैं? ("टाइटरोप वॉक")
यह पेपर का सबसे दिलचस्प हिस्सा है। बिल्डर्स के पास एक बड़ा संकट है। "सुपर-इंटर्न" को बुरा करने से रोकने के लिए, उन्हें उसी चीज़ को छीनना होगा जो उन्हें "सुपर-इंटर्न" बनाती है।
- तनाव:
- यदि आप फ़ाइलें डिलीट करने से रोकना चाहते हैं, तो आपको दरवाजा बंद करना होगा (स्वायत्तता को सीमित करना)।
- यदि आप गलत टूल्स का उपयोग करने से रोकना चाहते हैं, तो आपको चाबियाँ वापस लेनी होंगी (टूल के उपयोग को सीमित करना)।
- यदि आप अजीब निर्णय लेने से रोकना चाहते हैं, तो आपको उन्हें एक सख्त स्क्रिप्ट देनी होगी (अनुकूलन क्षमता को सीमित करना)।
- परिणाम: हर बार जब वे सुरक्षा घेरा (guardrail) जोड़ते हैं, तो एजेंट थोड़ा कम "एजेंटिक" (कम स्मार्ट, कम मददगार, कम लचीला) हो जाता है।
- उपमा: यह एक पक्षी को सुरक्षित रूप से उड़ना सिखाने जैसा है। यदि आप पक्षी के चारों ओर एक भारी पिंजरा रखते हैं ताकि वह खिड़कियों में न टकराए, तो वह उड़ ही नहीं पाएगा। यदि आप उसे स्वतंत्र रूप से उड़ने देते हैं, तो वह टकरा सकता है। बिल्डर्स एक ऐसा पिंजरा बनाने में फंसे हुए हैं जो पक्षी को सुरक्षित रखने के लिए पर्याप्त मजबूत हो, लेकिन उसे उड़ने देने के लिए पर्याप्त खुला भी हो।
4. यह इतना कठिन क्यों है? ("टूलबॉक्स की समस्या")
बिल्डर्स को ऐसा महसूस होता है जैसे वे एक हॉकी स्टिक और डक्ट टेप से एक टूटे हुए हवाई जहाज को ठीक करने की कोशिश कर रहे हैं।
- कोई अच्छे उपकरण नहीं: इन एजेंटों को यह परीक्षण करने के लिए कि क्या वे सुरक्षित हैं, कोई परिपक्व, विश्वसनीय उपकरण नहीं हैं। यह जानना मुश्किल है कि आपके सुरक्षा उपाय वास्तव में काम करते हैं या नहीं, जब तक कि बहुत देर न हो जाए।
- "जूरी" की समस्या: कभी-कभी, सुरक्षा उपाय स्वयं भी AI से बने होते हैं। इसलिए, यदि आप एक AI का उपयोग यह जांचने के लिए करते हैं कि क्या दूसरा AI झूठ बोल रहा है, और जांच करने वाला AI भी थोड़ा भ्रमित है, तो आपने वास्तव में समस्या का समाधान नहीं किया है।
- उपमा: यह लकड़ी का उपयोग करके एक अग्निरोधी घर बनाने की कोशिश करने जैसा है। आप आग को रोकने के लिए और अधिक लकड़ी (सुरक्षा नियंत्रण) जोड़ते रहते हैं, लेकिन वह लकड़ी खुद भी ज्वलनशील है।
मुख्य निष्कर्ष
पेपर यह निष्कर्ष निकालता है कि इन AI एजेंटों को बनाने में एक मौलिक संघर्ष है।
- लक्ष्य: हम चाहते हैं कि AI स्मार्ट, स्वतंत्र हो और जटिल कार्य कर सके (एजेंटिक)।
- समस्या: यह जितना अधिक स्वतंत्र और स्मार्ट होगा, उतना ही खतरनाक हो सकता है।
- वास्तविकता: इसे सुरक्षित बनाने के लिए, हमें इसे कम स्वतंत्र और कम स्मार्ट बनाना होगा।
बिल्डर्स वर्तमान में बीच में फंसे हुए हैं। वे उन जोखिमों को प्रबंधित करने की कोशिश कर रहे हैं जो AI की सुपरपावर्स से आते हैं, लेकिन उनके पास इसे अपने "सुपर-इंटर्न" को वापस एक साधारण, उबाऊ रोबोट में बदले बिना करने के लिए सही उपकरण या सही कंपनी नियम नहीं हैं। वे मूल रूप से बिना जीन (saddle), लगाम (bridle) या मानचित्र के एक जंगली घोड़े को पालतू बनाने की कोशिश कर रहे हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।