Bounded Autonomy for Enterprise AI: Typed Action Contracts and Consumer-Side Execution
यह शोध पत्र एंटरप्राइज एआई के लिए एक "बाउंडेड ऑटोनॉमी" (सीमित स्वायत्तता) आर्किटेक्चर का प्रस्ताव और मूल्यांकन करता है जो लार्ज लैंग्वेज मॉडल्स को टाइप किए गए कॉन्ट्रैक्ट्स और कंज्यूमर-साइड निष्पादन सीमाओं के भीतर क्रियाएं प्रस्तावित करने के लिए बाध्य करता है, यह प्रदर्शित करते हुए कि यह दृष्टिकोण मैनुअल ऑपरेशन की तुलना में पर्याप्त गति बनाए रखते हुए, अनियंत्रित एआई की तुलना में सुरक्षा और कार्य सफलता दरों में महत्वपूर्ण सुधार करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
बड़ी समस्या: एक प्रतिभाशाली लेकिन अविश्वसनीय इंटर्न को बैंक की चाबियाँ सौंपना
कल्पना कीजिए कि आपने अपनी कंपनी के लिए एक बहुत ही बुद्धिमान नया इंटर्न नियुक्त किया है। यह इंटर्न अविश्वसनीय रूप से स्मार्ट है, बेहतरीन अंग्रेजी बोलता है, और आपके लक्ष्यों को तुरंत समझ सकता है। आप उससे कहते हैं, "कृपया हमारे क्लाइंट, जॉन स्मिथ को एक इनवॉइस भेजें।"
समस्या क्या है? आपके डेटाबेस में "जॉन स्मिथ" नाम के तीन क्लाइंट हैं। इंटर्न, मदद करने के चक्कर में, किसी एक को रैंडमली चुन लेता है, इनवॉइस भेज देता है, और फिर आत्मविश्वास से आपसे कहता है, "काम हो गया!"
एक अनौपचारिक बातचीत में, यह एक मजेदार गलती है। लेकिन एक एंटरप्राइज सिस्टम (जैसे कि बैंक, अस्पताल, या बड़ी कंपनी का सॉफ्टवेयर) में, यह एक आपदा है। वह इंटर्न:
- गलत व्यक्ति को पैसे भेज सकता है।
- गलत फाइल डिलीट कर सकता है।
- गलती से गलत विभाग के साथ गुप्त डेटा साझा कर सकता है।
- कुछ ऐसा करने की कोशिश कर सकता है जिसे करने की उसे अनुमति नहीं है (जैसे कि किसी CEO को नौकरी से निकालना)।
वर्तमान AI टूल्स अक्सर इसी तरह के इंटर्न की तरह काम करते हैं: उन्हें सीधे "बैकएंड" (बैंक की चाबियाँ) तक पहुंच दे दी जाती है और कहा जाता है, "बस वही करो जो तुम्हें सही लगे।" यह पेपर तर्क देता है कि यह असुरक्षित है।
समाधान: "बाउंडेड ऑटोनॉमी" (सीमित स्वायत्तता) आर्किटेक्चर
लेखक AI का उपयोग करने का एक नया तरीका प्रस्तावित करते हैं जिसे बाउंडेड ऑटोनॉमी कहा जाता है। AI को बैंक की चाबियाँ देने के बजाय, आप उसे एक सख्ती से नियंत्रित मेनू और एक सेफ्टी इंस्पेक्टर देते हैं।
इस सिस्टम को एक हाई-एंड रेस्टोरेंट किचन के रूप में सोचें:
- AI "हेड शेफ" है: वे ग्राहक (यूजर) की जरूरतों को समझने में बहुत माहिर हैं। वे "मुझे एक स्पाइसी पास्ता डिश चाहिए" को पूरी तरह से समझ सकते हैं।
- एंटरप्राइज ऐप "किचन" है: यहाँ वास्तविक खाना पकाया जाता है। इसमें असली सामग्रियां, ओवन और हेल्थ कोड्स होते हैं।
- "बाउंडेड ऑटोनॉमी लेयर" (BAL) "हेड सू-शेफ और सेफ्टी इंस्पेक्टर" है: यह इस पेपर का नया आविष्कार है।
यहाँ बताया गया है कि यह नया सिस्टम चरण-दर-चरण कैसे काम करता है:
1. "टाइप्ड मेनू" (एक्शन कॉन्ट्रैक्ट्स)
शेफ को यह अंदाज़ा लगाने की ज़रूरत नहीं है कि कौन सी सामग्रियां उपलब्ध हैं, क्योंकि किचन एक सख्त, टाइप्ड मेनू प्रदान करता है।
- पुराना तरीका: शेफ कहता है, "मैं पीछे से थोड़ा आटा और अंडे ले आता हूँ।" (जोखिम भरा! क्या होगा अगर वे गलत केमिकल्स उठा लें?)
- नया तरीका: शेफ केवल एक विशिष्ट सूची से ही चीजें ऑर्डर कर सकता है: "स्पैगेटी," "टोमेटो सॉस," "लहसुन।" सिस्टम ठीक जानता है कि ये चीजें क्या हैं। यदि शेफ "विस्फोटक" ऑर्डर करने की कोशिश करता है, तो मेनू में वह आइटम है ही नहीं, इसलिए वह उसे ऑर्डर नहीं कर सकता।
2. "अनुमति की जाँच" (कैपेबिलिटी एक्सपोजर)
कल्पना कीजिए कि शेफ एक जूनियर कुक है। उसे सब्जियां काटने की अनुमति है, लेकिन उसे डीप फ्रायर इस्तेमाल करने या तिजोरी खोलने की अनुमति नहीं है।
- सिस्टम: शेफ को मेनू देखने से पहले ही, सू-शेफ शेफ का आईडी कार्ड चेक करता है। "तुम एक जूनियर कुक हो। तुम 'चॉप' (काटना) और 'बॉयल' (उबालना) के विकल्प देख सकते हो। तुम 'फ्राई' या 'सेफ' (तिजोरी) नहीं देख सकते।"
- परिणाम: शेफ उस चीज़ के बारे में सोच भी नहीं पाता जिसे करने की उसे अनुमति नहीं है।
3. "डबल-चेक" (साइड इफेक्ट्स से पहले वैलिडेशन)
इससे पहले कि शेफ ओवन में खाना डाले, सू-शेफ रेसिपी कार्ड की जांच करता है।
- परिदृश्य: शेफ कहता है, "केक बनाओ।"
- जांच: सू-शेफ कार्ड देखता है और कहता है, "रुको, तुम अंडे और आटा भूल गए हो। रेसिपी अधूरी है।"
- जादू: सू-शेफ सिर्फ "एरर" (त्रुटि) नहीं कहता। वह कहता है, "आपको अंडे और आटे की कमी है। कृपया उन्हें जोड़ें।"
- यह क्यों महत्वपूर्ण है: पुराने सिस्टम में, शेफ बिना सामग्री के केक बनाने की कोशिश करता, ओवन जला देता, और किचन बस "फेल" (विफल) कह देता। नया सिस्टम शेफ को कुछ भी टूटने से पहले गलती सुधारने के लिए गाइड करता है।
4. "डिसांबिग्यूएशन" ("जॉन स्मिथ" वाली समस्या का समाधान)
याद है वे तीन "जॉन स्मिथ"?
- पुराना तरीका: शेफ एक को चुनता है और इनवॉइस भेज देता है।
- नया तरीका: सू-शेफ लिस्ट में तीन "जॉन स्मिथ" देखता है। वह प्रक्रिया को रोकता है और ग्राहक से पूछता है: "हमारे पास तीन जॉन स्मिथ हैं। आपका मतलब किससे है? स्मिथ (अकाउंट #1), स्मिथ (अकाउंट #2), या स्मिथ (अकाउंट #3)?"
- परिणाम: कोई गलत इनवॉइस नहीं भेजा जाता। सिस्टम कार्रवाई करने से पहले स्पष्टीकरण के लिए इंसान को मजबूर करता है।
5. "ह्यूमन इन द लूप" (कन्फर्मेशन गेट्स)
खतरनाक कार्यों (जैसे किसी को नौकरी से निकालना या $1 मिलियन ट्रांसफर करना) के लिए, सिस्टम में एक रेड बटन होता है।
- शेफ एक्शन की योजना बनाता है।
- सू-शेफ कहता है, "यह एक हाई-रिस्क मूव है। मैं बटन नहीं दबा सकता। मुझे मैनेजर (इंसान) के साइन-ऑफ की आवश्यकता है।"
- इंसान योजना की समीक्षा करता है और कहता है, "हाँ, आगे बढ़ो।"
- परिणाम: AI भारी काम करता है, लेकिन बड़े फैसलों पर ट्रिगर इंसान ही दबाता है।
चौंकाने वाली खोज: सुरक्षा AI को बेहतर बनाती है
पेपर का सबसे दिलचस्प हिस्सा इसके प्रयोग के परिणाम हैं।
शोधकर्ताओं ने तीन परिदृश्यों का परीक्षण किया:
- मैनुअल: एक इंसान काम कर रहा है (धीमा, लेकिन सुरक्षित)।
- अनकन्स्ट्रेंड AI (Unconstrained AI): बिना किसी सुरक्षा जांच के स्वतंत्र रूप से काम करने वाला AI (तेज़, लेकिन अव्यवस्थित)।
- बाउंडेड ऑटोनॉमी (Bounded Autonomy): सख्त मेनू, चेक्स और डबल-चेक्स के साथ AI।
परिणाम:
- अनकन्स्ट्रेंड AI तेज़ था लेकिन अक्सर विफल रहा। इसने ऐसी चीजें करने की कोशिश की जो यह नहीं कर सकता था, "जॉन स्मिथ" जैसी चीजों में उलझ गया, और गलतियाँ करता रहा। इसने 25 में से केवल 17 कार्य पूरे किए।
- बाउंडेड ऑटोनॉमी AI थोड़ा धीमा था (क्योंकि इसे चेक्स का इंतज़ार करना पड़ता था), लेकिन इसने 25 में से 23 कार्य पूरे किए।
- महत्वपूर्ण बात: अनकन्स्ट्रेंड AI ने 2 खतरनाक गलतियाँ कीं (गलत व्यक्ति को डेटा भेजना)। बाउंडेड ऑटोनॉमी AI ने जीरो (शून्य) खतरनाक गलतियाँ कीं।
विपरीत लगने वाला सबक:
शोधकर्ताओं ने पाया कि सुरक्षा परतें वास्तव में AI की सफलता में मदद करती हैं।
- जब अनकन्स्ट्रेंड मोड में AI ने गलती की, तो उसे "Failed" जैसा जेनेरिक एरर मिला। उसे नहीं पता था कि क्यों हुआ, इसलिए उसने फिर से अनुमान लगाया और फिर से विफल रहा।
- बाउंडेड मोड में, जब AI ने गलती की, तो सिस्टम ने उसे एक विशिष्ट सुराग दिया: "आपको ईमेल एड्रेस की कमी है।" AI ने उस सुराग का उपयोग करके तुरंत समस्या को ठीक कर लिया।
निष्कर्ष (Takeaway)
यह पेपर तर्क देता है कि हमें AI को सुरक्षित बनाने के लिए उसे "परफेक्ट" या "स्मार्टर" बनाने की कोशिश नहीं करनी चाहिए। इसके बजाय, हमें बेहतर घेरे और गार्डरेल्स (सुरक्षा घेरे) बनाने चाहिए।
इसे एक सेल्फ-ड्राइविंग कार की तरह समझें:
- खराब डिज़ाइन: कार को स्टीयरिंग व्हील दें और कहें, "दुकान तक जाओ, लेकिन किसी से टकराना मत।" (कार सड़क का भ्रम पाल सकती है और खाई में जा सकती है)।
- अच्छा डिज़ाइन (बाउंडेड ऑटोनॉमी): कार के पास एक GPS है जो केवल वैध सड़कों को जानता है। इसमें एक स्पीड लिमिटर है। इसमें एक सेंसर है जो पैदल चलने वाले के सामने आने पर रुक जाता है। इसमें एक "ह्यूमन ओवरराइड" बटन है।
ड्राइवर अभी भी AI ही है, लेकिन आर्किटेक्चर यह सुनिश्चित करता है कि भले ही ड्राइवर भ्रमित हो जाए, कार सड़क पर रहे और दुर्घटना न हो।
संक्षेप में: AI को परफेक्ट होने के भरोसे न छोड़ें। उस सिस्टम पर भरोसा करें जो AI के भटकने पर उसे पकड़ ले। यह AI को सुरक्षित बनाता है, और आश्चर्यजनक रूप से, अधिक उपयोगी भी।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।