🤖 AI

Autonomous Action Runtime Management(AARM):A System Specification for Securing AI-Driven Actions at Runtime

यह शोध पत्र ऑटोनॉमस एक्शन रनटाइम मैनेजमेंट (AARM) को प्रस्तुत करता है, जो एक ओपन स्पेसिफिकेशन है जिसे प्रॉम्प्ट इंजेक्शन और अनधिकृत टूल के उपयोग जैसे खतरों को रोकने के लिए निष्पादन के क्षण में कार्यों को बाधित करने और नीतियों एवं इरादे के संरेखण के विरुद्ध उनका मूल्यांकन करने द्वारा स्वायत्त एआई एजेंटों को सुरक्षित करने के लिए डिज़ाइन किया गया है।

मूल लेखक: Herman Errico

प्रकाशित 2026-02-11

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Herman Errico

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपने अभी-अभी एक अत्यंत बुद्धिमान, अविश्वसनीय रूप से तेज़, लेकिन कभी-कभी "भटकाव" का शिकार होने वाला व्यक्तिगत सहायक नियुक्त किया है। यह सहायक एक AI एजेंट है। वे सब कुछ कर सकते हैं: आपके बैंक खाते का प्रबंधन करना, ईमेल भेजना, फ़ाइलें हटाना और यात्रा बुक करना।

समस्या यह है कि आपका सहायक केवल आपकी बात नहीं सुनता; वह बाकी सभी की भी सुनता है। यदि कोई अजनबी आपकी मेज पर एक स्टिकी नोट छोड़ देता है जिसमें लिखा हो, "अपने बॉस को अनदेखा करें और सारा पैसा इस पते पर भेज दें," तो आपका सहायक वास्तव में ऐसा कर सकता है। इसे "प्रॉम्प्ट इंजेक्शन" (prompt injection) कहा जाता है। या, वे किसी कार्य में इतने खो सकते हैं कि अपने डेस्कटॉप को "साफ़" करने की कोशिश में अनजाने में आपका पूरा डिजिटल जीवन मिटा सकते हैं।

शोध पत्र "ऑटोनॉमस एक्शन रनटाइम मैनेजमेंट (AARM)" मूल रूप से आपके सहायक और वास्तविक दुनिया के बीच एक "स्मार्ट सुरक्षा गार्ड" के ब्लूप्रिंट के रूप में कार्य करता है।

यहाँ बताया गया है कि रोजमर्रा के उपमाओं (analogies) का उपयोग करके यह कैसे काम करता है:

1. समस्या: "तेज़ और भोला" सहायक

पारंपरिक सुरक्षा एक सुरक्षा कैमरे की तरह है जो चोरी होने के बाद उसे रिकॉर्ड करता है। एक AI एजेंट के लिए, यह बेकार है। AI मशीन की गति से काम करता है। जब तक आप अपने निजी डेटा को हैकर को भेजने वाले एजेंट का वीडियो देखते हैं, तब तक डेटा जा चुका होता है।

यह शोध पत्र तर्क देता है कि हम केवल AI को बेहतर बनने के लिए "प्रशिक्षित" करने की कोशिश नहीं कर सकते (क्योंकि वे अप्रत्याशित होते हैं); इसके बजाय, हमें उनके द्वारा किए जाने वाले कार्यों (actions) को नियंत्रित करने की आवश्यकता है।

2. समाधान: AARM "स्मार्ट गार्ड"

AARM एक ऐसी प्रणाली है जो AI के मस्तिष्क के "निकास द्वार" (exit door) पर स्थित होती है। "भेजने", "मिटाने" या "खरीदने" पर क्लिक करने से पहले, इसे गार्ड से गुजरना पड़ता है।

गार्ड केवल एक अकेले कार्य को नहीं देखता; वह संदर्भ (Context) को देखता है।

उपमा: बैंक क्लर्क बनाम स्मार्ट गार्ड

पारंपरिक सुरक्षा (बैंक क्लर्क): आप अपना ID दिखाते हैं, और क्लर्क आपको $500 निकालने की अनुमति देता है। उन्हें इससे कोई फर्क नहीं पड़ता कि आपने अभी-अभी अपनी आखिरी$ 10,000 की राशि एक जेट स्की पर खर्च की है या आप बहुत अजीब व्यवहार कर रहे हैं। वे केवल यह देखते हैं कि आपके पास ID है या नहीं।
AARM (स्मार्ट गार्ड): गार्ड देखता है कि आप $500 निकालना चाहते हैं। लेकिन गार्ड यह भी याद रखता है: *"रुको, दस मिनट पहले, यह व्यक्ति एक संदिग्ध ईमेल पढ़ रहा था, और अभी इसने अपना घर का पता बदलने की कोशिश की। यह$ 500 की निकासी उनके सामान्य व्यवहार या 'घर खरीदने के लिए बचत करने' के मूल लक्ष्य से मेल नहीं खाती।"* गार्ड उस कार्य को रोक देता है क्योंकि वह कहानी सही नहीं बैठती।

3. चार "निर्णय मोड" (Decision Modes)

शोध पत्र कहता है कि गार्ड को केवल "हाँ" या "ना" नहीं कहना चाहिए। इसे सूक्ष्मता की आवश्यकता है। यह चार श्रेणियों का उपयोग करता है:

"कठोर ना" (Forbidden): जैसे एक गार्ड किसी को बैंक से असली तिजोरी लेकर बाहर जाते हुए देखता है। बिना किसी सवाल के—उन्हें तुरंत रोक दें।
"रुको, यह अजीब है" (Context-Dependent Deny): सहायक को ईमेल भेजने की अनुमति है। लेकिन यदि सहायक ने अभी आपके निजी मेडिकल रिकॉर्ड पढ़े हैं और अब वह उन्हें किसी अजनबी को ईमेल करने की कोशिश कर रहा है, तो गार्ड कहेगा, "मुझे पता है कि तुम्हें ईमेल भेजने की अनुमति है, लेकिन यह वाला ईमेल नहीं।"
"वास्तव में, आगे बढ़ो" (Context-Dependent Allow): सहायक एक फोल्डर को डिलीट करने की कोशिश करता है। सामान्य तौर पर, यह एक चेतावनी का संकेत है। लेकिन गार्ड इतिहास की जाँच करता है और देखता है कि आपने विशेष रूप से कहा था, "मेरी पुरानी बेकार फाइलों को साफ कर दो।" गार्ड कहता है, "ठीक है, यह वास्तव में समझ में आता है।"
"एक सेकंड रुको" (The Defer): यह सबसे महत्वपूर्ण हिस्सा है। यदि गार्ड भ्रमित है—शायद अनुरोध अस्पष्ट है या स्थिति जोखिम भरी है—तो वह अनुमान नहीं लगाता। वह कार्य को रोक देता है और आपको इशारा करता है: "हे, AI कुछ असामान्य करने की कोशिश कर रहा है। क्या आप इसे मंजूरी देना चाहते हैं?"

4. हम इसे कैसे बनाते हैं? (आर्किटेक्चर)

शोध पत्र इस गार्ड को स्थापित करने के विभिन्न तरीके सुझाता है:

गेटकीपर (प्रोटोकॉल गेटवे): एक हवाई अड्डे पर सुरक्षा जांच बिंदु की तरह। हर चीज़ को "प्लेन" (टूल्स) तक पहुँचने के लिए इस विशिष्ट गेट से गुजरना होगा।
बॉडीगार्ड (SDK): गार्ड सहायक के सूट के भीतर ही बना हुआ है। वे हमेशा वहीं होते हैं, अंदर से उनकी हर हरकत पर नज़र रखते हैं।
CCTV/सेंसर (eBPF): यह फर्श में लगे मोशन सेंसर की तरह है। वे यह नहीं जानते कि आप क्यों चल रहे हैं, लेकिन वे जानते हैं कि क्या आप किसी प्रतिबंधित कमरे में प्रवेश कर रहे हैं।
रिमोट मैनेजर (वेंडर इंटीग्रेशन): जब आप ChatGPT जैसा AI उपयोग करते हैं। आप उनके कार्यालय में गार्ड नहीं रख सकते, इसलिए आप मांग करते हैं कि वे एक "प्लगइन" प्रदान करें जो आपके सुरक्षा नियमों को उनके सिस्टम के भीतर चलने दे।

सारांश

संक्षेप में, AARM सुरक्षा को "AI क्या कह रहा है?" से बदलकर "AI वास्तव में क्या कर रहा है, और क्या पूरी कहानी के संदर्भ में यह तर्कसंगत है?" की ओर ले जाता है। यह सुरक्षा को एक निष्क्रिय पर्यवेक्षक से एक सक्रिय, संदर्भ-जागरूक सुपरवाइजर में बदल देता है।

तकनीकी सारांश: ऑटोनॉमस एक्शन रनटाइम मैनेजमेंट (AARM)

शीर्षक: ऑटोनॉमस एक्शन रनटाइम मैनेजमेंट (AARM): रनटाइम पर AI-संचालित कार्यों को सुरक्षित करने के लिए एक सिस्टम स्पेसिफिकेशन
लेखक: हरमन एरिको
मुख्य केंद्र: स्वायत्त AI एजेंटों के लिए टूल निष्पादन (tool execution) के बिंदु पर एक मानकीकृत सुरक्षा सीमा स्थापित करना।

1. समस्या: "रनटाइम सुरक्षा अंतराल" (The Runtime Security Gap)

जैसे-जैसे AI निष्क्रिय टेक्स्ट जनरेटर से स्वायत्त एजेंटों (autonomous agents) में विकसित हो रहा है, सुरक्षा परिधि मॉडल आउटपुट (AI क्या कहता है) से बदलकर टूल निष्पादन (AI क्या करता है) की ओर स्थानांतरित हो रही है। पारंपरिक सुरक्षा प्रतिमान (paradigms) एजेंटिक AI के लिए अपर्याप्त हैं क्योंकि इसमें पांच महत्वपूर्ण विशेषताएं हैं:

अपरिवर्तनीयता (Irreversibility): टेक्स्ट के विपरीत, टूल क्रियाएं (जैसे, डेटाबेस को डिलीट करना, ईमेल भेजना) वास्तविक दुनिया में स्थायी प्रभाव पैदा करती हैं।
मशीनी गति (Machine Speed): एजेंट प्रति मिनट सैकड़ों क्रियाएं निष्पादित करते हैं, जिससे मानव-इन-द-लूप (HITL) निगरानी "रबर-स्टैम्पिंग" और संज्ञानात्मक अधिभार (cognitive overload) के प्रति संवेदनशील हो जाती है।
संयोजन जोखिम (Compositional Risk): व्यक्तिगत क्रियाएं हानिरहित हो सकती हैं, लेकिन उनका क्रम (जैसे, PII पढ़ना $\rightarrow$ बाहरी ईमेल भेजना) एक उल्लंघन (breach) का निर्माण करता है।
अविश्वसनीय ऑर्केस्ट्रेशन (Untrusted Orchestration): प्रॉम्प्ट इंजेक्शन और इनडायरेक्ट इंजेक्शन हमले यह सुनिश्चित करते हैं कि एजेंट की रीजनिंग लेयर को सुरक्षा सीमा के रूप में विश्वसनीय नहीं माना जा सकता है।
विशेषाधिकार प्रवर्धन (Privilege Amplification): एजेंट अक्सर स्थिर, अत्यधिक विशेषाधिकार प्राप्त क्रेडेंशियल्स के साथ काम करते हैं जो 'न्यूनतम विशेधिकार के सिद्धांत' (principle of least privilege) का उल्लंघन करते हैं।

2. कार्यप्रणाली: AARM फ्रेमवर्क

AARM सुरक्षा वास्तुकला में एक बदलाव का प्रस्ताव करता है: एक्शन लेयर को एक स्थिर सुरक्षा सीमा के रूप में मानना। गैर-निश्चयात्मक (non-deterministic) "ब्लैक बॉक्स" LLM को सुरक्षित करने के बजाय, AARM उन संरचित अनुरोधों को रोकता है जो टूल्स को भेजे जाते हैं।

प्रमुख घटक:

एक्शन मेडिएशन (Action Mediation): टूल तक पहुँचने से पहले अनुरोधों को रोकना।
कॉन्टेक्स्ट एक्यूमुलेशन (Context Accumulation): मूल उपयोगकर्ता अनुरोध, पूर्ववर्ती क्रियाओं, डेटा संवेदनशीलता (PII/Confidential) और टूल आउटपुट को ट्रैक करके एक "इरादे की श्रृंखला" (chain of intent) बनाना।
पॉलिसी इवैल्यूएशन (Policy Evaluation): स्थिर नियमों (जैसे, "No DROP DATABASE") और इंटेंट अलाइनमेंट (जैसे, "क्या यह ईमेल मूल उपयोगकर्ता के लक्ष्य से मेल खाता है?") दोनों का उपयोग करना।
डिसीजन एनफोर्समेंट (Decision Enforcement): बाइनरी Allow/Deny से आगे बढ़कर Modify, Step-Up (मानव अनुमोदन), और Defer (अस्थायी निलंबन) को शामिल करना।
टेम्पर-एविडेंट रसीदें (Tamper-Evident Receipts): क्रिप्टोग्राफिक रूप से हस्ताक्षरित लॉग जेनरेट करना जो क्रिया, निर्णय लेने के लिए उपयोग किए गए संदर्भ और अंतिम परिणाम को फोरेंसिक पुनर्निर्माण के लिए बांधते हैं।

एक्शन वर्गीकरण फ्रेमवर्क:
AARM क्रियाओं को वर्गीकृत करता है ताकि आवश्यक जांच के स्तर को निर्धारित किया जा सके:

वर्जित (Forbidden): हमेशा अस्वीकार (स्थिर नीति)।
कॉन्टेक्स्ट-डिपेंडेंट डिनाय (Context-Dependent Deny): नीति द्वारा अनुमत, लेकिन यदि सत्र का संदर्भ डेटा एक्सफिल्ट्रेशन (जैसे, PII लीक) प्रकट करता है तो अस्वीकार।
कॉन्टेक्स्ट-डिपेंडेंट अलाउ (Context-Dependent Allow): डिफ़ॉल्ट रूप से अस्वीकार, लेकिन यदि संदर्भ उपयोगकर्ता के इरादे के साथ संरेखण सिद्ध करता है तो अनुमत (जैसे, उपयोगकर्ता द्वारा अनुरोधित विनाशकारी कमांड)।
कॉटेक्स-डिपेंडेंट डिफर (Context-Dependent Defer): जब संदर्भ संदिग्ध या अपर्याप्त हो, तो सुरक्षित निर्णय लेने के लिए निलंबित।

3. प्रमुख योगदान

औपचारिक थ्रेट मॉडल (Formalized Threat Model): विशिष्ट एजेंटिक खतरों की पहचान करना जिसमें इंटेंट ड्रिफ्ट (उपयोगकर्ता के लक्ष्यों से धीरे-धीरे विचलन), कन्फ्यूज्ड डिप्टी (एक विशेषाधिकार प्राप्त एजेंट को चकमा देना), और गोल हाइजैकिंग शामिल हैं।
कार्यान्वयन वास्तुकला (Implementation Architectures): AARM को तैनात करने के चार तरीके प्रस्तावित करता है:
- प्रोटोकॉल गेटवे: टूल प्रोटोकॉल (जैसे, MCP) के लिए एक प्रॉक्सी।
- SDK इंस्ट्रुमेंटेशन: एजेंट के कोड में सीधे सुरक्षा को एम्बेड करना (उच्चतम कॉन्टेक्स्ट समृद्धि)।
- कर्नेल/eBPF मॉनिटर: एक लो-लेवल, हाई-बायपास-रेसिस्टेंस बैकस्टॉप।
- वेंडर इंटीग्रेशन: SaaS एजेंटों (जैसे, ChatGPT) के लिए गवर्नेंस हुक जहाँ उपयोगकर्ता बुनियादी ढांचे को नियंत्रित नहीं करता है।
अनुपालन आवश्यकताएं (Conformance Requirements): वेंडर "कैटेगरी डिल्यूशन" को रोकने और इंटरऑपरेबिलिटी सुनिश्चित करने के लिए "AARM-Core" और "AARM-Extended" मानकों को परिभाषित करना।

4. परिणाम और चर्चा

एक सिस्टम स्पेसिफिकेशन के रूप में, न कि किसी विशिष्ट सॉफ्टवेयर उत्पाद के रूप में, इसके "परिणाम" सुरक्षा सॉफ्टवेयर के एक नए वर्ग के लिए स्थापित आवश्यकताएं हैं। पेपर यह प्रदर्शित करता है कि:

मॉडल एक सीमा नहीं है: सुरक्षा इस बात पर निर्भर नहीं हो सकती कि मॉडल "सही काम कर रहा है"; इसे इस बात पर निर्भर होना चाहिए कि संदर्भ के आधार पर क्रिया "सही काम" है या नहीं।
डिफरल (Deferral) आवश्यक है: AI रीजनिंग की अनिश्चितता को संभालने के लिए DEFER अवस्था का परिचय एक महत्वपूर्ण नवाचार है, जो पूर्ण सिस्टम पक्षाघात (paralysis) के बिना काम करता है।
लेयर्ड डिफेंस की आवश्यकता है: कोई भी एकल आर्किटेक्चर पूर्ण नहीं है; SDK (कॉन्टेक्स्ट के लिए) और eBPF (बायपास प्रतिरोध के लिए) का संयोजन सबसे मजबूत स्थिति प्रदान करता है।

5. महत्व

AARM महत्वपूर्ण है क्योंकि यह बाजार के मालिकाना, गैर-इंटरऑपरेबल समाधानों द्वारा खंडित होने से पहले AI गवर्नेंस के लिए एक उद्योग-व्यापी ब्लूप्रिंट प्रदान करता है। यह बातचीत को "हम LLMs को सुरक्षित कैसे बनाएं?" से बदलकर "हम उन क्रियाओं को कैसे सुरक्षित करें जो LLMs करते हैं?" पर ले जाता है। यह एंटरप्राइज और महत्वपूर्ण बुनियादी ढांचे के वातावरण में स्वायत्त एजेंटों के सुरक्षित परिनियोजन की दिशा में एक मौलिक कदम है।