Provably Auditable and Safe LLM Agents from Human-Authored Ontologies
यह शोध पत्र एजेंटिक रेडक्स (Agentic Redux) को प्रस्तुत करता है, जो टाइपड लैम्ब्डा कैलकुलस (typed lambda calculus) और मानव-लिखित ऑन्टोलॉजी पर आधारित एक प्रमाणित रूप से सही और ऑडिट योग्य एलएलएम (LLM) एजेंट आर्किटेक्चर है, जो स्वास्थ्य देखभाल बिलिंग अनुपालन और सुरक्षा भेद्यता प्रकटीकरण में इसके अनुप्रयोग को प्रदर्शित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही महत्वपूर्ण, उच्च-दांव वाला ऑपरेशन चला रहे हैं, जैसे कि एक अस्पताल का बिलिंग विभाग, या सॉफ्टवेयर बग्स की तलाश करने वाली एक सुरक्षा टीम। आप इन AI सहायकों (LLMs) की एक टीम को काम पर रखते हैं जो बहुत बुद्धिमान हैं। लेकिन एक समस्या है: ये AI शानदार हैं लेकिन अप्रत्याशित हैं। वे कभी-कभी "भ्रमित" (hallucinate) हो जाते हैं (चीजें बना लेते हैं), वे हमेशा एक-दूसरे से सहमत नहीं होते हैं, और यदि उन्हें स्वतंत्र रूप से छोड़ दिया गया, तो वे अनजाने में उन नियमों को तोड़ सकते हैं जो आपने उनके लिए बनाए हैं।
यह पेपर इन AI सहायकों को व्यवस्थित करने का एक नया तरीका पेश करता है जिसे एजेंटिक रेडक्स (Agentic Redux) कहा जाता है। इसे एक नए AI के रूप में नहीं, बल्कि एक नए प्रबंधकीय ढांचे (managerial structure) के रूप में सोचें जो सुरक्षा की गारंटी देता है और लिए गए प्रत्येक निर्णय का एक सटीक, अपरिवर्तनीय रिकॉर्ड बनाता है।
यह कैसे काम करता है, इसे सरल अवधारणाओं में विभाजित किया गया है:
1. समस्या: "राइट स्क्यू" (Write Skew) आपदा
कल्पना कीजिए कि एलिस और बॉब नाम के दो कर्मचारी एक साझा बजट $100,000 का प्रबंधन कर रहे हैं।
- एलिस देखती है कि उसके पास $45,000 बचे हैं और वह उसे खर्च करने का निर्णय लेती है।
- बॉब देखता है कि उसके पास $60,000 बचे हैं और वह उसे खर्च करने का निर्णय लेता है।
- वे दोनों एक ही समय में कार्य करते हैं, यह जाने बिना कि दूसरा क्या कर रहा है।
- परिणाम: सिस्टम $105,000 खर्च कर देता है। बजट टूट गया।
कंप्यूटर विज्ञान में, इसे "राइट स्क्यू" (Write Skew) कहा जाता है। वास्तविक दुनिया में, ऐसा तब होता है जब AI एजेंट पूरी तस्वीर देखे बिना स्वतंत्र रूप से कार्य करते हैं। वर्तमान समाधान अक्सर केवल AI से पूछते हैं, "क्या यह ठीक है?" और उम्मीद करते हैं कि वह हाँ कहेगा। यदि AI का दिन खराब चल रहा है, तो वह हाँ कह सकता है जब उसे ना कहना चाहिए था, और नुकसान हो चुका होता है।
2. समाधान: "स्मार्ट कंटेनर" (एजेंटिक रेडक्स)
लेखक एक संरचना प्रस्तावित करता है जो एक लोकप्रिय सॉफ्टवेयर डिज़ाइन से प्रेरित है जिसे रेडक्स (Redux) कहा जाता है। कल्पना कीजिए कि एक कंपनी है जहाँ:
- कार्यकर्ता (उप-एजेंट/Sub-agents): ये AI सहायक हैं। वे दुनिया का केवल एक छोटा सा हिस्सा देखते हैं (उनका "स्थानीय राज्य" या local state)। वे सोच सकते हैं, गणना कर सकते हैं और कार्यों का प्रस्ताव दे सकते हैं, लेकिन वे सीधे दुनिया को बदल नहीं सकते। वे "डम्ब कंपोनेंट्स" की तरह हैं।
- प्रबंधक (मेटा-एजेंट/Meta-agent): यह एक केंद्रीय निर्णय लेने वाला है जो संपूर्ण वैश्विक स्थिति (पूरा बजट, सभी नियम, पूरा इतिहास) देखता है।
- प्रक्रिया:
- एक कार्यकर्ता एक कार्य का प्रस्ताव देता है (जैसे, "$45,000 खर्च करें")।
- प्रस्ताव प्रबंधक के पास जाता है।
- प्रबंधक प्रस्ताव की इनवेरिएंट्स (Invariants) (अटूट नियम, जैसे "कुल खर्च $100,000 से अधिक नहीं हो सकता") के विरुद्ध जांच करता है।
- यदि नियम बना रहता है, तो प्रबंधक परिवर्तन को मंजूरी देता है। यदि नहीं, तो प्रबंधक उसे अस्वीकार कर देता है।
- प्रबंधक दुनिया को अपडेट करता है और श्रमिकों को बताता है कि नई वास्तविकता क्या है।
जादू: यह पेपर गणितीय रूप से सिद्ध करता है (लॉजिक की एक शाखा का उपयोग करके जिसे "टाइप्ड लैम्ब्डा कैलकुलस" कहा जाता) कि जब तक प्रबंधक नियमों का पालन करता है, तब तक यह असंभव है कि सिस्टम नियमों को तोड़ दे, चाहे श्रमिकों के प्रस्ताव कितने भी अजीब या भ्रमित क्यों न हों। आर्किटेक्चर स्वयं एक सुरक्षा जाल के रूप में कार्य करता है।
3. "ब्लैक बॉक्स" लेजर (लीनियर ऑडिटेबिलिटी)
हर बार जब प्रबंधक कोई निर्णय लेता है, तो वह एक विशेष नोटबुक में उसे लिखता है।
- यदि वह कहता है "हाँ": तो वह नई स्थिति और एक प्रमाण लिखता है कि नियमों का पालन किया गया था।
- यदि वह कहता है "नहीं": तो वह प्रस्ताव, अस्वीकृति का कारण और वह नियम लिखता है जिसका उल्लंघन हुआ होता।
- नियम: यह नोटबुक अपेंड-ओनली (append-only) है। आप इसमें नए पन्ने जोड़ सकते हैं, लेकिन आप पुराने पन्नों को कभी फाड़ या मिटा नहीं सकते।
यह एक "लीनियर ऑडिट ट्रेल" (क्रमिक ऑडिट मार्ग) बनाता है। यदि बाद में कोई ऑडिटर आता है, तो वे नोटबुक को देख सकते हैं और बिल्कुल कालानुक्रमिक क्रम में देख सकते हैं कि प्रत्येक निर्णय क्यों लिया गया था। वे सत्यापित कर सकते हैं कि सिस्टम ने कभी भी नियमों को नहीं तोड़ा।
4. इन सिस्टमों को कैसे बनाएं: "ऑन्टोलॉजी-फर्स्ट डिज़ाइन"
आप इस आर्किटेक्चर को किसी भी समस्या पर लागू नहीं कर सकते। आपको पहले समस्या को गहराई से समझना होगा। लेखक एक विधि प्रस्तावित करता है जिसे ऑन्टोलॉजी-फर्स्ट एजेंट डिज़ाइन (Ontology-First Agent Design) कहा जाता है:
- क्षेत्र का मानचित्रण करें: एक मानव विशेषज्ञ समस्या की दुनिया का सटीक मानचित्र बनाने के लिए एक मानक मानचित्र बनाने वाले उपकरण (जिसे बेसिक फॉर्मल ऑन्टोलॉजी कहा जाता है) का उपयोग करता है (जैसे, "एक रोगी क्या है? एक ड्रग टेस्ट क्या है? नियम क्या हैं?")।
- भूमिकाएं सौंपें: AI को इस मानचित्र को देखने और यह सुझाव देने के लिए कहा जाता है कि किन "नौकरियों" (भूमिकाओं) को करने की आवश्यकता है।
- टीम बनाएं: AI उन नौकरियों को श्रमिकों (उप-एजेंटों) और प्रबंधक (मेटा-एजेंट) के लिए कोड में बदल देता है।
इस पेपर का परीक्षण दो वास्तविक दुनिया की समस्याओं पर किया गया:
- हेल्थकेयर बिलिंग: यह सुनिश्चित करना कि बीमा दावे ड्रग टेस्ट के बारे में जटिल सरकारी नियमों का पालन करते हैं।
- सुरक्षा कमजोरियां (Security Vulnerabilities): सॉफ्टवेयर बग्स को खोजने और उन्हें प्रकट करने की प्रक्रिया को प्रबंधित करना ताकि घबराहट न फैले या कानून न टूटे।
दोनों मामलों में, इस प्रणाली ने सफलतापूर्वक उस "राइट स्क्यू" त्रुटियों को रोका जो तब होतीं जब एजेंट अकेले कार्य करते।
5. मानवीय सुरक्षा वाल्व (द काउंसलर क्यू)
क्या होगा यदि नियम प्रबंधक के निर्णय लेने के लिए बहुत जटिल हैं, या ऐसी स्थिति आती है जिसमें मानवीय निर्णय की आवश्यकता होती है?
इस प्रणाली में एक काउंसलर क्यू (Counselor Queue) है। यदि प्रबंधक अटक जाता है या ऐसी स्थिति का सामना करता है जहाँ नियम कहते हैं "मानव से पूछें," तो प्रस्ताव को रोक दिया जाता है और एक मानव विशेषज्ञ की कतार में डाल दिया जाता है।
- मानव स्थिति की समीक्षा करता है और निर्णय लेता है।
- महत्वपूर्ण रूप से, मानव को भी अपने निर्णय को उसी अपरिवर्तनीय नोटबुक में लिखना होगा, और अपने चुनाव को स्पष्ट करना होगा।
- पेपर यह सिद्ध करता है कि मनुष्यों के शामिल होने के बावजूद, यदि मनुष्य प्रारूप का पालन करते हैं, तो सिस्टम ऑडिट योग्य और सुरक्षित रहता है।
सारांश
यह पेपर यह दावा नहीं करता कि AI को अधिक स्मार्ट बनाता है। इसके बजाय, यह दावा करता है कि AI को एक बहुत ही सख्त प्रबंधक के साथ एक पिंजरे में रखकर इसे अधिक सुरक्षित और अधिक विश्वसनीय बनाता है।
- AI सोचता है और प्रस्ताव देता है।
- आर्किटेक्चर (प्रबंधक) जांच करता है और लागू करता है।
- लेजर सब कुछ हमेशा के लिए रिकॉर्ड करता है।
परिणाम एक ऐसा सिस्टम है जहाँ आप गणितीय रूप से सिद्ध कर सकते हैं कि "बुरी चीजें" (जैसे बजट तोड़ना या नियमों का उल्लंघन करना) गलती से नहीं हो सकती हैं, और यदि किसी इंसान को हस्तक्षेप करना पड़ता है, तो उनके निर्णय को पूर्ण पारदर्शिता के साथ रिकॉर्ड किया जाता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।