ProbGuard: Probabilistic Runtime Monitoring for LLM Agent Safety
प्रोबगार्ड (ProbGuard) एक सक्रिय रनटाइम मॉनिटरिंग फ्रेमवर्क है जो भविष्य के सुरक्षा उल्लंघनों की भविष्यवाणी करने और संभाव्यता गारंटी के साथ हस्तक्षेप करने के लिए डिस्क्रीट-टाइम मार्कोव चेन (Discrete-Time Markov Chains) के माध्यम से व्यवहार संबंधी गतिशीलता को मॉडल करके एलएलएम (LLM) एजेंट सुरक्षा को बढ़ाता है, जो स्वायत्त ड्राइविंग और एम्बोडीड रोबोटिक्स जैसे डोमेन में कार्य प्रदर्शन को बनाए रखते हुए असुरक्षित व्यवहारों को काफी कम करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक बहुत ही प्रतिभाशाली, लेकिन थोड़ी अनिश्चित (unpredictable) व्यक्तिगत सहायक है। यह सहायक एक AI एजेंट है जो एक लार्ज लैंग्वेज मॉडल (LLM) द्वारा संचालित है। यह आपका दिन प्लान करने, आपकी कार चलाने या रात का खाना बनाने में बहुत कुशल है। हालाँकि, क्योंकि यह "इंसानों की तरह" सोचता है (संभावना और अनुमान का उपयोग करके, न कि कठोर कोड का), यह कभी-कभी जोखिम भरे निर्णय ले लेता है। यह भूल सकता है कि माइक्रोवेव के अंदर कांटा (fork) रखने से पहले यह देखना है कि माइक्रोवेव चालू है या नहीं, या यह जल्दी में लाल बत्ती की ओर बहुत तेज़ गाड़ी चला सकता है।
वर्तमान सुरक्षा प्रणालियों के साथ समस्या यह है कि वे रिएक्टिव (reactive) हैं। वे एक सुरक्षा गार्ड की तरह हैं जो केवल तब हस्तक्षेप करते हैं जब आप पहले से ही कांच गिरा चुके होते हैं या जब कार फिसलना शुरू कर देती है। तब तक, नुकसान हो चुका होता है।
ProbGuard एक नया सिस्टम है जिसे प्रोएक्टिव (proactive) बनाने के लिए डिज़ाइन किया गया है। यह एक अत्यंत सतर्क को-पायलट की तरह है जो केवल यह नहीं देखता कि आप क्या कर रहे हैं, बल्कि यह भी अनुमान लगाता है कि आप आगे क्या कर सकते हैं और आपको वह जोखिम भरा कदम उठाने से पहले ही चेतावनी देता है।
यहाँ बताया गया है कि ProbGuard कैसे काम करता है, जिसे सरल अवधारणाओं में विभाजित किया गया है:
1. व्यवहार का "मानचित्र" (Abstraction)
कल्पना कीजिए कि AI एजेंट एक विशाल, जटिल जंगल में चल रहा है। उस जंगल में लाखों पेड़, चट्टानें और रास्ते हैं। हर एक पत्ते को ट्रैक करना बहुत कठिन है।
- ProbGuard क्या करता है: यह जंगल को एक प्रतीकात्मक मानचित्र (symbolic map) में सरल बना देता है। यह "एक विशिष्ट ओक के पेड़" को ट्रैक करने के बजाय, केवल यह ट्रैक करता है कि "क्या रास्ता साफ है?" या "क्या पास में कोई खाई है?"
- उपमा: इसे एक सबवे मैप की तरह समझें। मैप सड़क के हर गड्ढे को नहीं दिखाता; यह केवल स्टेशनों (states) और उन्हें जोड़ने वाली लाइनों को दिखाता है। ProbGuard के AI के जटिल कार्यों को "सुरक्षित स्टेशनों" और "खतरनाक स्टेशनों" के एक सरल सबवे मैप में बदल देता है।
2. पैटर्न को सीखना (The DTMC)
एक बार जब मानचित्र तैयार हो जाता है, तो ProbGuard AI एजेंट को कुछ समय तक घूमते हुए देखता है। यह रिकॉर्ड करता है कि एजेंट हर बार एक स्टेशन से दूसरे स्टेशन पर कैसे जाता है।
- ProbGuard क्या करता है: यह एक संभाव्यता चार्ट (probability chart) बनाता है (जिसे डिस्क्रीट-टाइम मार्कोव चेन कहा जाता है)। यह सीखता है: "जब एजेंट 'स्टेशन A' (जैसे, हाथ में कांटा पकड़े हुए) पर होता है, तो इसकी 30% संभावना है कि वह 'स्टेशन B' (माइक्रोवेव में कांटा रखना) पर जाएगा और इसकी 70% संभावना है कि वह 'स्टेशन C' (सिंक में कांटा रखना) पर जाएगा।"
- उपमा: कल्पना कीजिए कि एक मौसम विज्ञानी जिसने हजारों दिनों को देखा है। वे जानते हैं कि यदि मौसम बादल वाला और हवादार है (State A), तो 20 मिनट में बारिश होने की उच्च संभावना है (State B)। ProbGuard AI के व्यवहार के लिए यही करता है।
3. क्रिस्टल बॉल (जोखिम का पूर्वानुमान)
यही जादुई हिस्सा है। जब AI काम कर रहा होता है, तब ProbGuard मानचित्र और संभाव्यता चार्ट को देखता है।
- ProbGuard क्या करता है: यह गणना करता है: "एजेंट अभी जहाँ है, और जहाँ वह आमतौर पर जाता है, उसके आधार पर अगले 10 कदमों में उसके 'खतरनाक स्टेशन' तक पहुँचने की प्रतिशत संभावना क्या है?"
- उपमा: यह एक GPS की तरह है जो न केवल यह कहता है कि "आप यहाँ हैं," बल्कि यह भी कहता है, "आप वर्तमान में सामान्य रूप से गाड़ी चला रहे हैं, लेकिन आपकी गति और आगे के मोड़ के आधार पर, यदि आप धीमे नहीं हुए तो 30 सेकंड में आपके दुर्घटनाग्रस्त होने की 90% संभावना है।"
4. हस्तक्षेप (The "Stop" Sign)
यदि जोखिम बहुत अधिक हो जाता है (मान लीजिए 80% से ऊपर), तो ProbGuard दुर्घटना का इंतज़ार नहीं करता। यह तुरंत हस्तक्षेप करता है।
- ProbGuard क्या करता है: यह AI को एक सौम्य लेकिन सख्त रिमाइंडर भेजता है: "हे, तुम एक खतरनाक रास्ते की ओर बढ़ रहे हो। चलो इस पर फिर से विचार करते हैं।" यह AI को रोक सकता है, इसके निर्देशों को बदल सकता है, या किसी इंसान को जांच करने के लिए कह सकता है।
- उपमा: यह एक माता-पिता की तरह है जो बच्चे को गर्म चूल्हे की ओर हाथ बढ़ाते हुए देखते हैं। एक रिएक्टिव माता-पिता बच्चा छूने के बाद "नहीं!" चिल्लाते हैं। एक प्रोएक्टिव माता-पिता (ProbGuard) देखता है कि बच्चे का हाथ गर्म चूल्हे की ओर बढ़ रहा है, वह बच्चे की कलाई पकड़ लेता है और कहता है, "इसे मत छुओ, यह गर्म है," इससे पहले कि त्वचा जल जाए।
वास्तविक दुनिया के परिणाम
शोधकर्ताओं ने इसे दो डरावनी स्थितियों में परखा:
- सेल्फ-ड्राइविंग कारें: ProbGuard ट्रैफिक उल्लंघन या टक्कर होने से 38 सेकंड पहले तक इसका पूर्वानुमान लगा सकता था। यह एक मील दूर से कार को मुड़ते हुए देखने और ड्राइवर को तुरंत ब्रेक लगाने के लिए कहने जैसा है।
- घरेलू रोबोट: खाना पकाने या सफाई जैसे कार्यों में, ProbGuard ने खतरनाक गलतियों (जैसे माइक्रोवेव में धातु रखना) को 65% तक कम कर दिया, जबकि इसने रोबोट को अपना काम 80% समय पूरा करने भी दिया।
यह मौजूदा सिस्टम से बेहतर क्यों है?
- पुराना तरीका (रिएक्टिव): "ओह, आपकी दुर्घटना हो गई। चलिए कार ठीक करते हैं।"
- ProbGuard (प्रोएक्टिव): "मैं देख रहा हूँ कि आप लाल बत्ती की ओर तेज़ गाड़ी चला रहे हैं। गणित कहता है कि आप 5 सेकंड में दुर्घटनाग्रस्त हो जाएंगे। अब धीमे हो जाइए।"
मुख्य बात (The Bottom Line)
ProbGuard एक सुरक्षा जाल है जो गणित और भविष्यवाणी का उपयोग करता है ताकि AI एजेंटों को गलत निर्णय लेने से रोका जा सके, इससे पहले कि वे निर्णय आपदा बन जाएं। यह AI को एक "अनिश्चित कार्ड" (wild card) से बदलकर एक "सावधान साथी" में बदल देता है, यह सुनिश्चित करता है कि जैसे-जैसे हम AI को अपनी कारें चलाने और अपने घरों को चलाने की अनुमति देते हैं, वह सभी के लिए सुरक्षित रहे।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।