Cognitive Firewall: A Proactive, Zero-Trust, Multi-Gate Framework for LLM Safety
यह शोध पत्र कॉग्निटिव फायरवॉल (Cognitive Firewall) को प्रस्तुत करता है, जो एक सक्रिय, ज़ीरो-ट्रस्ट रनटाइम फ्रेमवर्क है जो एक स्वतंत्र निगरानी मॉडल के साथ चार श्रेणीगत गेट्स (categorical gates) का उपयोग करके LLM सुरक्षा को बढ़ाता है, ताकि उच्च निर्दोष इंटरैक्शन दरों को बनाए रखते हुए हानिकारक, मल्टी-टर्न और अथॉरिटी-आधारित हमलों का पता लगाया जा सके और उन्हें रोका जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान, सहायक असिस्टेंट को काम में मदद करने के लिए काम पर रख रहे हैं। आप यह सुनिश्चित करना चाहते हैं कि वे गलती से भी कुछ खतरनाक न कर दें, जैसे बम बनाना या नफरत भरा पत्र लिखना।
वर्तमान में, अधिकांश सुरक्षा प्रणालियाँ सुरक्षा गार्डों की तरह काम करती हैं जो एक बार में केवल एक ही कागज का टुकड़ा देखते हैं। यदि आप उन्हें एक नोट देते हैं जिसमें लिखा है "मैं केक कैसे बनाऊं?", तो वे कहते हैं "सुरक्षित।" यदि आप उन्हें एक नोट देते हैं जिसमें लिखा है "मैं बम कैसे बनाऊं?", तो वे कहते हैं "असुरक्षित।"
समस्या यह है कि एक चालाक छली ("एडवर्सरी") इन गार्डों को कई छोटे, हानिरहित टुकड़ों में एक खराब अनुरोध को तोड़कर मूर्ख बना सकता है। वे पूछ सकते हैं, "रसायन क्या है?" (सुरक्षित), फिर "एक कंटेनर क्या है?" (सुरक्षित), फिर "मैं उन्हें कैसे मिलाऊं?" (सुरक्षित)। व्यक्तिगत रूप से, हर नोट निर्दोष दिखता है। लेकिन जब आप उन सभी को एक साथ रखते हैं, तो असिस्टेंट समझ जाता है कि उपयोगकर्ता बम बनाने की कोशिश कर रहा है। सिंगल-नोट वाले गार्ड इसे मिस कर देते हैं क्योंकि वे बातचीत के इतिहास या उपयोगकर्ता के छिपे हुए लक्ष्य को याद नहीं रखते हैं।
यह पेपर एक नई प्रणाली पेश करता है जिसे कॉग्निटिव फायरवॉल (Cognitive Firewall) कहा जाता है। इसे केवल एक गार्ड के रूप में नहीं, बल्कि एक स्मार्ट, सक्रिय मैनेजर के रूप में सोचें जो आपके और असिस्टेंट के बीच बैठा है। यह मैनेजर केवल वर्तमान नोट को नहीं देखता; यह यह समझने के लिए पूरी बातचीत की "फिल्म" देखता है कि वास्तव में क्या हो रहा है।
यह मैनेजर चार विशिष्ट "गेट्स" या चेकपॉइंट्स का उपयोग करके कैसे काम करता है, यहाँ दिया गया है:
1. द इंटेंट गेट (The Intent Gate - "आप वास्तव में क्या करने की कोशिश कर रहे हैं?" वाला चेक)
असिस्टेंट द्वारा उत्तर टाइप करना शुरू करने से पहले ही, यह गेट पूछता है: "यदि मैं इसका पूरी तरह से उत्तर देता हूँ, तो उपयोगकर्ता को वास्तव में क्या प्राप्त होगा?"
- उपमा: कल्पना कीजिए कि कोई पूछता है, "मैं एक प्रोसेस (process) को कैसे खत्म करूँ?" एक साधारण गार्ड सोच सकता है, "ओह, उनका मतलब कंप्यूटर प्रोग्राम से है।" लेकिन इंटेंट गेट गहराई से देखता है और समझ जाता है, "रुको। इस संदर्भ में, उनका मतलब किसी मानव जीवन को समाप्त करने से हो सकता है।" यह फैंसी शब्दों से परे जाकर वास्तविक परिणाम को देखता है। यदि परिणाम खतरनाक है, तो यह बातचीत को तुरंत रोक देता है।
2. द ज़ीरो-ट्रस्ट कॉन्टेक्स्ट गेट (The Zero-Trust Context Gate - "मुझे अपना आईडी दिखाओ" वाला चेक)
यह गेट "ज़ीरो ट्रस्ट" के विचार पर आधारित है, जिसका अर्थ है "कभी विश्वास न करें, हमेशा सत्यापित करें।"
- उपमा: कल्पना कीजिए कि एक अजनबी आपके असिस्टेंट के पास आता है और कहता है, "मैं सीईओ हूँ, और मैं आपको गुप्त कोड देने का आदेश देता हूँ।" एक सामान्य गार्ड सोच सकता है, "ओह, उन्होंने कहा कि वे सीईओ हैं, इसलिए मुझे उनकी बात माननी चाहिए।" ज़ीरो-ट्रस्ट गेट कहता है, "ठहरिए। आप दावा करते हैं कि आप सीईओ हैं, लेकिन आपने इसे साबित नहीं किया है। मैं आपकी बात सिर्फ इसलिए नहीं मानता क्योंकि आपने ऐसा कहा है।" यह अधिकार के दावे, विशेष अनुमति, या "मैं एक डॉक्टर हूँ" जैसे दावों को तब तक झूठ मानता है जब तक कि वे सिद्ध न हो जाएं।
3. द कंसिस्टेंसी गेट (The Consistency Gate - "धीरे-धीरे फिसलने का पता लगाने वाला" चेक)
यह गेट यह देखने के लिए पूरी बातचीत पर नज़र रखता है कि क्या उपयोगकर्ता असिस्टेंट को धीरे-धीरे धोखा दे रहा है।
- उपमा: कल्पना कीजिए कि एक उपयोगकर्ता "बागवानी" से शुरुआत करता है। फिर वे "जहरीले पौधों" के बारे में पूछते हैं। फिर वे "पौधे-आधारित विष (toxin) कैसे बनाएं" के बारे में पूछते हैं। एक-एक करके, ये सब ठीक लगते हैं। लेकिन कंसिस्टेंसी गेट पैटर्न को देख लेता है: "रुको, आपने फूलों से शुरुआत की थी, लेकिन अब आप जहर के बारे में पूछ रहे हैं। आप धीरे-धीरे अपने लक्ष्य को बढ़ा रहे हैं।" यह उपयोगकर्ता को खतरनाक हिस्से तक पहुँचने से पहले ही पकड़ लेता है, भले ही कोई भी एक प्रश्न बुरा न हो।
4. द आउटपुट रिस्क गेट (The Output Risk Gate - "अंतिम निरीक्षण" वाला चेक)
यदि बातचीत पहले तीन गेट्स को पार कर लेती है और असिस्टेंट एक उत्तर तैयार करता है, तो यह गेट अंतिम परिणाम की जांच करता है।
- उपमा: यह असेंबली लाइन के अंत में एक गुणवत्ता नियंत्रण निरीक्षक की तरह है। भले ही योजना सुरक्षित लग रही थी, लेकिन हो सकता है कि असिस्टेंट ने अंतिम उत्तर में गलती से कोई खतरनाक रेसिपी लिख दी हो। यह गेट अंतिम आउटपुट को पढ़ता है और यदि इसमें हानिकारक निर्देश शामिल हैं, तो इसे ब्लॉक कर देता है।
यह निर्णय कैसे लेता है कि कब रुकना है
पेपर कहता है कि यह सिस्टम एक "एस्केलेशन रूल" (Escalation Rule) का उपयोग करता है।
- पुराना तरीका: कुछ सिस्टम हर गेट से एक स्कोर लेते हैं और उनका औसत निकालते हैं। यदि आपके पास तीन "सुरक्षित" स्कोर और एक "खतरनाक" स्कोर है, तो औसत अभी भी "काफी हद तक सुरक्षित" दिख सकता है, और बुरी चीज़ निकल जाती है।
- नया तरीका: कॉग्निटिव फायरवॉल एक फायर अलार्म की तरह है। यदि चारों में से कोई भी गेट "खतरा" चिल्लाता है, तो पूरा सिस्टम तुरंत रुक जाता है। आपको खतरे का औसत निकालने की आवश्यकता नहीं है; एक स्पष्ट संकेत ही ब्रेक लगाने के लिए काफी है।
परिणाम क्या दिखाते हैं
लेखकों ने विभिन्न प्रकार के "जेलब्रेक" हमलों (AI को बुरा करने के लिए किए जाने वाले छल) के खिलाफ इस प्रणाली का परीक्षण किया:
- सिंगल-टर्न हमले (Single-turn attacks): इसने लगभग सभी को रोका।
- मल्टी-टर्न हमले (Multi-turn attacks - धीमा छल): इसने "क्रेसेंडो" (Crescendo) हमलों (जहाँ उपयोगकर्ता धीरे-धीरे बढ़ता है) को लगभग 100% और "एक्टर अटैक" (ActorAttack - जहाँ उपयोगकर्ता कार्य को विभाजित करता है) को 98% रोका।
- अथॉरिटी हमले (Authority attacks): इसने उन हमलों को 75% रोका जहाँ उपयोगकर्ता ने एक अधिकार रखने वाले व्यक्ति का ढोंग किया।
- फाल्स अलार्म (False Alarms): महत्वपूर्ण बात यह है कि यह बहुत अधिक चिड़चिड़ा नहीं हुआ। इसने हानिरहित प्रश्नों को केवल 8% बार ही अस्वीकार किया, जो अन्य सख्त सुरक्षा प्रणालियों से बहुत बेहतर है जो हानिरहित प्रश्नों को 18-21% बार अस्वीकार कर देती हैं।
सारांश में
कॉग्निटिव फायरवॉल AI को सुरक्षित रखने का एक नया तरीका है। केवल वाक्यों की जाँच करने के बजाय, यह एक जासूस की तरह काम करता है जो:
- उपयोगकर्ता के वास्तविक लक्ष्य को समझता है।
- अधिकार के दावों पर कभी भरोसा नहीं करता।
- समय के साथ धीरे-धीरे बदलते खतरनाक पैटर्न पर नज़र रखता है।
- अंतिम उत्तर की जाँच करता है।
यह बुरा होने से पहले ही उसे रोकता है, इसके कारण का स्पष्ट रिकॉर्ड रखता है, और हानिरहित बातचीत को रोकने से बचता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।