Caught in the Act(ivation): Toward Pre-Output and Multi-Turn Detection of Credential Exfiltration by LLM Agents
यह शोध पत्र LLM एजेंट क्रेडेंशियल एक्सफिल्ट्रेशन (credential exfiltration) के विरुद्ध एक बहु-स्तरीय रक्षा रणनीति प्रस्तावित करता है जो केवल टेक्स्ट-स्तर के आउटपुट फिल्टरों पर निर्भर रहने की सीमाओं को दूर करने के लिए प्री-आउटपुट एक्टिवेशन प्रोबिंग (pre-output activation probing), कॉन्फॉर्मल प्रेडिक्शन के साथ फॉर्मेट-विशिष्ट हनीटोकन डिटेक्शन (format-specific honeytoken detection) और संचयी मल्टी-टर्न लीकेज अकाउंटिंग (cumulative multi-turn leakage accounting) को संयोजित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, सहायक रोबोट असिस्टेंट (एक LLM एजेंट) है जो आपके डिजिटल जीवन को प्रबंधित करने में आपकी मदद करता है। अपना काम करने के लिए, इस रोबोट को आपकी गुप्त चाबियाँ (जैसे पासवर्ड, API कीज़, और बैंक टोकन) अपनी मेमोरी में रखनी पड़ती हैं।
समस्या यह है कि यह रोबोट अजनबियों के ईमेल, वेब पेज और नोट्स भी पढ़ता है। यदि कोई बुरा तत्व किसी अजनबी के नोट के अंदर एक चालाकी भरा निर्देश छिपा देता है (एक "प्रॉम्प्ट इंजेक्शन"), तो वे आपके रोबोट को आपकी गुप्त चाबियाँ उगलने के लिए trick कर सकते हैं।
वर्तमान सुरक्षा गार्ड ज्यादातर दरवाजे पर खड़े होते हैं (आने वाले नोट्स की जाँच करते हैं) या निकास द्वार पर (यह जाँचते हैं कि रोबोट क्या कह रहा है)। लेकिन बुरे तत्व चतुर होते हैं; वे अपनी मांगों को छिपा सकते हैं या कई बातचीत के दौरान एक समय में एक छोटा सा अक्षर बोलकर, सूचना को बाहर निकाल सकते हैं, जिससे वे गार्डों से बच निकलते हैं।
यह पेपर एक नया, तीन-भाग वाला सुरक्षा तंत्र पेश करता है जिसे एजेंटिक इम्यून सिस्टम (AIS) कहा जाता है। इसे एक अकेले गार्ड के रूप में नहीं, बल्कि तीन विशेषज्ञ जासूसों की एक टीम के रूप में सोचें जो मिलकर चोरी होने से पहले, चोरी होते समय, और चोरी होने के बाद उसे पकड़ते हैं।
यहाँ बताया गया है कि ये तीन जासूस कैसे काम करते हैं, सरल उपमाओं का उपयोग करते हुए:
1. "मन-पठक" (CIFT): बोलने से पहले विचार को पकड़ना
समस्या: पारंपरिक गार्ड केवल इस बात पर ध्यान देते हैं कि रोबोट क्या कहता है। लेकिन जब तक रोबोट बोलता है, तब तक वह पासवर्ड को एनकोड (जैसे "password123" को "cGFzc3dvcmQxMjM=" में बदलना) या उसे इस तरह से छिपा चुका होता है कि गार्ड उसे पहचान न सके।
समाधान: यह जासूस रोबोट की आवाज़ नहीं सुनता है। इसके बजाय, यह रोबोट के मस्तिष्क की गतिविधि (आंतरिक "एक्टिवेशन" संकेतों) को देखता है, इससे पहले कि रोबोट अपना मुँह भी खोले।
- उपमा: कल्पना कीजिए कि एक जादूगर टोपी से खरगोश निकालने ही वाला है। एक सामान्य गार्ड खरगोश देखने का इंतज़ार करता है। यह "मन-पठक" जादूगर के हाथ की हरकत और टोपी के अंदर खरगोश के कानों की हलचल को देखता है। यदि रोबोट का मस्तिष्क एक विशिष्ट तरीके से चमकता है जो यह संकेत देता है कि वह एक गुप्त कुंजी तक पहुँचने वाला है, तो यह प्रणाली उसे तुरंत रोक देती है, भले ही रोबोट ने अभी तक एक शब्द भी न बोला हो।
- चुनौती: आपको रोबोट के दिमाग के अंदर देखने में सक्षम होना चाहिए (व्हाइट-बॉक्स एक्सेस)। यदि आप केवल एक ब्लैक बॉक्स API के माध्यम से रोबोट से बात करते हैं, तो आप इस जासूस का उपयोग नहीं कर सकते।
2. "नकली कुकी" (DP-HONEY): सांख्यिकीय जाल
समस्या: कभी-कभी रोबोट वास्तव में कुछ ऐसा कहता है जो पासवर्ड जैसा दिखता है। लेकिन आप कैसे जानेंगे कि वह एक असली पासवर्ड है या बस एक रैंडम स्ट्रिंग जो पासवर्ड जैसी दिखती है? यदि आप किसी भी ऐसी चीज़ को ब्लॉक करते हैं जो पासवर्ड जैसी दिखती है, तो आप अनजाने में रोबोट को उसका वास्तविक काम करने से रोक सकते हैं।
समाधान: यह जासूस हनीटोकेन्स (honeytokens) बोता है—असली पासवर्ड के साथ मिले हुए नकली, वास्तविक दिखने वाले पासवर्ड (जैसे नकली कीज़ या पासवर्ड)।
- उपमा: कल्पना कीजिए कि आप अपने असली वॉलेट के बगल में अपने डेस्क पर एक नकली $20 का नोट छोड़ देते हैं। यदि कोई नकली नोट चुरा लेता है, तो आप तुरंत जान जाते हैं कि कमरे में एक चोर मौजूद है। यह प्रणाली इन नकली नोटों को इतनी पूर्णता से बनाती है कि वे असली दिखें, लेकिन एक विशेष सांख्यिकीय विधि (जैसे "प्राइवेसी शील्ड") का उपयोग करती है ताकि वे बिल्कुल सही रहें। यदि रोबोट गलती से एक नकली नोट सौंप देता है, तो सिस्टम जानता है, "आहा! हम समझौता किए गए हैं!"
- चुनौती: यह केवल तभी काम करता है जब बुरे तत्व को यह पता न हो कि कौन सा नोट नकली है। यदि वे यह पता लगा लेते हैं कि असली कुंजी कौन सी है, तो वे नकली नोटों को अनदेखा कर देंगे।
3. "लीकेज मीटर" (NIMBUS): धीरे-धीरे होने वाले रिसाव को पकड़ना
समस्या: एक बुरा तत्व एक बार में पूरा पासवर्ड नहीं मांग सकता। वे "पहला अक्षर", फिर "दूसरा अक्षर" आदि मांग सकते हैं, 20 अलग-अलग बातचीत के माध्यम से। प्रत्येक व्यक्तिगत उत्तर हानिरहित दिखता है, लेकिन एक साथ मिलकर वे पूरे रहस्य को प्रकट कर देते हैं।
समाधान: यह जासूस एकल वाक्यों को नहीं देखता है; यह पूरी बातचीत के इतिहास पर नज़र रखता है। यह समय के साथ कितनी "गुप्त जानकारी" लीक हुई है, इसका एक रनिंग स्कोर रखता है।
- उपमा: कल्पना कीजिए कि एक बाल्टी में एक छोटा सा छेद है। पानी की एक बूंद गिरना कोई समस्या नहीं है। लेकिन यदि आप बूंदों का हिसाब रखते हैं, तो आपको एहसास होता है कि बाल्टी धीरे-धीरे खाली हो रही है। यह प्रणाली लीक हो रही "बिट्स" की जानकारी को गिनती है। भले ही प्रत्येक मोड़ सुरक्षित लगे, एक बार जब कुल "लीकेज स्कोर" बहुत अधिक हो जाता है, तो सिस्टम बाल्टी को बंद कर देता है।
- चुनौती: यह एक अनुमान है, भौतिकी का कोई सटीक नियम नहीं। यह उन धीमी, चालाकी भरी लीकेज को पकड़ने में बहुत अच्छा है जिन्हें अन्य गार्ड मिस कर देते हैं, लेकिन यह उस बड़े रिसाव को नहीं पकड़ सकता जो एक ही बार में हो जाता है।
बड़ी तस्वीर
पेपर का तर्क है कि हम केवल इनमें से एक विधि पर भरोसा नहीं कर सकते।
- टेक्स्ट फिल्टर (आउटपुट की जाँच करना) को भेस बदलकर धोखा देना बहुत आसान है।
- इनपुट फिल्टर (इनपुट की जाँच करना) यह भविष्यवाणी नहीं कर सकते कि एक बुरा तत्व किस तरह की चालाकी भरी चाल चल सकता है।
इसके बजाय, पेपर एक स्तरित रक्षा (layered defense) का सुझाव देता है:
- रोबोट के मस्तिष्क पर नज़र रखें ताकि बोलने से पहले उसे रोका जा सके।
- नकली चाबियाँ बोएं ताकि यदि वह बोलने की कोशिश करे तो उसे पकड़ा जा सके।
- धीरे-धीरे होने वाले रिसाव को पकड़ने के लिए समय के साथ लीकेज को गिनें।
लेखकों ने ओपन-सोर्स रोबोट्स पर इसका परीक्षण किया और पाया कि इन तीनों विधियों को मिलाने से केवल टेक्स्ट फिल्टर का उपयोग करने की तुलना में बहुत बेहतर परिणाम मिलते हैं। हालाँकि, वे स्वीकार करते हैं कि यह अभी भी एक "प्रोटोटाइप" (एक शोध मॉडल) है। यह लैब में अच्छी तरह काम करता है, लेकिन वास्तविक दुनिया में तैनाती के लिए अधिक परीक्षण की आवश्यकता है, विशेष रूप से उन मामलों के लिए जहाँ रोबोट केवल वाक्यों में बात करने के बजाय टूल्स (जैसे API) का उपयोग करता है।
संक्षेप में: अपने रहस्यों को चुराने से रोकने के लिए, आपको रोबोट के विचारों को देखना, उसे नकली चीज़ों से फंसाना और उसके धीमे रिसाव को गिनना होगा, न कि केवल यह सुनना कि वह क्या कहता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।