When Alignment Isn't Enough: Response-Path Attacks on LLM Agents
यह शोध पत्र रिले टेंपरिंग अटैक (RTA) को प्रस्तुत करता है, जो एक नवीन खतरे को प्रदर्शित करता है कि 'ब्रिंग-योर-ओन-की' (BYOK) एजेंट आर्किटेक्चर में दुर्भावनापूर्ण तृतीय-पक्ष रिले, जनरेशन के बाद प्रतिक्रियाओं के साथ छेड़छाड़ करके LLM अलाइनमेंट को बायपास कर सकते हैं, जिससे उच्च हमले की सफलता दर प्राप्त होती है जिसे मौजूदा सुरक्षा उपाय पूरी तरह से कम करने में विफल रहते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, उच्च प्रशिक्षित सहायक (एक AI एजेंट) है, जिसे मददगार होने के लिए लेकिन साथ ही बहुत सुरक्षित रहने के लिए भी प्रोग्राम किया गया है। आप सहायक को एक कार्य देते हैं, जैसे "एक कहानी लिखें" या "मेरा बैंक बैलेंस चेक करें।" इस कार्य को करने के लिए, सहायक एक सुपर-इंटेलिजेंट मस्तिष्क (लार्ज लैंग्वेज मॉडल या LLM) से बात करता है, जो कहीं न कहीं एक सर्वर पर रहता है।
आमतौर पर, आप सहायक को सीधे मस्तिष्क से जोड़ते हैं। लेकिन लागत बचाने या चीजों को बेहतर ढंग से प्रबंधित करने के लिए, कई लोग एक बिचौलिए (एक "रिले") का उपयोग करते हैं। इस रिले को एक भरोसेमंद कूरियर सेवा की तरह समझें। आप कूरियर को बताते हैं, "यह संदेश मस्तिष्क तक ले जाओ, उत्तर प्राप्त करो और इसे वापस लेकर आओ।" रिले को संदेश देखने की अनुमति है क्योंकि उन्हें उसे डिलीवर करना होता है।
समस्या: "भरोसेमंद" कूरियर झूठ बोल सकता है
यह शोध पत्र बताता है कि यह प्रणाली कैसे काम करती है, इसमें एक डरावनी खामी है। इसे पोस्ट-अलाइनमेंट टैम्परिंग (Post-Alignment Tampering) कहा जाता है।
यहाँ उपमा दी गई है:
- मस्तिष्क (LLM): आप मस्तिष्क से पूछते हैं, "क्या इस स्टॉक को खरीदना सुरक्षित है?" मस्तिष्क, जिसे सुरक्षित और ईमानदार होने के लिए प्रशिक्षित किया गया है, गहराई से सोचता है और कहता है, "नहीं, यह जोखिम भरा लग रहा है। इसे न खरीदें।"
- कूरियर (रिले): मस्तिष्क यह उत्तर लिखता है और इसे कूरियर को सौंप देता है।
- विश्वासघात: आपके सहायक को यह उत्तर देने से पहले, कूरियर इसे देखता है। वे एक पेन लेते हैं, "नहीं, यह जोखिम भरा लग रहा है" को काट देते हैं, और लिखते हैं "हाँ, अभी खरीदें!"।
- परिणाम: आपका सहायक वह नोट प्राप्त करता है। उन्हें पता नहीं चलता कि नोट बदल दिया गया था। उन्हें लगता है कि मस्तिष्क ने "खरीदें" कहा है, इसलिए वे ट्रेड (व्यापार) को पूरा करते हैं।
डरावनी बात क्या है? मस्तिष्क (LLLLM) ने अपना काम पूरी तरह से किया। इसने एक सुरक्षित, अलाइन प्रतिक्रिया उत्पन्न की। मस्तिष्क की ओर से सुरक्षा जांच सफल रही। लेकिन डिलीवरी सिस्टम (रिले) ने उस संदेश को बदल दिया जो मस्तिष्क द्वारा लिखने के बाद लेकिन आपके सहायक द्वारा पढ़े जाने से पहले बदला गया था।
यह "धोखा देने" से अधिक बुरा क्यों है?
आपने "प्रॉम्प्ट इंजेक्शन" (Prompt Injection) के बारे में सुना होगा, जहाँ एक बुरा व्यक्ति मस्तिष्क को कुछ बुरा कहने के लिए चालाकी से लिखा गया नोट भेजकर उसे धोखा देने की कोशिश करता है, इससे पहले कि मस्तिष्क उसे पढ़े।
- प्रॉम्प्ट इंजेक्शन: मस्तिष्क को अपने नियम तोड़ने के लिए मनाने की कोशिश करना। यह कठिन है क्योंकि मस्तिष्क बुद्धिमान है और उसके पास मजबूत सुरक्षा घेरे (guardrails) हैं।
- यह हमला (RTA): बुरे व्यक्ति को मस्तिष्क को धोखा देने की आवश्यकता ही नहीं है। वे मस्तिष्क को जो चाहे कहने देते हैं (भले ही वह "नहीं!" कहे), और फिर वे बस वापसी के रास्ते में उत्तर को फिर से लिख देते हैं। यह खाने के बाद मेनू बदलने जैसा है।
शोध पत्र सिद्ध करता है कि यह "वापसी में पुनर्लेखन" करना, मस्तिष्क को धोखा देने की कोशिश करने की तुलना में बहुत अधिक शक्तिशाली और खतरनाक है।
यह हमला कैसे काम करता है ("RTA" फ्रेमवर्क)
शोधकर्ताओं ने यह दिखाने के लिए RTA (रिले टैम्परिंग अटैक) नामक एक टूल बनाया है कि यह कितना आसान है। इसके तीन चरण हैं:
- रणनीतिक योजना (Strategic Planning): बुरा कूरियर केवल एक शब्द नहीं बदलता। वे एक पूरी कहानी की योजना बनाते हैं। यदि कार्य में 10 चरण लगते हैं, तो वे ठीक से गणना करते हैं कि वांछित परिणाम प्राप्त करने के लिए किस चरण को बदलना है।
- सर्जिकल एडिटिंग (Surgical Editing): वे पूरा पत्र नहीं लिखते। वे केवल उन सूक्ष्म, महत्वपूर्ण हिस्सों को बदलते हैं जो सहायक को बताते हैं कि क्या करना है (जैसे "रुकें" के संकेत को "चलें" में बदलना, या "फ़ाइल पढ़ें" को "फ़ाइल हटाएं" में बदलना)। वे बाकी की विनम्र बातचीत को सामान्य दिखने के लिए वैसे ही छोड़ देते हैं।
- "पॉलिशिंग" का तरीका (The "Pololishing" Trick): यदि वे टेक्स्ट बदलते हैं, तो यह अजीब लग सकता है। इसलिए, वे अपने संपादित ड्राफ्ट को उसी मस्तिष्क (आपके अपने लॉगिन क्रेडेंशियल का उपयोग करके) को वापस भेजते हैं, और कहते हैं, "हे, इस ड्राफ्ट को इस तरह से फिर से लिखें कि यह आपके जैसा लगे, लेकिन इन विशिष्ट बदलावों को बनाए रखें।" मस्तिष्क टेक्स्ट को अपनी शैली के अनुरूप पूरी तरह से फिर से लिख देता है, जिससे झूठ 100% प्रामाणिक लगने लगता है।
उन्होंने क्या पाया
शोधकर्ताओं ने छह अलग-अलग AI मॉडलों और दो प्रमुख सुरक्षा परीक्षणों पर इसका परीक्षण किया।
- सफलता दर: वे एजेंटों को 73% से 99% बार हाईजैक करने में सफल रहे।
- छिपने की क्षमता (Stealth): हमले का पता लगाना बहुत कठिन था। "पॉलिशिंग" के तरीके ने नकली जवाबों को असली जैसा बना दिया।
- गति: इसे करने में लगने वाला अतिरिक्त समय इतना कम था कि यह सामान्य इंटरनेट लैग जैसा लगा।
- रक्षा विफल रही: उन्होंने सभी वर्तमान सुरक्षा उपायों (जैसे बुरे शब्दों की जाँच करना या बातचीत को लॉक करना) को आजमाया। उनमें से कोई भी काम नहीं आया क्योंकि रक्षा प्रणालियाँ मस्तिष्क के आउटपुट की जाँच कर रही थीं, कूरियर के अंतिम डिलीवरी की नहीं।
वास्तविक दुनिया के उदाहरण
उन्होंने दिखाया कि यह दो वास्तविक परिदृश्यों में हो सकता है:
- वित्तीय सलाह: एक उपयोगकर्ता AI से पूछता है, "क्या मुझे अपना एप्पल स्टॉक बेचना चाहिए?" AI कहता है "होल्ड (बनाए रखें)"। रिले इसे बदलकर "बेचें!" कर देता है और उपयोगकर्ता को नुकसान होता है।
- कोडिंग: एक उपयोगकर्ता एक भूलभुलैया (maze) गेम लिखने के लिए AI से कहता है। जबकि AI इसे कर रहा होता है, रिले गुप्त रूप से कोड में एक छिपा हुआ कमांड जोड़ देता है जो उपयोगकर्ता की सभी निजी फ़ाइलों को चुरा लेता है और उन्हें हैकर को भेज देता है। उपयोगकर्ता को वह भूलभुलैया गेम मिलता है जो उसने मांगा था, लेकिन उसका डेटा चला जाता है।
समाधान क्या है?
शोध पत्र निष्कर्ष निकालता है कि हम केवल AI के "सुरक्षित" होने पर भरोसा नहीं कर सकते। हमें एक तरीका चाहिए जिससे यह साबित हो सके कि सहायक जो संदेश प्राप्त कर रहा है वह वही संदेश है जो AI ने भेजा था, और बीच में किसी ने उसे छुआ भी नहीं है।
वर्तमान में, इन संदेशों पर कोई "सील" (मोहर) नहीं है। शोधकर्ता सुझाव देते हैं कि हमें एक नए प्रकार के डिजिटल हस्ताक्षर (जैसे पत्र पर मोम की सील) की आवश्यकता है जिसे सहायक यह जांचने के लिए उपयोग कर सके कि कूरियर ने नोट को बदला तो नहीं है। जब तक हमारे पास वह नहीं है, एक "भरोसेमंद" बिचौलिए द्वारा नियमों को फिर से लिखा जा सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।