तकनीकी सारांश: विकसित कौशल-संरचित हमलावर स्मृति (Skill-Structured Attack Memory) LLM जेलब्रेकिंग को बेहतर बनाती है

समस्या विवरण

लार्ज लैंग्वेज मॉडल्स (LLMs) हानिकारक अनुरोधों को अस्वीकार करने के लिए संरेखित (aligned) होते हैं, फिर भी वे जेलब्रैक हमलों के प्रति संवेदनशील रहते हैं जो अनुमत न होने वाली सामग्री को प्रेरित करते हैं। जबकि स्वचालित ब्लैक-बॉक्स जेलब्रैक जनरेशन सुरक्षा मूल्यांकन के लिए महत्वपूर्ण है, मौजूदा विधियाँ दक्षता और प्रभावशीलता में महत्वपूर्ण सीमाओं का सामना करती हैं। वर्तमान दृष्टिकोण आम तौर पर दो श्रेणियों में आते हैं:

1. सैंपल-वाइज ह्यूरिस्टिक सर्च (Sample-wise Heuristic Search): TAP जैसी विधियाँ एकल हमले के प्रक्षेपवक्र (trajectory) के लिए तत्काल फीडबैक के आधार पर प्रॉम्प्ट को परिष्कृत करती हैं। हालाँकि, यह अनुभव स्थानीय और अल्पकालिक होता है; सीखे गए सबक विशिष्ट सैंपल प्रक्षेपवक्रों के साथ उलझे हुए होते हैं, जिससे युक्तियों की पुनरावृत्ति होती है और विभिन्न लक्ष्यों के बीच स्थानांतरण क्षमता (transferability) कमजोर होती है।
2. संचित-अनुभव पुन: उपयोग (Accumulated-Experience Reuse): GAP और AutoDAN-Turbo जैसी विधियाँ सफल मामलों, उत्परिवर्तन बीजों (mutation seeds), या रणनीति पूलों को पुनः उपयोग करती हैं। हालाँकि, इन पूलों में व्यवस्थित संगठन का अभाव होता है। व्यवस्थित प्रबंधन के बिना, अनावश्यक, भंगुर या पुराने पैटर्न विश्वसनीय रणनीतियों को बाहर कर सकते हैं, जिससे उपयोगी युक्तियों और भाग्यशाली सफलताओं के बीच अंतर करना या बदली हुई स्थितियों के तहत प्रासंगिक रणनीतियों को पुन: सक्रिय करना कठिन हो जाता है।

मुख्य चुनौती सरल संचय से आगे बढ़कर हमले के अनुभव के व्यवस्थित संगठन और प्रबंधन की ओर बढ़ना है जो एक ब्लैक-बॉक्स सेटिंग में पुन: प्रयोज्य, विकसित होने योग्य और सांख्यिकीय रूप से ट्रैक करने योग्य ज्ञान का समर्थन करता है, जहाँ केवल मॉडल आउटपुट ही दृश्यमान होते हैं।

कार्यप्रणाली: मेमोअटैक (MemoAttack)

लेखक MemoAttack का प्रस्ताव करते हैं, जो एक मेमोरी-ड्रिवन ब्लैक-बॉक्स जेलब्रैक फ्रेमवर्क है जो हमले के अनुभव को "कौशल-संरचित स्मृति" (skill-structured memory) में बदल देता है। यह फ्रेमवर्क ट्री-लेवल ब्रांच सिलेक्शन और मेमोरी-लेवल स्किल सिलेक्शन के बीच बदलते हुए एक रनटाइम लूप के माध्यम से संचालित होता है। यह तीन प्रमुख डिजाइनों पर निर्मित है:

1. कौशल-संरचित स्मृति मॉडलिंग (Skill-Structured Memory Modeling)

सफल रीराइट्स को अलग-थलग प्रॉम्प्ट या प्रक्षेपवक्र मानने के बजाय, MemoAttack हमले के पैटर्न को पुन: प्रयोज्य कौशल-संरचित स्मृति इकाइयों (skill-structured memory units) में संक्षिप्त (abstract) करता है। प्रत्येक इकाई एक नामित एब्स्ट्रैक्शन है जिसमें शामिल है:

• पहचान और मार्गदर्शन: एक नाम, टेम्पलेट और तंत्र (mechanism) समझाने वाला तर्क (rationale)।
• रिट्रीवल फील्ड्स (Retrieval Fields): मिलान के लिए सिमेंटिक एम्बेडिंग और रिट्रीव किए गए उदाहरण।
• एविडेंस और सिलेक्शन फील्ड्स: आंशिक प्रगति और अंतिम सफलता को ट्रैक करने के लिए सिलेक्शन पोस्टीरियर्स और डायरेक्ट-एविडेंस सांख्यिकी।
• प्रोवेनेंस और लाइफसाइकिल फील्ड्स: इकाई के मूल और वर्तमान स्थिति को ट्रैक करने वाला मेटाडेटा।

महत्वपूर्ण रूप से, अटैकर मॉडल को इन इकाइयों का केवल एक "प्रोजेक्टेड व्यू" (नाम, तर्क, टेम्पलेट, उदाहरण) प्राप्त होता है, जबकि पोस्टीरियर पैरामीटर और लाइफसाइकिल स्टेट्स कंट्रोलर के पास निजी रहते हैं। यह अलगाव सिस्टम को कंट्रोलर को आंतरिक अकाउंटिंग वेरिएबल्स के साथ उलझाए बिना सांख्यिकीय जवाबदेही को ट्रैक करने की अनुमति देता है।

2. लाइफसाइकिल-ड्रिवन मेमोरी इवोल्यूशन (Lifecycle-Driven Memory Evolution)

संचय-आधारित विधियों में पाए जाने वाले मेमोरी पूल्स के निरंतर विकास को रोकने के लिए, MemoAttack स्मृति को एक नियंत्रित लाइफसाइकिल सिस्टम के रूप में मानता है। संचित साक्ष्य के आधार पर इकाइयाँ चार अवस्थाओं से गुजरती हैं:

• कैंडिडेट (Candidate): नव-निर्मित या उत्परिवर्तित इकाइयाँ प्रोबेशन में प्रवेश करती हैं। उन्हें प्रत्यक्ष साक्ष्य या हालिया प्रगति के माध्यम से सक्रिय स्थिति प्राप्त करने के लिए अर्जित करना होगा; कमजोर उम्मीदवारों को जल्दी खारिज कर दिया जाता है।
• एक्टिव (Active): मुख्य पुन: प्रयोज्य पूल। पर्याप्त सत्यापन के बाद इकाइयाँ यहाँ आती हैं।
• रिटायर्ड (Retired): घटती उपयोगिता या पुरानी साक्ष्य वाली इकाइयाँ यहाँ आती हैं। उन्हें केवल जांच (probes) के रूप में कभी-कभी सैंपल किया जाता है। सकारात्मक साक्ष्य उन्हें पुन: सक्रिय कर सकता है; बार-बार खराब प्रदर्शन उन्हें एलिमिनेटेड की ओर ले जाता है।
• एलिमिनेटेड (Eliminated): वे इकाइयाँ जो चयन में भाग लेना बंद कर देती हैं।

यह लाइफसाइकिल सिस्टम को कमजोर या पुरानी इकाइयों को साफ करने (उन्मूलन या भौतिक निष्कासन के माध्यम से) की अनुमति देता है, जबकि रिकवरी के अवसरों को सुरक्षित रखता है, जिससे यह सुनिश्चित होता है कि मेमोरी पूल सीमित और अनुकूलनीय बना रहे।

3. एक्सप्लोर-एक्सप्लॉयट बैलेंस्ड मेमोरी सिलेक्शन (Explore-Exploit Balanced Memory Selection)

MemoAttack विश्वसनीय पुन: उपयोग के साथ अनिश्चितता-संचालित अन्वेषण (exploration) को संतुलित करने के लिए कॉन्टेक्स्टुअल थॉमसन सैंपलिंग (Contextual Thompson Sampling) का उपयोग करके मेमोरी इकाइयों का चयन करता है। चयन उपयोगिता (selection utility) में शामिल हैं:

• डुअल पोस्टीरियर यूटिलिटीज: प्रत्येक इकाई के लिए दो बीटा वितरण बनाए रखे जाते हैं: एक आंशिक प्रगति के लिए और एक अंतिम सफलता के लिए। यह उन इकाइयों के बीच अंतर करता है जो रिफ्यूजल को बायपास करती हैं बनाम वे जो हानिकारक अनुपालन (harmful compliance) को प्रेरित करती हैं।
• कॉन्टेक्स्टुअल बोनस: फीचर्स का एक भारित योग (weighted sum) जिसमें सिमेंटिक मैच, स्कोर गैप, हालिया प्रगति/सफलता, रिपिटिशन पेनल्टी और प्रोबेशन स्टेटस शामिल हैं।

कंट्रोलर $U(m | x_u) = UTS(m) + B(x_u, m) - \lambda_{ret}I_{ret}(m)$ द्वारा इकाइयों को रैंक करता है, और अटैकर के प्रॉम्प्ट रिफाइनमेंट को निर्देशित करने के लिए शीर्ष-$k$ इकाइयों का चयन करता है।

प्रमुख योगदान

पेपर तीन प्राथमिक योगदानों का दावा करता है:

1. कौशल-संरचित स्मृति मॉडलिंग: हमले के ज्ञान को टेम्पलेट्स, तर्क और लाइफसाइकिल अवस्थाओं के साथ संरचित कौशल इकाइयों के रूप में प्रस्तुत करना, जिससे व्यक्तिगत हमले के व्यवहार को एड्रेसेबल और सांख्यिकीय रूप से ट्रैक करने योग्य बनाया जा सके।
2. लाइफसाइकिल-ड्रिवन मेमोरी इवोल्यूशन: एक स्टेट-ट्रांजिशन सिस्टम (कैंडिडेट, एक्टिव, रिटायर्ड, एलिमिनेटेड) लागू करना जो मेमोरी के निरंतर विकास से बचता है और उपयोगी रणनीतियों को पुन: सक्रिय करने की अनुमति देता है।
3. एक्सप्लोर-एक्सप्लॉयट बैलेंस्ड मेमोरी सिलेक्शन: अनिश्चितता-जागरूक पुन: उपयोग को सक्षम करने के लिए पोस्टीरियर साक्ष्य और कॉन्टेक्स्टुअल थॉमसन सैंपलिंग का उपयोग करना, जहाँ विश्वसनीय इकाइयों का शोषण (exploit) किया जाता है जबकि कम-अन्वेषित इकाइयों को नियंत्रित एक्सपोजर मिलता है।

प्रयोगात्मक परिणाम

लेखकों ने एक एकीकृत ब्लैक-बॉक्स सेटअप के तहत तीन लक्षित मॉडलों (kimi-k2.5, minimax-M2.5, और qwen3.5-397B-A17B) के विरुद्ध AdvBench पर MemoAttack का मूल्यांकन किया।

• अटैक सक्सेस रेट (ASR): MemoAttack ने औसतन 98.00% (147/150 लक्ष्य) ASR प्राप्त किया, जो सबसे मजबूत बेसलाइन (GAP, 81.33%) से 16.67 प्रतिशत अंक अधिक है।
• क्वेरी एफिशिएंसी (Query Efficiency): MemoAttack ने सफल रन के लिए औसत अनुरोध संख्या को सबसे मजबूत बेसलाइन की तुलना में 45.9% (13.66 से 7.39 अनुरोध) कम कर दिया।
• एब्लेशन स्टडीज (Ablation Studies): मेमोरी मशीनरी (A1) को हटाने से ASR में सबसे बड़ी गिरावट (-16.67 अंक) आई, इसके बाद रैंडम सिलेक्शन के साथ पोस्टीरियर रैंकिंग को बदलना (A2, -13.89 अंक) आया। लाइफसाइकिल कंट्रोल (A4) और म्यूटेशन/इन्वेंशन (A3) को अक्षम करने से भी प्रदर्शन में महत्वपूर्ण गिरावट आई, जो पुष्टि करता है कि तीनों घटक पूरक हैं।
• मेमोरी डायनेमिक्स: डायग्नोस्टिक्स ने दिखाया कि निरंतर प्रस्तावों के बावजूद रेजिडेंट मेमोरी पूल सीमित रहता है (128 इकाइयों के पास स्थिर), जिसमें उपयोग का एक लॉन्ग-टेल वितरण है जहाँ उच्च-साक्ष्य एंकर्स पुन: प्रयोज्य रहते हैं जबकि विशेष वंशज (specialized descendants) संकीर्ण निश (niches) में रहते हैं।

महत्व और सीमाएं

महत्व:
पेपर तर्क देता है कि MemoAttack यह प्रदर्शित करता है कि हमले के ज्ञान को पुन: प्रयोज्य, चयन योग्य और विकसित करने योग्य बनाकर ब्लैक-बॉक्स जेलब्रैक सर्च में अंतिम रूपांतरण दर और सफलता की लागत दोनों में सुधार होता है। हमले के अनुभव को एक पोस्टीरियर-गाइडेड, लाइफसाइकिल-इवॉल्व्ड स्किल मेमोरी में बदलकर, यह फ्रेमवर्क सरल संचय से प्रभावी प्रबंधन की ओर बढ़ता है।

सीमाएं:
लेखक कई सीमाओं को स्वीकार करते हैं:

• मूल्यांकन का दायरा: प्रयोग केवल टेक्स्ट-ओनली इनपुट और तीन विशिष्ट लक्षित मॉडलों के साथ AdvBench पर किए गए थे। इस दृष्टिकोण का परीक्षण मल्टीमॉडल इनपुट, मल्टी-टर्न इंटरैक्शन, टूल-यूज़ एजेंट्स, या गतिशील सुरक्षा नीतियों वाले मॉडलों पर नहीं किया गया है।
• डिफेंस मूल्यांकन: इस कार्य में डिफेंस-साइड प्रयोग शामिल नहीं हैं। भविष्य के काम में निरंतर स्मृति वाले अनुकूलक हमलावरों (adaptive attackers) के खिलाफ सुरक्षा उपायों का मूल्यांकन करने की आवश्यकता है।
• जटिलता: साधारण ट्री-सर्च बेसलाइन्स की तुलना में MemoAttack, संरचित मेमोरी इकाइयों, पोस्टीरियर लेजर और लाइफसाइकिल ट्रांजिशन के रखरखाव के कारण अतिरिक्त सिस्टम जटिलता पेश करता है।

नैतिक विचार:
लेखक इस बात पर जोर देते हैं कि MemoAttack का उद्देश्य नियंत्रित रेड-टीमिंग और सुरक्षा मूल्यांकन है ताकि आवर्ती विफलता मोड की पहचान की जा सके और रिग्रेशन टेस्ट बनाए जा सके। वे स्पष्ट रूप से कहते हैं कि परिचालन कलाकृतियों (प्रॉम्प्ट्स, लॉग्स, मेमोरी रिकॉर्ड्स) के रिलीज को सैनिटाइज और एक्सेस-कंट्रोल्ड किया जाना चाहिए ताकि तैनात सिस्टम के विरुद्ध प्रतिकूल प्रॉम्प्टिंग में दुरुपयोग को रोका जा सके।