⚡ electrical engineering

Certifiable Safe RLHF: Semantic Grounding and Fixed Penalty Constraint Optimization for Safer LLM Alignment

यह शोध पत्र सर्टिफिएबल सेफ-आरएलएचएफ (CS-RLHF) प्रस्तुत करता है, जो एक नवीन ढांचा है जो प्रमाणिक सुरक्षा गारंटी प्रदान करने और नाममात्र एवं प्रतिकूल जेलब्रेक प्रॉम्प्ट्स के विरुद्ध दक्षता में महत्वपूर्ण सुधार करने के लिए पारंपरिक द्वैत-चरित (dual-variable) बाधित अनुकूलन को एक अर्थपूर्ण लागत मॉडल और एक सुधारे हुए दंड फॉर्मूलेशन (rectified penalty formulation) से प्रतिस्थापित करता है।

मूल लेखक: Kartik Pandit, Sourav Ganguly, Arnesh Banerjee, Shaahin Angizi, Arnob Ghosh

प्रकाशित 2026-06-11

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Kartik Pandit, Sourav Ganguly, Arnesh Banerjee, Shaahin Angizi, Arnob Ghosh

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, रचनात्मक रोबोट सहायक (एक लार्ज लैंग्वेज मॉडल, या LLM) है जो कहानियाँ लिख सकता है, सवालों के जवाब दे सकता है और होमवर्क में मदद कर सकता है। आप चाहते हैं कि यह हेल्पफुल (बेहतरीन जवाब दे) हो लेकिन साथ ही सेफ (कभी भी बम बनाने या लोगों को ठगने के निर्देश न दे) भी हो।

यह पेपर इन रोबोट्स को प्रशिक्षित करने का एक नया तरीका पेश करता है जिसे CS-RLHF कहा जाता है। यह समझने के लिए कि यह क्यों खास है, आइए देखते हैं कि पुराना तरीका कैसे काम करता था और उसमें तीन बड़ी समस्याएँ क्यों थीं, और फिर यह नया तरीका उन्हें कैसे ठीक करता है।

पुराना तरीका: "टेस्ट ऑफ टेस्ट" और "द नेगोशिएटर"

पहले, शोधकर्ता सुरक्षा सिखाने के लिए दो मुख्य उपकरणों का उपयोग करते थे:

"टेस्ट ऑफ टेस्ट" (ब्रैडली-टेरी मॉडल):
कल्पना कीजिए कि आप एक रोबोट को सिखाना चाहते हैं कि "सुरक्षित" भोजन क्या है। इसके बजाय कि आप उसे कहें, "यह सेब सुरक्षित है, यह ज़हर असुरक्षित है," आप उसे दो सेब दिखाते हैं और पूछते हैं, "कौन सा कम सड़ा हुआ लग रहा है?"
- समस्या: यदि आप रोबोट को दो बिल्कुल अच्छे सेब दिखाते हैं, लेकिन एक पर एक छोटा सा, हानिरहित भूरा धब्बा है, तो रोबोट यह तय कर सकता है कि धब्बे वाला सेब "असुरक्षित" है क्योंकि वह दूसरे एकदम सही सेब की तुलना में थोड़ा खराब है। वह सापेक्ष (relative) तुलनाओं से भ्रमित हो जाता है। वह सुरक्षित चीजों को केवल इसलिए खतरनाक मानने लगता है क्योंकि वे किसी दूसरी चीज़ की तुलना में पूरी तरह सुरक्षित नहीं हैं।
- पेपर का समाधान: CS-RLHF इस "टेस्ट ऑफ टेस्ट" को रोकता है। इसके बजाय, यह एक मानव विशेषज्ञ को हर एक जवाब को देखने और उसे एक सरल हाँ/नहीं लेबल देने के लिए नियुक्त करता है: "सुरक्षित" या "असुरक्षित"। यह रोबोट को एक भ्रमित करने वाले "कौन सा बेहतर है?" के खेल के बजाय एक स्पष्ट नियम पुस्तिका के साथ सिखाने जैसा है।
"द नेगोशिएटर" (लैग्रेंजियन डुअल वेरिएबल्स):
प्रशिक्षण के दौरान रोबोट को सुरक्षित रखने के लिए, पुराने तरीके में एक "नेगोशिएटर" (समझौता करने वाला) का उपयोग किया जाता था। यह एक वेरिएबल है जो लगातार अपना मन बदलता रहता है, और मददगार होने और सुरक्षित रहने के बीच संतुलन बनाने की कोशिश करता है।
- समस्या: नेगोशिएटर चंचल होता है। यह लंबे समय में औसतन सुरक्षा की गारंटी तो देता है, लेकिन यह केवल औसत में सुरक्षा सुनिश्चित करता है। यदि आप अभी रोबोट से कोई कठिन सवाल पूछते हैं, तो नेगोशिएटर कह सकता है, "अरे, यह शायद ठीक ही होगा," और एक खतरनाक जवाब को निकलने दे सकता है। यह एक ऐसे सुरक्षा गार्ड की तरह है जो हर घंटे आपका आईडी चेक करता है लेकिन अगर आप उस पल में मिलनसार दिखते हैं, तो आपको अंदर जाने देता है।
- पेपर का समाधान: CS-RLHF नेगोशिएटर को हटा देता है और उसकी जगह एक स्ट्रिक्ट गेटकीपर (कठोर द्वारपाल) को नियुक्त करता है। यह गेटकीपर एक "फिक्स्ड पेनल्टी" (निश्चित दंड) का उपयोग करता है। यदि रोबोट सुरक्षा रेखा पार करने की कोशिश करता है, तो तुरंत एक भारी, अपरिवर्तनीय दंड लगाया जाता है। यहाँ कोई बातचीत नहीं होती। यदि आप असुरक्षित हैं, तो आपको तुरंत एक बड़ा "फ्रौन" (दंड) मिलता है। यह गारंटी देता है कि रोबोट सख्ती से सुरक्षित क्षेत्र के भीतर रहना सीखे।
"कीवर्ड ट्रिगर" की समस्या:
पुराना सुरक्षा तंत्र एक ऐसे सुरक्षा गार्ड की तरह था जो केवल विशिष्ट शब्दों को देखता था। यदि किसी कहानी में "लॉक पिकिंग" (ताला तोड़ना) का उल्लेख था (भले ही वह एक काल्पनिक पुस्तक के लिए हो), तो गार्ड चिल्ला उठता "खतरा!" और कहानी को रोक देता। लेकिन अगर कोई बुरा आदमी अपनी योजना को छिपाने के लिए फैंसी शब्दों का उपयोग करता, तो गार्ड उसे मिस कर देता।
- पेपर का समाधान: नया सिस्टम (CS-RLHF) एक सिमेंटिक क्लासिफायर (अर्थ संबंधी वर्गीकरणकर्ता) का उपयोग करता है। केवल कीवर्ड्स को स्कैन करने के बजाय, यह इरादे को समझने के लिए पूरी कहानी को पढ़ता है। यह जानता है कि उपन्यास में किसी पात्र द्वारा कहानी के लिए ताला तोड़ने और वास्तव में किसी को घर में घुसने का तरीका सिखाने के बीच क्या अंतर है। यह केवल शब्दों को नहीं, बल्कि अर्थ को समझता है।

परिणाम: एक सुरक्षित, स्मार्ट रोबोट

लेखकों ने इस नए सिस्टम का पुराने सिस्टम और अन्य शीर्ष तरीकों के मुकाबले परीक्षण किया। यहाँ उन्हें क्या मिला:

समझने में बेहतर: नए सिस्टम ने उन सुरक्षित जवाबों को सही ढंग से पहचाना जिनमें "डरावने" शब्द (जैसे कंप्यूटर क्लास के संदर्भ में "हैकिंग") शामिल थे, लगभग 92% बार, जबकि पुराना सिस्टम अक्सर भ्रमित होकर उन्हें ब्लॉक कर देता था।
धोखा देना कठिन: जब लोगों ने रोबोट को "जेलब्रेक" करने (रोबोट को खतरनाक जवाब देने के लिए मजबूर करने के लिए चालाकी भरे प्रयोग करने) की कोशिश की, तो नया सिस्टम बहुत कठिन पाया गया। इसने पुराने सिस्टम की तुलना में हानिकारक अनुरोधों को 5 गुना अधिक प्रभावी ढंग से अस्वीकार कर दिया।
मानव प्राथमिकता: जब मनुषनों से पुराने रोबोट और नए रोबोट के जवाबों के बीच चुनने के लिए कहा गया, तो उन्होंने नए रोबोट को मददगार और सुरक्षित दोनों होने के लिए लगभग 60% बार पसंद किया।

सारांश उपमा (Analogy)

एक रोबोट को प्रशिक्षित करने को एक नए कर्मचारी को प्रशिक्षित करने की तरह समझें:

पुराना तरीका: आप कर्मचारी को दो रिपोर्ट दिखाते हैं और पूछते हैं, "इनमें से कौन सी थोड़ी खराब है?" (सापेक्ष रैंकिंग)। आप एक ऐसे मैनेजर के साथ भी होते हैं जो काम के दबाव के आधार पर लगातार नियम बदलता रहता है (लैग्रेंगियन नेगोशिएशन)। इससे एक ऐसा कर्मचारी पैदा होता है जो वास्तव में क्या गलत है इसे लेकर भ्रमित रहता है और कभी-कभी तब भी नियम तोड़ देता है जब मैनेजर नहीं देख रहा होता।
नया तरीका (CS-RLHF): आप कर्मचारी को "अच्छी" और "बुरी" रिपोर्ट के विशिष्ट उदाहरणों के साथ एक स्पष्ट हैंडबुक देते हैं (एब्सोल्यूट लेबलिंग)। आप भी एक सख्त अलार्म सिस्टम स्थापित करते हैं जो तुरंत सायरन बजाता है यदि वे कुछ भी गलत करने की कोशिश करते हैं, बिना किसी अपवाद के (फिक्स्ड पेनल्टी)। कर्मचारी जल्दी सीखता है, नियमों की भावना को समझता है, और शायद ही कभी गलतियाँ करता है।

पेपर का दावा है कि यह नया तरीका AI मॉडल्स को कम मददगार बनाए बिना उन्हें काफी सुरक्षित और विश्वसनीय बनाता है।

तकनीकी सारांश: सर्टिफिएबल सेफ आरएलएचएफ (CS-RLHF)

समस्या विवरण

लार्ज लैंग्वेज मॉडल्स (LLMs) महत्वपूर्ण सुरक्षा जोखिमों का सामना करते हैं, जिसमें गलत सूचना, विषाक्त सामग्री (toxic content), और हानिकारक कार्यों को सुगम बनाने वाले निर्देश उत्पन्न करना शामिल है। ये जोखिम उन प्रतिकूल "जेलब्रेक" प्रॉम्प्ट्स द्वारा और अधिक बढ़ जाते हैं जो सुरक्षा बाधाओं (safety guardrails) को बायपास करने के लिए डिज़ाइन किए गए हैं। हालांकि RLHF (रिनफोर्समेंट लर्निंग फ्रॉम ह्यूमन फीडबैक) उपयोगिता (helpfulness) में सुधार करता है, मौजूदा सुरक्षा संरेखण विधियां, विशेष रूप से सेफ-आरएलएचएफ (Safe-RLHF) (Dai et al., 2024), तीन महत्वपूर्ण संरचनात्मक सीमाओं से ग्रस्त हैं:

वरीयता-आधारित लागत मॉडलिंग में संरचनात्मक खामियां: सेफ-आरएलएचएफ अपने कॉस्ट मॉडल को पेयरवाइज प्रेफरेंस डेटा पर ब्रैडली-टैरी (BT) रैंकिंग ऑब्जेक्टिव का उपयोग करके प्रशिक्षित करता है। यह सापेक्ष रैंकिंग तंत्र प्रतिक्रियाओं की संख्या ( $O(K)$ ) के साथ स्केल करता है और पूर्ण सुरक्षा पर्यवेक्षण (absolute safety supervision) को दबा सकता है। इसके परिणामस्वरूप, एक प्रतिक्रिया जिसे स्पष्ट रूप से "सुरक्षित" लेबल किया गया है, उसे सकारात्मक (असुरक्षित) कॉस्ट स्कोर दिया जा सकता है क्योंकि वह जोड़ी में मौजूद दूसरी सुरक्षित प्रतिक्रिया की तुलना में मामूली रूप से कम सुरक्षित है।
कीवर्ड संवेदनशीलता बनाम सिमेंटिक समझ: पूर्ववर्ती कार्यों के कॉस्ट मॉडल सतही ट्रिगर कीवर्ड्स (जैसे, "lock picking," "dangerous") के प्रति अत्यधिक संवेदनशील हैं, न कि अंतर्निहित सिमेंटिक इरादे (semantic intent) के प्रति। इससे फॉल्स पॉजिटिव (लाभदायक शैक्षिक सामग्री को फ्लैग करना) और फॉल्स नेगेटिव (उन हानिकारक सामग्री को मिस करना जो फ्लैग किए गए कीवर्ड्स से बच जाती है) उत्पन्न होते हैं।
लैग्रेंजियन अपडेट से प्रशिक्षण अस्थिरता: सेफ-आरएलएचएफ एक लैग्रेंजियन प्राइमल-डुअल दृष्टिकोण का उपयोग करता है जिसके लिए डुअल वेरिएबल ( $\lambda$ ) के निरंतर ट्यूनिंग की आवश्यकता होती है। यह विधि केवल प्रशिक्षण पुनरावृत्तियों (iterations) के दौरान औसत रूप से बाधा संतुष्टि (constraint satisfaction) की गारंटी देती है, न कि पॉइंटवाइज (pointwise), जिससे अस्थिरता और प्रतिकूल जेलब्रेक के प्रति संवेदनशीलता पैदा होती है जहाँ प्रति-इंस्टेंस सुरक्षा आवश्यक होती है।

कार्यप्रणाली: CS-RLHF

लेखक सर्टिफिएबल सेफ-आरएलएचएफ (CS-RLHF) प्रस्तावित करते हैं, जो एक फ्रेमवर्क है जो एक सिमेंटिक रूप से आधारित कॉस्ट मॉडल और एक संशोधित पेनल्टी-आधारित अनुकूलन ऑब्जेक्टिव के माध्यम से इन सीमाओं को संबोधित करता है।

1. पूर्ण लेबल के साथ सिमेंटिक कॉस्ट मॉडल

पेयरवाइज प्रेफरेंस तुलनाओं पर निर्भर रहने के बजाय, CS-RLHF एक सावधानीपूर्वक क्यूरेट किए गए कॉर्पस से प्राप्त पूर्ण बाइनरी सुरक्षा लेबल (Safe=0, Unsafe=1) पर सीधे एक कॉस्ट मॉडल ( $c_\psi$ ) को प्रशिक्षित करता है।

आर्किटेक्चर: यह मॉडल एक फाइन-ट्यून्ड LLaMA-2-7B-chat-hf है, जहाँ अंतिम छह लेयर्स (26–31) और एक क्लासिफिकेशन हेड को सुपरवाइज्ड लर्निंग के माध्यम से ऑप्टिमाइज़ किया जाता है।
प्रशिक्षण ऑब्जेक्टिव: मॉडल ब्रैडली-टैरी लॉस के बजाय ग्राउंड-ट्रुथ लेबल के बीच बाइनरी क्रॉस-एंट्रॉपी लॉस को कम करता है। यह उस संरचनात्मक भेद्यता को समाप्त करता है जहाँ सापेक्ष रैंकिंग दबाव सुरक्षित प्रतिक्रियाओं को असुरक्षित क्षेत्र में धकेल देता है।
सिमेंटिक ग्राउंडिंग: इस डेटासेट में संवेदनशील कीवर्ड्स (जैसे, शैक्षिक संदर्भ में "ethical hacking") वाली निर्दोष प्रतिक्रियाएं शामिल हैं जिन्हें सुरक्षित लेबल किया गया है, जो मॉडल को सतही ट्रिगर्स के बजाय सिमेंटिक इरादे को प्राथमिकता देने के लिए प्रशिक्षित करती हैं।

2. संशोधित पेनल्टी-आधारित अनुकूलन (Rectified Penalty-Based Optimization)

CS-RLHF लैग्रेंजियन डुअल अपडेट को सटीक पेनल्टी फंक्शन थ्योरी से प्राप्त एक संशोधित पेनल्टी फॉर्मूलेशन से बदल देता है।

ऑब्जेक्टिव फंक्शन: अनुकूलन समस्या को इस प्रकार तैयार किया गया है:
$\max_{\theta} J_R(\theta) - \lambda \cdot \text{ReLU}(J_C(\theta))$
जहाँ $J_R(\theta)$ अपेक्षित उपयोगिता रिवॉर्ड है, $J_C(\theta)$ अपेक्षित लागत उल्लंघन (अपेक्षित लागत माइनस थ्रेशोल्ड $d$ ) है, और $\lambda$ एक निश्चित (fixed) पेनल्टी गुणांक है।
तंत्र: ReLU टर्म यह सुनिश्चित करता है कि पेनल्टी केवल तभी सक्रिय होती है जब अपेक्षित लागत थ्रेशोल्ड से अधिक हो जाती है ( $J_C(\theta) > 0$ )। यह डुअल वेरिएबल के इटरेटिव अपडेट की आवश्यकता के बिना सीधे ऑप्टिमाइज़र पर सुरक्षा बाधा को लागू करता है।
सैद्धांतिक गारंटी: थ्योरम 4.1 स्थापित करता है कि पर्याप्त बड़े निश्चित $\lambda$ के लिए (विशेष रूप से $\lambda \ge R_{max}/\epsilon$ ), इस सरोगेट समस्या का एक इष्टतम समाधान एक ऐसे रिवॉर्ड को प्राप्त करता है जो इष्टतम बाधित समाधान (optimal constrained solution) के कम से कम बराबर होता है, जिसमें बाधा उल्लंघन $\epsilon$ द्वारा सीमित होता है। यह लैग्रेंजियन विधियों में निहित औसत संबंधी समस्याओं के बिना प्रमाणित व्यवहार्यता गारंटी प्रदान करता है।

3. इन्फरेंस-टाइम सुरक्षा

यह फ्रेमवर्क बेस्ट-ऑफ-N (BoN) रणनीति के माध्यम से इन्फरेंस तक विस्तारित है। $N$ कैंडिडेट प्रतिक्रियाओं के दिए जाने पर, मॉडल उस प्रतिक्रिया का चयन करता है जो $r(x, y) - \lambda \cdot \text{ReLU}(c(x, y) - d)$ को मैक्सिमाइज करती है। थ्योरिटिकल विश्लेषण (कोरोलरी 1) दिखाता है कि यदि एक सुरक्षित कैंडिडेट मौजूद है, तो यह चयन प्रक्रिया गारंटी देती है कि चुना गया रिस्पॉन्स उच्च संभावना के साथ सुरक्षा बाधा को पूरा करता है, बशर्ते $\lambda$ पर्याप्त बड़ा हो।

मुख्य योगदान

सिमेंटिक कॉस्ट मॉडल: पूर्ण सुरक्षा लेबल पर प्रशिक्षित एक कॉस्ट मॉडल की शुरुआत, जिसे लेखक प्रदर्शित करते हैं कि यह मानव सुरक्षा निर्णयों के साथ $\approx 92\%$ संरेखण प्राप्त करता है और XSTest बेंचमार्क पर कीवर्ड-सेंसिटिव मॉडल्स (सेफ-आरएलएचएफ के 0.07–0.32 बनाम 0.91–0.96) को काफी बेहतर प्रदर्शन करता है।
फिक्स्ड-पेनल्टी ऑप्टिमाइजेशन: अस्थिर लैग्रेंजियन डुअल अपडेट से एक डिटरमिनिस्टिक, रेक्टिफाइड पेनल्टी ऑब्जेक्टिव की ओर संक्रमण, जो डुअल-वेरिएबल ट्यूनिंग के बिना बाधा संतुष्टि की गारंटी देता है।
क्यूरेटेड इवैल्यूएशन डेटासेट: जेलब्रेक रणनीतियों, अप्रत्यक्ष अनुरोधों और रोल-प्लेइंग परिदृश्यों को कवर करने वाला एक डेटासेट का निर्माण, जिसका उपयोग कॉस्ट मॉडल को प्रशिक्षित करने और मजबूती (robustness) का मूल्यांकन करने के लिए किया गया है।
अनुभवजन्य श्रेष्ठता (Empirical Superiority): व्यापक मूल्यांकन जो दिखाता है कि CS-RLHF उपयोगिता (helpfulness) और हानिरहितता (harmlessness) दोनों में सेफ-आरएलएचएफ, SACPO और P-SACPO से बेहतर प्रदर्शन करता है।

प्रयोगात्मक परिणाम

लेखकों ने 1,172 प्रॉम्प्ट्स पर, जिसमें अनदेखे जेलब्रेक हमले भी शामिल हैं, सेफ-आरएलएचएफ और अन्य बेसलाइन्स (SACPO, P-SACPO) के विरुद्ध CS-RLHF का मूल्यांकन किया।

सुरक्षा और उपयोगिता: मानव वरीयता तुलनाओं में, CS-RLHFs को हानिरहितता के लिए सेफ-आरएलएचएफ की तुलना में 60% मामलों में और उपयोगिता के लिए 54% मामलों में प्राथमिकता दी गई। मजबूत SACPO बेसलाइन के विरुद्ध, CS-RLHF ने उपयोगिता के लिए 60% जीत-दर (win-rate) (+70 Elo) हासिल की, जबकि समान सुरक्षा बनाए रखी।
जेलब्रेक मजबूती: JailbreakBench डेटासेट (200 प्रॉम्प्ट्स) पर, CS-RLHF ने जेलब्रेक विफलता दर को 43.0% (सेफ-आरएलएचएफ) से घटाकर 8.5% कर दिया।
कॉस्ट मॉडल सटीकता: 1,000 प्रॉम्प्ट्स के टेस्ट सेट पर, CS-RLHF कॉस्ट मॉडल ने 898 सुरक्षित प्रतिक्रियाओं में से 842 को सही ढंग से पहचाना (93.8% प्रिसिजन), जबकि सेफ-आरएलएचएफ कॉस्ट मॉडल अत्यधिक रूढ़िवादी था, जिसने कई निर्दोष प्रतिक्रियाओं को असुरक्षित के रूप में गलत वर्गीकृत किया।
दक्षता: क्यूरेटेड इवैल्यूएशन सेट में असुरक्षित प्रतिक्रियाओं की पहचान करने में CS-RLHF, सेफ-आरएलएचएफ की तुलना में लगभग 8 गुना अधिक कुशल पाया गया।

महत्व और दावे

पेपर का दावा है कि CS-RLHF वर्तमान सुरक्षा संरेखण पाइपलाइनों की संरचनात्मक खामियों को संबोधित करके अधिक सुरक्षित और विश्वसनीय भाषा मॉडलों को विकसित करने की दिशा में एक मजबूत कदम है। लेखक तर्क देते हैं कि:

सिमेंटिक ग्राउंडिंग महत्वपूर्ण है: सापेक्ष वरीयता रैंकिंग से पूर्ण सिमेंटिक वर्गीकरण की ओर बढ़ना सुरक्षित प्रतिक्रियाओं के व्यवस्थित गलत वर्गीकरण को रोकने के लिए आवश्यक है।
डिटरमिनिस्टिक एनफोर्समेंट श्रेष्ठ है: स्टोकेस्टिक लैग्रेंजियन अपडेट को एक फिक्स्ड-रेक्टिफाइड पेनल्टी से बदलने से मजबूत, प्रमाणित सुरक्षा गारंटी और प्रशिक्षण स्थिरता मिलती है, विशेष रूप से प्रतिकूल जेलब्रेक के खिलाफ।
संतुलित अनुकूलन: फ्रेमवर्क सफलतापूर्वक उच्च उपयोगिता बनाए रखते हुए सख्त सुरक्षा बाधाओं को लागू करता है, जो यह दर्शाता है कि सुरक्षा और उपयोगिता परस्पर अनन्य (mutually exclusive) नहीं हैं यदि अनुकूलन ऑब्जेक्टिव को सही ढंग से तैयार किया गया हो।

लेखक सीमाओं को स्वीकार करते हैं, यह नोट करते हुए कि वर्तमान कॉस्ट मॉडल एक सीमित डेटासेट पर निर्भर करता है और भविष्य के कार्यों को विकसित होते जेलब्रेक के लिए अनुकूल तंत्र और मल्टीमॉडल इनपुट के विस्तार की खोज करनी चाहिए। हालाँकि, वे निष्कर्ष निकालते हैं कि प्रस्तावित फ्रेमवर्क LLM सुरक्षा संरेखण की विश्वसनीयता में एक महत्वपूर्ण सुधार प्रदान करता है।