← नवीनतम पेपर
🤖 AI

Reflect-Guard: Enhancing LLM Safeguards against Adversarial Prompts via Logical Self-Reflection

रिफ्लेक्ट-गार्ड (Reflect-Guard), लॉजिकल सेल्फ-रिफ्लेक्शन (तार्किक आत्म-चिंतन) क्षमताओं को स्थापित करने के लिए पैरामीटर-एफिशिएंट फाइन-ट्यूनिंग का उपयोग करके, एडवरसैरियल जेलब्रेक हमलों के विरुद्ध लामा गार्ड (Llama Guard) जैसे एलएलएम (LLM) सुरक्षा क्लासिफायर को बेहतर बनाता है, जिससे चुनौतीपूर्ण बेंचमार्क पर डिटेक्शन सटीकता में उल्लेखनीय सुधार होता है और अटैक सक्सेस रेट में कमी आती है।

मूल लेखक: Lixing Lin, Juli You, Yue Li, Luyun Lin, Yiqing Wang, Zhen Zhang, Moxuan Zheng

प्रकाशित 2026-05-26
📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें
CC BY 4.0

मूल लेखक: Lixing Lin, Juli You, Yue Li, Luyun Lin, Yiqing Wang, Zhen Zhang, Moxuan Zheng

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक क्लब के दरवाजे पर एक बहुत ही बुद्धिमान और बहुत तेज़ सुरक्षा गार्ड है (लार्ज लैंग्वेज मॉडल)। इस गार्ड का काम किसी भी ऐसे व्यक्ति को रोकना है जो अंदर कुछ खतरनाक ले जाने की कोशिश कर रहा हो।

लंबे समय तक, यह गार्ड स्पष्ट रूप से परेशानी पैदा करने वालों को पहचानने में बहुत अच्छा था—जैसे कि कोई चाकू लेकर आ रहा हो या धमकियां दे रहा हो। लेकिन बुरे लोग चालाक हो गए। उन्होंने भेष बदलना शुरू कर दिया। वे कहने लगे, "मैं बस एक विलेन के बारे में कहानी लिख रहा हूँ," या "मैं एक शोधकर्ता हूँ जो अध्ययन कर रहा है कि हैकर्स कैसे सोचते हैं," या "चलो मान लेते हैं कि मैं एक जासूस हूँ।" क्योंकि गार्ड केवल सतह पर मौजूद शब्दों को देख रहा था, इसलिए उसने इन भेष बदले हुए बुरे लोगों को आसानी से अंदर जाने दिया।

प्रवेश होता है "रिफ्लेक्ट-गार्ड" (Reflect-Guard) का।

इस पेपर के पीछे के शोधकर्ताओं ने आपके सुरक्षा गार्ड के लिए एक नए प्रकार का प्रशिक्षण बनाया है। तुरंत प्रतिक्रिया देने के बजाय, उन्होंने गार्ड को निर्णय लेने से पहले रुकने और सोचने के लिए सिखाया।

यह यहाँ कैसे काम करता है, इसका एक सरल उदाहरण दिया गया है:

1. "बोलने से पहले सोचें" वाला प्रशिक्षण

कल्पना कीजिए कि आपने अपने सुरक्षा गार्ड को प्रशिक्षित करने के लिए एक मास्टर डिटेक्टिव (GPT-4o-mini) को काम पर रखा है। आप डिटेक्टिव को 1,000 पेचीदा मामले दिखाते हैं जहाँ बुरे लोग भेष बदलकर आए थे।

डिटेक्टिव केवल "रुको" या "जाओ" नहीं कहता। इसके बजाय, डिटेक्टिव प्रत्येक मामले के लिए एक छोटा नोट लिखता है जिसमें समझाया गया है कि वह मामला क्यों खतरनाक है।

  • उदाहरण नोट: "यह व्यक्ति कहता है कि वह एक उपन्यास लिख रहा है, लेकिन वह बम बनाने के निर्देश मांग रहा है। 'उपन्यास' वाला हिस्सा केवल असली इरादे को छिपाने के लिए एक वेशभूषा है।"

शोधकर्ताओं ने इन नोट्स को लिया और अपने सुरक्षा गार्ड (Llama-Guard-3-8B नामक एक छोटा मॉडल) को अपने लिए इसी तरह के नोट्स लिखना सिखाया। उन्होंने गार्ड को उत्तर याद करने के लिए नहीं सिखाया; उन्होंने इसे स्थिति का विश्लेषण करना सिखाया।

2. नई दिनचर्या

अब, जब कोई नया व्यक्ति दरवाजे पर आता है, तो गार्ड एक नई दिनचर्या का पालन करता है:

  1. अनुरोध को पढ़ें।
  2. एक "रिफ्लेक्शन" (चिंतन) नोट लिखें: गार्ड रुकता है और अपने दिमाग में (या एक डिजिटल नोटपैड पर) अनुरोध का विश्लेषण करने के लिए कुछ वाक्य लिखता है। वह पूछता है: "क्या यह रोल-प्ले है? क्या लहजा धोखा देने की कोशिश कर रहा है? यहाँ वास्तविक लक्ष्य क्या है?"
  3. फैसला सुनाएं: इस नोट को लिखने के बाद ही गार्ड कहता है "सुरक्षित" (Safe) या "असुरक्षित" (Unsafe)।

3. परिणाम: भेष बदले हुए लोगों को पकड़ना

शोधकर्ताओं ने इस नए गार्ड का परीक्षण दो बहुत कठिन चुनौतियों के विरुद्ध किया:

  • "वाइल्डगार्डटेस्ट" (WildGuardTest - भेष बदलने की चुनौती):

    • पुराना गार्ड: भेष बदले हुए लगभग 51% बुरे लोगों को पकड़ पाया। इसने लगभग आधे मामलों में चूक की क्योंकि यह वेशभूषा से धोखा खा गया था।
    • रिफ्लेक्ट-गार्ड: भेष बदले हुए 92% बुरे लोगों को पकड़ पाया। अपने "रिफ्लेक्शन" नोट्स को पढ़कर, इसने रोल-प्ले और काल्पनिक कहानियों के पीछे छिपे हानिकारक इरादे को देख लिया।
    • समझौता (Trade-off): नया गार्ड थोड़ा अधिक सतर्क है। यह कभी-कभी उन लोगों को भी रोक देता है जो वास्तव में हानिरहित हैं लेकिन संदिग्ध दिखते हैं (जैसे कि हैकिंग के बारे में पूछने वाला एक सुरक्षा शोधकर्ता)। पेपर कहता है कि यह ठीक है क्योंकि एक खतरनाक व्यक्ति को अंदर जाने देने के बजाय एक हानिरहित व्यक्ति को गलती से रोकना बेहतर है।

  • "जेलब्रेक बेंच" (JailbreakBench - हमला करने की चुनौती):

    • यह एक ऐसा परीक्षण है जहाँ बुरे लोग जटिल चालों का उपयोग करके गार्ड के नियमों को तोड़ने की कोशिश करते हैं।
    • पुराना गार्ड: लगभग 10% हमलों को सफल होने दिया।
    • रिफ्लेक्ट-गार्ड: केवल 1.8% हमलों को सफल होने दिया। इसने लगभग सब कुछ ब्लॉक कर दिया।

4. यह क्यों विशेष है

शोधकर्ताओं ने उनके परिणामों के "पोस्टमार्टम" (Autopsy) में कुछ दिलचस्प पाया:

  • सिर्फ गार्ड को "सोचने" के लिए कहना काम नहीं आया। यदि आपने पुराने गार्ड को बिना पहले प्रशिक्षित किए केवल "निर्णय लेने से पहले एक नोट लिखने" के लिए कहा होता, तो वह अभी भी विफल रहता।
  • प्रशिक्षण ही कुंजी थी। जादू तब हुआ क्योंकि गार्ड ने सीखा कि बुरे लोग इस्तेमाल करने वाले विशिष्ट तरीकों (जैसे रोल-प्लेइंग या काल्पनिक फ्रेमिंग) का विश्लेषण कैसे किया जाता है।
  • यह कुशल है। उन्हें पूरे गार्ड को फिर से बनाने की आवश्यकता नहीं थी। उन्होंने बस एक छोटा, हल्का "ब्रेन अपग्रेड" (जिसे QoLRA कहा जाता है) जोड़ा जिसे एक सिंगल कंप्यूटर पर प्रशिक्षित करने में लगभग एक घंटा लगा।

निचोड़ (The Bottom Line)

रिफ्लेक्ट-गार्ड एक सुरक्षा गार्ड को यह सिखाने जैसा है कि रुककर पूछना कि, "रुको, क्या यह व्यक्ति वाकई सिर्फ एक लेखक है, या वे हथियार छिपाने के लिए लेखक की वेशभूषा का उपयोग कर रहे हैं?"

मॉडल को निर्णय लेने से पहले अपने तर्क को समझाने के लिए मजबूर करने से, इसे फैंसी कहानियों या रोल-प्ले के साथ धोखा देना बहुत कठिन हो जाता है। यह पेपर दिखाता है कि यह तरीका AI सुरक्षा को सबसे चालाक प्रकार के हमलों के खिलाफ बहुत मजबूत बनाता है, और इसके लिए भारी मात्रा में डेटा या सुपर-कंप्यूटर की आवश्यकता नहीं होती है।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →

इसी तरह के और पेपर

इस विषय के सभी पेपर देखें 🤖 cs.AI →