An Empirical Study of Multi-Generation Sampling for Jailbreak Detection in Large Language Models
यह शोध पत्र अनुभवजन्य रूप से प्रदर्शित करता है कि मध्यम बहु-पीढ़ी नमूनाकरण (multi-generation sampling) बड़े भाषा मॉडलों में जेलब्रेक डिटेक्शन में महत्वपूर्ण सुधार करता है क्योंकि यह उन छिपी हुई कमजोरियों को प्रकट करता है जिन्हें एकल-आउटपुट मूल्यांकन चूक जाते हैं, साथ ही यह भी दर्शाता है कि डिटेक्शन संकेत मॉडलों के बीच आंशिक रूप से सामान्यीकृत होते हैं और लेक्सिकल डिटेक्टर व्यवहार संबंधी और विषय-विशिष्ट संकेतों दोनों को कैप्चर करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, आज्ञाकारी रोबोट सहायक है। आपने इसे विनम्र, सहायक और कभी भी कोई बुरा या खतरनाक शब्द न बोलने के लिए प्रशिक्षित किया है। इसे शोधकर्ता "अलाइन्ड" (aligned) लार्ज लैंग्वेज मॉडल (LLM) कहते हैं।
लेकिन, एक इंसान की तरह, इसे धोखा दिया जा सकता है। यदि आप इसे चालाकी से किसी पेचीदा सवाल में फंसाते हैं (जिसे "जेलब्रेक" कहा जाता है), तो यह अनजाने में अपने नियमों को तोड़ सकता है और कुछ हानिकारक कह सकता है।
यह पेपर इस बारे में है कि हम यह कैसे जांचते हैं कि हमारा रोबोट वास्तव में सुरक्षित है या नहीं। लेखकों, हनरुई लुओ और श्रेयांक एन गोडा ने पाया कि जिस तरह से हम आमतौर पर इन रोबोटों का परीक्षण करते हैं वह दोषपूर्ण है, और वे एक बेहतर तरीका प्रस्तावित करते हैं।
यहाँ उनके निष्कर्षों का सरल उपमाओं (analogies) का उपयोग करके विवरण दिया गया है:
1. "एक बार और बस एक बार" वाला टेस्ट एक झूठ है
पुराना तरीका: कल्पना कीजिए कि आप जानना चाहते हैं कि क्या एक सिक्का निष्पक्ष है। आप इसे एक बार उछालते हैं, यह 'हेड्स' आता है, और आप कहते हैं, "ठीक है, यह सिक्का निश्चित रूप से हेड्स ही है।" यह बेवकूफी है, है ना? सच्चाई देखने के लिए आपको इसे कई बार उछालना होगा।
समस्या: एआई (AI) के लिए अधिकांश सुरक्षा परीक्षण केवल रोबोट से एक बार सवाल पूछते हैं। यदि रोबोट कहता है "नहीं, मैं यह नहीं कर सकता," तो परीक्षक उसे "सुरक्षित" मान लेते हैं।
वास्तविकता: क्योंकि एआई थोड़ा रैंडम (सिक्का उछालने की तरह) होता है, यदि आप एक ही पेचीदा सवाल 10 बार पूछते हैं, तो हो सकता है कि रोबोट नौ बार "नहीं" कहे, लेकिन दसवीं बार कहे "हाँ, यहाँ बम बनाने का तरीका बताया गया है।"
निष्कर्ष: केवल एक बार पूछकर, हम खतरे को कम आंक रहे हैं। हमें लगता है कि रोबोट वास्तव में जितना है उससे अधिक सुरक्षित है। पेपर दिखाता है कि यदि आप एक ही सवाल कुछ बार (शायद 3 बार) पूछते हैं, तो आप उन बहुत से "बुरे" जवाबों को पकड़ लेते हैं जो पहले छिपे हुए थे।
2. सैंपलिंग का "गोल्डिलॉक्स" (Goldilocks) ज़ोन
शोधकर्ताओं ने पूछा: "सुरक्षित रहने के लिए हमें कितनी बार सवाल पूछना चाहिए?"
- एक बार पूछना: बहुत सी खतरनाक चीजों को छोड़ देता है।
- 100 बार पूछना: आप लगभग सब कुछ पकड़ लेते हैं, लेकिन इसमें बहुत समय लगता है और बहुत अधिक पैसा (कंप्यूटिंग पावर) खर्च होता है।
- सही संतुलन (Sweet Spot): लगभग 3 बार पूछना "गोल्डिलॉक्स" ज़ोन है। यह बिना संसाधनों को बर्बाद किए लगभग सभी खतरनाक व्यवहारों को पकड़ लेता है। यह एक ताले को एक बार के बजाय तीन बार चेक करने जैसा है; यह तेज़ है लेकिन बहुत अधिक विश्वसनीय है।
3. "डिटेक्टिव" बनाम "बिहेवियर एनालिस्ट"
पेपर ने रोबोट के झूठ पकड़ने के दो तरीकों का परीक्षण किया:
- लेक्सिकल डिटेक्टिव (TF-IDF): यह जासूस विशिष्ट "बुरे शब्दों" या विशिष्ट वाक्य संरचनाओं को देखता है। यह एक क्लब के बाउंसर की तरह है जो लाल टोपी पहने लोगों को देख रहा है।
- दोष: बुरे लोग बस नीली टोपी पहन सकते हैं। पेपर ने पाया कि यह जासूस अक्सर जवाब की शैली (style) से भ्रमित हो जाता है। यदि रोबheid एक लंबा, चरण-दर-चरण सूची देता है (भले ही वह मदद करने से मना कर रहा हो), तो जासूस सोचता है, "आहा! यह निर्देश दे रहा है! यह जरूर एक जेलब्रेक है!" और गलत निर्णय लेता है।
- बिहेवियर एनालिस्ट (Inconsistency): यह विश्लेषक जवाबों के पैटर्न को देखता है। यदि रोबोट सवाल #1 पर "नहीं" कहता है लेकिन उसी सवाल #2 पर "हाँ" कहता है, तो विश्लेषक को संदेह होता है।
- दोष: यह रैंडम "गलतियों" को पकड़ने में अच्छा है, लेकिन कभी-कभी यह बहुत घबरा जाता है और सुरक्षित जवाबों को भी खतरनाक के रूप में चिह्नित कर देता है।
4. "मजबूत रोबोट" का विरोधाभास (Paradox)
यहाँ एक पेचीदा हिस्सा है: आप रोबोट को सुरक्षित होने के लिए जितना अधिक प्रशिक्षित करते हैं, उसका परीक्षण करना उतना ही कठिन होता जाता है।
- कमजोर रोबोट: यह अपने नियमों को अक्सर तोड़ता है। इसे पकड़ना आसान है क्योंकि यह जोर से चिल्लाकर कहता है "मैं बुरा हूँ!"
- मजबूत रोबोट: यह शायद ही कभी अपने नियमों को तोड़ता है। जब यह नियम तोड़ता है, तो यह बहुत शांति से और सूक्ष्मता से करता है।
- विरोधाभास: क्योंकि एक मजबूत रोबोट में "बुरे" जवाब इतने दुर्लभ होते हैं, इसलिए यह एक विशाल घास के ढेर (haystack) में एक अकेली सुई खोजने जैसा है। "डिटेक्टिव" भ्रमित हो जाता है क्योंकि खोजने के लिए बहुत कम बुरी सुइयां हैं, और "बिहेवियर एनालिस्ट" सभी सुरक्षित घास से अभिभूत हो जाता है।
5. मुख्य निष्कर्ष
पेपर का मुख्य संदेश है: एक अकेले जवाब पर भरोसा न करें।
यदि आप जानना चाहते हैं कि क्या एक एआई सुरक्षित है, तो आप केवल एक बार पूछकर और उसके शब्दों को सच मानकर काम नहीं चला सकते। आपको एक ही सवाल को कुछ बार पूछना होगा (एक "मल्टी-जनरेशन ऑडिट") यह देखने के लिए कि क्या वह चूक जाता है।
- उपमा: कल्पना कीजिए कि आप एक ड्राइवर को काम पर रख रहे हैं। आप केवल उन्हें 10 सेकंड तक गाड़ी चलाते हुए देखकर यह नहीं कहेंगे कि "वे एक सुरक्षित ड्राइवर हैं।" आप सुनिश्चित करने के लिए कि उनका कोई छिपा हुआ तेज रफ्तार चलाने का स्वभाव तो नहीं है, उन्हें अलग-अलग स्थितियों में, शायद कुछ बार, गाड़ी चलाते हुए देखना चाहेंगे।
संक्षेप में: एआई को सुरक्षित रखने के लिए, हमें इसे एक स्थिर क्विज़ की तरह टेस्ट करना बंद करना होगा और इसे एक गतिशील, अप्रत्याशित बातचीत की तरह टेस्ट करना शुरू करना होगा। एक बड़ी गलती से बचने के लिए कुछ अतिरिक्त सवाल पूछना एक छोटी सी कीमत है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।