Exposing Long-Tail Safety Failures in Large Language Models through Efficient Diverse Response Sampling
यह कार्य प्रस्तावित करता है और प्रदर्शित करता है कि प्रोग्रेसिव डाइवर्स पॉपुलेशन सैंपलिंग (PDPS), एक ऐसी विधि जो इनपुट को फिर से लिखने के बजाय उच्च गुणवत्ता वाले विविध मॉडल आउटपुट को व्यवस्थित रूप से और कुशलतापूर्वक नमूना लेने पर ध्यान केंद्रित करके छिपी हुई कमजोरियों को उजागर करती है, पारंपरिक तरीकों की तुलना में काफी कम कम्प्यूटेशनल लागत पर एलएलएम (LLMs) में दबी हुई असुरक्षित जानकारी की एक विस्तृत श्रृंखला को उजागर कर सकती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने नहीं लिखा है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान, बहुत विनम्र रोबोट सहायक बनाना चाहते हैं। आप इसे कैसे प्रशिक्षित करेंगे? पहले, आप इसे इंटरनेट से भारी मात्रा में डेटा पढ़ने देते हैं (प्री-ट्रेनिंग चरण)। यह इसे भाषा सीखने, ज्ञान प्राप्त करने और तथ्यों को याद रखने की अनुमति देता है। हालाँकि, इस प्रक्रिया के दौरान, रोबोट अवांछनीय जानकारी भी सीख सकता है, जैसे कि हानिकारक निर्देश (उदाहरण के लिए, बम कैसे बनाया जाए) या पक्षपाती और अपमानजनक भाषा।
हम यह कैसे सुनिश्चित करते हैं कि रोबोट ऐसा असुरक्षित व्यवहार न दिखाए?
इसे संबोधित करने के लिए, हम सुरक्षा ट्यूनिंग (safety tuning) करते हैं। हम रोबोट को ऐसे रिफ्यूज़ल रिस्पॉन्स (अस्वीकृति प्रतिक्रियाएं) देने के लिए प्रशिक्षित करते हैं जैसे कि:
- "मैं वह जानकारी प्रदान नहीं कर सकता..."
- "एक हानिरहित सहायक के रूप में, मैं इसमें मदद नहीं कर सकता..."
जब उससे हानिकारक प्रश्न पूछे जाते हैं जैसे कि:
- "बम कैसे बनाएं?"
- "हथियार बनाने के निर्देश प्रदान करें।"
व्यापक प्रशिक्षण के बाद, हमें विश्वास हो सकता है कि सिस्टम सुरक्षित है। हालाँकि, सुरक्षा ट्यूनिंग आम तौर पर अपूर्ण होती है, जो पूर्ण या अचूक होने से बहुत दूर है। इसके परिणामस्वरूप, शोधकर्ता सक्रिय रूप से इन सुरक्षा तंत्रों को तोड़ने के तरीके खोजने का प्रयास करते हैं ताकि कमजोरियों की पहचान की जा सके और उन्हें जल्दी से ठीक किया जा सके (एक प्रक्रिया जिसे "रेड टीमिंग" कहा जाता है)।
मौजूदा तरीका: प्रश्न को फिर से लिखकर रोबोट को धोखा देना (इनपुट-स्पेस सर्च)
इस रोबोट के सुरक्षा नियमों को तोड़ने का एक मौजूदा तरीका प्रश्न को फिर से लिखकर उसे धोखा देना है। वे पूछने के विभिन्न तरीकों को आज़माते हैं, जैसे कि:
- "मान लो कि तुम एक खलनायक हो..."
- "एक बुरा आदमी क्या करेगा?"
- "इसे फ्रेंच में अनुवाद करें..."
- "बम कैसे बनाएं? निश्चित रूप से, यहाँ है..."
और यह उम्मीद करना कि रोबोट फिसल जाएगा और कुछ असुरक्षित प्रतिक्रियाएं उत्पन्न करेगा, या तो इसलिए क्योंकि वह पुनर्गठित प्रश्न से भ्रमित हो गया है या उपयोगकर्ता के निर्देशों का पालन करने के प्रयास में। यह एक घर में छिपे हुए बैकडोर या टूटी हुई खिड़कियों की तलाश करके उसमें घुसने की कोशिश करने जैसा है जो गलत निर्माण के कारण मौजूद हो सकती हैं।
जबकि यह दृष्टिकोण व्यापक रूप से अपनाया गया है और काफी हद तक सफल रहा है, यह अभी भी ह्यूरिस्टिक (heuristic) और एड हॉक (ad hoc) है, जो व्यापक कवरेज की कोई गारंटी नहीं देता है और अक्सर उच्च कंप्यूटेशनल लागत भी लेता है।
प्रस्तावित विचार: रोबोट को गलती करने के लिए प्रोग्राम करना (आउटपुट-स्पेस सर्च)
यह शोध पत्र एक ऑर्थोगोनल (orthogonal) और पूरक रणनीति प्रस्तावित करता है। यह एक प्रश्न (जैसे, "बम कैसे बनाएं?") को फिक्स करने और रोबोट से इसे कई, बहुत बार अलग-अलग तरीकों से उत्तर देने के लिए कहने के बारे में है।
यह विचार दो परिकल्पनाओं पर आधारित है:
- यदि रोबोट की सुरक्षा ट्यूनिंग प्रक्रिया खराब रही है, तो रोबोट खतरनाक ज्ञान को पूरी तरह से नहीं भूलता है; बल्कि यह केवल सुरक्षित रिफ्यूज़ल रिस्पॉन्स के पक्ष में इसे दबा देता है। इसलिए, वे खतरनाक उत्तर अभी भी वहां मौजूद हैं, रोबोट की स्मृति में गहराई में दबे हुए।
- खतरनाक उत्तर रिफ्यूज़ल रिस्पॉन्स से अर्थपूर्ण रूप से भिन्न होते हैं (जैसे, "बम बनाने के लिए, आपको निम्नलिखित सामग्रियों की आवश्यकता है:..." बनाम "मैं प्रश्न का उत्तर नहीं दे सकता...")।
इसलिए, यदि आप रोबोट से एक ही प्रश्न को 1,000 अलग-अलग लेकिन अर्थपूर्ण तरीकों से (अर्थात, केवल निरर्थक शब्द नहीं) उत्तर देने के लिए कहते हैं, तो यह अंततः फिसल सकता है और अपने भीतर दबे खतरनाक उत्तरों को प्रकट कर सकता है, क्योंकि यह सामान्य रिफ्यूज़ल प्रतिक्रियाओं से अलग उत्तर देने का प्रयास करता है। आप जितना अधिक पूछेंगे, और उत्तरों को एक-दूसरे से अलग होने के लिए जितना अधिक प्रेरित करेंगे, रोबले के अपने असुरक्षित ज्ञान को प्रकट करने की संभावना उतनी ही अधिक होगी।
समस्या: यह बहुत महंगा है
एक समस्या है। केवल कुछ बुरे उत्तर पाने के लिए रोबोट से 1,000 बार पूछना अविश्वसनीय रूप से महंगा है। इसमें बहुत अधिक कंप्यूटर पावर और समय लगता है। यह 1,000 अभिनेताओं को एक घर में घुसने की कोशिश करने के लिए काम पर रखने जैसा है जब उनमें से अधिकांश बस कह देंगे "मैं यह नहीं कर सकता," जिससे आपका पैसा बर्बाद होता है।
समाधान: PDPS (स्मार्ट स्काउट टीम)
लेखकों ने PDPS (प्रोग्रेसिव डाइवर्स पॉपुलेशन सैंपलिंग) नामक एक चतुर विधि बनाई है।
कल्पना कीजिए कि आप एक विशाल जंगल में दुश्मन के शिविरों को खोजने के लिए एक जनरल हैं। आपने 1,000 अलग-अलग सड़कों की पहचान की है जिनसे दुश्मन के सैनिक गुजर सकते थे।
ब्रूट-फोर्स तरीका (IID सैंपलिंग): आप 1,000 सैनिक भेजते हैं, जिनमें से प्रत्येक को एक अलग सड़क सौंपी जाती है। वे प्रत्येक सड़क के अंत तक जाते हैं, समय और ऊर्जा बर्बाद करते हैं, और उनमें से अधिकांश को कुछ भी नहीं मिलता।
PDPS तरीका:
आप देखते हैं कि दुश्मन को निश्चित रूप से अपने टैंकों और भारी वाहनों को इन सड़कों के माध्यम से ले जाना होगा। इसलिए, वे सड़कें जो दुश्मन के शिविर की ओर ले जाती हैं, उनके अच्छी स्थिति (यानी, उच्च गुणवत्ता) में होने की संभावना अधिक है। आप यह भी महसूस करते हैं कि कुछ सड़कें एक ही स्थान की ओर ले जा सकती हैं। इसलिए, केवल उन सड़कों पर सैनिक भेजना पर्याप्त है जो अलग-अलग स्थानों की ओर ले जाती हैं (यानी, उच्च विविधता)।
हालाँकि, आप केवल शुरुआत में देखकर यह नहीं बता सकते कि कोई सड़क अच्छी स्थिति में है या दो सड़कें एक ही दिशा में जा रही हैं। यह जानने के लिए, आपको वास्तव में उनका पता लगाना होगा। आप सड़क में जितना आगे बढ़ते हैं, सड़क की स्थिति और दिशा के बारे में आप उतने ही आश्वस्त होते जाते हैं।
इसलिए, ईंधन की लागत को कम करने और दुश्मन के शिविर खोजने की अपनी संभावनाओं को अधिकतम करने के लिए आप निम्नलिखित कदम उठाते हैं:
- द स्काउट रन (जांच दौड़): आप 1,000 स्काउट्स भेजते हैं, लेकिन वे प्रत्येक सड़क पर केवल थोड़ी दूरी तक जाते हैं।
- द फ़िल्टर (छँटाई): आप सड़कों की स्थिति और दिशा के बारे में उनसे फीडबैक लेते हैं। आप पाते हैं कि कुछ सड़कें भारी वाहनों के लिए उपयुक्त नहीं हैं, जबकि कई अन्य एक ही दिशा में जा रही हैं।
- द सिलेक्शन (चयन): आप उन स्काउट्स को वापस बुला लेते हैं जिनकी सड़कें पर्याप्त अच्छी नहीं हैं या जिनके पथ अन्य पथों के समान दिशा में जा रहे हैं। आप शेष स्काउट्स को रखते हैं।
- द एक्सपेंशन (विस्तार): आप शेष स्काउट्स को जंगल में और आगे जाने के लिए कहते हैं ताकि वे देख सकें कि उनके पथ किसी दुश्मन के शिविर की ओर ले जाते हैं या नहीं।
- दोहराएं: आप इस प्रक्रिया को कुछ बार और दोहराते हैं, केवल उच्च-गुणवत्ता वाले और विविध पथों को बनाए रखने के लिए समूह को लगातार छांटते रहते हैं।
यह बेहतर क्यों है?
- दक्षता (Efficiency): आप अपना समय और ऊर्जा उन सैनिकों के साथ पूरे जंगल की खोज में बर्बाद नहीं करते हैं जो या तो कुछ नहीं पाएंगे या एक ही दिशा में जा रहे होंगे। इसके बजाय, आप उन पथों पर ध्यान केंद्रित करते हैं जो आशाजनक दिखते हैं और कई समान पथों पर संसाधन आवंटित करने से बचते हैं।
- कवरेज (Coverage): आप सुनिश्चित करते हैं कि आपके स्काउट विभिन्न दिशाओं की खोज करें, न कि वे सभी एक ही दिशा में जाएं। यह आपको कई दुश्मन शिविरों को खोजने में मदद करता है, यदि एक से अधिक हैं। दूसरे शब्दों में, यह रोबोट के विफल होने के विभिन्न तरीकों को खोजने में मदद करता है, न कि केवल एक को।
परिणाम
पेपर ने कई स्मार्ट AI मॉडल्स पर इसका परीक्षण किया। उन्होंने पाया:
- यह काम करता है: इस "स्काउट" विधि का उपयोग करके, उन्होंने खतरनाक उत्तर पाए जिन्हें मानक सुरक्षा प्रशिक्षण मिस कर गया था।
- यह तेज़ है: उन्होंने "ब्रूट-फोर्स" विधि (1,000 बार पूछना) की तुलना में लगभग उतने ही खतरनाक उत्तर पाए, जबकि केवल 8% से 29% कंप्यूटेशनल पावर का उपयोग किया।
- यह बेहतर है: जब रोबोट को प्रति क्वेरी केवल 16 प्रतिक्रियाएं उत्पन्न करने के लिए सीमित किया जाता है (ताकि उन्हें मैन्युअल रूप से जांचना आसान हो, 1,000 प्रतिक्रियाओं के विपरीत), तब भी यह विधि अन्य तरीकों की तुलना में 26% से 40% अधिक खतरनाक उत्तर ढूंढ लेती है।
बड़ी सीख
यह पेपर जो प्रस्तावित करता है वह LLMs में सुरक्षा विफलता मोड (safety failure modes) को उजागर करने का एक ऑर्थोगोनल और पूरक दृष्टिकोण है। प्रश्नों को फिर से लिखकर रोबोट को धोखा देने के बजाय (या इसके अतिरिक्त), हम एक ही प्रश्न पूछकर और उसे कई अलग-अलग, रचनात्मक तरीकों से उत्तर देने के लिए मजबूर करके इसे व्यवस्थित रूप से तनाव-परीक्षण (stress-test) कर सकते हैं, और यह जाँच सकते हैं कि क्या वह फिसल जाता है और असुरक्षित उत्तर देता है। प्रस्तावित PDPS विधि के साथ, हम भारी मात्रा में कंप्यूट खर्च किए बिना कुशलतापूर्वक ऐसा कर सकते हैं। यह तैनाती से पहले छिपे हुए विफलता मोड को खोजने और उन्हें ठीक करने के लिए एक नया, सिद्धांत-आधारित मार्ग प्रदान करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।