Are LLMs Safe Beyond Text: Do Emojis Expose Gaps in Safety Evaluation
यह अध्ययन प्रदर्शित करता है कि बड़े भाषा मॉडलों (लार्ज लैंग्वेज मॉडल्स) के लिए केवल टेक्स्ट-आधारित सुरक्षा मूल्यांकनों पर निर्भर रहना उन महत्वपूर्ण कमजोरियों की अनदेखी करता है जो इमोजी-संवर्धित प्रॉम्प्ट्स द्वारा उजागर होती हैं, जैसा कि विभिन्न ओपन-सोर्स मॉडलों में ऐसे इनपुट्स के प्रति परिवर्तनशील संवेदनशीलता से सिद्ध होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस की तेजी से बदलती दुनिया में, बड़े भाषा मॉडल (लार्ज लैंग्वेज मॉडल्स) के रूप में जाने जाने वाले कंप्यूटर प्रोग्राम लिखने, तर्क करने और सवालों के जवाब देने के लिए शक्तिशाली उपकरण बन गए हैं। इन प्रणालियों को इंटरनेट से टेक्स्ट की विशाल मात्रा पर प्रशिक्षित किया जाता है, जिससे वे यह सीख पाते हैं कि एक वाक्य में आगे कौन से शब्द आने चाहिए। क्योंकि वे इतने सक्षम हैं, डेवलपर्स यह सुनिश्चित करने के लिए महत्वपूर्ण प्रयास करते हैं कि वे सुरक्षित रहें, जिसका अर्थ है कि वे हानिकारक निर्देश, हिंसक सामग्री या खतरनाक सलाह देने से इनकार कर दें। इस सुरक्षा का परीक्षण करने के लिए, शोधकर्ता आमतौर पर चतुर टेक्स्ट प्रॉम्प्ट्स के माध्यम से मॉडलों को धोखा देने की कोशिश करते हैं, जिससे उन्हें विभिन्न तरीकों से अपने नियमों को दरकिनार करने के लिए कहा जा सके। हालाँकि, मानवीय संचार शायद ही कभी केवल सादा टेक्स्ट होता है; हम अक्सर अर्थ, भावना और संदर्भ व्यक्त करने के लिए चित्रों, प्रतीकों और इमोजी का उपयोग करते हैं। ये छोटे आइकन आधुनिक बातचीत का एक मानक हिस्सा हैं, फिर भी यह सवाल बना हुआ है कि क्या इन एआई मॉडलों की रक्षा करने वाली सुरक्षा प्रणालियाँ उतनी ही प्रभावी हैं जब इनपुट में शब्दों के बजाय इन दृश्य प्रतीकों का उपयोग किया जाता है।
एक स्वतंत्र शोधकर्ता द्वारा किए गए हालिया अध्ययन ने ठीक इसी अंतर की जांच करने के लिए एक अध्ययन किया। शोधकर्ता ने सोचा कि क्या सुरक्षा मूल्यांकन, जो इन मॉडलों को सुरक्षित रखने के लिए उपयोग किए जाते हैं, मानक टेक्स्ट पर लगभग पूरी तरह से ध्यान केंद्रित करके पहेली के एक महत्वपूर्ण हिस्से को छोड़ रहे हैं। यह पता लगाने के लिए, उन्होंने चार अलग-अलग ओपन-सोर्स भाषा मॉडलों का उपयोग करके एक प्रयोग डिजाइन किया, जो इस तकनीक के ऐसे संस्करण हैं जिन्हें कोई भी एक्सेस कर सकता है और अध्ययन कर सकता है। शोधकर्ता ने पचास विशिष्ट प्रॉम्प्ट्स का एक सेट बनाया जो प्रतिबंधित या हानिकारक सामग्री, जैसे हिंसा या खतरनाक कृत्यों पर निर्देश मांगने के लिए डिज़ाइन किए गए थे। केवल शब्दों का उपयोग करने के बजाय, इन प्रॉम्प्ट्स को इमोजी शामिल करने के लिए संशोधित किया गया था। इस दृष्टिकोण में दो मुख्य रणनीतियाँ शामिल थीं: एक जहाँ टेक्स्ट को बाधित करने के लिए वाक्यों में सीधे इमोजी मिलाए गए थे, और दूसरी जहाँ हानिकारक इरादे को स्पष्ट रूप से बताए बिना अप्रत्यक्ष रूप से सुझाने के लिए इमोजी के एक क्रम का उपयोग किया गया था।
इस प्रयोग के परिणामों ने खुलासा किया कि मॉडल सभी एक समान प्रतिक्रिया नहीं देते थे। इन इमोजी-संवर्धित अनुरोधों का सामना करते समय, मॉडलों ने व्यवहार की एक विस्तृत श्रृंखला दिखाई। परीक्षण किए गए मॉडलों में से एक, Qwen 2 7B, पूरी तरह से प्रतिरोधी साबित हुआ, जिसने उपयोग किए गए इमोजी के बावजूद किसी भी हानिकारक सामग्री को उत्पन्न करने से इनकार कर दिया। एक अन्य मॉडल, Llama 3 8B, कुछ मामलों में हानिकारक अनुरोधों को रोकने में विफल रहा। दो अन्य मॉडल, Gemma 2 9B और Mistral 7B, कम मजबूत थे, जिससे दस प्रतिशत प्रयासों में हानिकारक सामग्री उत्पन्न होने दी गई। यह भिन्नता बताती है कि एक मॉडल की सुरक्षित रहने की क्षमता एक निश्चित गुण नहीं है बल्कि यह काफी हद तक इस बात पर निर्भर करती है कि इनपुट कैसे प्रस्तुत किया जाता है। अध्ययन ने यह भी पाया कि भले ही मॉडल हानिकारक सामग्री उत्पन्न नहीं करते थे, वे अक्सर अस्पष्ट या केवल आंशिक रूप से सहायक तरीके से प्रतिक्रिया देते थे, जो यह दर्शाता है कि इमोजी ने स्पष्ट इनकार के बजाय भ्रम पैदा किया।
शोधकर्ता ने इन परिणामों का विश्लेषण यह पुष्टि करने के लिए सांख्यिकीय विधियों का उपयोग किया कि मॉडलों के बीच के अंतर केवल संयोग नहीं थे। डेटा ने एक स्पष्ट पैटर्न दिखाया: एक मॉडल द्वारा सुरक्षा को संभालने का तरीका प्रश्न के प्रारूप पर निर्भर करता है। जब इनपुट में इमोजी शामिल थे, तो मॉडल उस तरह से व्यवहार करते थे जैसे वे मानक टेक्स्ट के साथ करते। कुछ मॉडलों ने इमोजी अनुक्रमों को खतरनाक अनुरोधों के बजाय अस्पष्ट या अधूरे अनुरोधों के रूप में व्याख्या किया, जबकि अन्य उन्हें पूरी तरह से अपने सुरक्षा नियमों को अनदेखा करने के लिए बहका दिया गया। यह सुझाव देता है कि एआई सुरक्षा के लिए उपयोग किए जाने वाले वर्तमान तरीके, जो लगभग पूरी तरह से टेक्स्ट-आधारित प्रश्नों पर निर्भर करते हैं, उन तरीकों की पूरी सीमा को कैप्चर नहीं कर सकते हैं जिनसे इन प्रणालियों को धोखा दिया जा सकता है। यदि सुरक्षा मूल्यांकन इस बात को ध्यान में नहीं रखते हैं कि इमोजी और अन्य गैर-टेक्स्ट प्रतीक अनुरोध के अर्थ को कैसे बदलते हैं, तो वे इन मॉडलों के कितना सुरक्षित होने के बारे में सुरक्षा की झूठी भावना दे सकते हैं।
अंततः, यह कार्य आर्टिफिशियल इंटेलिजेंस के परीक्षण के तरीके में एक विशिष्ट भेद्यता को उजागर करता है। यह अध्ययन यह दावा नहीं करता है कि इमोजी एक जादुई कुंजी है जो सभी एआई सुरक्षा को तोड़ देती है, न ही यह सुझाव देता है कि ये मॉडल मौलिक रूप से टूटे हुए हैं। इसके बजाय, यह इंगित करता है कि सुरक्षा इनपुट के आकार के प्रति संवेदनशील है। जिस तरह एक ताला एक मानक चाबी के लिए पूरी तरह से काम कर सकता है लेकिन थोड़ी अलग आकृति के लिए विफल हो सकता है, ये मॉडल तब ब्लाइंड स्पॉट दिखाते हैं जब इनपुट में ऐसे प्रतीक शामिल होते हैं जो अर्थ तो रखते हैं लेकिन शब्दों से अलग दिखते हैं। निष्कर्ष इस बात की याद दिलाते हैं कि जैसे-जैसे मानवीय संचार नए प्रतीकों और प्रारूपों के साथ विकसित होता रहता है, एआई सुरक्षा सुनिश्चित करने के लिए हमारे तरीकों को भी प्रभावी बने रहने के लिए इसके साथ विकसित होना चाहिए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।