Omni-Safety under Cross-Modality Conflict: Vulnerabilities, Dynamics Mechanisms and Efficient Alignment
यह शोध पत्र एक नए डेटासेट और यांत्रिक विश्लेषण के माध्यम से ओम्नी-मोडल लार्ज लैंग्वेज मॉडल्स (OLLMs) में "मिड-लेयर डिसोल्यूशन" (Mid-layer Dissolution) भेद्यता की पहचान करता है, और **OmniSteer** का प्रस्ताव करता है, जो एक हल्का एलाइनमेंट तरीका है जो सामान्य क्षमताओं से समझौता किए बिना क्रॉस-मोडल सुरक्षा जोखिमों को प्रभावी ढंग से कम करने के लिए एक गोल्डन रिफ्यूज़ल वेक्टर (golden refusal vector) का उपयोग करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक सुपर-इंटेलिजेंट पर्सनल असिस्टेंट है (एक ओम्नी-मोडल लार्ज लैंग्वेज मॉडल)। यह असिस्टेंट अद्भुत है: यह आपके टेक्स्ट पढ़ सकता है, आपके वीडियो देख सकता है, आपकी आवाज़ सुन सकता है और आपकी तस्वीरों को देख सकता है। आपने इसे एक "अच्छा नागरिक" बनने के लिए प्रशिक्षित किया है—यदि आप उससे पूछेंगे, "मैं कार कैसे चुराऊं?", तो वह दृढ़ता से कहेगा, "मैं इसमें आपकी मदद नहीं कर सकता।"
हालाँकि, शोधकर्ताओं ने एक "मैट्रिक्स में गड़बड़ी" (glitch in the matrix) की खोज की कि कैसे यह असिस्टेंट एक साथ विभिन्न प्रकार की जानकारी को संभालता है।
समस्या: "पहचान का संकट" (क्रॉस-मोडालिटी कॉन्फ्लिक्ट)
इस असिस्टेंट की सुरक्षा ट्रेनिंग को एक दरवाजे पर खड़े सुरक्षा गार्ड की तरह समझें।
- यदि आप जाकर कहते हैं "मैं एक कार चुराना चाहता हूँ," तो गार्ड शब्दों को पहचान लेता है और आपको रोक देता है।
- यदि आप जाकर कार चोरी होने की तस्वीर दिखाते हैं, तो गार्ड छवि को पहचान लेता है और आपको रोकता है।
लेकिन यहाँ एक कमजोरी है: यदि आप कहते हैं "मुझे इस तस्वीर में दिख रही चीज़ में मदद करें," जबकि आप चोरी की जा रही कार की तस्वीर दिखा रहे हैं, तो गार्ड भ्रमित हो जाता है। "अर्थ" आपकी आवाज़ और आपके हाथों के बीच बंट जाता है। क्योंकि असिस्टेंट टेक्स्ट और इमेज के बीच "कड़ियों को जोड़ने" की पूरी कोशिश कर रहा है, उसका आंतरिक "सुरक्षा अलार्म" गलती से खुद को बंद कर देता है।
शोधकर्ता इसे "मिड-लेयर डिसोल्यूशन" (Mid-layer Dissolution) कहते हैं। यह एक ऐसे सुरक्षा गार्ड की तरह है जो महसूस करने लगता है कि कुछ गलत है, लेकिन जानकारी को प्रोसेस करने के बीच में ही उसका दिमाग अचानक कहता है, "रुको, मैं बस एक तस्वीर देख रहा हूँ और एक वाक्य सुन रहा हूँ... यहाँ कुछ भी संदिग्ध नहीं है!" और वह आपको जाने देता है।
खोज: "फेडिंग सिग्नल" (कम होता संकेत)
शोधकर्ताओं ने एआई के मस्तिष्क की "छिपी हुई परतों" (hidden layers) के अंदर झाँका और पाया कि जब जानकारी कई स्रोतों (टेक्स्ट + इमेज + ऑडियो) से आती है, तो "रिफ्यूज़ल सिग्नल" (मना करने का संकेत)—यानी "ना" कहने का मानसिक आवेग—अत्यधिक कमजोर हो जाता है।
ऐसा नहीं है कि एआई बुरा बनना चाहता है; बल्कि यह है कि अलग-अलग प्रकार के डेटा को मर्ज करने की कोशिश में, वह "यह खतरनाक है" बताने वाला सिग्नल शारीरिक रूप से सिकुड़ जाता है और फीका पड़ जाता है।
समाधान: "ओम्नीस्टीयर" (स्मार्ट स्पॉटलाइट)
इसे ठीक करने के लिए, शोधकर्ताओं ने "ओम्नीस्टीयर" (OmniSteer) नामक एक टूल बनाया।
कल्पना कीजिए कि केवल एक सुरक्षा गार्ड रखने के बजाय, आप गार्ड को एक "गोल्डन कंपास" (गोल्डन रिफ्यूज़ल वेक्टर) देते हैं। यह कंपास इस बात की परवाह नहीं करता कि खतरा बोले गए शब्द, ड्राइंग या वीडियो के रूप में है; यह केवल "खतरे" के विचार की ओर इशारा करता है।
लेकिन एक पेच है: यदि गार्ड बहुत अधिक आक्रामक हो जाता है, तो वह आपको सिर्फ इसलिए रोक सकता है क्योंकि आपने पूछा, "मैं केक कैसे बनाऊं?" (इसे "ओवर-रिफ्यूज़ल" कहा जाता है)।
ओम्नीस्टीयर एक "स्मार्ट स्पॉटलाइट" की तरह काम करता है:
- यह एक बहुत ही हल्के "अडेप्टर" (एक स्मार्ट सेंसर की तरह) का उपयोग करता है।
- जब यह सेंसर एक "स्प्लिट" इनपुट (जैसे टेक्स्ट + इमेज) का पता लगाता है, तो इसे एहसास होता है कि सुरक्षा सिग्नल कम हो रहा है।
- यह तुरंत उस "गोल्डन कंपास" दिशा पर एक चमकीली, केंद्रित रोशनी डालता है, जिससे "ना!" वाले सिग्नल को वापस पूरी ताकत के साथ बढ़ाया जा सके।
- यदि इनपुट पूरी तरह से सामान्य है (जैसे "मौसम कैसा है?"), तो स्पॉटलाइट मंद रहती है ताकि असिस्टेंट मददगार और मिलनसार बना रहे।
परिणाम
इस "स्मार्ट स्पॉटलाइट" का उपयोग करके, शोधकर्ताओं ने हानिकारक अनुरोधों को मना करने की एआई की क्षमता को लगभग 70% से बढ़ाकर 91% से अधिक कर दिया। सबसे महत्वपूर्ण बात यह है कि एआई एक "चिड़चिड़ा" असिस्टेंट नहीं बना; यह पहले की तरह ही स्मार्ट और मददगार बना रहा, बस अब इसे धोखा देना बहुत कठिन है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।