ReFrame: Evidence-Guided Test-Time Safety Alignment in Multimodal Large Language Models
ReFrame एक प्रशिक्षण-मुक्त, साक्ष्य-निर्देशित टेस्ट-टाइम फ्रेमवर्क है जो जोखिम/उपयोगिता साक्ष्य उत्पन्न करने और इनपुट को सुरक्षित प्रॉक्सी में पुनर्गठित करने के लिए दो हल्के एजेंटों का उपयोग करके मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स में सुरक्षा संरेखण को बढ़ाता है, जो लक्ष्य मॉडल को संशोधित किए बिना प्रभावी रूप से उपयोगिता प्रभुत्व और तर्क जड़ता पर विजय प्राप्त करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस की तेजी से विकसित होती दुनिया में, मॉडलों की एक नई पीढ़ी उभरी है जो एक साथ देख और बोल सकती है। ये सिस्टम, जिन्हें मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स (multimodal large language models) के रूप में जाना जाता है, केवल टेक्स्ट को प्रोसेस नहीं करते; वे छवियों को समझते हैं, दृश्य विवरणों को लिखित शब्दों के साथ जोड़ते हैं ताकि प्रश्नों के उत्तर दे सकें, समस्याओं को हल कर सकें और रचनात्मक सामग्री बना सकें। हालाँकि, देखने और तर्क करने की इस विस्तारित क्षमता के साथ एक जटिल नई चुनौती भी आती है: सुरक्षा। हालाँकि इन मॉडलों को सहायक होने के लिए डिज़ाइन किया गया है, लेकिन कभी-कभी इन्हें अपने सुरक्षा नियमों को अनदेखा करने के लिए छल दिया जा सकता है। एक हमलावर किसी हानिकारक अनुरोध को एक तस्वीर के अंदर छिपा सकता है या एक खतरनाक निर्देश को एक छवि और एक वाक्य के बीच विभाजित कर सकता है, जिससे मॉडल भ्रमित होकर यह मान लेता है कि अनुरोध हानिरहित है। यह डेवलपर्स के लिए एक कठिन स्थिति पैदा करता है। कई सबसे शक्तिशाली मॉडल "ब्लैक बॉक्स" हैं, जिसका अर्थ है कि उनकी आंतरिक कार्यप्रणाली छिपी हुई है और बाहरी उपयोगकर्ताओं द्वारा इसे बदला या फिर से प्रशिक्षित (retrain) नहीं किया जा सकता है। जब एक मॉडल पहले से ही तैनात हो चुका हो और उसे बदला न जा सके, तो उसकी उपयोगिता को तोड़े बिना उसे सुरक्षित रखने का तरीका खोजना एक महत्वपूर्ण पहेली बन जाता है।
शोधकर्ता इसे ठीक करने के तरीके खोज रहे हैं, लेकिन मौजूदा समाधानों में से कई के लिए मॉडल के आंतरिक कोड तक पहुंच की आवश्यकता होती है या इसमें महंगी री-ट्रेनिंग शामिल होती है, जो बंद प्रणालियों (closed systems) के लिए असंभव है। वैज्ञानिकों की एक टीम ने अब एक अलग दृष्टिकोण प्रस्तावित किया है जिसे 'रीफ्रेम' (ReFrame) कहा जाता है, जो एक स्मार्ट फ़िल्टर के रूप में कार्य करता है जो उपयोगकर्ता के अनुरोध के मॉडल तक पहुँचने से पहले ही काम करता है। मॉडल को बदलने के बजाय, रीफ्रेम आने वाली छवि और टेक्स्ट को रोकता है, उनका विश्लेषण करता है, और अनुरोध को एक सुरक्षित संस्करण में फिर से लिख देता है। यह प्रक्रिया पूरी तरह से उपयोग के क्षण में होती है, बिना मॉडल की आंतरिक सेटिंग्स को छुए या नए डेटा पर उसे फिर से प्रशिक्षित किए। सिस्टम को उन छिपे हुए खतरों को पकड़ने के लिए डिज़ाइन किया गया है जो मानक सुरक्षा उपायों से निकल सकते हैं, जबकि यह सुनिश्चित करता है कि मॉडल वैध प्रश्नों का प्रभावी ढंग से उत्तर दे सके।
शोधकर्ताओं ने जिस मुख्य समस्या की पहचान की है वह यह है कि ये मॉडल अक्सर सुरक्षित होने के बजाय मददगार होने को प्राथमिकता देते हैं। जब कोई उपयोगकर्ता प्रश्न पूछता है, तो मॉडल का प्राथमिक लक्ष्य कार्य को पूरा करना होता है, जिसके कारण कभी-कभी वह किसी छवि या पेचीदा वाक्य संरचना में छिपे सूक्ष्म जोखिमों को अनदेखा कर सकता है। इसके अलावा, एक बार जब मॉडल तर्क की एक रेखा का पालन करना शुरू कर देता है, तो वह एक हानिकारक पथ पर अटक सकता है, और असुरक्षित सामग्री उत्पन्न करना जारी रख सकता है, भले ही उसे बाद में खतरे का एहसास हो जाए। इसे हल करने के लिए, शोधकर्ताओं ने एक दो-चरणीय प्रणाली बनाई है जो एक छोटे, स्थानीय एआई मॉडल का उपयोग गेटकीपर के रूप में करती है। यह गेटकीपर उपयोगकर्ता के प्रश्न का सीधा उत्तर नहीं देता है। इसके बजाय, यह अनुरोध की जांच करता है और स्थिति का वर्णन करने वाले दो विशिष्ट सारांश, या "कार्ड्स" बनाता है।
पहला कार्ड, 'रिस्क कार्ड' (risk card), किसी भी छिपे हुए खतरे की तलाश करता है। यह पूछता है: क्या छवि या टेक्स्ट में कोई हानिकारक इरादा छिपा है? यदि उत्तर हाँ है, तो यह पहचानता है कि खतरा क्या है और खतरे को हटाने के लिए अनुरोध को फिर से लिखने की योजना बनाता है। दूसरा कार्ड, 'यूटिलिटी कार्ड' (utility card), इस बात पर ध्यान केंद्रित करता है कि क्या बचाया जाना चाहिए। यह पूछता है: अनुरोध के कौन से हिस्से हानिरोक और उपयोगी हैं? यह सुनिश्चित करता है कि जब खतरनाक हिस्सों को हटा दिया जाता है, तो मॉडल पूरे प्रश्न को खारिज न करे या किसी ऐसे विषय पर मदद करने से मना न करे जो वास्तव में सुरक्षित है। जोखिम को उपयोगिता से अलग करके, सिस्टम सटीक निर्णय लेने में सक्षम होता है।
एक बार जब ये दोनों कार्ड बन जाते हैं, तो दूसरा चरण कार्यभार संभाल लेता है। सिस्टम का यह हिस्सा दोनों कार्डों से मिली जानकारी को मिलाकर मूल अनुरोध को फिर से लिखता है। यदि अनुरोध शुरू से ही सुरक्षित था, तो यह इसे मामूली समायोजन के साथ आगे भेज देता है। यदि अनुरोध में कोई छिपा हुआ जाल था, तो सिस्टम प्रॉम्प्ट को फिर से लिखता है ताकि मॉडल को एक सुरक्षित और सहायक उत्तर की ओर निर्देशित किया जा सके। उदाहरण के लिए, यदि कोई उपयोगकर्ता अपराध करने के निर्देशों के लिए पूछता है लेकिन इसे एक गेम परिदृश्य के रूप में पेश करता है, तो सिस्टम गेम के आवरण को एक छलावे के रूप में पहचान लेता है। यह गेम के निर्देशों को हटा देता है और प्रॉम्प्ट को सुरक्षा या कानूनी विकल्पों के बारे में पूछने के लिए फिर से लिखता है। महत्वपूर्ण रूप से, सिस्टम यह भी तय करता है कि क्या मूल छवि को पुनर्गठित टेक्स्ट के साथ भेजा जाए। कभी-कभी छवि में ही खतरनाक सुराग होता है, इसलिए सिस्टम इसे ब्लॉक कर देता है। अन्य मामलों में, जब छवि हानिरहित और उत्तर के लिए आवश्यक होती है, तो इसे जाने दिया जाता है।
शोधकर्ताओं ने इस पद्धति का परीक्षण कई अलग-अलग बड़े मॉडलों पर किया, जिनमें आज उपलब्ध सबसे उन्नत व्यावसायिक सिस्टम भी शामिल हैं। उन्होंने मॉडलों को अपनी सुरक्षा नियमों को तोड़ने के लिए उकसाने वाले विभिन्न प्रकार के परीक्षणों के साथ-साथ गणित, विज्ञान और रोजमर्रा की वस्तुओं के बारे में सामान्य प्रश्नों का उत्तर देने के लिए परीक्षण किए। परिणामों ने दिखाया कि यह नई पद्धति उन हानिकारक अनुरोधों को रोकने में अत्यधिक प्रभावी थी जिन्हें अन्य सुरक्षा उपाय मिस कर गए थे। इसने उन हमलों को सफलतापूर्वक रोका जहाँ खतरा छवि के मिरर (mirror) होने के तरीके में छिपा था या जहाँ बुरे इरादे को छिपाने के लिए टेक्स्ट को उलझा दिया गया था। साथ ही, इसने मॉडलों को अत्यधिक सतर्क नहीं बनाया। उन मामलों में जहाँ उपयोगकर्ताओं ने चिकित्सा या रसायन विज्ञान जैसे संवेदनशील विषयों पर सुरक्षित प्रश्न पूछे, सिस्टम ने उन्हें मदद करने के बजाय बात करने से इनकार करने के बजाय सहायक उत्तर प्रदान करने की अनुमति दी।
अध्ययन ने यह भी देखा कि इस प्रक्रिया में कितना अतिरिक्त समय लगता है। क्योंकि सिस्टम मुख्य मॉडल के उत्तर देने से पहले री-राइटिंग करने के लिए एक छोटे, स्थानीय मॉडल का उपयोग करता है, इसलिए यह थोड़ा विलंब जोड़ता है, लेकिन शोधकर्ताओं ने पाया कि यह लागत प्रबंधनीय है। यह विधि लचीली साबित हुई, जो विभिन्न प्रकार के मॉडलों और स्थानीय गेटकीपर के विभिन्न आकारों के साथ अच्छी तरह काम करती है। यह सुझाव देता है कि यह दृष्टिकोण किसी एक विशिष्ट तकनीक से बंधा नहीं है बल्कि इसे व्यापक रूप से लागू किया जा सकता है। निष्कर्ष बताते हैं कि छवि-टेक्स्ट जोड़े के पीछे के इरादे का सावधानीपूर्वक विश्लेषण करके और मुख्य मॉडल तक पहुँचने से पहले अनुरोध को फिर से लिखकर, मॉडल की उपयोगिता से समझौता किए बिना सुरक्षा में काफी सुधार करना संभव है। यह शक्तिशाली एआई सिस्टम को सुरक्षित रखने के लिए एक व्यावहारिक मार्ग प्रदान करता है, भले ही उनकी आंतरिक कार्यप्रणाली को बदला न जा सके।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।