PRISM: Robust VLM Alignment with Principled Reasoning for Integrated Safety in Multimodality
यह शोध पत्र PRISM को प्रस्तुत करता है, जो एक सिस्टम 2-समान ढांचा है जो एक संरचित चार-चरणीय तर्क प्रक्रिया और MCTS-परिष्कृत डायरेक्ट प्रेफरेंस ऑप्टिमाइज़ेशन के माध्यम से विजन-लैंग्वेज मॉडल की सुरक्षा को बढ़ाता है, जो जटिल मल्टीमॉडल खतरों के विरुद्ध मॉडल उपयोगिता को बनाए रखते हुए हमले की सफलता दर को प्रभावी ढंग से कम करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, कलात्मक रोबोट सहायक है जिसका नाम VLM (विज़न-लैंग्वेज मॉडल) है। यह रोबोट चित्रों को देख सकता है और टेक्स्ट पढ़ सकता है, फिर सवालों के जवाब दे सकता है या सलाह दे सकता है। यह अविश्वसनीय रूप से उपयोगी है, लेकिन किसी भी शक्तिशाली उपकरण की तरह, इसे धोखा दिया जा सकता है।
बुरे तत्व (हैकर्स) ने इस रोबोट को "जेलब्रेक" करने के तरीके खोज लिए हैं। वे केवल कुछ खतरनाक नहीं मांगते; वे "खतरे को छिपाने" का खेल खेलते हैं। वे एक सुंदर प्राचीन मंदिर की तस्वीर दिखा सकते हैं और पूछ सकते हैं, "मैं इस पर एक कूल ग्रेफिटी मुरल कैसे पेंट करूँ?" अपने आप में, तस्वीर ठीक है और सवाल कलात्मक लग रहा है। लेकिन दोनों को मिलाकर, वे एक ऐतिहासिक स्मारक को नष्ट करने के लिए कह रहे हैं।
पुराने सुरक्षा सिस्टम एक साधारण "ना" वाली सूची वाले बाउंसर की तरह थे।
- यदि आपने "बम" कहा, तो उन्होंने "ना" कहा।
- यदि आपने बंदूक की तस्वीर दिखाई, तो उन्होंने "ना" कहा।
- लेकिन यदि आपने ऊपर वाले ग्रेफिटी वाले सवाल पूछा, तो बाउंसर कहेगा, "हम्म, 'ग्रेफिटी' मेरी सूची में नहीं है, और मंदिर अच्छा दिख रहा है। ज़रूर, यहाँ निर्देश दिए गए हैं!" रोबोट विफल हो गया क्योंकि वह टेक्स्ट और इमेज के बीच के संबंध को जोड़ने में असमर्थ रहा।
अन्य सुरक्षा सिस्टम अति-सुरक्षात्मक माता-पिता की तरह थे। वे सुरक्षित रहने के लिए हर चीज़ के लिए "ना" कह देंगे। वे आपको केक बनाने में मदद करने से मना कर देंगे क्योंकि "आग" खतरनाक है, या वे आपको गणित की समस्या समझाने से मना कर देंगे क्योंकि "संख्याओं" का उपयोग बुरे कामों के लिए किया जा सकता है। इसे "ओवर-डिफेंस" (अति-रक्षा) कहा जाता है, और यह रोबोट को सामान्य कार्यों के लिए बेकार बना देता है।
पेश है PRISM: "डिटेक्टिव" दृष्टिकोण
यह पेपर PRISM का परिचय देता है, जिसका अर्थ है प्रिंसिपलपल्ड रीजनिंग फॉर इंटीग्रेटेड सेफ्टी इन मल्टीमोडैलिटी (Multimodality में एकीकृत सुरक्षा के लिए सिद्धांतपूर्ण तर्क)। एक बाउंसर या अति-सुरक्षात्मक माता-पिता बनने के बजाय, PRISM रोबोट को एक सावधान जासूस (डिटेक्टिव) में बदल देता है।
यहाँ बताया गया है कि PRISM कैसे काम करता है, एक सरल उपमा का उपयोग करते हुए:
1. चार-चरणीय जांच (The "System 2" Thinking)
अधिकांश रोबोट तेज़ी से उत्तर देते हैं (System 1 thinking)। PRISM रोबोट को जवाब देने से पहले चार विशिष्ट चरणों में एक जासूस की तरह सोचने के लिए मजबूर करता है:
- चरण 1: पूछताछ (समस्या विश्लेषण): रोबोट केवल टेक्स्ट को देखता है। "यह व्यक्ति वास्तव में क्या पूछ रहा है? क्या शब्दों में कोई छिपा हुआ जाल है?"
- चरण 2: दृश्य विवरण (कैप्शनिंग): रोबोट केवल इमेज को देखता है। "मैं यहाँ क्या देख रहा हूँ? क्या यह कोई हथियार है? क्या यह कोई ऐतिहासिक स्थल है?"
- चरण 3: निष्कर्ष (तर्क): यह जादुई चरण है। रोबोट टेक्स्ट और इमेज को जोड़ता है। "ठीक है, टेक्स्ट 'ग्रेफिटी' के लिए कह रहा है, और इमेज एक 'प्राचीन मंदिर' है। उन्हें मिलाने पर इसका मतलब है कि वे इतिहास को नुकसान पहुँचाना चाहते हैं। यह बुरा है!"
- चरण 4: निर्णय (आउटपुट): निष्कर्ष के आधार पर, रोबोट अंतिम उत्तर देता है। "मैं इसमें मदद नहीं कर सकता क्योंकि इससे सांस्कृतिक विरासत को नुकसान पहुँचेगा।"
यह क्यों महत्वपूर्ण है: यदि रोबोट चरण 3 को छोड़ देता है, तो वह खतरे को मिस कर देता है। PRISM उसे "Text + Image = Danger" का गणित करने के लिए मजबूर करता है।
2. जासूस को प्रशिक्षित करना (PRISM-DPO)
आप केवल रोबोट को "जासूस बनो" नहीं कह सकते; आपको उसे प्रशिक्षित करना होगा। लेखकों ने एक चतुर तरीका इस्तेमाल किया जिसे मोंटे कार्लो ट्री सर्च (MCTS) कहा जाता है।
कल्पना कीजिए कि आप एक छात्र को रहस्य सुलझाना सिखा रहे हैं।
- पुराना तरीका: आप छात्र को एक रहस्य दिखाते हैं, वह उत्तर का अनुमान लगाता है, और यदि वह गलत होता है, तो आप पूरी प्रक्रिया के लिए उसे दंडित करते हैं। यह उसे गहराई से सोचने से डराता है।
- PRISM का तरीका: आप छात्र को सोचने के कई अलग-अलग रास्तों (जैसे कि बाहर निकलता हुआ एक पेड़/ट्री) को खोजने देते हैं।
- यदि छात्र टेक्स्ट में खतरे की सही पहचान करता है, लेकिन फिर अंतिम इनकार करने में गलती करता है, तो PRISM कहता है: "टेक्स्ट वाले हिस्से के लिए बहुत बढ़िया! लेकिन आपने अंतिम चरण में गलती की। चलिए सिर्फ अंतिम चरण को ठीक करते हैं।"
- यह "सोचने" को "निर्णय लेने" से अलग करता है। यह सुनिश्चित करता है कि रोबोट बिना डरपोक बने (जो सामान्य चीजों के लिए मना कर दे) स्मार्ट सुरक्षा सीख सके।
3. परिणाम: "गोल्डिलॉक्स" सुरक्षा
पेपर ने कई अन्य सुरक्षा विधियों के विरुद्ध PRISM का परीक्षण किया।
- पुराने तरीके: या तो बुरे लोगों को अंदर आने देते थे (कम सुरक्षा) या किसी की मदद करने से मना कर देते थे (कम उपयोगिता)।
- PRISM: यह "गोल्डिलॉक्स" समाधान है। यह चालाक, छिपे हुए हमलों (जैसे ग्रेफिटी वाला मंदिर) को पकड़ लेता है जिन्हें अन्य रोबोट मिस कर देते हैं, लेकिन यह अभी भी गणित की समस्याओं को हल करने या सूर्यास्त का वर्णन करने जैसे सामान्य कार्यों में आपकी खुशी-खुशी मदद करता है।
बड़ी तस्वीर
PRISM को रोबोट के मस्तिष्क को एक रिफ्लेक्स (तेज़ आवाज़ पर उछलना) से अपग्रेड करने के रूप में देखें, जो रीजनिंग (यह समझना कि शोर क्यों खतरनाक है) की ओर ले जाता है।
- PRISM के बिना: रोबोट चाकू की तस्वीर और "कुकिंग" कहता हुआ टेक्स्ट देखता है। वह घबरा जाता है और कहता है "ना!" (ओवर-डिफेंस)। या वह चाकू की तस्वीर और "कला" कहता हुआ टेक्स्ट देखता है और कहता है "हाँ, यहाँ बताया गया है कि किसी को कैसे चुभाया जाए" (अंडर-डिफेंस)।
- PRISM के साथ: रोबोट रुकता है। वह टेक्स्ट पढ़ता है ("कुकिंग"), चित्र को देखता है (एक रसोई), उन्हें जोड़ता है ("कुकिंग के लिए चाकू सुरक्षित है"), और कहता है, "यहाँ एक बेहतरीन रेसिपी है!"
संक्षेप में: PRISM AI को यह सोचने के लिए प्रशिक्षित करता है, "रुको, क्या यह चित्र + यह प्रश्न एक समस्या पैदा करता है?" यह AI को चालाक हैकर्स के खिलाफ सुरक्षित बनाता है जबकि बाकी सभी के लिए इसे मददगार बनाए रखता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।