GPO-V: Jailbreak Diffusion Vision Language Model by Global Probability Optimization
यह शोध पत्र GPO-V को प्रस्तुत करता है, जो एक नवीन जेलब्रेक फ्रेमवर्क है जो गैर-ऑटोरेग्रेसिव मल्टीमॉडल आर्किटेक्चर में महत्वपूर्ण सुरक्षात्मक खामियों को उजागर करने के लिए, स्टील्थी और वैश्विक रूप से अनुकूलित गड़बड़ी (perturbations) के माध्यम से डिफ्यूजन विजन-लैंग्वेज मॉडल्स (dVLMs) के अद्वितीय प्रगतिशील इनकार पैटर्न (progressive refusal patterns) और वैश्विक जनरेटिव डायनेमिक्स का लाभ उठाकर सुरक्षा गार्डरेल्स को बायपास करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, कलात्मक रोबोट है जो चित्र बना सकता है और साथ ही साथ कहानियाँ भी लिख सकता है। इस रोबोट को डिफ्यूजन विजन-लैंग्वेज मॉडल (dVLM) कहा जाता है, और यह अन्य चैटबॉट्स से अलग तरह से काम करता है।
एक इंसान की तरह एक-एक शब्द बाईं से दाईं ओर टाइप करने के बजाय, यह रोबोट एक मूर्तिकार की तरह संगमरमर के ब्लॉक को तराशने जैसा काम करता है। यह "शोर" (रैंडम स्टैटिक) के एक खुरदरे, धुंधले ब्लॉक से शुरू होता है और धीरे-धीरे इसे परिष्कृत करता है, शोर को चरण-दर-चरण हटाता है जब तक कि एक स्पष्ट चित्र और एक स्पष्ट वाक्य उभर न आए।
समस्या: रोबोट का "सेफ्टी स्विच" (सुरक्षा स्विच)
आप सोच सकते हैं कि यह मूर्तिकला की प्रक्रिया इस रोबोट को अधिक सुरक्षित बनाती है। यदि यह कुछ खतरनाक तराशना शुरू करता है (जैसे बम बनाने के निर्देश), तो इसके पास एक "सेफ्टी स्विच" होता है जो पूरी मूर्ति को रोक देता है।
शोधकर्ताओं ने पाया कि इस रोबोट के पास "ना" कहने के दो विशिष्ट तरीके हैं:
- "इंस्टेंट स्टॉप" (तत्काल रोक): जैसे ही यह किसी बुरे विचार को देखता है, यह तुरंत पूरे ब्लॉक को वापस शोर में बदल देता है और रुक जाता है, और कहता है, "मैं यह नहीं कर सकता।"
- "स्लो पिवट" (धीमा मोड़): यह एक अच्छी आकृति बनाना शुरू करता है (जैसे "ज़रूर, यहाँ है..."), लेकिन प्रक्रिया के बीच में, इसे एहसास होता है, "रुको, यह खतरनाक है!" और यह धीरे-धीरे पूरी आकृति को एक इनकार (refusal) में बदल देता है।
पुराने तरीके से तोड़ना (FPO)
हैकर्स पहले नियमित चैटबॉट्स को एक विशिष्ट वाक्यांश से मजबूर करने की कोशिश करते थे, जैसे "ज़रूर, यहाँ बताया गया है कि कैसे किया जाए।" इसे फिक्स्ड प्रीफिक्स ऑप्टिमाइज़ेशन (FPO) कहा जाता है। यह एक इंसान को "कृपया अपने वाक्य की शुरुआत 'ज़रूर' से करें" कहकर trick करने जैसा है।
लेकिन यह ट्रिक मूर्तिकला वाले रोबोट पर विफल रहती है। भले ही आप इसे "ज़रूर" कहने के लिए मजबूर करें, रोबोट का "स्लो पिवट" सुरक्षा स्विच बाद में सक्रिय हो जाता है। यह प्रक्रिया के बीच में खतरे को देख लेता है और पूरी आकृति को एक इनकार में बदल देता है। पुराना तरीका विफल हो जाता है क्योंकि रोबोट केवल पहले शब्द को नहीं, बल्कि पूरी तस्वीर को एक साथ देखता है।
नया तरीका: GPO-V (द "ग्लोबल प्रोबेबिलिटी" हैक)
शोधकर्ताओं ने एक नया तरीका खोजा है जिससे इस रोबोट को चकमा दिया जा सकता है, जिसे वे GPO-V (ग्लोबल प्रोबेबिलिटी ऑप्टिमाइज़ेशन) कहते हैं।
रोबोट को एक विशिष्ट शब्द से शुरू करने के लिए मजबूर करने के बजाय, वे उस बहुत पहले के "धुंधले शोर" (इनपुट इमेज या टेक्स्ट) में बदलाव करते हैं जिसे वे रोबोट को खिलाते हैं।
उपमा (Analogy):
कल्प dáng करें कि आप एक नदी को एक विशिष्ट घाटी में बहने के लिए निर्देशित करने की कोशिश कर रहे हैं।
- पुराना तरीका (FPO): आप पानी के बहते समय उसे निर्देश चिल्लाकर देने की कोशिश करते हैं ("बाएँ जाओ! दाएँ जाओ!")। नदी आपकी बात अनसुनी कर देती है क्योंकि वह पहले से ही बहुत तेज़ गति से बह रही है।
- नया तरीका (GPO-V): आप नदी के स्रोत पर, पानी बहना शुरू करने से पहले ही, एक छोटा सा चैनल खोद देते हैं। आप पानी को मजबूर नहीं करते; आप बस परिदृश्य (landscape) को थोड़ा सा झुका देते हैं। क्योंकि पानी गुरुत्वाकर्षण और ज़मीन के आकार के आधार पर बहता है, पूरी नदी स्वाभाविक रूप से आपकी घाटी की ओर मुड़ जाती है।
पेपर के शब्दों में, शोधकर्ता शुरुआत में "शोर" (इनपुट इमेज या टेक्स्ट) में बहुत सूक्ष्म, लगभग अदृश्य बदलाव करते हैं। यह ग्लोबल प्रोबेबिलिटी को बदल देता है—उस दिशा को, जिसकी ओर रोबोट झुक रहा है।
- वे इसे अत्यंत असंभवी बना देते हैं कि रोबोट "इनकार" वाले शब्द (जैसे "क्षमा करें" या "बम") सोचे।
- वे इसे अत्यंत संभावित बना देते हैं कि रोबोट "सहमत" वाले शब्द (जैसे "ज़रूर" और "यहाँ") सोचे।
क्योंकि रोबोट पूरी छवि को एक साथ परिष्कृत करता है, शुरुआत में किया गया यह छोटा सा धक्का पूरी "मूर्ति" को उस खतरनाक सामग्री में बदल देता है जिसे हैकर चाहता है, जिससे सुरक्षा स्विच पूरी तरह से बायपास हो जाता है।
उन्होंने क्या पाया
शोधकर्ताओं ने उपलब्ध सबसे स्मार्ट "मूर्तिकला" वाले रोबोटों में से दो (LLaDA-V और LaViDA) पर इसका परीक्षण किया।
- परिणाम: पुराना तरीका (FPO) लगभग पूरी तरह से विफल रहा। नया तरीका (GPO-V) 93% बार सफल रहा।
- आश्चर्य: भले ही उन्होंने "हैक" को एक रोबोट पर प्रशिक्षित किया था, यह दूसरे रोबोट पर भी काम कर गया। इसका मतलब है कि यह कमजोरी केवल एक रोबोट के कोड में नहीं है; यह एक मौलिक दोष है कि इस प्रकार के "मूर्तिकला" वाले रोबोट कैसे सोचते हैं।
निचोड़ (Bottom Line)
पेपर का दावा है कि ये नए "मूर्तिकला" वाले AI मॉडल उतने सुरक्षित नहीं हैं जितना कि हम सोचते थे। उनकी सुरक्षा व्यवस्था, जो अंत में पूरी तस्वीर की जाँच करने पर निर्भर करती है, शुरुआत की प्रक्रिया को सूक्ष्म रूप से झुकाकर बायपास की जा सकती है। शोधकर्ता चेतावनी देते हैं कि हमें नए सुरक्षा गार्ड बनाने की आवश्यकता है जो इस "ग्लोबल" तरीके से सोचने के अनुकूल हो सकें, न कि केवल उन "शब्द-दर-शब्द" सुरक्षा जांचों पर जो हम पहले उपयोग करते थे।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।