💻 computer science

SafeCap: Improving LVLM Safety with Image Captioning Reinforcement Learning

SafeCap एक सुदृढीकरण शिक्षण (reinforcement learning) ढांचा है जो सुरक्षा-प्रासंगिक इमेज कैप्शन उत्पन्न करने के लिए मॉडलों को प्रशिक्षित करके जेलब्रेक हमलों के विरुद्ध लार्ज विजन-लैंग्वेज मॉडल की सुरक्षा को बढ़ाता है, जिससे एक फ्रोजन (frozen) LLM को संरेखित निर्णयों की ओर निर्देशित किया जाता है, और इस प्रकार विजन उपयोगिता को बनाए रखते हुए मौजूदा सुरक्षा संरेखण विधियों से बेहतर प्रदर्शन करता है।

मूल लेखक: Caoyuan Ma, Wenpu Liu, Weichu Xie, Tian Gu, Shilei Zhao, Lingxi Min, Shuai Dong, Yuqi Xu, Ji Zhao, Ziyue Wang, Wenzheng Chang, Taiqiang Wu, Yongfu Zhu, Wenqi Shao, Yinqiang Zheng

प्रकाशित 2026-08-12

📖 8 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Caoyuan Ma, Wenpu Liu, Weichu Xie, Tian Gu, Shilei Zhao, Lingxi Min, Shuai Dong, Yuqi Xu, Ji Zhao, Ziyue Wang, Wenzheng Chang, Taiqiang Wu, Yongfu Zhu, Wenqi Shao, Yinqiang Zheng

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपका एक सुपर-स्मार्ट रोबोट दोस्त है जो लगभग किसी भी अन्य व्यक्ति से बेहतर किताबें पढ़ सकता है और कहानियाँ लिख सकता है। यह रोबोट पहले से ही बहुत सावधान है; यदि आप इसे कुछ खतरनाक करने के लिए कहते हैं, जैसे बम बनाना, तो यह विनम्रता से कहता है, "बिल्कुल नहीं, यह असुरक्षित है।" लेकिन अब, कल्पना कीजिए कि आप इस रोबोट को केवल शब्दों के बजाय एक बम की तस्वीर दिखाते हैं। अचानक, रोबोट भ्रमित हो जाता है। वह देखता है, सोचता है, "ओह, यह तो बस एक शानदार ड्राइंग है!" और अपने सुरक्षा नियमों को भूलकर, खुशी-खुशी उस उपकरण को बनाने के तरीके के बारे में समझाने लगता है। यह वह पेचीदा समस्या है जिसका सामना आधुनिक "विज़न-लैंग्वेज" (दृष्टि-भाषा) मॉडल के वैज्ञानिक कर रहे हैं: वे देखने में तो बहुत अच्छे हैं, लेकिन जब वे किसी चित्र को देखते हैं, तो उनके सुरक्षा ब्रेक कभी-कभी विफल हो जाते हैं।

इसे ठीक करने के लिए, शोधकर्ता इन मॉडलों को एक विशेष तरीके से "द्विभाषी" बनने के लिए प्रशिक्षित करने की कोशिश कर रहे हैं। वे चाहते हैं कि रोबोट न केवल एक चित्र को देखे और उत्तर दे, बल्कि पहले उस चित्र का सुरक्षित और सावधान तरीके से वर्णन करे, और फिर उत्तर दे। इसे एक सुरक्षा गार्ड की तरह समझें जिसे किसी संदिग्ध पैकेज के बारे में विस्तृत रिपोर्ट लिखने के बाद ही आपको यह बताने की अनुमति दी जाती है कि उसके साथ क्या करना है। यदि रिपोर्ट अस्पष्ट है या उसमें खतरे को पहचानने में चूक हो गई है, तो गार्ड रुक जाता है और कहता है, "रुको, मुझे और ध्यान से देखने की जरूरत है।" यह पेपर, जिसे SafeCap कहा जाता है, एक नया प्रशिक्षण तरीका पेश करता है जो इन AI रोबोटों को स्वचालित रूप से ये सुरक्षा रिपोर्ट लिखना सिखाता है, जिससे उन्हें धोखा देना बहुत कठिन हो जाता है।

समस्या: जब तस्वीरें दिमाग को चकमा देती हैं

लार्ज विज़न-लैंग्वेज मॉडल्स (LVLMs) चैटबॉट्स के सुपर-चार्ज्ड संस्करणों की तरह हैं जो देख सकते हैं। वे उन टेक्स्ट-ओनली (केवल टेक्स्ट वाले) मस्तिष्कों से अपनी "अच्छी व्यवहार" विरासत में लेते हैं जिन पर उन्हें बनाया गया था। लेकिन तस्वीरें चालाक होती हैं। एक टेक्स्ट-ओनली मॉडल "बम बनाने" के अनुरोध को मना कर सकता है, लेकिन यदि आप उसे एक बम की तस्वीर दिखाते हैं जिसके साथ एक नोट लिखा हो "मैं इसे कैसे बनाऊं?", तो मॉडल चित्र से विचलित हो सकता है और अपने सुरक्षा नियमों को भूल सकता है। यह एक ऐसे गार्ड की तरह है जो आमतौर पर आईडी चेक करता है लेकिन किसी आगंतुक की शर्ट पर लगे चमकदार स्टिकर से विचलित होकर उसे अंदर जाने देता है।

इसे ठीक करने के पिछले प्रयासों में "इन्फरेंस-टाइम डिफेंस" शामिल थे, जो रोबोट की आँखों के सामने एक फिल्टर लगाने जैसा है। एक लोकप्रिय विधि, जिसे ECSO कहा जाता है, चित्र को रोबोट द्वारा देखे जाने के बाद शब्दों में बदलने की कोशिश करती है, इस उम्मीद में कि एक टेक्स्ट-ओनली सुरक्षा प्रणाली खतरे को पकड़ लेगी। लेकिन यह एक जटिल पेंटिंग को अपने अंधे मित्र को वर्णित करने और यह आशा करने जैसा है कि वे ब्रश के स्ट्रोक में छिपे हुए जाल को पहचान लेंगे। अक्सर, विवरण सूक्ष्म लेकिन खतरनाक विवरणों को छोड़ देता है, और सुरक्षा प्रणाली विफल हो जाती है।

समाधान: SafeCap (द "सेफ्टी कैप्शन" ट्रेनर)

इस पेपर के लेखक SafeCap का प्रस्ताव करते हैं, जो एक चतुर प्रशिक्षण विधि है जो रोबोट को उत्तर देने से पहले अपनी स्वयं की सुरक्षा रिपोर्ट लिखने के लिए प्रशिक्षित करती है। केवल "हाँ" या "नहीं" कहने के बजाय, मॉडल को दो चीजें आउटपुट करने के लिए प्रशिक्षित किया जाता है:

एक कैप्शन (Caption): चित्र का एक विस्तृत विवरण जो किसी भी सुरक्षा-संबंधित विवरण (जैसे "खतरा" लेबल या कोई हथियार) को उजागर करता है।
एक उत्तर (Answer): उपयोगकर्ता के प्रश्न का अंतिम प्रतिक्रिया।

जादू प्रशिक्षण के दौरान होता है। मॉडल केवल कैप्शन लिखना नहीं सीखता; यह एक ऐसा कैप्शन लिखना सीखता है जो एक "फ्रोज़न" (अपरिवर्तित) टेक्स्ट-ओनली AI को सही सुरक्षा निर्णय लेने में मदद करे। कल्पना कीजिए कि एक छात्र (मॉडल) परीक्षा दे रहा है। शिक्षक (प्रशिक्षण प्रणाली) कहता है, "पहले इस चित्र का सारांश लिखो। फिर, मैं वह सारांश एक सख्त ग्रेडर को दूंगा जो चित्र नहीं देख सकता। यदि ग्रेडर केवल आपके सारांश के आधार पर कहता है कि 'यह खतरनाक है', और आप भी कहते हैं कि 'यह खतरनाक है', तो तुम्हें इनाम मिलेगा।"

यह मॉडल को ईमानदार और संपूर्ण होने के लिए मजबूर करता है। यह केवल खतरे को अनदेखा नहीं कर सकता और यह उम्मीद नहीं कर सकता कि ग्रेडर इसे मिस कर देगा। इसे कैप्शन में खतरे को स्पष्ट रूप से इंगित करना होगा ताकि सुरक्षा जांच काम कर सके।

यह कैसे काम करता है: "रिवॉर्ड" गेम

यह प्रशिक्षण रीइन्फोर्समेंट लर्निंग (Reinforcement Learning) नामक तकनीक का उपयोग करता है। इसे एक वीडियो गेम की तरह समझें जहाँ मॉडल को अच्छे व्यवहार के लिए अंक मिलते हैं और बुरे व्यवहार के लिए अंक कटते हैं।

टेम्पलेट रिवॉर्ड (The Template Reward): मॉडल को एक सख्त प्रारूप का पालन करना चाहिए (कैप्शन लिखें, फिर उत्तर दें)। यदि वह प्रारूप में गलती करता है, तो उसे शून्य अंक मिलते हैं।
उत्तर रिवॉर्ड (The Answer Reward): मॉडल के अंतिम उत्तर की जाँच की जाती है। यदि यह सहायक और सुरक्षित है, तो इसे अंक मिलते हैं। यदि यह खतरनाक है, तो इसके अंक नाटकीय रूप रूप से काट दिए जाते हैं (एक विशेष गणितीय ट्रिक का उपयोग करके जिसे "एक्सपोनेंशियल रिस्क-डिस्काउंट" कहा जाता है जो खतरनाक उत्तरों को लगभग शून्य के बराबर बना देता है)।
कैप्शन रिवॉर्ड (The Caption Reward): यह असली सफलता का मंत्र है। मॉडल को अतिरिक्त अंक मिलते हैं यदि उसके द्वारा लिखा गया कैप्शन "फ्रोज़न" टेक्स्ट-ओनली AI को उसी सुरक्षित निष्कर्ष तक पहुँचने में मदद करता है। यदि कैप्शन अस्पष्ट है और फ्रोज़न AI खतरे को मिस कर देता है, तो मॉडल को उस हिस्से के लिए कोई अंक नहीं मिलता है।

उन्होंने क्या पाया: बिना बुद्धिमत्ता खोए सुरक्षा

शोधकर्ताओं ने SafeCap का परीक्षण पांच अलग-अलग सुरक्षा बेंचमार्क (AI को चकमा देने के लिए डिज़ाइन किए गए परीक्षण) और छह उपयोगिता बेंचमार्क (यह देखने के लिए परीक्षण कि क्या AI अभी भी सामान्य कार्यों जैसे चित्र का वर्णन करना या पहेलियाँ हल करना जानता है) पर किया। उन्होंने 2 बिलियन से 4 बिलियन पैरामीटर्स तक के विभिन्न आकार के मॉडलों का उपयोग किया।

परिणाम प्रभावशाली थे:

सुरक्षा में वृद्धि (Safety Boost): "डायरेक्टकैप" प्रोटोकॉल (जहाँ मॉडल कैप्शन लिखता है और फिर उत्तर देता है) के तहत, SafeCap ने विभिन्न मॉडलों में सुरक्षा स्कोर में 3.7 से 19.0 अंक का सुधार किया। 4B-बेस मॉडल के लिए, सुरक्षा स्कोर में भारी 19.0 अंकों की वृद्धि हुई।
कोई समझौता नहीं (No Trade-off): आमतौर पर, किसी मॉडल को सुरक्षित बनाने से वह कम बुद्धिमान हो जाता है (वह हानिरहित प्रश्नों का उत्तर देने से मना कर देता है)। लेकिन SafeCap ने "विज़न यूटिलिटी" (चित्रों का वर्णन करने और प्रश्नों के उत्तर देने की क्षमता) को लगभग पहले जैसा ही बनाए रखा। इसने रोबोट को एक चिड़चिड़ा "ना" कहने वाला मशीन नहीं बनाया; बल्कि इसे एक स्मार्ट और अधिक सावधान मॉडल बनाया।
प्रतिस्पर्धा को पछाड़ना: मानक सुरक्षा प्रशिक्षण (SFT), DPO, और SafeGRPO नामक एक नई विधि जैसे अन्य तरीकों की तुलना में, SafeCap शीर्ष पर रहा। इसने बेहतर उपयोगिता बनाए रखते हुए उच्च सुरक्षा स्कोर प्राप्त किया।

यह क्यों महत्वपूर्ण है

यह पेपर सुझाव देता है कि इन विज़ुअल AI मॉडलों को सुरक्षित रखने का सबसे अच्छा तरीका उन्हें केवल चित्र देखने के बाद पैच करना नहीं है, बल्कि उन्हें देखने के बारे में "ज़ोर से सोचने" (think out loud) के लिए प्रशिक्षित करना है। मॉडल को सुरक्षा-जागरूक कैप्शन जेनरेट करने के लिए मजबूर करके, यह दृश्य दुनिया और टेक्स्ट-आधारित सुरक्षा नियमों के बीच एक सेतु बनाता है।

लेखकों ने पाया कि यह तरीका तब सबसे अच्छा काम करता है जब मॉडल को इस "कैप्शन-फर्स्ट" पथ का उपयोग करने के लिए प्रशिक्षित किया जाता है। यदि आप मॉडल का उपयोग बिना कैप्शन के करने की कोशिश करते हैं (सीधे उत्तर पूछकर), तो सुरक्षा लाभ कम होते हैं और विशिष्ट मॉडल पर निर्भर करते हैं। लेकिन जब मॉडल को अपनी "सेफ्टी कैप्शन" की आदत का उपयोग करने की अनुमति दी जाती है, तो यह जेलब्रेक और खतरनाक अनुरोधों के खिलाफ बहुत अधिक मजबूत हो जाता है।

संक्षेप में, SafeCap AI को एक तस्वीर देखने, खतरे का स्पष्ट वर्णन करने और फिर निर्णय लेने के लिए प्रशिक्षित करता है। यह एक गार्ड को प्रशिक्षित करने जैसा है कि वह गेट खोलने से पहले हमेशा एक रिपोर्ट लिखे, यह सुनिश्चित करते हुए कि भले ही गेटकीपर का ध्यान भटक जाए, लिखित रिपोर्ट सभी को सुरक्षित रखे। यह पेपर दिखाता है कि यह दृष्टिकोण न केवल प्रभावी है बल्कि इसकी क्षमता को भी बरकरार रखता है, जो एक दृश्य दुनिया में सुरक्षित AI के लिए एक आशाजनक मार्ग प्रदान करता है।

तकनीकी सारांश: SafeCap

समस्या विवरण

लार्ज विजन-लैंग्वेज मॉडल्स (LVLMs) भाषा बैकबोन से निर्देश-अनुपालन क्षमताएं विरासत में प्राप्त करते हैं, लेकिन वे विजुअल इनपुट के माध्यम से होने वाले जेलब्रेक हमलों के प्रति संवेदनशील बने रहते हैं। टेक्स्ट-ओनली मॉडल्स के विपरीत, जो भाषा-पक्ष की रिफ्यूज़ल नीतियों पर भरोसा कर सकते हैं, LVLMs को एक छवि के भीतर सुरक्षा-प्रासंगिक साक्ष्य को पहचानने, उसे उपयोगकर्ता के अनुरोधों के साथ संरेखित करने और निर्णय लेने की आवश्यकता होती है। यह ऐसी विफलता मोड बनाता है जहाँ हानिकारक निर्देश टाइपोग्राफिक छवियों में छिपे होते हैं, या खतरनाक इरादे वस्तुओं द्वारा सूचित किए जाते हैं, या सौहार्दपूर्ण प्रॉम्प्ट केवल विजुअल ग्राउंडिंग के बाद असुरक्षित हो जाते हैं। मौजूदा सुरक्षा संरेखण विधियाँ अक्सर इन मल्टीमॉडल-विशिष्ट खतरों को कवर करने में विफल रहती हैं।

वर्तमान बचाव दो श्रेणियों में आते हैं:

इन्फरेंस-टाइम हस्तक्षेप (Inference-time interventions): ECSO जैसी विधियाँ भाषा-पक्ष की सुरक्षा का लाभ उठाने के लिए छवियों को टेक्स्ट में बदल देती हैं। हालाँकि, इमेज-टू-टेक्स्ट रूपांतरण अक्सर सूक्ष्म विजुअल विवरणों (जैसे, सुरक्षा-प्रासंगिक वस्तुएं, दृश्य पाठ, या संदर्भ) को खो देता है, जिससे डाउनस्ट्रीम टेक्स्ट-ओनली मॉडल सुरक्षित निर्णय लेने में असमर्थ हो जाता है।
ट्रेनिंग-टाइम संरेखण (Training-time alignment): क्यूरेटेड प्रेफरेंस डेटा या सुरक्षा फाइन-ट्यूनिंग (SFT) का उपयोग करने वाली विधियाँ अक्सर दुर्भावनापूर्ण इनपुट पर रिफ्यूज़ल (अस्वीकार करने) में सुधार करने और सौहार्दपूर्ण (benign) इनपुट पर विजुअल परसेप्शन (दृश्य बोध) को बनाए रखने के बीच के ट्रेड-ऑफ से जूझती हैं।

मूल चुनौती यह है कि LVLMs को विजुअल समझ की उपयोगिता को त्याग दिए बिना या भंगुर इन्फरेंस-टाइम रैपर्स पर निर्भर हुए बिना, विजुअल सुरक्षा संकेतों को पहचानने और उन पर प्रतिक्रिया देने के लिए कैसे संरेखित किया जाए।

कार्यप्रणाली: SafeCap

SafeCap एक सुदृढीकरण शिक्षण (Reinforcement Learning - RL) ढांचा है जो लर्नड सेल्फ-कैप्शनिंग (Learned Self-Captioning) के माध्यम से LVLMs को संरेखित करता है। इमेज कैप्शनिंग को एक सहायक स्पष्टीकरण या पोस्ट-हॉक बचाव के रूप में मानने के बजाय, SafeCap सुरक्षा संरेखण को एक सेल्फ-कैप्शनिंग समस्या के रूप में तैयार करता है जहाँ मॉडल अंतिम उत्तर देने से पहले एक स्पष्ट, सुरक्षा-प्रासंगिक मध्यवर्ती प्रतिनिधित्व उत्पन्न करता है।

फ्रेमवर्क ओवरव्यू

प्रत्येक इमेज-क्वेश्चन पेयर $(x, q)$ के लिए, पॉलिसी मॉडल $\pi_\theta$ को एक स्ट्रक्चर्ड रिस्पॉन्स $y = \langle \text{caption} \rangle c \langle / \text{caption} \rangle a$ उत्पन्न करने के लिए प्रशिक्षित किया जाता है, जहाँ $c$ छवि का एक टेक्स्टुअल विवरण है और $a$ अंतिम उत्तर है। प्रशिक्षण उद्देश्य तीन अलग-अलग सिग्नल्स को अनुकूलित करता है:

टेम्पलेट रिवॉर्ड ( $R_{tmp}$ ): एक बाइनरी गेट जो यह सुनिश्चित करता है कि आउटपुट में ठीक एक पूर्ण कैप्शन ब्लॉक और एक गैर-रिक्त उत्तर शामिल है, जिससे संरचनात्मक क्षरण (structural degeneration) को रोका जा सके।
डायरेक्ट आंसर रिवॉर्ड ( $R_{ans}$ ): एक जज मॉडल का उपयोग करके पॉलिसी मॉडल के अंतिम उत्तर $a$ का मूल्यांकन करता है जो एक रिटेंशन स्कोर $u(a)$ (उपयोगिता) और एक रिस्क स्कोर $h(a)$ (जोखिम) असाइन करता है। रिवॉर्ड की गणना एक एक्सपोनेंशियल रिस्क-डिस्काउंट फंक्शन का उपयोग करके की जाती है: $S(u, h) = u \cdot \gamma^h$ , जहाँ $\gamma \in (0, 1)$ । यह मल्टीप्लिकेटिव रूप यह सुनिश्चित करता है कि उच्च-जोखिम वाले उत्तरों का मूल्य तेजी से कम हो जाए, जिससे "कुछ न करने" वाले व्यवहार को हतोत्साहित किया जा सके और सुरक्षित, सूचनात्मक प्रतिक्रियाओं को पुरस्कृत किया जा सके।
कैप्शन-मीडिएटेड रिवॉर्ड ( $R_{cap}$ ): यह मुख्य नवाचार है। उत्पन्न कैप्शन $c$ $c$ को मूल प्रश्न $q$ $q$ के साथ एक फ्रोजन टेक्स्ट-ओनली LLM (जो कभी छवि नहीं देखता) को भेजा जाता है। फ्रोजन LLM एक उत्तर $a_f$ $a_{f}$ उत्पन्न करता है। रिवॉर्ड दो कारकों का मूल्यांकन करता है:
- डिस्क्रिप्टिव कवरेज (Descriptive Coverage): एक स्कोर $u(c)$ जो विषयों, गुणों, क्रियाओं, स्थानिक लेआउट और दृश्य पाठ के कवरेज को मापता है।
- सेफ्टी अलाइनमेंट (Safety Alignment): एक बाइनरी सिग्नल $g(q, a, a_f)$ जो 1 लौटाता है यदि पॉलिसी उत्तर $a$ और फ्रोजन-LLM उत्तर $a_f$ स्थिति की सुरक्षा स्थिति पर सहमत हैं (अर्थात, दोनों जोखिम को पहचानते हैं या दोनों इसे सुरक्षित मानते हैं)।
- कैप्शन रिवॉर्ड को $R_{cap} = g(q, a, a_f) \cdot u(c)$ के रूप में परिभाषित किया गया है। यह पॉलिसी को ऐसे कैप्शन उत्पन्न करने के लिए प्रोत्साहित करता है जिनमें पर्याप्त विजुअल साक्ष्य हों ताकि एक टेक्स्ट-ओनली रीजनर (तर्क करने वाला) एक सुरक्षा-संरेखित निर्णय तक पहुँच सके।

ऑप्टिमाइजेशन

SafeCap ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइजेशन (GRPO) का उपयोग करता है। प्रत्येक प्रॉम्प्ट के लिए, पॉलिसी $K=8$ रोलआउट का एक समूह सैंपल करती है। एडवांटेज फंक्शन का निर्माण तीन रिवॉर्ड सिग्नल्स ( $R_{tmp}, R_{cap}, R_{ans}$ ) के कंपोनेंट-वाइज ग्रुप नॉर्मलाइजेशन का उपयोग करके किया जाता है ताकि विभिन्न स्केल और वेरिएंस को संभाला जा सके। फ्रोजन LLM और जज मॉडल्स का उपयोग केवल रिवॉर्ड गणना के लिए किया जाता है और उन्हें कभी अपडेट नहीं किया जाता है।

प्रमुख योगदान

सेफ्टी-अवेयर सेल्फ-कैप्शनिंग फॉर्मूलेशन: पेपर LVLM सुरक्षा संरेखण को एक सेल्फ-कैप्शनिंग कार्य के रूप में पुनर्गठित करता है, जिसके लिए मॉडल को एक स्पष्ट मध्यवर्ती प्रतिनिधित्व उत्पन्न करने की आवश्यकता होती है जो उत्तर देने से पहले सुरक्षा-प्रासंगिक विजुअल साक्ष्य को उजागर करता है।
कैप्शन-मीडिएटेड रीइन्फोर्समेंट ऑब्जेक्टिव: एक डुअल-सिग्नल रिवॉर्ड मैकेनिज्म पेश किया गया है जो अंतिम उत्तर के प्रत्यक्ष मूल्यांकन को फ्रोजन-LLM सिग्नल के साथ जोड़ता है। यह सिग्नल सत्यापित करता है कि क्या उत्पन्न कैप्शन एक टेक्स्ट-ओनली रीजनर से सुरक्षा-संरेखित प्रतिक्रिया का समर्थन करता है, जो प्रभावी रूप से धारणा (perception) और संरेखण (alignment) के बीच के अंतर को पाटता है।
मल्टी-प्रोटोकॉल इवैल्यूएशन: लेखक पांच मल्टीमॉडल सुरक्षा बेंचमार्क और छह विजन-यूटिलिटी बेंचमार्क पर एक व्यापक मूल्यांकन प्रदान करते हैं, जिसमें डायरेक्ट, डायरेक्टकैप (इच्छित ऑपरेटिंग पॉइंट), और प्रिज्म (केवल कैप्शन) इन्फरेंस प्रोटोकॉल की तुलना की गई है।

परिणाम

प्रयोग सार्वजनिक SPA-VL डेटासेट पर प्रशिक्षित Qwen3.5 मॉडल्स (2B, 2B-Base, 4B, 4B-Base) पर किए गए।

सुरक्षा लाभ (Safety Gains): DirectCap प्रोटोकॉल के तहत, SafeCap समग्र सुरक्षा प्रदर्शन में काफी सुधार करता है। चार मॉडल सेटिंग्स में, सुरक्षा औसत में 3.7 से 19.0 अंक की वृद्धि हुई। विशेष रूप रूप से, 4B-Base मॉडल ने औसत विजन यूटिलिटी को लगभग अपरिवर्तित रखते हुए सुरक्षा औसत में 19.0 अंकों की वृद्धि देखी।
यूटिलिटी प्रिजर्वेशन (Utility Preservation): कुछ सुरक्षा फाइन-ट्यूनिंग विधियों के विपरीत जो प्रदर्शन को कम करती हैं, SafeCap MM-Vet, BLINK, और MMVP जैसे बेंचमार्क पर विजन यूटिलिटी स्कोर को बनाए रखता है या बेहतर बनाता है।
तुलनात्मक प्रदर्शन:
- SafeCap, समान डेटा और स्टेप्स पर प्रशिक्षित स्टैंडर्ड सेफ्टी SFT और DPO से बेहतर प्रदर्शन करता है।
- SafeGRPO के डेटा (SafeTag-VL-3K) का उपयोग करते हुए एक नियंत्रित तुलना में, SafeCap ने SafeGRPO के 41.27 की तुलना में 55.06 का DirectCap सुरक्षा औसत प्राप्त किया, जबकि समान यूटिलिटी बनाए रखी।
एब्लेशन स्टडीज (Ablation Studies): कैप्शन रिवॉर्ड या डायरेक्ट आंसर रिवॉर्ड को हटाने से सुरक्षा और यूटिलिटी दोनों में महत्वपूर्ण गिरावट आती है, जो पुष्टि करता है कि दोनों सिग्नल आवश्यक हैं। पाया गया कि डिकपल्ड रिवॉर्ड नॉर्मलाइजेशन (decoupled reward normalization) Direct और DirectCap प्रदर्शन के लिए विशेष रूप से महत्वपूर्ण था।

महत्व और दावे

पेपर दावा करता है कि SafeCap मल्टीमॉडल सुरक्षा संरेखण में परसेप्शन-साइड एविडेंस (धारणा-पक्ष साक्ष्य) को शामिल करने के महत्व को प्रदर्शित करता है। मॉडल को एक कैप्शन में स्पष्ट रूप से सुरक्षा-प्रासंगिक विजुअल संकेतों को उजागर करने के लिए प्रशिक्षित करके, यह विधि केवल रिफ्यूज़ल प्रॉम्प्टिंग या भंगुर इन्फरेंस-टाइम रैपर्स पर निर्भर हुए बिना मॉडल के विजुअल परसेप्शन को उसके सुरक्षा नीति के साथ संरेखित करती है।

लेखक इस बात पर जोर देते हैं कि DirectCap पथ (जहाँ प्रशिक्षित मॉडल एक कैप्शन उत्पन्न करता है और फिर उत्तर देता है) इच्छित ऑपरेटिंग पॉइंट है, जो सबसे सुसंगत सुरक्षा लाभ प्रदान करता है। हालांकि "Prism" प्रोटोकॉल (एक फ्रोजन LLM का उपयोग करके कैप्शन से उत्तर देना) कुछ हस्तांतरणीयता दिखाता है, प्राथमिक योगदान स्वयं LVLM की सुरक्षा-जागरूक कैप्शनिंग करने की सीखी गई क्षमता है। यह कार्य सुझाव देता है कि कैप्शन-मीडिएटेड रीइन्फोर्समेंट लर्निंग भविष्य के मल्टीमॉडल सुरक्षा प्रयासों के लिए एक व्यावहारिक और प्रभावी दिशा है, जो पारंपरिक आउटपुट-साइड अलाइनमेंट का पूरक है।