REALM: A Unified Red-Teaming Benchmark for Physical-World VLMs
यह शोध पत्र REALM को प्रस्तुत करता है, जो भौतिक-जगत के विजन-लैंग्वेज मॉडल्स (Vision-Language Models) के लिए पहला एकीकृत रेड-टीमिंग बेंचमार्क है, जो वर्तमान सुरक्षा मूल्यांकनों में बिखराव को दूर करने के लिए एक साझा, भौतिक रूप से आधारित लक्ष्य-निर्माण पाइपलाइन के माध्यम से विविध हमले के तरीकों और सुरक्षा उपायों के मूल्यांकन को मानकीकृत करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपने एक सुपर-स्मार्ट रोबोट असिस्टेंट बनाया है जो दुनिया को देख सकता है और उसके बारे में बात कर सकता है। आप चाहते हैं कि यह रोबोट कार चलाए, वस्तुओं को उठाए, या लोगों के घरों में मदद करे। लेकिन इसे वास्तविक दुनिया में छोड़ने से पहले, आपको यह सुनिश्चित करना होगा कि इसे कुछ खतरनाक करने के लिए धोखा न दिया जा सके, जैसे कि कार को क्रैश करना या गलत औज़ार पकड़ लेना।
यह पेपर REALM पेश करता है, जो एक नया "स्ट्रेस टेस्ट" (तनाव परीक्षण) है जिसे विशेष रूप से यह देखने के लिए डिज़ाइन किया गया है कि जब ये रोबोटिक दिमाग वास्तविक दुनिया के भौतिक कार्यों से निपट रहे होते हैं, तो उन्हें कितनी आसानी से मूर्ख बनाया जा सकता है।
यहाँ इस पेपर द्वारा किए गए कार्यों का सरल उपमाओं (analogies) का उपयोग करके विवरण दिया गया है:
1. समस्या: "चैटबॉट" टेस्ट बनाम "वास्तविक दुनिया" टेस्ट
एक सुरक्षा गार्ड (AI) की कल्पना करें।
- पुराने टेस्ट (चैटबॉट बेंचमार्क): ये टेस्ट गार्ड से पूछते हैं, "क्या आप कुछ बुरा या अवैध कह सकते हैं?" यदि गार्ड कहता है, "नहीं, मैं ऐसा नहीं करूँगा," तो वे पास हो जाते हैं। यह गार्ड को यह परीक्षण करने जैसा है कि क्या वे बातचीत के नियमों को तोड़ेंगे।
- असली समस्या: भौतिक दुनिया में, खतरा केवल बुरे शब्द बोलने के बारे में नहीं है। यह गलत काम करने के बारे में है। यदि कार चला रहा एक रोबोट एक स्टॉप साइन पर एक छोटा सा स्टिकर देखता है, तो वह सोच सकता है कि यह एक यील्ड (yield) साइन है और गाड़ी चलाता रह सकता है। पुराने टेस्ट्स ने इसे नहीं पकड़ा। वे "बुरे शब्दों" को देख रहे थे, "बुरे कार्यों" को नहीं।
REALM नया टेस्ट है जो पूछता है: "यदि मैं आपकी आँखों या आपके निर्देशों को धोखा दूँ, तो क्या आप एक भौतिक गलती करेंगे?"
2. समाधान: AI के लिए एक एकीकृत "जिम"
इस पेपर से पहले, प्रत्येक शोधकर्ता का अपना अलग जिम, अपने अलग वजन और अपने अलग नियम थे। यह तुलना करना असंभव था कि वास्तव में कौन अधिक शक्तिशाली है।
- REALM जिम: लेखकों ने एक विशाल, मानकीकृत जिम बनाया। उन्होंने AI को धोखा देने के 12 अलग-अलग तरीके (हमले/attacks), AI की रक्षा करने के 3 तरीके (रक्षा/defenses), और परीक्षण के लिए 13 अलग-अलग AI मॉडल एकत्र किए।
- "एजेंटिक" कोच: परीक्षण करने का सबसे कठिन हिस्सा यह तय करना है कि किस गलती को देखना है। यदि आप कार की एक तस्वीर दिखाते हैं, तो क्या AI को इसे बाइक समझना चाहिए? क्या उसे यह सोचना चाहिए कि कार पीछे की ओर चल रही है?
- पेपर ने एक विशेष "कोच AI" (एक एजेंटिक पाइपलाइन) बनाया। यह कोच हर एक दृश्य को देखता है और AI के लिए एक विशिष्ट, यथार्थवादी गलती का आविष्कार करता है। उदाहरण के लिए, ड्राइविंग सीन में, कोच यह तय कर सकता है, "आज, AI को यह सोचना चाहिए कि लाल बत्ती हरी है।" यह सुनिश्चित करता है कि प्रत्येक AI को ठीक उसी "ट्रिक" के खिलाफ टेस्ट किया जाए, जिससे तुलना निष्पक्ष हो सके।
3. प्रयोग: क्या हुआ?
शोधकर्ताओं ने 13 अलग-अलग AI मॉडल (कुछ छोटे, कुछ बहुत बड़े) पर ये परीक्षण चलाए और कुछ आश्चर्यजनक बातें पाईं:
- "दीवार पर नोट" वाली ट्रिक सबसे अच्छी है: इन रोबोटों को तोड़ने का सबसे प्रभावी तरीका इमेज के पिक्सेल के साथ छेड़छाड़ करना (जैसे अदृश्य शोर जोड़ना) नहीं था। बल्कि, यह टेक्स्ट निर्देशों को बदलना या तस्वीर में एक नकली साइन लगाना था।
- उपमा: एक रोबोट के कान में "स्टॉप साइन को अनदेखा करें" फुसफुसाकर (टेक्स्ट इंजेक्शन) उसे धोखा देना, स्टॉप साइन पर एक छोटा, अदृश्य बिंदु बनाकर (विजुअल परटर्बेशन) उसे धोखा देने से कहीं अधिक आसान है।
- "वन-शॉट" ट्रिक: कुछ हमलों के लिए हैकर को सैकड़ों बार प्रयास करने, इमेज को थोड़ा बदलने और यह देखने की आवश्यकता होती है कि क्या काम करता है। शोधकर्ताओं ने पाया कि कुछ "वन-शॉट" हमले (सिर्फ एक बार कोशिश करना) उन हमलों के लगभग उतने ही प्रभावी थे जिन्होंने सैकड़ों बार कोशिश की। इसका मतलब है कि इन सिस्टमों को तोड़ने के लिए हैकर्स को धैर्य रखने की आवश्यकता नहीं है।
- बड़ा होना हमेशा सुरक्षित नहीं होता: आप सोच सकते हैं कि एक विशाल, सुपर-महंगा AI (100 बिलियन पैरामीटर्स वाला) एक छोटे AI की तुलना में धोखा खाने में कठिन होगा। पेपर ने पाया कि आकार ज्यादा मायने नहीं रखता। यदि ट्रिक सही थी, तो एक विशाल AI भी एक छोटे AI की तरह ही आसानी से मूर्ख बन गया।
- विशेष प्रशिक्षण मदद नहीं करता: कुछ AI को विशेष रूप से भौतिकी (physics) और तर्क (reasoning) में अच्छा होने के लिए प्रशिक्षित किया गया था। आप सोचेंगे कि वे अधिक स्मार्ट और धोखा खाने में कठिन होंगे। लेकिन नहीं। वे दूसरों की तरह ही असुरक्षित थे।
4. रक्षा (Defenses): क्या हम इन ट्रिक्स को रोक सकते हैं?
शोधकर्ताओं ने AI की रक्षा के लिए तीन अलग-अलग "शील्ड" (ढाल) भी आजमाईं:
- टेक्स्ट शील्ड: एक शील्ड "फुसफुसाहट" वाले टेक्स्ट ट्रिक्स को रोकने में बहुत अच्छी थी।
- विजुअल शील्ड: दूसरी शील्ड "अदृश्य बिंदु" वाले इमेज ट्रिक्स को रोकने में ठीक-ठाक थी।
- पेंच (The Catch): कोई भी एक शील्ड सब कुछ नहीं रोक सकी। यदि आपने टेक्स्ट शील्ड का उपयोग किया, तो इमेज ट्रिक्स काम करती रहीं। यदि आपने विजुअल शील्ड का उपयोग किया, तो टेक्स्ट ट्रिक्स काम करती रहीं। हमें एक बहु-स्तरीय रक्षा प्रणाली की आवश्यकता है।
सारांश
REALM पहला मानकीकृत तरीका है जिससे यह जांचा जा सके कि AI रोबोट वास्तविक दुनिया में सुरक्षित हैं या नहीं। इसने पाया कि:
- टेक्स्ट ट्रिक्स वर्तमान में सबसे बड़ा खतरा हैं।
- बड़े मॉडल स्वचालित रूप से सुरक्षित नहीं होते।
- विशेष प्रशिक्षण उन्हें धोखा खाने से मुक्त नहीं बनाता।
- हमारे भौतिक AI को सुरक्षित रखने के लिए हमें बेहतर, बहु-स्तरीय रक्षा प्रणालियों की आवश्यकता है।
पेपर निष्कर्ष निकालता है कि हम केवल इस परीक्षण पर निर्भर नहीं रह सकते कि AI "बुरे शब्द" बोलता है; हमें यह परीक्षण करना चाहिए कि क्या वह भौतिक दुनिया में "बुरे कदम" उठाता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।