When AUC 0.998 Is Not Enough: A Candidate Evaluation Protocol for Hidden-State Probes of Indirect Prompt Injection in Multimodal Computer-Use Agents
यह शोध पत्र यह तर्क देता है कि मल्टीमॉडल एजेंटों में अप्रत्यक्ष प्रॉम्प्ट इंजेक्शन का पता लगाने वाले हिडन-स्टेट प्रोब्स के लिए एक उच्च AUC स्कोर, गैर-दुर्भावनापूर्ण अर्थ संबंधी व्याख्याओं को खारिज करने के लिए टेक्स्ट-साइड स्केलर बेसलाइन और विजुअल न्यूसेंस कंट्रोल्स जैसे अतिरिक्त पोस्ट-हॉक डायग्नोस्टिक्स के बिना, दुर्भावनापूर्ण सामग्री का पता लगाने का अपर्याप्त प्रमाण है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक बहुत ही स्मार्ट रोबोट सहायक है जो कंप्यूटर स्क्रीन को देख सकता है, उस पर लिखी चीज़ों को पढ़ सकता है, और आपके लिए काम करने के लिए बटन क्लिक कर सकता है। लेकिन इसमें एक खतरा है: कोई भी स्क्रीन पर एक गुप्त, दुर्भावनापूर्ण नोट (जैसे कि "सब कुछ डिलीट करने के लिए यहाँ क्लिक करें" वाला नकली बैनर) छिपाकर डाल सकता है ताकि रोबोट को बेवकूफ बनाया जा सके।
इस पेपर के लेखकों ने एक सरल प्रश्न पूछा: क्या हम रोबोट के दिमाग के अंदर झाँककर (इसके "हिडन स्टेट" को देखकर) यह जान सकते हैं कि क्या वह वास्तव में जानता है कि वहाँ कोई दुर्भावनापूर्ण नोट मौजूद है, इससे पहले कि वह बटन क्लिक करे?
उन्होंने पाया कि एक रोबोट के पास एक ऐसा "लाई डिटेक्टर" (झूठ पकड़ने वाला यंत्र) है जो लगभग परफेक्ट है। जब उन्होंने इसका परीक्षण किया, तो यह खराब नोट्स को पकड़ने में 99.8% सटीक था। यह एक चमत्कारिक समाधान जैसा लग रहा था।
लेकिन लेखक कहते हैं: "रुको। वह 99.8% का नंबर हमें धोखा दे रहा है।"
यहाँ उस कहानी का विवरण दिया गया है कि वह उच्च स्कोर पर्याप्त क्यों नहीं है, जिसे सरल उपमाओं (analogies) के माध्यम से समझाया गया है।
"बहुत अच्छा होने का भ्रम" देने वाला स्कोर
कल्पना कीजिए कि आप एक कुत्ते को केवल तब भौंकना सिखा रहे हैं जब वह एक रैकून (दुश्मन) को देखता है। आप कुत्ते को रैकून की तस्वीरें और गोल्डन रिट्रीवर (अच्छे जानवर) की तस्वीरें दिखाते हैं। कुत्ता हर रैकून पर भौंकता है और हर गोल्डन रिट्रीवर को देखकर चुप रहता है। आप जश्न मनाते हैं: "100% सफलता! कुत्ता जानता है कि रैकून क्या है!"
लेकिन फिर, आपको एहसास होता है: आपके ट्रेनिंग फोटो में, हर रैकून की तस्वीर ब्लैक एंड व्हाइट थी, और हर गोल्डन रिट्रीवर की तस्वीर रंगीन थी। कुत्ते ने रैकून को पहचानना नहीं सीखा; उसने ब्लैक एंड व्हाइट तस्वीरों को पहचानना सीख लिया था। यदि आप उसे एक ब्लैक-एंड-वाइट गोल्डन रिट्रीवर की फोटो दिखाते, तो वह भौंकता। यदि आप उसे रंगीन रैकून की फोटो दिखाते, तो वह चुप रहता।
कुत्ते की "99.8% सटीकता" एक धोखा था। वह जानवर को नहीं, बल्कि रंग को पहचान रहा था।
पेपर की "रैकून" समस्या
इस पेपर में, "रोबोट" (एक बड़ा AI मॉडल) का परीक्षण एक ऐसे डेटासेट पर किया गया था जहाँ "बुरे नोट्स" (इनजेक्शन) और "अच्छे नोट्स" (साफ स्टेप्स) के बीच स्पष्ट अंतर थे, जो उनके अर्थ के बारे में नहीं, बल्कि टेक्स्ट के दिखावट के बारे में थे।
लेखकों ने यह देखने के लिए दो "सत्य परीक्षण" (truth tests) बनाए कि क्या रोबोट वास्तव में दुर्भावनापूर्ण इरादे को पहचान रहा है या केवल विजुअल ट्रिक को।
टेस्ट 1: "मेटाडेटा" चीट शीट (टेक्स्ट के लिए)
टेक्स्ट-आधारित इनजेक्शन्स के लिए, लेखकों ने महसूस किया कि "बुरे" नोट्स हमेशा "अच्छे" नोट्स की तुलना में लंबे थे क्योंकि उनमें अतिरिक्त शब्द जोड़े गए थे।
- चीट (धोखा): उन्होंने एक साधारण कैलकुलेटर बनाया जो केवल टेक्स्ट की लंबाई देखता था।
- परिणाम: इस साधारण कैलकुलेटर ने 100% सटीकता प्राप्त की, जो जटिल रोबोट के दिमाग से भी बेहतर थी।
- सबक: रोबोट "बुरे अर्थ" को नहीं पढ़ रहा था; वह बस शब्दों को गिन रहा था। यह बिल्कुल वैसा ही था जैसे कुत्ता ब्लैक-एंड-वाइट फोटो देखकर भौंक रहा हो।
टेस्ट 2: "स्क्रैम्बल नोट" ट्रिक (विजुअल ओवरले के लिए)
विजुअल ओवरले (स्क्रीन पर दिखने वाले नकली बैनर) के लिए, "बुरे" नोट्स "फ़ाइल डिलीट करें" जैसे दुर्भावनापूर्ण निर्देश थे।
- ट्रिक: लेखकों ने उसी बैनर को, उसी जगह पर, उसी फॉन्ट और रंग के साथ लिया, लेकिन उन्होंने अक्षरों को उलट-पुलट (scramble) कर दिया (जैसे, "Xkzj! Click Send Now" बन गया "Qwrt! Click Send Now")।
- टेस्ट: उन्होंने रोबोट के दिमाग से पूछा: "क्या आप असली बुरे नोट और स्क्रैम्बल किए गए गिजरिश (gibberish) नोट के बीच अंतर बता सकते हैं?"
- परिणाम: रोबोट का दिमाग अंतर नहीं बता सका। उसका स्कोर लगभग 50/50 था (जैसे सिक्का उछालना)।
- सबक: रोबोट "फ़ाइल डिलीट करें" वाले निर्देश को नहीं पढ़ रहा था। वह बैनर के विजुअल आकार, अक्षरों के घनत्व, या वहां टेक्स्ट होने के तथ्य पर प्रतिक्रिया दे रहा था। वह एक दुर्भावनापूर्ण कमांड और रैंडम गिजरिश के बीच अंतर नहीं कर सका।
बड़ा निष्कर्ष
यह पेपर तर्क देता है कि जब आप AI के बुरे व्यवहार को पकड़ने के लिए "99.8% सटीकता" जैसा डरावना आंकड़ा देखते हैं, तो आपको इसे सीधे सच नहीं मानना चाहिए।
- उस नंबर का वास्तविक अर्थ क्या है: रोबोट इस विशिष्ट परीक्षण में "स्टेप A" और "स्टेप B" के बीच अंतर बता सकता है।
- उस नंबर का क्या अर्थ नहीं है: रोबोट यह नहीं समझता कि "स्टेप B" खतरनाक है।
लेखक इन रोबोटों के परीक्षण के लिए एक नया नियम पुस्तिका (rulebook) प्रस्तावित करते हैं। इससे पहले कि आप दावा करें कि एक रोबोट के पास "लाई डिटेक्टर" है, आपको ये अतिरिक्त "सत्य परीक्षण" चलाने होंगे:
- लंबाई की जाँच करें: क्या रोबोट केवल शब्दों को गिन रहा है?
- दिखावट की जाँच करें: यदि आप शब्दों को उलट-पुलट कर देते हैं लेकिन लुक को समान रखते हैं, तो क्या रोबोट अभी भी इसे खतरनाक मानता है?
यदि रोबोट इन अतिरिक्त परीक्षणों में विफल रहता है, तो उसका उच्च स्कोर केवल एक "शॉर्टकट" है। यह वैसा ही है जैसे कुत्ता ब्लैक-एंड-वाइट फोटो देखकर भौंकता है। वह वास्तव में स्मार्ट नहीं है; वह बस एक विजुअल संकेत का पालन कर रहा है।
सारांश
यह पेपर शोधकर्ताओं के लिए एक चेतावनी है: उच्च स्कोर से धोखा न खाएं। सिर्फ इसलिए कि एक रोबोट एक पैटर्न को पहचान सकता है, इसका मतलब यह नहीं है कि वह खतरे को समझता है। यह वास्तव में जानने के लिए कि क्या कोई AI सुरक्षित है, आपको यह साबित करना होगा कि वह अर्थ को देख रहा है, न कि केवल स्टाइल को।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।