SCOOTER: A Human Evaluation Framework for Unrestricted Adversarial Examples
यह शोध पत्र SCOOTER को प्रस्तुत करता है, जो एक ओपन-सोर्स, सांख्यिकीय रूप से सशक्त फ्रेमवर्क और बेंचमार्क डेटासेट है जिसे बड़े पैमाने पर मानव अध्ययनों के माध्यम से अनियंत्रित प्रतिकूल उदाहरणों (unrestricted adversarial examples) का मूल्यांकन करने के लिए डिज़ाइन किया गया है, जो यह प्रकट करता है कि वर्तमान हमले अक्सर मानव-अनुभूत अदृश्यता प्राप्त करने में विफल रहते हैं और स्वचालित दृष्टि प्रणालियों तथा मानव धारणा के बीच मिसअलाइनमेंट (misalignment) को उजागर करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ "Scooter: A Human Evaluation Framework for Unrestricted Adversarial Examples" पेपर का सरल भाषा और रचनात्मक उपमाओं (analogies) के साथ विवरण दिया गया है।
बड़ी तस्वीर: वह "जादुई ट्रिक" जो जादू नहीं है
कल्प-ना कीजिए कि आपके पास एक कंप्यूटर है जो तस्वीरों में जानवरों को पहचानने में बहुत माहिर है। वह तुरंत बता सकता है कि बिल्ली और कुत्ते में क्या अंतर है। लेकिन क्या होगा अगर कोई उस कंप्यूटर को यह विश्वास दिलाने में कामयाब हो जाए कि एक बिल्ली वास्तव में एक कुत्ता है, और वह भी बिना आपके (इंसान के) यह नोटिस किए कि फोटो में कुछ अजीब है?
AI सुरक्षा की दुनिया में, इन छली तस्वीरों को Adversarial Examples कहा जाता है।
- पुराना तरीका (Restricted): कल्पना कीजिए कि कोई फोटो में शोर (static noise) की एक बहुत छोटी, अदृश्य परत जोड़ देता है। यह समुद्र तट पर रेत के एक अकेले कण जैसा है। कंप्यूटर भ्रमित हो जाता है, लेकिन इंसान को वह रेत दिखाई नहीं देती।
- नया तरीका (Unrestricted): कल्पना कीजिए कि कोई बिल्ली के बालों का रंग नारंगी से बदलकर नीला कर देता है, या कुत्ते के कान बदलकर खरगोश के कान बना देता है। ये बदलाव इतने बड़े हैं कि इन्हें देखा जा सकता है, लेकिन हमलावर दावा करता है कि वे इतने "प्राकृतिक" हैं कि एक इंसान उन्हें नकली नहीं समझेगा।
समस्या यह है: हमें कैसे पता चलेगा कि ये "बड़े बदलाव" वास्तव में इंसानों के लिए अदृश्य हैं?
समस्या: "मेरा विश्वास करो, यह असली दिखता है"
वर्षों से, शोधकर्ता इन "Unrestricted" हमलों को बना रहे हैं। वे दावा करते हैं, "देखो, मेरे AI ने कंप्यूटर को चकमा दे दिया, और एक इंसान अंतर कभी नहीं पहचान पाएगा!"
लेकिन अब तक, इसे साबित करने का कोई विश्वसनीय तरीका नहीं था।
- कुछ शोधकर्ताओं ने बस अपने कुछ दोस्तों से पूछा, "क्या यह नकली लग रहा है?"
- अन्य लोगों ने "इमेज क्वालिटी" मापने के लिए कंप्यूटर प्रोग्राम का उपयोग किया, लेकिन कंप्यूटर इस बात का अनुमान लगाने में खराब हैं कि इंसान वास्तव में क्या देखते हैं।
- यह एक जादूगर की तरह था जो दावा कर रहा था कि उसकी ट्रिक "अदृश्य" है क्योंकि उसके पास यह साबित करने के लिए कैमरा नहीं था कि वह सही कह रहा है।
समाधान: "Scooter" का आगमन
लेखकों ने Scooter (Systemizing Confusion Over Observations To Evaluate Realness) नामक एक नया सिस्टम बनाया है। Scooter को AI छवियों के लिए एक कठोर, वैज्ञानिक "टेस्ट टेस्ट" (स्वाद परीक्षण) के रूप में समझें।
एक व्यक्ति से पूछने के बजाय, Scooter सैकड़ों लोगों के साथ एक विशाल, संरचित प्रयोग आयोजित करता है ताकि एक सांख्यिकीय रूप से ठोस उत्तर मिल सके। यह इस प्रकार काम करता है, चरण-दर-चरण:
1. "विज़न चेक" (प्रारंभिक जाँच)
इससे पहले कि कोई भी छवियों का निर्णय ले सके, उन्हें यह साबित करना होगा कि वे वास्तव में रंगों को देख सकते हैं।
- उपमा: कल्पना कीजिए कि एक वाइन चखने की प्रतियोगिता चल रही है। आप किसी को वाइन का निर्णय लेने के लिए तब तक नहीं छोड़ेंगे जब तक वह कलरब्लाइंड न हो और लाल से हरा का अंतर न बता सके।
- परीक्षण: प्रतिभागियों को कलरब्लाइंडनेस टेस्ट (जैसे प्रसिद्ध इशिहारा प्लेट्स जिनमें छिपे हुए नंबर होते हैं) और एक "क्या आपने निर्देश पढ़े?" टेस्ट से गुजरना पड़ता है। यदि वे असफल होते हैं, तो वे बाहर हो जाते हैं। यह सुनिश्चित करता है कि जज चौकस हैं।
2. "ब्लाइंड टेस्ट" (मुख्य अध्ययन)
प्रतिभागियों को 106 छवियां दिखाई जाती हैं। उन्हें नहीं पता होता कि कौन सी असली हैं और कौन सी AI द्वारा "छली" (tricked) गई हैं।
- पैमाना: केवल "असली" या "नकली" कहने के बजाय, वे छवि को -2 (निश्चित रूप से नकली) से +2 (निश्चित रूप से असली) के पैमाने पर रेट करते हैं।
- जाल: शोधकर्ता जानबूझकर ऐसी "नकली" छवियां शामिल करते हैं जो स्पष्ट रूप से नकली हैं (जैसे एक फोटो जिसमें बड़ा लाल फिल्टर लगा हो) ताकि यह देखा जा सके कि प्रतिभागी ध्यान दे रहे हैं या नहीं। यदि आप कहते हैं कि एक चमकीला लाल फिल्टर असली दिखता है, तो आपको एक खराब जज के रूप में चिह्नित कर दिया जाता है।
3. "मैथ चेक" (सांख्यिकीय विश्लेषण)
यह सबसे महत्वपूर्ण हिस्सा है। शोधकर्ता केवल औसत स्कोर को नहीं देखते हैं। वे TOST (Two-One-Sided Tests) नामक एक विशेष गणितीय परीक्षण का उपयोग करते हैं।
- उपमा: कल्पना कीजिए कि आप यह साबित करने की कोशिश कर रहे हैं कि दो सिक्के बिल्कुल समान हैं। आप केवल उन्हें उछालकर यह उम्मीद नहीं करते कि वे एक जैसा गिरेंगे। आपको यह साबित करना होगा कि उनके बीच का अंतर इतना छोटा है कि वह मायने नहीं रखता।
- परिणाम: यदि "छली" (tricked) छवियां असली छवियों की तुलना में काफी कम रेट की जाती हैं, तो गणित यह साबित करता है कि हमला विफल रहा क्योंकि वह अदृश्य होने में नाकाम रहा।
उन्होंने क्या पाया: "जादू" उतना अच्छा नहीं था
लेखकों ने छह अलग-अलग "Unrestricted" हमलों का परीक्षण किया (तीन जो रंगों को बदलते हैं, और तीन जो उन्नत AI जनरेटर का उपयोग करते हैं)।
चौंकाने वाला परिणाम:
- इंसान आसानी से नकली चीज़ों को पहचान सकते थे।
- हर एक परीक्षण में, "छली" (tricked) छवियों को असली छवियों की तुलना में काफी कम रेटिंग दी गई।
- यहाँ तक कि सबसे परिष्कृत हमले (वे जो उन्नत AI जनरेटर का उपयोग करते हैं) भी मानवीय आँखों के लिए स्पष्ट थे।
- सीख: यह दावा कि "इंसान अंतर नहीं बता सकते", गलत है। ये हमले अदृश्य नहीं हैं।
"रोबोट जज" प्रयोग
शोधकर्ताओं ने एक सुपर-स्मार्ट AI (GPT-4o) से भी छवियों को देखने और यह अनुमान लगाने के लिए कहा कि क्या वे असली हैं।
- परिणाम: AI कुछ ट्रिक्स को पकड़ने में इंसान से बेहतर था, लेकिन वह अन्य ट्रिक्स में उलझ गया।
- सबक: आज के सबसे स्मार्ट AI मॉडल भी मानवीय धारणा (perception) की पूरी तरह से नकल करने में संघर्ष करते हैं। आप केवल एक कंप्यूटर से यह पूछकर यह नहीं जान सकते कि कोई छवि असली दिखती है या नहीं; आपको वास्तविक इंसानों की आवश्यकता है।
"स्कोरबोर्ड" (वस्तुनिष्ठ मेट्रिक्स)
पेपर ने यह भी देखा कि कंप्यूटर प्रोग्राम (जैसे FID या TOPIQ) इन छवियों को कैसे रेट करते हैं।
- समस्या: कंप्यूटर प्रोग्राम अक्सर इन "छली" छवियों को उच्च स्कोर देते हैं, यह कहते हुए, "वाह, यह बहुत बढ़िया दिखता है!"
- वास्तविकता: इंसानों ने उन्हीं छवियों को देखा और कहा, "यह अजीब लग रहा है।"
- निष्कर्ष: हम कंप्यूटर मेट्रिक्स पर भरोसा नहीं कर सकते कि वे हमें बताएंगे कि कोई छवि इंसान के लिए कितनी वास्तविक है। हमें मानव न्यायाधीशों की आवश्यकता है।
सारांश
Scooter एक नया, ओपन-सोर्स टूलकिट है जो शोधकर्ताओं को यह साबित करने के लिए मजबूर करता है कि उनके "अदृश्य" AI हमले वास्तव में अदृश्य हैं, इसके लिए वास्तविक मनुष्यों का वैज्ञानिक रूप से कठोर तरीके से उपयोग किया जाता है।
मुख्य खोज क्या है? वे "अदृश्य" हमले जिनके बारे में हर कोई बड़ी बातें कर रहा था? वे अदृश्य नहीं हैं। इंसान उन्हें देख सकते हैं, और गणित इसे साबित करता है। यह पेपर उपकरण (कोड, डेटासेट और दिशानिर्देश) प्रदान करता है ताकि भविष्य में, कोई भी यह दावा न कर सके कि एक हमला "अदृश्य" है जब तक कि वे मानव डेटा के साथ इसका प्रमाण न दिखाएं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।