Mirage Probes: How Vision Models Fake Visual Understanding
यह शोध पत्र "मिराज प्रोब्स" (Mirage Probes) को प्रस्तुत करता है ताकि यह प्रदर्शित किया जा सके कि विजन-लैंग्वेज मॉडल दो अलग-अलग प्रकार के विजुअल मतिभ्रम (visual hallucination)—टेक्स्टुअल बायस (textual biases) और स्प्यूरियस इमेजेस (spurious images)—प्रदर्शित करते हैं, जिन्हें उनके आंतरिक एक्टिवेशन पैटर्न द्वारा अलग किया जा सकता है, जिससे यह स्पष्ट होता है कि प्रभावी शमन के लिए केवल टेक्स्ट वितरण को साफ करने के बजाय प्रतिनिधित्व-स्तर (representational-level) के हस्तक्षेप की आवश्यकता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक परीक्षा दे रहे हैं जहाँ आपको एक तस्वीर दिखाई जाती है और उससे संबंधित एक प्रश्न पूछा जाता है। अब, एक ऐसे छात्र की कल्पना करें जो शब्दों के आधार पर अनुमान लगाने में इतना माहिर है कि वह तस्वीर को हटाकर अपनी पीठ के पीछे छिपा देने पर भी सही उत्तर दे सकता है। वह आत्मविश्वास से भरा लगता है, और अक्सर सही होता है, लेकिन वह वास्तव में तस्वीर को नहीं देख रहा होता है।
यह शोध पत्र इस व्यवहार को एक "मिराज" (Mirage - मृगतृष्णा) कहता है।
शोधकर्ताओं ने विजन-लैंग्वेज मॉडल्स (AI जो छवियों को देखता है और टेक्स्ट पढ़ता है) का अध्ययन किया और पाया कि ये "मिराज" केवल एक साधारण गलती नहीं है। उन्होंने पाया कि AI वास्तव में दो पूरी तरह से अलग तरीकों से दृश्य समझ (visual understanding) का ढोंग कर रहा है, और यह शोध पत्र "मिराज प्रोब्स" (Mirage Probes) नामक एक नया टूल पेश करता है ताकि यह देखा जा सके कि AI वास्तव में इसे कैसे कर रहा है।
यहाँ उनके निष्कर्षों का सरल उपमाओं (analogies) का उपयोग करके विवरण दिया गया है:
1. AI के नकल करने के दो तरीके
लेखकों का तर्क है कि जब कोई AI बिना वास्तव में चित्र को "देखे" आत्मविश्वास से उत्तर देता है, तो वह आमतौर पर दो में से एक काम कर रहा होता है:
"टेक्स्ट चीट" (Textual Biases - शब्दों की चोरी):
- उपमा: कल्पना कीजिए कि एक छात्र इतिहास की परीक्षा दे रहा है। प्रश्न पूछता है, "प्रथम राष्ट्रपति कौन थे?" छात्र को जॉर्ज वाशिंगटन की तस्वीर देखने की आवश्यकता नहीं है क्योंकि वह किताबों से पढ़कर इस तथ्य को जानता है।
- AI क्या करता है: AI पूरी तरह से इमेज को अनदेखा कर देता है। वह प्रश्न को देखता है, विषय को पहचानता है, और उस उत्तर को निकाल लेता है कि लोग आमतौर पर उन प्रश्नों को कैसे पूछते और उत्तर देते हैं। वह इमेज को देखने का झूठ नहीं बोल रहा है; वह बस टेक्स्ट के आधार पर उत्तर दे रहा है।
- यह कहाँ होता है: यह उन डेटासेट्स में आम है जहाँ प्रश्न बहुत विशिष्ट होते हैं या जहाँ शब्दों से ही उत्तर स्पष्ट हो जाता है (जैसे कुछ मेडिकल या सामान्य ज्ञान के प्रश्न)।
"हैलुसिनेटेड इमेज" (Spurious Images - भ्रमित छवि):
- उपमा: अब कल्पना कीजिए कि एक छात्र से पूछा जाता है, "फोटो में कार का रंग क्या है?" लेकिन फोटो छिपी हुई है। "मैं नहीं देख पा रहा हूँ" कहने के बजाय, छात्र अपनी आँखें बंद कर लेता है, अपने मन में एक लाल कार की कल्पना करता है (क्योंकि उसके प्रशिक्षण डेटा में अधिकांश कारें लाल होती हैं), और आत्मविश्वास से कहता है, "यह एक लाल कार है।" उसने अपने मन में एक नकली तस्वीर बना ली है।
- AI क्या करता है: AI वास्तव में कुछ ऐसा "देखने" की कोशिश करता है जो वहाँ है ही नहीं। वह अपने आंतरिक कोड (लेटेंट स्पेस) में एक झूठी दृश्य प्रस्तुति (visual representation) बनाता है और ऐसे उत्तर देता है जैसे वह नकली छवि वास्तविक हो।
- यह कहाँ होता है: यह उन डेटासेट्स में होता है जहाँ केवल टेक्स्ट के आधार पर उत्तर का अनुमान लगाना पर्याप्त नहीं होता, इसलिए AI को आत्मविश्वास महसूस करने के लिए एक काल्पनिक दृश्य विवरण "बनाना" पड़ता है।
2. नया टूल: "मिराज प्रोब्स" (Mirage Probes)
आपको कैसे पता चलेगा कि AI टेक्स्ट के साथ धोखाधड़ी कर रहा है या एक काल्पनिक छवि बना रहा है? आप केवल उत्तर को नहीं देख सकते; आपको AI के "दिमाग" के अंदर उसके सोचने के तरीके को देखना होगा।
शोधकर्ताओं ने मिराज प्रोब्स बनाए हैं, जो AI के विचारों के लिए एक एक्स-रे मशीन की तरह काम करते हैं।
- वे एक प्रश्न लेते हैं और उसे एक इमेज के साथ AI को दिखाते हैं, और फिर उसी प्रश्न को बिना इमेज के दिखाते हैं।
- वे AI की परतों (layers) के भीतर विद्युत संकेतों (activations) को देखते हैं।
- उन्होंने पाया कि "वास्तविक इमेज के साथ उत्तर देने" और "नकली इमेज के साथ उत्तर देने" के बीच का अंतर AI के कोड में एक स्पष्ट, सीधी रेखा जैसा पैटर्न छोड़ता है। यह कोई बिखरा हुआ, जटिल सिग्नल नहीं है; यह एक साफ रेखा है जिसे उनके प्रोब्स आसानी से पहचान सकते हैं।
3. यह क्यों महत्वपूर्ण है (इसका महत्व क्या है?)
यह शोध पत्र एक महत्वपूर्ण बिंदु बनाता है कि हमें इन AI मॉडल्स को कैसे ठीक करना चाहिए।
- यदि AI "टेक्स्ट चीट" का उपयोग कर रहा है: तो आप ट्रेनिंग डेटा को साफ करके इसे ठीक कर सकते हैं। यदि आप AI को यह सीखने से रोकते हैं कि कुछ विशेष प्रश्नों के निश्चित उत्तर होते हैं, तो वह अनुमान लगाना बंद कर देगा।
- यदि AI "हैलुसिनेटेड इमेज" का उपयोग कर रहा है: तो टेक्स्ट को साफ करने से कोई मदद नहीं मिलेगी। समस्या अधिक गहरी है। AI वास्तव में अपने आंतरिक मेमोरी में नकली तस्वीरें बना रहा है। इसे ठीक करने के लिए, आपको केवल टेक्स्ट को पढ़ने के तरीके को नहीं, बल्कि यह बदलना होगा कि AI छवियों को कैसे प्रस्तुत (represent) करता है।
निष्कर्ष
शोध पत्र का दावा है कि "मिराज" व्यवहार एक एकल बग नहीं है। यह एक ही मुखौटा पहने हुए दो अलग-अलग बग्स हैं।
- कभी-कभी AI केवल शब्दों के आधार पर अनुमान लगा रहा होता है।
- कभी-कभी AI अपने मन में एक नकली तस्वीर का निर्माण कर रहा होता है।
लेखकों ने यह पहचानने का एक तरीका बनाया है कि इनमें से क्या हो रहा है। उन्होंने पाया कि "नकली तस्वीर" वाला संस्करण ठीक करना कठिन है क्योंकि यह AI के विजुअल प्रोसेसिंग के गहरे हिस्से में स्थित है, न कि केवल उसकी भाषा कौशल में। इसका अर्थ यह है कि AI को वास्तव में विश्वसनीय (विशेषकर चिकित्सा जैसे क्षेत्रों में) बनाने के लिए, हमें केवल टेक्स्ट वाले हिस्से को नहीं, बल्कि उसके विजुअल (दृश्य) मस्तिष्क को ठीक करने की आवश्यकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।