Revealing the Gap in Human and VLM Scene Perception through Counterfactual Semantic Saliency
यह शोध पत्र काउंटरफैक्चुअल सिमेंटिक सैलिएंसी (CSS) प्रस्तुत करता है, जो एक ब्लैक-बॉक्स फ्रेमवर्क है जो मानव और VLM दृश्य धारणा के बीच एक महत्वपूर्ण अंतर को प्रकट करता है, यह दर्शाता है कि मॉडल मानव साइकोफिजिक्स बेसलाइन की तुलना में लोगों को कम महत्व देते हुए वस्तु के आकार, केंद्रीयता और सैलिएंसी पर अत्यधिक निर्भर हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप और एक बहुत ही उन्नत रोबोट एक व्यस्त सड़क की एक जटिल तस्वीर देख रहे हैं। आप दोनों उस दृश्य का वर्णन करते हैं कि वहां क्या हो रहा है। लेकिन यहाँ एक पेच है, भले ही आप दोनों दृश्य का "सार" समझ लेते हैं, लेकिन आप दोनों पूरी तरह से अलग चीजों पर ध्यान दे रहे हैं।
यह शोध पत्र एक जासूसी कहानी की तरह है जो यह समझने की कोशिश करता है कि इंसान और AI दुनिया को अलग तरह से क्यों देखते हैं, जिसमें एक नया टूल इस्तेमाल किया गया है जिसे Counterfactual Semantic Saliency (CSS) कहा जाता है।
यहाँ उनके अन्वेषण का सरल शब्दों में विवरण दिया गया है:
1. समस्या: "ब्लैक बॉक्स" का रहस्य
लंबे समय से, वैज्ञानिक यह समझने की कोशिश कर रहे थे कि AI कैसे सोचता है, इसके लिए उसके "दिमाग" (कोड) के अंदर झाँककर देखा जाता था। लेकिन आधुनिक AI मॉडल एक विशाल, बंद ब्लैक बॉक्स की तरह हैं; हम उनके अंदर झाँककर यह नहीं देख सकते कि वे क्या सोच रहे हैं। इसके अलावा, साधारण परीक्षण जो केवल यह पूछते हैं कि "क्या यह एक बिल्ली है?" हमें यह नहीं बताते कि AI ने यह तय कैसे किया कि वह एक बिल्ली है।
2. नया टूल: "क्या होगा अगर?" वाला खेल
शोधकर्ताओं ने एक खेल का आविष्कार किया जिसे Counterfactual Semantic Saliency कहा जाता है। इसे "क्या होगा अगर?" कार्ड्स के साथ खेलने जैसा समझें।
- सेटअप: आप AI को एक डॉक (घाट) की फोटो दिखाते हैं जिसमें एक सफेद पक्षी और कुछ मछली पकड़ने का सामान है।
- जादुई इरेज़र (मिटाने वाला): हाई-टेक AI का उपयोग करके, वे डिजिटल रूप से फोटो से पक्षी को "मिटा" देते हैं, बैकग्राउंड को इतनी खूबसूरती से भर देते हैं कि ऐसा लगता है जैसे पक्षी वहां कभी था ही नहीं।
- परीक्षण: वे AI से उस नई फोटो का वर्णन करने के लिए कहते हैं (बिना पक्षी के)।
- मापन: वे मूल फोटो के वर्णन की तुलना "मिटा दी गई" फोटो के वर्णन से करते हैं।
- यदि AI का वर्णन भारी रूप से बदल जाता है (उदाहरण के लिए, "एक पक्षी मछली पकड़ रहा है" से बदलकर "कोई मछली पकड़ रहा है" हो जाता है), तो इसका मतलब है कि AI ने सोचा कि पक्षी बेहद महत्वपूर्ण था।
- यदि वर्णन बहुत कम बदलता है (उदाहरण के लिए, पक्षी गायब होने के बावजूद यह अभी भी कहता है कि "एक पक्षी मछली पकड़ रहा है"), तो AI पक्षी के गायब होने को अनदेखा कर रहा है या भ्रमित (hallucinating) हो रहा है।
ऐसा फोटो के हर ऑब्जेक्ट के लिए करने से, वे एक "हीट मैप" बनाते हैं कि AI के अनुसार सबसे महत्वपूर्ण चीजें क्या हैं।
3. बड़ी खोज: "आकार" का जुनून
उन्होंने 19 अलग-अलग AI मॉडल्स पर यह टेस्ट चलाया और उनकी तुलना 227 वास्तविक मनुष्यों से की। परिणाम चौंकाने वाले थे:
- इंसान जासूसों की तरह होते हैं। हम कहानी की तलाश करते हैं। यदि फोटो में कोई व्यक्ति है, तो हम उन पर ध्यान केंद्रित करते हैं क्योंकि लोग आमतौर पर मुख्य पात्र होते हैं। हम बड़े, खाली दीवारों या विशाल चट्टानों को तब तक अनदेखा करते हैं जब तक कि वे कुछ दिलचस्प न कर रहे हों।
- AI एक विशाल, लालची चुंबक की तरह है। यह आकार (Size) और स्थान (Location) का जुनूनी है।
- साइज बायस (आकार का पूर्वाग्रह): यदि कोई वस्तु बहुत बड़ी है, तो AI सोचता है कि वही सबसे महत्वपूर्ण है, भले ही वह बैकग्राउंड में एक बड़ी चट्टान ही क्यों न हो।
- सेंटर बायस (केंद्र का पूर्वाग्रह): यदि कोई वस्तु तस्वीर के बीच में है, तो AI उसे शो का स्टार मान लेता है।
- "व्यक्ति" के प्रति अंधापन: इंसान स्वाभाविक रूप से लोगों पर ध्यान केंद्रित करते हैं। AI, आश्चर्यजनक रूप से, अक्सर लोगों को अनदेखा कर देता है यदि वे छोटे हैं या केंद्र में नहीं हैं, और इसके बजाय बड़े, चमकीले या केंद्रीय वस्तुओं पर ध्यान केंद्रित करता है।
उपमा: कल्पना कीजिए कि एक विशाल, रंगीन बीच बॉल (समुद्र तट की गेंद) पर एक नन्ही चींटी की फोटो है।
- आप कहेंगे, "देखो, वहां एक चींटी है!" क्योंकि चींटी कहानी का दिलचस्प हिस्सा है।
- AI कहेगा, "यह एक विशाल बीच बॉल है," क्योंकि बॉल 90% पिक्सेल घेरती है। AI "सबसे बड़ी चीज" पर इतना केंद्रित है कि वह वास्तविक विषय को मिस कर देता है।
4. यह क्यों मायने रखता है (शोध पत्र के अनुसार)
शोध पत्र निष्कर्ष निकालता है कि AI और इंसान एक तस्वीर में क्या महत्वपूर्ण है, इस पर सहमत क्यों नहीं होते हैं, इसका मुख्य कारण यह Size Bias है। AI ने यह सीखा है कि "बड़ा = महत्वपूर्ण" क्योंकि इसे लाखों फोटो पर प्रशिक्षित किया गया था जहाँ मुख्य विषय आमतौर पर बड़ा और केंद्र में होता था।
शोधकर्ताओं ने यह भी पाया कि फैंसी "अटेंशन मैप्स" (AI किस ओर देख रहा है, यह देखने का सामान्य तरीका) अक्सर भ्रामक होते हैं। वे एक धुंधले, भ्रमित करने वाले रेखाचित्र की तरह हैं जो उस बात से मेल नहीं खाते जो AI वास्तव में कह रहा है। "क्या होगा अगर?" वाला खेल (CSS) ही स्पष्ट उत्तर पाने का एकमात्र तरीका है।
सारांश
यह शोध पत्र प्रकट करता है कि हालांकि AI तस्वीरों का वर्णन करने में स्मार्ट हो रहा है, लेकिन वह अभी भी दुनिया को एक विकृत लेंस के माध्यम से देख रहा है। वह सबसे बड़ी और केंद्रीय रूप से स्थित चीजों को सबसे महत्वपूर्ण मानता है, जबकि इंसान सबसे अर्थपूर्ण चीजों (जैसे लोग) को देखते हैं। जब तक AI "आकार" के बजाय "अर्थ" को महत्व देना नहीं सीख जाता, तब तक वह पेड़ों के बीच के जंगल को—या इस मामले में, एक विशाल बीच बॉल पर मौजूद नन्ही चींटी को—मिस करता रहेगा।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।