CounterCount: A Diagnostic Framework for Counting Bias in Vision Language Models
यह शोधपत्र CounterCount प्रस्तुत करता है, जो एक नैदानिक ढांचा (diagnostic framework) है जो काउंटरफैक्चुअल काउंटिंग कार्यों में विजन-लैंग्वेज मॉडल्स की दृश्य साक्ष्य के बजाय ऑब्जेक्ट प्रायर्स (object priors) पर निर्भरता को प्रकट करता है और उनकी सटीकता में उल्लेखनीय सुधार के लिए एक इन्फरेंस-टाइम अटेंशन मॉड्यूलेशन रणनीति का प्रस्ताव करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, विद्वान तोता है जिसने दुनिया की लाखों किताबें याद कर रखी हैं। आप उस तोते को एक खरगोश की तस्वीर दिखाते हैं और उससे पूछते हैं, "इस खरगोश के कितने कान हैं?" क्योंकि तोते ने खरगोशों के बारे में बहुत सारी कहानियाँ पढ़ी हैं, वह बिना तस्वीर को ठीक से देखे तुरंत जवाब देता है, "दो!" वह अपनी याददाश्त (कि उसे क्या लगता है कि एक खरगोश कैसा दिखना चाहिए) पर भरोसा कर रहा है बजाय अपनी आंखों के (जो वास्तव में फोटो में है)।
अब, कल्पना कीजिए कि आप उसी खरगोश की तस्वीर लेते हैं और एक डिजिटल एडिटर का उपयोग करके उसे चार कान दे देते हैं। यदि आप तोते से फिर से पूछते हैं, तो एक वास्तव में चौकस जानवर कहेगा, "चार!" लेकिन यह बुद्धिमान तोता, अपनी याददाश्त में ही अटका हुआ, हठपूर्वक कहता है, "दो!" वह दृश्य साक्ष्य को अनदेखा कर देता है क्योंकि उसका "किताबी ज्ञान" इतना मजबूत है कि वह उसकी दृष्टि पर हावी हो जाता है।
यही वह समस्या है जिसकी जांच CounterCount करता है।
समस्या: "किताबी ज्ञान" बनाम "आंखें" का संघर्ष
शोधकर्ताओं ने पाया कि आधुनिक AI मॉडल (जिन्हें विजन-लैंग्वेज मॉडल्स कहा जाता है) पढ़ने और बात करने में बहुत अच्छे हैं, लेकिन वे सरल गिनती वाले कार्यों में अक्सर विफल हो जाते हैं जब तस्वीर उनके प्रशिक्षण डेटा (training data) से अलग होती है। वे उस तोते की तरह हैं: वे सामने मौजूद वास्तविक छवि के बजाय अपने आंतरिक "नियम पुस्तिका" पर अधिक भरोसा करते हैं।
समाधान: एक डायग्नोस्टिक टेस्ट किट
इसे सिद्ध करने के लिए, टीम ने CounterCount नामक एक विशेष टेस्ट किट बनाई।
- सेटअप: उन्होंने छवियों के जोड़े बनाए। एक सामान्य तस्वीर है (जैसे, 4 पहियों वाली एक कार)। दूसरी एक "काउंटरफैक्टुअल" (counterfactual) तस्वीर है जहाँ उन्होंने डिजिटल रूप से एक विशिष्ट हिस्से को बदल दिया है (जैसे, वही कार अब 6 पहियों वाली है)।
- परीक्षण: उन्होंने AI से पूछा, "इस कार के कितने पहिए हैं?"
- परिणाम: AI सामान्य तस्वीरों पर बहुत अच्छा प्रदर्शन करता है। लेकिन अजीब, एडिट की गई तस्वीरों पर, वह अक्सर विफल हो जाता है, और "सामान्य" उत्तर (4) पर अड़ा रहता है बजाय वास्तविक पहियों (6) को गिनने के। इससे यह सिद्ध हुआ कि AI अपने पूर्व-सीखे गए पूर्वाग्रहों के पक्ष में दृश्य साक्ष्य को अनदेखा कर रहा था।
"क्यों": AI देख तो रहा है, पर सुन नहीं रहा है
आप सोच सकते हैं कि AI अतिरिक्त पहियों को देख नहीं पा रहा है इसलिए विफल हो रहा है। शोधकर्ताओं ने गहराई से जांच की और पाया कि ऐसा नहीं था।
- रूपक (Metaphor): कल्पना कीजिए कि AI एक परीक्षा देने वाला छात्र है। छात्र आरेख (diagram) के सही हिस्से (पहियों) को देख रहा है, लेकिन उसका दिमाग अपने भीतर गूँजती एक तेज़ आवाज़ से विचलित है जो चिल्ला रही है, "कारों के 4 पहिए होते हैं!" छात्र 6 पहिए देखता है, लेकिन वह "तेज़ आवाज़" (भाषाई पूर्वाग्रह/language bias) दृश्य संकेत को दबा देती है।
- प्रमाण: AI के आंतरिक "अटेंशन मैप्स" (जो दिखाते हैं कि AI किस चीज़ पर ध्यान केंद्रित कर रहा है) को देखकर, शोधकर्ताओं ने देखा कि AI पहियों को देख तो रहा था। हालाँकि, वह उन पहियों को अपनी याददाश्त को ओवरराइड करने के लिए पर्याप्त "मानसिक भार" (mental weight) नहीं दे पा रहा था।
सुधार: आंखों की आवाज़ को तेज़ करना
शोधकर्ताओं ने अटेंशन मॉड्यूलेशन (Attention Modulation) नामक एक चतुर तकनीक विकसित की।
- उपमा: AI के मस्तिष्क को एक साउंड मिक्सर के रूप में सोचें जिसमें कई स्लाइडर्स हैं। कुछ स्लाइडर्स "दृश्य साक्ष्य" (तस्वीर) को नियंत्रित करते हैं, और अन्य "भाषाई पूर्वाग्रह" (याददाश्त) को नियंत्रित करते हैं।
- क्रिया: उन्होंने एक ऐसा तरीका बनाया जिससे वे मैन्युअल रूप से उन स्लाइडर्स की आवाज़ को बढ़ा सकें जो छवि के विशिष्ट हिस्सों (जैसे पहिये या कान) को गिन रहे हैं और बैकग्राउंड के शोर या विचलित करने वाली "याददाश्त" की आवाज़ को कम कर सकें।
- परिणाम: जब उन्होंने AI के उत्तर देते समय इस "वॉल्यूम कंट्रोल" को लागू किया, तो वह एडिट की गई तस्वीरों को गिनने में बहुत बेहतर हो गया। इसकी सटीकता में 8% तक सुधार हुआ। इसे फिर से प्रशिक्षित करने या नए तथ्य सिखाने की आवश्यकता नहीं थी; इसे बस यह बताने की आवश्यकता थी, "हे, अभी तुम जो देख रहे हो उस पर ज़्यादा ध्यान दो।"
सारांश
संक्षेप में, यह पेपर दिखाता है कि सबसे स्मार्ट AI मॉडल भी "अंधे" हो सकते हैं यदि उनका आंतरिक ज्ञान बहुत मजबूत हो। उन्होंने इसे सिद्ध करने के लिए एक परीक्षण बनाया, पाया कि मॉडल सही चीजों को देख तो रहे थे लेकिन उन पर ध्यान नहीं दे रहे थे, और इसे ठीक करने के लिए AI के निर्णय लेने की प्रक्रिया में दृश्य साक्ष्य को एक तेज़ आवाज़ दी।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।