"It's trained by non-disabled people": Evaluating How Image Quality Affects Product Captioning with Vision-Language Models
यह शोध पत्र इस बात का मूल्यांकन करता है कि कैसे सामान्य छवि गुणवत्ता संबंधी मुद्दे दृष्टिबाधित और अल्प-दृष्टि वाले उपयोगकर्ताओं के लिए उत्पाद कैप्शन उत्पन्न करने में विजन-लैंग्वेज मॉडल्स की सटीकता को कम करते हैं, जो प्रदर्शन में एक महत्वपूर्ण गिरावट को प्रकट करता है और यह सुनिश्चित करने के लिए विकलांगता-केंद्रित मूल्यांकन प्रथाओं की आवश्यकता पर बल देता है कि ये उपकरण वास्तविक दुनिया की सुलभता आवश्यकताओं को पूरा करें।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप आँखों पर पट्टी बाँधे हुए हैं और अपनी रसोई में पीनट बटर (मूंगफली का मक्खन) का एक जार पहचानने की कोशिश कर रहे हैं। आप अपना फोन उठाते हैं, एक फोटो खींचते हैं, और एक सुपर-स्मार्ट एआई असिस्टेंट से पूछते हैं, "यह क्या है?"
एक आदर्श दुनिया में, एआई तुरंत कहेगा, "यह क्रीमी पीनट बटर का एक जार है, ब्रांड का नाम 'जिफ' (Jif) है, और इसमें कोई अतिरिक्त चीनी नहीं है।" लेकिन वास्तविक दुनिया में, आपका हाथ काँप सकता है, रोशनी कम हो सकती है, या आपने एक अजीब कोण (एंगल) से फोटो ली होगी। एआई उस धुंधली, टेढ़ी-मेढ़ी तस्वीर को देखकर भ्रमित हो सकता है और अनुमान लगा सकता है, "मुझे लगता है कि यह... शायद जैली का एक जार है? या सूप का एक डिब्बा?"
यह शोध पत्र, जिसका शीर्षक है "इसे गैर-दिव्यांग लोगों द्वारा प्रशिक्षित किया गया है" (It's trained by non-disabled people), ठीक इसी बात की जांच करता है कि ऐसा क्यों होता है और हम इसे कैसे ठीक कर सकते हैं। शोधकर्ताओं ने देखा कि विजन-लैंग्वेज मॉडल्स (VLMs)—जो सीइंग एआई (Seeing AI) और चैटजीपीटी (ChatGPT) जैसे टूल्स के पीछे की "आँखें" और "दिमाग" हैं—कैसे दृष्टिबाधित (BLV) लोगों द्वारा खाद्य पदार्थ और दवाओं जैसे रोजमर्रा के उत्पादों को पहचानने के दौरान प्रदर्शन करते हैं।
यहाँ उनके निष्कर्षों का विवरण दिया गया है, जिसमें रोजमर्रा के उदाहरणों का उपयोग किया गया है।
1. "परफेक्ट फोटो" की समस्या
अधिकांश एआई मॉडल उन छात्रों की तरह हैं जो केवल परीक्षा के लिए आदर्श, पाठ्यपुस्तक वाले रेखाचित्रों (डायग्राम) का अध्ययन करते हैं। उन्हें लाखों उच्च-गुणवत्ता वाली, पूरी तरह से केंद्रित और अच्छी रोशनी वाली तस्वीरों पर प्रशिक्षित किया गया है जो दृष्टिमान लोगों द्वारा ली गई हैं।
- वास्तविकता: जब कोई दृष्टिबाधित व्यक्ति फोटो लेता है, तो वह अक्सर हिलती हुई, धुंधली या किनारों से कटी हुई होती है (जैसे किसी पूरी कार की फोटो लेने की कोशिश करना जबकि आपको केवल उसका अगला बंपर दिख रहा हो)।
- परिणाम: एआई भ्रमित हो जाता है। अध्ययन में पाया गया कि जबकि ये एआई परफेक्ट फोटो पर 98% सटीक होते हैं, धुंधलेपन या खराब फ्रेमिंग जैसी सामान्य समस्याओं के साथ इनकी सटीकता घटकर 75% रह जाती है। यदि फोटो में एक से अधिक समस्याएं हैं (धुंधली और टेढ़ी दोनों), तो सटीकता और भी कम हो जाती है।
2. "हैलुसिनेशन" (भ्रम) का खतरा
जब एआई स्पष्ट रूप से देख नहीं पाता, तो वह केवल यह नहीं कहता कि "मुझे नहीं पता।" इसके बजाय, वह अक्सर आत्मविश्वास के साथ गलत अनुमान लगाता है, जिसे "हैलुसिनेशन" (Hallucination) कहा जाता है।
- उपमा: एक ऐसे छात्र की कल्पना करें जो परीक्षा दे रहा है और उसे उत्तर नहीं पता। खाली छोड़ने के बजाय, वह एक ऐसा उत्तर लिख देता है जो सुनने में तर्कसंगत लगता है।
- खतरा: अध्ययन में, एआई ने लोशन की बोतल को पेन समझ लिया, या नाशपाती के डिब्बे को आड़ू (पीच) बताया। एक दृष्टिमान व्यक्ति के लिए, यह एक मजेदार गलती हो सकती है। लेकिन एक दृष्टिबाधित व्यक्ति के लिए जिसे आड़ू से गंभीर एलर्जी है, यह गलती जानलेवा हो सकती है। एआई कह सकता है, "यह सुरक्षित है," जबकि वास्तव में वह खतरनाक हो सकता है।
3. "महत्वपूर्ण विवरणों की कमी" का मुद्दा
भले ही एआई सामान्य विचार सही पकड़ लेता है, लेकिन वह अक्सर उन महत्वपूर्ण विवरणों को छोड़ देता है जिनकी दृष्टिबाधित लोगों को वास्तव में आवश्यकता होती है।
- उपमा: कल्पना कीजिए कि आप किसी दोस्त से पूछते हैं, "इस बॉक्स में क्या है?" और वह कहता है, "यह अनाज (सीरियल) का एक डिब्बा है।" आप पूछते हैं, "कौन सा वाला? क्या यह मीठा वाला है या स्वास्थ्यवर्धक वाला? क्या इसमें किशमिश है या मेवे (नट्स) हैं?" वह बस कंधे उचका देता है और कहता है, "यह अनाज है।"
- निष्कर्ष: अध्ययन ने दिखाया कि एआई अक्सर ब्रांड का नाम, स्वाद (फ्लेवर), या सामग्री (इन्ग्रेडिएंट्स) को मिस कर देता है। वह "सूप" कह सकता है जब आपको विशेष रूप से यह जानने की जरूरत हो कि यह "लो-सोडियम टोमेटो सूप" है। मधुमेह या खाद्य एलर्जी से जूझ रहे व्यक्ति के लिए, केवल "सूप" कहना काफी नहीं है; उन्हें विशिष्ट लेबल की आवश्यकता होती है।
4. "ब्लाइंड फोटोग्राफर" का संघर्ष
शोध पत्र में 86 दृष्टिबाधित लोगों का सर्वेक्षण भी किया गया ताकि उनके अनुभव को समझा जा सके।
- हताशा: एक अच्छी फोटो लेना सबसे कठिन हिस्सा है। मार्गदर्शन करने वाले ऐप्स (जैसे कि वस्तु केंद्र में होने पर बीप बजना) के बावजूद, उपयोगकर्ताओं ने फोन को स्थिर रखने या यह जानने में कठिनाई महसूस की कि रोशनी सही थी या नहीं।
- गोपनीयता की दुविधा: कई उपयोगकर्ता मानव सहायक से पूछने के बजाय एआई का उपयोग करना पसंद करते हैं क्योंकि वे किसी अजनबी के साथ अपने निजी विवरण (जैसे उनकी दवाएं या प्रसाधन सामग्री) साझा नहीं करना चाहते। लेकिन यदि एआई अविश्वसनीय है, तो वे गोपनीयता और सुरक्षा के बीच चुनने को मजबूर हैं।
5. मुख्य संदेश: "गैर-दिव्यांग लोगों द्वारा प्रशिक्षित"
शोध पत्र का शीर्षक बिल्कुल सटीक है। एआई मॉडल उन जिम ट्रेनर्स की तरह हैं जिन्होंने कभी विकलांगता का अनुभव नहीं किया है। वे यह नहीं समझते कि कांपते हाथों से या अंधेरे कमरे में फोटो लेना कैसा होता है। वे "परफेक्ट" इनपुट के लिए अनुकूलित हैं, न कि "वास्तविक जीवन" के इनपुट के लिए।
इसी कारण से, एआई तब विफल हो जाता है जब इसकी सबसे अधिक आवश्यकता होती है: दैनिक जीवन की अव्यवस्थित और अपूर्ण वास्तविकता में।
भविष्य के लिए इसका क्या अर्थ है?
शोधकर्ता केवल समस्याओं की ओर इशारा नहीं कर रहे हैं; वे उन्हें ठीक करने का एक रोडमैप भी दे रहे हैं:
- "मेसी" (अव्यवस्थित) डेटा पर प्रशिक्षण दें: एआई को केवल परफेक्ट फोटो खिलाने के बजाय, हमें इसे दृष्टिबाधित लोगों द्वारा ली गई हजारों धुंधली, टेढ़ी और खराब रोशनी वाली तस्वीरों पर प्रशिक्षित करने की आवश्यकता है। यह उस छात्र को सिखाने जैसा है कि कांपते हाथों के साथ परीक्षा कैसे देनी है।
- बेहतर फीडबैक: केवल "मैं इसे देख नहीं पा रहा हूँ" कहने के बजाय, ऐप को यह कहना चाहिए, "मैं इसे देख नहीं पा रहा हूँ क्योंकि फोटो बहुत धुंधली है। कृपया प्रकाश के करीब जाने का प्रयास करें।"
- ईमानदारी: एआई को आत्मविश्वास के साथ अनुमान लगाने के बजाय, यह सीखना चाहिए कि "मुझे यकीन नहीं है" कैसे कहना है। गलत सलाह देने से बेहतर है कि अपनी अज्ञानता स्वीकार कर ली जाए।
संक्षेप में: यह शोध पत्र तर्क देता है कि एआई को दृष्टिबाधित और कम दृष्टि वाले लोगों के लिए वास्तव में सहायक होने के लिए, इसे एक दृष्टिमान व्यक्ति की तरह एक परफेक्ट फोटो को देखने के बजाय, एक मददगार सहायक की तरह व्यवहार करना होगा जो वास्तविक दुनिया की चुनौतियों को समझता है। हमें ऐसा एआई बनाने की आवश्यकता है जो जीवन के "धुंधले" क्षणों को संभालने के लिए पर्याप्त मजबूत हो।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।