What Color Is the Text? A Benchmark for Hallucination Induced by Image-Embedded Prompt
यह शोध पत्र "एम्बेडेड स्ट्रूप" (Embedded Stroop) बेंचमार्क और "व्हाट-कलर-ईज़-द-टेक्स्ट" (WCAT) डेटासेट को प्रस्तुत करता है ताकि यह प्रदर्शित किया जा सके कि मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स अक्सर "स्ट्रूप मतिभ्रम" (Stroop hallucinations) का शिकार होते हैं, जहाँ वे छवि में अंतर्निहित टेक्स्ट के वास्तविक रंग के बजाय टेक्स्ट के अर्थ के आधार पर गलत उत्तर देते हैं, जो यह दर्शाता है कि सिमेंटिक पठनीयता (semantic legibility) दृश्य रंग धारणा (visual color perception) पर हावी हो सकती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस की दुनिया में, मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स के रूप में ज्ञात प्रणालियों का एक बढ़ता हुआ वर्ग है। ये वे डिजिटल मस्तिष्क हैं जो छवियों को देख सकते हैं और टेक्स्ट पढ़ सकते हैं, और फिर दुनिया के बारे में सवालों के जवाब देने के लिए उन दोनों इंद्रियों को मिला सकते हैं। वे किसी फोटो का वर्णन करने या किसी चित्र के आधार पर पहेली सुलझाने में उल्लेखनीय रूप से कुशल हो गए हैं। हालाँकि, मनुष्यों की तरह, ये प्रणालियाँ भी भ्रम से अछूती नहीं हैं। वे कभी-कभी जो देखते हैं उससे धोखा खा सकते हैं, या अधिक सटीक रूप से, जिस तरह से वे जो देखते हैं उसकी व्याख्या करते हैं, उससे धोखा खा सकते हैं। इस भ्रम का एक क्लासिक उदाहरण एक प्रसिद्ध मनोवैज्ञानिक परीक्षण से आता है जिसे स्ट्रोप प्रभाव (Stroop effect) कहा जाता है। इस परीक्षण में, एक व्यक्ति को नीले रंग की स्याही में लिखा गया "RED" जैसा शब्द दिखाया जाता है। यदि स्याही का रंग बताने के लिए कहा जाए, तो मानव मस्तिष्क अक्सर लड़खड़ा जाता है क्योंकि वह नीले रंग पर ध्यान केंद्रित करने से पहले स्वचालित रूप से शब्द "RED" को पढ़ लेता है। मस्तिष्क को शब्द के अर्थ को अनदेखा करने और केवल दृश्य रंग पर ध्यान केंद्रित करने के लिए कड़ी मेहनत करनी पड़ती है। वर्षों से, वैज्ञानिक यह जानना चाहते थे कि क्या ये उन्नत कंप्यूटर मॉडल भी उसी तरह के मानसिक ग्लिच (glitch) का शिकार होते हैं जब वे छवियों को देखते हैं।
चीन के बेइहांग विश्वविद्यालय के शोधकर्ताओं की एक टीम ने एक नए प्रयोग के साथ इस प्रश्न की परीक्षा लेने का निर्णय लिया जिसे विशेष रूप से मशीनों के लिए डिज़ाइन किया गया था। उन्होंने "व्हाट कलर इज़ द टेक्स्ट" (What Color Is the Text) नामक एक बेंचमार्क बनाया, जो कंप्यूटर के सामने एक सरल लेकिन भ्रामक छवि प्रस्तुत करता है। कंप्यूटर को एक अलग टेक्स्ट बॉक्स में प्रश्न पूछने के बजाय, उन्होंने प्रश्न को सीधे छवि पर ही लिख दिया। कल्पना कीजिए कि एक सफेद वर्ग है जिस पर काले रंग की स्याही में "What color is the text?" लिखा है। उसी छवि के भीतर, एक और शब्द है, जैसे कि "BLUE", लेकिन यह शब्द लाल स्याही में छपा है। कंप्यूटर से उस शब्द के लिए उपयोग की गई स्याही के रंग को पहचानने के लिए कहा जाता है जिसका नाम "BLUE" है। चुनौती यह है कि कंप्यूटर को "BLUE" शब्द के अर्थ को अनदेखा करना होगा और यह रिपोर्ट करना होगा कि स्याही वास्तव में लाल है। यह सेटअप मशीन को यह चुनने के लिए मजबूर करता है कि वह टेक्स्ट (शब्द) को चुने या जो आँखें देखती हैं उसे।
जब शोधकर्ताओं ने सोलह अलग-अलग आर्टिफिशियल इंटेलिजेंस मॉडलों पर यह परीक्षण किया, जिनमें ओपन-सोर्स प्रोजेक्ट्स से लेकर शक्तिशाली व्यावसायिक सिस्टम तक शामिल थे, तो परिणाम चौंकाने वाले थे। मशीनें सफल होने की तुलना में बहुत अधिक बार विफल हुईं। वास्तव में, जब प्रश्न सीधे चित्र में समाहित था, तो मॉडलों ने अक्सर स्याही के वास्तविक रंग को अनदेखा कर दिया और बस टेक्स्ट में दिए गए रंग का उत्तर दे दिया। उदाहरण के लिए, यदि बैंगनी स्याही में "GREEN" शब्द लिखा गया था, तो मॉडल आत्मविश्वास से "green" कहेगा। यह तब भी हुआ जब मॉडल अलग टेक्स्ट बॉक्स में प्रश्न पूछे जाने पर रंगों को सही ढंग से पहचानने में सक्षम थे। अध्ययन में पाया गया कि इस विशिष्ट प्रकार की त्रुटि, जहाँ मशीन शब्दों के अर्थ से विचलित हो जाती है बजाय दृश्य वास्तविकता के, प्रयासों के एक महत्वपूर्ण हिस्से में हुई। कुछ मामलों में, मॉडलों द्वारा की गई गलतियों में से आधे से अधिक इस विशिष्ट भ्रम के कारण थे, जहाँ उन्होंने रंग के बजाय टेक्स्ट को प्राथमिकता दी।
शोधकर्ता यह सुनिश्चित करना चाहते थे कि यह केवल मॉडलों के सामान्य रूप से रंगों के नाम बताने में खराब होने का मामला नहीं है। इसकी जाँच करने के लिए, उन्होंने छवियों के एक समूह को देखा जहाँ मॉडल पहले अलग से प्रश्न पूछे जाने पर रंगों के नाम सही ढंग से बताने में सफल रहे थे। भले ही मॉडलों को रंगों के नाम पता थे, फिर भी वे तब जाल में फंस गए जब प्रश्न छवि में समाहित था। इससे यह सिद्ध हुआ कि समस्या शब्दावली की कमी या रंगों को देखने में साधारण अक्षमता नहीं थी, बल्कि एक गहरी समस्या थी जहाँ मशीन की टेक्स्ट पढ़ने की क्षमता उसके दृश्य विवरणों को देखने की क्षमता पर हावी हो गई। अध्ययन में यह भी परीक्षण किया गया कि क्या होता है यदि वे टेक्स्ट को पढ़ना कठिन बना देते हैं। जब उन्होंने छवि को उल्टा कर दिया या शब्दों के कुछ हिस्सों को काले ब्लॉकों से ढक दिया, तो मॉडलों ने कम गलतियाँ कीं। यह सुझाव देता है कि भ्रम मशीन की शब्दों के सिमेंटिक (semantic) अर्थ को स्पष्ट रूप से पढ़ने की क्षमता से आता है। जब टेक्स्ट बिखरा हुआ या छिपा हुआ होता है, तो मशीन दृश्य रंग पर अधिक निर्भर करती है, और इसका प्रदर्शन सुधर जाता है।
इन निष्कर्षों के बावजूद, शोधकर्ताओं ने नोट किया कि केवल मशीन को ध्यान देने के लिए कहने से यह समस्या आसानी से हल नहीं होती है। उन्होंने मॉडलों को इस चाल के बारे में चेतावनी देने के लिए विशेष निर्देश देने की कोशिश की, और हालांकि इससे मॉडलों के टेक्स्ट के झांसे में आने की संख्या में कमी आई, लेकिन इससे वे वास्तव में सही रंग देखने में बहुत बेहतर नहीं हुए। मॉडल बस अलग प्रकार की गलतियाँ करने लगे। अध्ययन निष्कर्ष निकालता है कि वर्तमान आर्टिफिशियल इंटेलिजेंस प्रणालियों में एक मौलिक कमजोरी है: जब दृश्य जानकारी और टेक्स्ट के बीच संघर्ष होता है, तो टेक्स्ट की जीत होती है। यह सुझाव देता है कि ये मॉडल वास्तव में उस तरह से दुनिया को "देख" नहीं रहे हैं जैसे मनुष्य देखते हैं, बल्कि वे सीखे गए भाषा के पैटर्न से अत्यधिक प्रभावित हैं। जैसे-जैसे इन प्रणालियों को वास्तविक दुनिया की स्थितियों में तैनात किया जा रहा है, जैसे सड़क के संकेतों को पढ़ना या जटिल वातावरण में वस्तुओं की पहचान करना, टेक्स्ट पर दृष्टि (sight) के ऊपर भरोसा करने की यह प्रवृत्ति अविश्वसनीय निर्णयों की ओर ले जा सकती है। यह कार्य एक स्पष्ट चेतावनी के रूप में कार्य करता है कि इन मशीनों को वास्तव में मजबूत होने के लिए, उन्हें यह सीखना होगा कि जो वे पढ़ते हैं और जो वे देखते हैं, उनके बीच संतुलन कैसे बनाया जाए, न कि एक इंद्रिय को दूसरी पर पूरी तरह से हावी होने दिया जाए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।