Whose Art Counts? Model- and Prompt-Dependent Associations in Vision-Language Judgments of Museum Art
यह शोध पत्र कलात्मक मूल्य का आकलन करते समय विजन-लैंग्वेज मॉडल्स और प्रॉम्प्ट संरचनाएं संग्रहालय मेटाडेटा के साथ कैसे परस्पर क्रिया करती हैं, इसका मूल्यांकन करने के लिए एक आर्काइव-कंडीशन्ड ऑडिट प्रोटोकॉल प्रस्तुत करता है, जो मेट्रोपॉलिटन म्यूजियम ऑफ आर्ट के केस स्टडी के माध्यम से यह प्रदर्शित करता है कि "इन्फ्लुएंस" प्रॉम्प्ट्स सबसे सुसंगत श्रेणी-आधारित अंतर प्रदान करते हैं जबकि क्रॉस-मॉडल और क्रॉस-प्रॉम्प्ट सामान्यीकरण की सीमाओं को उजागर करते हैं।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपने अभी-अभी एक सुपर-स्मार्ट रोबोट लाइब्रेरियन बनाया है जिसने लाखों किताबें पढ़ी हैं और अरबों तस्वीरें देखी हैं। आप उससे पूछते हैं, "इनमें से कौन सी पेंटिंग एक उत्कृष्ट कृति (masterpiece) है?" या "किसने इतिहास बदल दिया?" आप उम्मीद करते हैं कि रोबोट कला को वैसे ही देखेगा जैसे एक इंसान देखता है—सुंदरता और कौशल के आधार पर एक निष्पक्ष उत्तर देने के लिए। लेकिन यहाँ एक पेंच है: यह रोबोट कला को वैसे नहीं "देखता" जैसे एक इंसान देखता है। यह पैटर्न पहचानता है। इसने इंटरनेट पर तस्वीरों को शब्दों के साथ मिलाने से सीखा है। यदि इंटरनेट पर ज्यादातर यह कहा गया कि "महान कलाकार" पुरुष थे, तो रोबोट यह सीख सकता है कि "महान कला" का स्वरूप एक पुरुष के काम जैसा दिखता है, भले ही वह गलत हो। यह विज़न-लैंग्वेज मॉडल्स (VLMs) की दुनिया है: ऐसे कंप्यूटर जो छवियों को शब्दों से जोड़ते हैं। बड़ा सवाल केवल यह नहीं है कि "क्या रोबोट स्मार्ट है?" बल्कि यह है कि "रोबोट ने किस तरह की दुनिया से सीखा है?" और "क्या रोबोट का उत्तर बदल जाता है यदि हम प्रश्न को अलग तरीके से पूछें?" संग्रहालय अब इन रोबोटों से भरे हुए हैं, जो लोगों को कला खोजने में मदद कर रहे हैं, लेकिन यदि रोबोट पक्षपाती है, तो वह महिलाओं और अन्य अल्पप्रतिनिधित्व वाले रचनाकारों की कहानियों को छिपा सकता है, जिससे वे वास्तव में जितने महत्वपूर्ण हैं, उससे कम महत्वपूर्ण दिखाई देने लगते हैं।
इसलिए, शोधकर्ताओं की एक टीम ने इन रोबोट लाइब्रेरियन को एक बहुत ही विशिष्ट परीक्षण में डाला। उन्होंने केवल रोबोटों से अनुमान लगाने के लिए नहीं कहा; उन्होंने यह देखने के लिए एक सख्त खेल तैयार किया कि क्या रोबोट निष्पक्ष खेल रहे हैं। उन्होंने मेट्रोपॉलिटन म्यूजियम ऑफ आर्ट से कला की 445 डिजिटल तस्वीरें लीं। लेकिन यहाँ एक मोड़ था: वे जानते थे कि संग्रहालय के रिकॉर्ड अव्यवस्थित हैं। कई पुरानी कलाकृतियों के साथ कोई स्पष्ट नाम जुड़ा नहीं होता है। इसलिए, उन्होंने समूह को दो भागों में विभाजित किया: 61 कृतियों का एक छोटा समूह जहाँ रचनाकार का नाम ज्ञात था (और उन्होंने नाम के आधार पर लिंग का अनुमान लगाया), और अज्ञात रचनाकारों वाला एक बड़ा समूह जिसमें 384 कृतियाँ थीं। वे देखना चाहते थे कि क्या रोबोटों ने नामित पुरुष कलाकारों को नामित महिला कलाकारों की तुलना में "उच्च स्कोर" दिया।
लेकिन उन्होंने केवल एक प्रश्न नहीं पूछा। उन्होंने रोबोटों से चार अलग-अलग तरीकों से पूछा: "क्या यह एक उत्कृष्ट कृति (masterpiece) है?", "क्या यह गुणवत्तापूर्ण (quality) कार्य है?", "क्या यह प्रभावशाली (influential) है?", और यह जांचने के लिए एक कंट्रोल प्रश्न कि क्या रोबोट ध्यान दे रहा है। उन्होंने इस परीक्षण को चार अलग-अलग रोबोट दिमागों (OpenAI CLIP, OpenCLIP B/32, OpenCLIP L/14, और SigLIP) पर चलाया।
यहाँ उन्हें जो मिला, वह थोड़ा चौंकाने वाला है: रोबोटों के बीच सहमति नहीं थी।
यह एक सरल कहानी नहीं थी कि "सभी रोबोट सेक्सिस्ट हैं।" इसके बजाय, उत्तर पूरी तरह से इस पर निर्भर था कि आप किस रोबोट से पूछ रहे हैं और आप कैसे पूछ रहे हैं।
- जब उन्होंने "प्रभाव" (influence) (एक कलाकार ने इतिहास को कितना बदला) के बारे में पूछा, तो दो रोबोटों (OpenAI CLIP और OpenCLIP L/14) ने एक स्पष्ट संकेत दिया: उन्होंने पुरुष-अनुमानित कार्यों को महिला-अनुमानित कार्यों की तुलना में उच्च रेटिंग दी। यह ऐसा था जैसे रोबोट कह रहा हो, "ओह, इतिहास की किताबें कहती हैं कि पुरुषों ने चीजें बदली हैं, इसलिए मैं उन्हें उच्च स्कोर दूँगा।"
- हालांकि, जब उन्होंने "गुणवत्ता" (quality) या "उत्कृष्ट कृति" (masterpiece) के बारे में पूछा, तो परिणाम अस्त-व्यस्त थे। एक रोबोट कह सकता था "पुरुष बेहतर हैं," दूसरा कह सकता था "महिलाएं बेहतर हैं," और तीसरा कह सकता था "मुझे कोई अंतर नहीं दिखता।"
- एक रोबोट, SigLIP, ने वास्तव में विपरीत परिणाम दिया, जिसमें महिला-अनुमानित कार्यों को उच्च रेटिंग दी गई, हालांकि शोधकर्ताओं ने नोट किया कि संख्याएँ थोड़ी अस्थिर थीं और उन्हें सटीक रूप से पकड़ना कठिन था।
इस शोध पत्र की सबसे महत्वपूर्ण बात यह है कि आप इन उत्तरों का औसत नहीं निकाल सकते। यदि आप सभी चार रोबोटों के स्कोर को लेकर उन्हें एक बड़े नंबर में मिला देंगे, तो आपको एक झूठ मिलेगा। रोबोट बहुत अलग हैं। एक रोबोट का "उच्च स्कोर" दूसरे के "उच्च स्कोर" के समान नहीं है। शोधकर्ता तर्क देते हैं कि "पक्षपात" तकनीक में कोई निश्चित दोष नहीं है; यह एक मापन संबंधी समस्या (measurement problem) है। परिणाम इस बात पर निर्भर करता है कि आप किस उपकरण का उपयोग करते हैं और आप सटीक रूप से कौन से शब्द टाइप करते हैं।
अध्ययन यह भी बताता है कि संग्रहालय के अपने रिकॉर्डों ने बड़ी भूमिका निभाई। क्योंकि 445 में से 384 कलाकृतियों के रचनाकार ज्ञात नहीं थे, इसलिए रोबोट उनकी तुलना भी नहीं कर सके। "नामित" कलाकार संग्रहालय के संग्रह का एक बहुत ही छोटा, विशिष्ट हिस्सा थे। शोधकर्ता चेतावनी देते हैं कि हम यह नहीं कह सकते कि ये रोबोट सामान्य रूप से महिला कलाकारों से नफरत करते हैं; हम केवल इतना कह सकते हैं कि इस विशिष्ट परीक्षण में, इन विशिष्ट शब्दों के साथ और इन विशिष्ट चित्रों के सेट के साथ, कुछ रोबानों ने पुरुष नामों के पक्ष में झुकाव दिखाया।
अंत में, यह शोध पत्र यह नहीं कहता कि "रोबोट टूटे हुए हैं" या "रोबोट पूर्ण हैं।" यह कहता है, "सावधान रहें।" यदि कोई संग्रहालय कला को रैंक करने के लिए एक रोबोट का उपयोग करता है, तो रैंकिंग केवल इस बात का प्रतिबिंब हो सकती है कि रोबोट को कैसे प्रशिक्षित किया गया था और प्रश्न कैसे पूछा गया था, न कि कला का वास्तविक मूल्य। शोधकर्ता सुझाव देते हैं कि एक "सत्य" खोजने के बजाय, हमें रोबोटों के बीच के असहमति को सुनने की आवश्यकता है। यदि एक रोबोट कहता है "यह एक उत्कृष्ट कृति है" और दूसरा कहता है "नहीं," तो वह असहमति वास्तव में सबसे ईमानदार उत्तर है जो हमें मिल सकता है: यह हमें बताता है कि प्रश्न जितना हमने सोचा था उससे कहीं अधिक कठिन है, और रोबोट की राय एक बहुत शोर भरे कमरे में केवल एक शोर भरी आवाज़ है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।