Evaluating AI-Generated Images of Cultural Artifacts with Community-Informed Rubrics
यह शोध पत्र हाशिए पर रहने वाले समूहों को कलाकृतियों के सांस्कृतिक रूप से उपयुक्त निरूपणों को परिभाषित करने के लिए "प्रणालीकरण" (systematization) चरण में शामिल करके, एआई मूल्यांकन में सामुदायिक दृष्टिकोणों को एकीकृत करने के लिए एक ढांचे का प्रस्ताव करता है, जिन्हें फिर मल्टीमॉडल एलएलएम (multimodal LLMs) का उपयोग करके स्वचालित माप उपकरणों में कार्यान्वित किया जाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत तेज़, बहुत बुद्धिमान रोबोट कलाकार को दुनिया भर की चीज़ों के चित्र बनाने के लिए काम पर रख रहे हैं। आप उससे एक दृष्टिबाधित व्यक्ति के लिए "सफेद छड़ी" (white cane), भारत की एक "कसावु साड़ी" (Kasavu saree), या किसी उत्सव की "साँप जैसी नाव" (snake boat) बनाने के लिए कहते हैं।
रोबोट तेज़ तो है, लेकिन वह थोड़ा ख्याली पुलाव भी पकाता है। कभी-कभी, वह एक ऐसी छड़ी बनाता है जो कैंडी केन (candy cane) जैसी दिखती है, या एक ऐसी नाव जो खिलौने जैसी दिखती है, या एक ऐसा ढोल जिसका आकार गलत होता है। उन लोगों के लिए जो वास्तव में इन वस्तुओं का उपयोग करते हैं या ये कपड़े पहनते हैं, ये गलतियाँ केवल "कलात्मक विकल्प" नहीं हैं—उन्हें ऐसा महसूस होता है जैसे रोबोट उन्हें बिल्कुल भी समझ नहीं पाया है। यह वैसा ही है जैसे कोई आपकी दादी माँ की पसंदीदा रेसिपी को उन सामग्रियों के साथ बनाए जिसे उन्होंने कभी सुना भी न हो; वह दिखने में तो भोजन जैसा लगता है, लेकिन वह उनका भोजन नहीं है।
यह शोध पत्र इस बारे में है कि कैसे शोधकर्ताओं की एक टीम ने सही लोगों से मदद मांगकर इस समस्या को ठीक किया। यहाँ इसकी कहानी है कि उन्होंने यह कैसे किया, जिसे सरल रूप में नीचे समझाया गया है।
1. समस्या: रोबोट अंदाज़ा लगा रहा है
शोधकर्ताओं ने देखा कि AI इमेज जनरेटर (जैसे DALL-E या Stable Diffusion) अक्सर सांस्कृतिक विवरणों को गलत कर देते हैं। वे एक पारंपरिक भारतीय खेल को पश्चिमी बोर्ड गेम के साथ मिला सकते हैं, या एक दृष्टिबाधित व्यक्ति के उपकरण को इस तरह बना सकते हैं कि वह बेकार हो जाए।
इसे ठीक करने का सामान्य तरीका कंप्यूटर प्रोग्राम से चित्रों की जाँच करवाना है। लेकिन शोधकर्ताओं ने महसूस किया: एक कंप्यूटर नहीं जानता कि "सांस्कृतिक सम्मान" कैसा महसूस होता है। वह केवल उसी को जानता है जिस पर उसे प्रशिक्षित किया गया है, और यदि उसे मुख्य रूप से पश्चिमी छवियों पर प्रशिक्षित किया गया है, तो वह अन्य संस्कृतियों की बारीकियों को मिस कर देगा।
2. समाधान: "सामुदायिक रेसिपी बुक"
कंप्यूटर को अंदाज़ा लगाने देने के बजाय, शोधकर्ताओं सीधे स्रोत तक पहुँचे। उन्होंने तीन विशिष्ट समूहों के साथ कार्यशालाएँ आयोजित कीं:
- यूके (UK) के दृष्टिबाधित और कम दृष्टि वाले लोग।
- केरल के निवासी, जो दक्षिण भारत का एक राज्य है।
- तमिलनाडु के निवासी, जो दक्षिण भारत का एक पड़ोसी राज्य है।
उन्होंने केवल यह नहीं पूछा, "क्या यह चित्र अच्छा है?" इसके बजाय, उन्होंने समुदाय के सदस्यों के साथ एक "विशेषज्ञ स्वाद-परीक्षक" (expert taste-testers) की तरह व्यवहार किया। उन्होंने समूह को AI द्वारा बनाई गई तस्वीरें दिखाईं और पूछा:
- "क्या आप यह तस्वीर अपने परिवार को दिखाएंगे?"
- "इस तस्वीर में क्या गलत है?"
- "इस तस्वीर में क्या होना अनिवार्य है ताकि यह वास्तविक लगे?"
3. प्रक्रिया: "एहसास" से "नियम पुस्तिका" तक
यह इस शोध पत्र का सबसे महत्वपूर्ण हिस्सा है। शोधकर्ताओं ने समुदाय के अहसासों को एक नियम पुस्तिका (या रूब्रिक/Rubric) में बदल दिया।
इसे इस तरह समझें:
- "एहसास" (The Vibe): एक समुदाय का सदस्य कहता है, "यह नाव गलत लग रही है। इसे लंबा और संकरा होना चाहिए, और नाविकों को पीछे की ओर देखना चाहिए।"
- "नियम पुस्तिका" (The Rulebook): शोधकर्ता उस एहसास को एक सख्त चेकलिस्ट में बदल देते हैं:
- क्या नाव लंबी और संकरी है? (हाँ/नहीं)
- क्या नाविक पीछे की ओर देख रहे हैं? (हाँ/नहीं)
- क्या नाव का अगला हिस्सा नुकीला है? (हाँ/नहीं)
यदि AI चित्र हर एक जाँच को पास कर लेता है, तो उसे "पास" माना जाता है। यदि वह एक भी जाँच में विफल रहता है, तो उसे "फेल" माना जाता है।
उन्होंने छह अलग-अलग वस्तुओं के लिए ऐसा किया: एक सफेद छड़ी, एक ब्रेल नोटटेकर, एक साँप जैसी नाव, एक पारंपरिक ढोल, एक बोर्ड गेम और एक साड़ी।
4. ट्विस्ट: क्या एक रोबोट नियम पुस्तिका पढ़ सकता है?
एक बार जब उनके पास ये समुदाय-निर्मित नियम पुस्तिकाएं आ गईं, तो शोधकर्ताओं ने एक बड़ा सवाल पूछा: क्या हम इन नियमों का उपयोग करके चित्रों को स्वचालित रूप से ग्रेड करने के लिए एक अलग AI ("जज AI") का उपयोग कर सकते हैं?
उन्होंने इसे आज़माया। उन्होंने शक्तिशाली AI जज में AI-जनरेटेड चित्र और सामुदायिक नियम पुस्तिकाएँ डालीं।
- अच्छी खबर: AI जज स्पष्ट गलतियों को पकड़ने में आश्चर्यजनक रूप से अच्छा था। वह बता सकता था कि छड़ी का रंग गलत था या नाव घर जैसी दिख रही थी।
- बुरी खबर: AI जज कभी-कभी पेचीदा चीज़ों में संघर्ष करता था। उदाहरण के लिए, उसे यह जाँचने में कठिनाई हुई कि ब्रेल डिवाइस पर "बिंदु" (dots) सही पैटर्न में व्यवस्थित थे या नहीं, या यह जाँचने में कि साड़ी का कपड़ा सही प्रकार के सूती (cotton) जैसा दिखता है या नहीं।
यह गणित के टेस्ट को ग्रेड करने के लिए एक रोबोट को काम पर रखने जैसा है। वह यह जाँचने में बहुत अच्छा है कि संख्याएँ सही हैं या नहीं, लेकिन वह यह मिस कर सकता है कि छात्र ने वहां तक पहुँचने के लिए किस तरीके का उपयोग किया था।
5. बड़ा सबक: पहले इंसान, फिर रोबोट
यह शोध पत्र एक बहुत ही महत्वपूर्ण संदेश के साथ समाप्त होता है: आप किसी संस्कृति की "आत्मा" को स्वचालित (automate) नहीं कर सकते।
- "सिस्टमैटाइजेशन" चरण (मानवीय हिस्सा): यह वह जगह है जहाँ आपको असली लोगों की आवश्यकता है। आपको दृष्टिबाधित समुदाय की आवश्यकता है जो आपको बताए कि एक छड़ी का एक सफेद हिस्सा होना अनिवार्य है, या केरल के निवासियों की आवश्यकता है जो आपको बताएं कि एक नाव का एक विशिष्ट नुकीला पिछला हिस्सा होना अनिवार्य है। यह "रेसिपी" है।
- "ऑपरेशनलाइजेशन" चरण (रोबोट वाला हिस्सा): यह वह जगह है जहाँ आप उस रेसिपी को जाँचने के लिए AI का उपयोग कर सकते हैं। रोबोट तेज़ी से 1,000 चित्रों को स्कैन कर सकता है और कह सकता है, "हे, इनमें से 900 में नाव का पिछला हिस्सा गलत है।"
निष्कर्ष (The Takeaway)
यह शोध पत्र इस बात का ब्लूप्रिंट है कि एक ऐसा AI कैसे बनाया जाए जो सभी का सम्मान करे। यह कहता है:
- AI को यह तय न करने दें कि "सांस्कृतिक रूप से सही" क्या है। वह कैंडी केन और सफेद छड़ी के बीच का अंतर नहीं जानता।
- पहले समुदाय से पूछें। उनके जीवन के अनुभवों को एक स्पष्ट चेकलिस्ट में बदलें।
- भारी काम करने के लिए AI का उपयोग करें। एक बार जब आपके पास चेकलिस्ट हो, तो रोबोट को हजारों छवियों की जाँच करने दें ताकि गलतियाँ ढूंढी जा सकें।
ऐसा करके, हम एक ऐसे AI से आगे बढ़ते हैं जो अनजाने में संस्कृतियों को मिटा देता है, एक ऐसे AI की ओर बढ़ते हैं जो उन लोगों द्वारा निर्देशित है जो वास्तव में उन संस्कृतियों को जीते हैं। यह रोबोट को स्थानीय लोगों द्वारा खींचा गया नक्शा देने जैसा है, बजाय इसके कि उसे रास्ता खोजने के लिए अंदाज़ा लगाने दिया जाए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।