MINERVA-Cultural: A Benchmark for Cultural and Multilingual Long Video Reasoning
यह शोधपत्र MINERVA-Cultural को प्रस्तुत करता है, जो एक चुनौतीपूर्ण बहुभाषी बेंचमार्क है जिसमें वर्तमान अत्याधुनिक वीडियो भाषा मॉडलों की महत्वपूर्ण सांस्कृतिक और दृश्य तर्क संबंधी सीमाओं का मूल्यांकन करने और उन्हें उजागर करने के लिए 18 वैश्विक स्थानीय परिवेशों (locales) में मानव-जनित एनोटेशन शामिल हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को वीडियो के माध्यम से दुनिया को समझना सिखा रहे हैं। अब तक, आपने उसे ज्यादातर हॉलीवुड की फिल्में, लंदन की खबरें और न्यूयॉर्क के खेल दिखाए हैं। वह इनमें काफी कुशल हो गया है, लेकिन यदि आप अचानक उसे एक पारंपरिक भारतीय शादी, मैक्सिकन 'डे ऑफ द डेड' उत्सव, या मिस्र का एक स्थानीय स्ट्रीट फूड मार्केट दिखा दें, तो वह पूरी तरह भ्रमित हो जाता है। उसे लग सकता है कि कोई विशिष्ट नृत्य मुद्रा (dance move) एक गलती है, या वह यह नहीं समझ पाता कि उत्सव के दौरान लोग क्यों रो रहे हैं।
यही वह समस्या है जिसे MINERVA-Cultural नामक शोध पत्र (paper) हल करने की कोशिश कर रहा है।
यहाँ इस शोध पत्र की कहानी है, जिसे सरल अवधारणाओं में विभाजित किया गया है:
1. समस्या: "पश्चिमी चश्मे" वाला रोबोट
वर्तमान AI मॉडल उन छात्रों की तरह हैं जिन्होंने केवल एक विशिष्ट पाठ्यपुस्तक (पश्चिमी, अंग्रेजी-भाषा की सामग्री) का उपयोग करके परीक्षा के लिए पढ़ाई की है। वे उस पाठ्यपुस्तक से जुड़े सवालों के जवाब देने में बहुत अच्छे हैं, लेकिन यदि आप उनसे किसी ऐसी संस्कृति के बारे में पूछते हैं जिसे उन्होंने कभी नहीं देखा, तो वे बुरी तरह विफल हो जाते हैं।
अधिकांश वीडियो बेंचमार्क (AI के परीक्षण) एक "केवल-पश्चिमी" परीक्षा की तरह हैं। वे अंग्रेजी के प्रश्न और अमेरिका या यूके के वीडियो का उपयोग करते हैं। इससे एक ऐसा पूर्वाग्रह पैदा होता है जहाँ AI सोचता है कि वह स्मार्ट है, लेकिन वास्तव में वह केवल पाठ्यपुस्तक को रट रहा है। वह वास्तव में दुनिया को नहीं समझता।
2. समाधान: एक वैश्विक शैक्षिक भ्रमण (Global Field Trip)
शोधकर्ताओं ने एक नया, विशाल परीक्षण बनाया है जिसे MINERVA-Cultural कहा जाता है।
- सामग्री: हॉलीवुड फिल्मों के बजाय, उन्होंने दुनिया के 18 विभिन्न कोनों (जैसे भारत, मैक्सिको, मिस्र, जापान, ब्राजील) से 540 वास्तविक वीडियो एकत्र किए। ये वीडियो स्थानीय त्योहारों, खेलों, भोजन और अनुष्ठानों को दर्शाते हैं।
- भाषा: इन वीडियो में उनकी मूल भाषाओं (जैसे तमिल, स्पेनिश या अरबी) में ऑडियो है, और प्रश्न भी उन्हीं भाषाओं में पूछे जाते हैं।
- मानवीय स्पर्श: महत्वपूर्ण बात यह है कि उन्होंने केवल Google Translate का उपयोग नहीं किया। उन्होंने स्थानीय विशेषज्ञों को काम पर रखा—वे लोग जो उन संस्कृतियों में पले-बढ़े हैं—ताकि वे प्रश्न और उत्तर लिख सकें। यह सुनिश्चित करता है कि प्रश्न न केवल भाषाई रूप से सही हों, बल्कि सांस्कृतिक रूप से भी सटीक हों।
उपमा: एक शेफ का परीक्षण करने की कल्पना करें। उन्हें चॉकलेट केक बनाने के लिए कहने के बजाय (जो उन्होंने लाखों बार किया है), आप उन्हें एक ऐसे गाँव का विशिष्ट क्षेत्रीय व्यंजन बनाने के लिए कहते हैं जहाँ वे कभी गए ही नहीं, जिसमें स्थानीय सामग्री और पारंपरिक तरीकों का उपयोग किया गया हो। MINERVA-Cultural वही कठिन, वास्तविक दुनिया का कुकिंग टेस्ट है।
3. गुप्त हथियार: "तर्क मानचित्र" (Reasoning Map)
अधिकांश AI परीक्षण केवल यह पूछते हैं कि "क्या आपको सही उत्तर मिला?" (हाँ/नहीं)। लेकिन यदि AI गलत उत्तर देता है, तो हमें पता नहीं चलता कि क्यों। क्या उसने वस्तु को नहीं देखा? क्या वह भाषा को नहीं समझ पाया? क्या उसने केवल अनुमान लगाया?
MINERVA-Cultural अलग है। प्रत्येक प्रश्न के लिए, मनुष्यों ने इसे हल करने के तरीके का एक चरण-दर-चरण मानचित्र लिखा है।
- चरण 1: 2:00 मिनट पर वीडियो को देखें।
- चरण 2: लाल टोपी पर ध्यान दें।
- चरण 3: याद रखें कि इस संस्कृति में, लाल टोपी का अर्थ "नेता" होता है।
- चरण 4: इसलिए, लाल टोपी वाला व्यक्ति नेता है।
शोधकर्ताओं ने इन मानचित्रों को एविडेंस ग्राफ्स (Evidence Graphs) (सोचें जैसे कि एक फ्लोचार्ट या खजाने का नक्शा) में बदल दिया है। यह उन्हें यह देखने की अनुमति देता है कि AI कहाँ भटक गया। क्या उसने लाल टोपी को मिस कर दिया? क्या वह सांस्कृतिक नियम को नहीं समझ पाया?
4. "इटरेटिव एरर आइसोलेशन" गेम
AI को ठीक करने के लिए, शोधकर्ता इटरेटिव एरर आइसोलेशन (Iterative Error Isolation) नामक एक खेल खेलते हैं।
कल्पना कीजिए कि AI एक छात्र है जो परीक्षा दे रहा है।
- राउंड 1: छात्र गलत उत्तर देता है। शिक्षक (AI सिस्टम) मानचित्र को देखता है और कहता है, "तुमने 2:00 मिनट पर सुराग मिस कर दिया।"
- राउंड 2: शिक्षक एक संकेत देता है: "फिर से 2:00 मिनट पर देखो।" छात्र फिर से प्रयास करता है। शायद वह उस हिस्से को सही कर लेता है लेकिन अगला चरण मिस कर देता है।
- राउंड 3: शिक्षक एक और संकेत देता है।
ऐसा बार-बार करने से, वे सटीक रूप से पहचान सकते हैं कि "सोचने की प्रक्रिया" का कौन सा हिस्सा टूटा हुआ है। क्या रोबोट सांस्कृतिक प्रतीकों के प्रति अंधा है? क्या वह गिनती करने में बुरा है? क्या वह भाषा से भ्रमित है?
5. चौंकाने वाले परिणाम
जब उन्होंने दुनिया के सबसे स्मार्ट AI मॉडलों (जैसे GPT, Gemini और Claude के नवीनतम संस्करणों) को इस परीक्षण के माध्यम से चलाया, तो परिणाम विनम्र करने वाले थे:
- अंतर: सर्वश्रेष्ठ AI मॉडल लगभग 45% स्कोर करते हैं। मनुष्य 95% स्कोर करते हैं। यह एक बहुत बड़ा अंतर है।
- मुख्य अपराधी: विफलता का सबसे बड़ा कारण यह नहीं था कि AI भाषा नहीं बोल सकता था या वीडियो नहीं देख सकता था। यह सांस्कृतिक दृश्य धारणा (Cultural Visual Perception) थी। AI बस यह नहीं समझ पा रहा था कि वह क्या देख रहा है। उसने एक "पोशाक पहने व्यक्ति" को देखा, लेकिन यह नहीं समझा कि वह एक विशिष्ट सांस्कृतिक आकृति है जिसका एक विशिष्ट अर्थ है।
- ऑडियो कारक: जब AI को वीडियो सुनने की अनुमति दी गई (केवल देखने के बजाय), तो वह बेहतर प्रदर्शन करने लगा। यह साबित करता है कि संस्कृति अक्सर चित्र में नहीं, बल्कि ध्वनि और संदर्भ में होती है।
6. यह क्यों मायने रखता है
यह शोध पत्र एक चेतावनी है। यह हमें बताता है कि वास्तव में स्मार्ट AI बनाने के लिए, हम केवल उन्हीं कुछ देशों के अधिक डेटा को फीड नहीं कर सकते। हमें ऐसे सिस्टम बनाने की आवश्यकता है जो मानव संस्कृति की समृद्ध विविधता का सम्मान और समझ सकें।
निष्कर्ष:
MINERVA-Cultural AI उद्योग के सामने रखे गए एक दर्पण की तरह है। यह हमें दिखाता है कि हमारे "स्मार्ट" रोबोट वास्तव में कितने सांस्कृतिक रूप से सीमित हैं। इस कठिन, मानव-क्यूरेटेड परीक्षण को बनाकर, शोधकर्ता AI समुदाय को एक स्पष्ट रोडमैप दे रहे हैं कि कैसे ऐसे रोबोट बनाए जाएं जो वास्तव में पूरी दुनिया को समझ सकें, न कि केवल पश्चिमी हिस्से को।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।