When Cultures Move: Measuring and Improving Multicultural Text-to-Video Generation
यह शोध पत्र MAVEN को प्रस्तुत करता है, जो एक मल्टी-एजेंट फ्रेमवर्क है जो विशेष प्रॉम्प्ट रिफाइनमेंट के माध्यम से टेक्स्ट-टू-वीडियो जनरेशन में सांस्कृतिक निष्ठा (cultural fidelity) को बढ़ाता है, जिसे चीनी, अमेरिकी और रोमानियाई संदर्भों में 243 सांस्कृतिक रूप से आधारित प्रॉम्प्ट और 972 वीडियो के एक नए बेंचमार्क द्वारा सत्यापित किया गया है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक फिल्म देख रहे हैं जहाँ निर्देशक कंप्यूटर से कहता है, "मुझे एक प्रसिद्ध शहर में नाचता हुआ एक व्यक्ति दिखाओ।" आर्टिफिशियल इंटेलिजेंस की दुनिया में, इसे "टेक्स्ट-टू-वीडियो" जनरेशन कहा जाता है। लंबे समय तक, मुख्य लक्ष्य केवल वीडियो को वास्तविक बनाना था—जैसे कि वह व्यक्ति वास्तव में मौजूद हो और लाइटिंग सही दिखे। लेकिन एक छिपा हुआ मुद्दा है: कंप्यूटर अक्सर संस्कृति को समझने में बहुत खराब होते हैं। वे शायद यह जान लें कि "नृत्य" क्या है, लेकिन वे एक पारंपरिक चीनी पंखा नृत्य (fan dance), एक अमेरिकी हिप-हॉप रूटीन, या एक रोमानियाई लोक नृत्य के बीच अंतर नहीं कर पाएंगे। वे उन्हें आपस में मिला सकते हैं, या इससे भी बुरा, एक अजीब, जेनेरिक संस्करण बना सकते हैं जो उनमें से किसी का भी नहीं लगता। यह इसलिए महत्वपूर्ण है क्योंकि जैसे-जैसे AI कहानियों, शिक्षा और विज्ञापनों के लिए वीडियो बनाना शुरू करेगा, हम नहीं चाहते कि यह अनजाने में परंपराओं को मिटा दे या नकली रूढ़ियाँ (stereotypes) बना दे। हम चाहते हैं कि यह विवरणों को सही ढंग से समझे, विशेष रूप से जब कोई दृश्य विभिन्न दुनियाओं के लोगों, कार्यों और स्थानों को मिलाता है।
यह शोध पत्र ठीक इसी समस्या को हल करने के लिए एक नया तरीका पेश करता है जिससे AI को "बहुसांस्कृतिक" (multicultural) दृश्यों को संभालने के लिए सिखाया जा सके। शोधकर्ताओं ने एक विशेष टेस्ट सेट (बेंचमार्क) बनाया जिसमें 243 अलग-अलग प्रॉम्प्ट और 972 वीडियो शामिल थे, ताकि यह देखा जा सके कि वर्तमान AI मॉडल संस्कृतियों को मिलाने में कितने सक्षम हैं। उन्होंने पाया कि मानक AI मॉडल तब संघर्ष करते हैं जब उन्हें, उदाहरण के लिए, एक अमेरिकी व्यक्ति को चीनी भोजन करते हुए एक रोमानियाई महल में दिखाने के लिए कहा जाता है। इसे ठीक करने के लिए, उन्होंने MAVEN (Multi-Agent Video Enrichment for cultural Narrative) नामक एक चतुर तकनीक का उपयोग किया। एक बड़े, सामान्य AI मस्तिष्क को सब कुछ करने के लिए कहने के बजाय, उन्होंने काम को तीन छोटे, विशिष्ट "एजेंटों" में विभाजित कर दिया: एक जो लोगों (दिखावट) का विशेषज्ञ है, एक कार्यों (चीजें कैसे की जाती हैं) पर, और एक स्थानों (लैंडमार्क्स) पर।
अध्ययन सुझाव देता है कि इन तीन विशेषज्ञों को समानांतर (parallel) में काम करने (सभी एक साथ) से एक सामान्य विशेषज्ञ द्वारा सब कुछ करने या उनके एक के बाद एक काम करने की तुलना में बहुत बेहतर परिणाम मिलते हैं। जब शोधकर्ताओं ने इसका परीक्षण किया, तो समानांतर विशेषज्ञ टीम ने सांस्कृतिक सटीकता में काफी सुधार किया, विशेष रूपв रूप से लैंडमार्क्स के मामले में, बिना वीडियो की गुणवत्ता को बिगाड़े या पात्रों में झटके (jittery) पैदा किए। उन्होंने यह भी पाया कि जबकि मानक कंप्यूटर टेस्ट (इमेज की तुलना करने के लिए गणित का उपयोग करना) यह बता सकते हैं कि वीडियो "ठीक" दिख रहा है या नहीं, वे उन सूक्ष्म, गहरे सांस्कृतिक विवरणों को पकड़ने में विफल रहते हैं जिन्हें एक अधिक उन्नत AI "जज" पहचान सकता है। शोध पत्र निष्कर्ष निकालता है कि AI वीडियो को वास्तव में सम्मानजनक और सटीक बनाने के लिए, हमें संस्कृति को एक एकल, धुंधले ढेर के रूप में मानना बंद करना होगा और इसे विशिष्ट, विशेषज्ञ-संचालित भागों में तोड़ना होगा।
मूल विचार: एक मस्तिष्क पर्याप्त क्यों नहीं है
वर्तमान AI वीडियो जनरेटरों को एक अकेले, बहुत प्रतिभाशाली लेकिन अत्यधिक काम करने वाले शेफ की तरह समझें। यदि आप इस शेफ से एक ऐसा व्यंजन बनाने के लिए कहते हैं जो इतालवी पास्ता, जापानी सुशी और मैक्सिकन टैकोस को जोड़ता है, तो वे उन सभी को एक विशाल, भ्रमित करने वाले बर्गर-पास्ता-सुशी रोल में मिलाने की कोशिश कर सकते हैं। यह खाने जैसा तो लगेगा, लेकिन यह किसी भी असली व्यंजन जैसा स्वाद नहीं देगा। शेफ जानता है कि "भोजन" क्या है, लेकिन उसके पास प्रत्येक को प्रामाणिक रूप से बनाने का विशिष्ट, गहरा ज्ञान नहीं है।
इस शोध पत्र के लेखक तर्क देते हैं कि संस्कृति "कंपोजिशनल" (compositional) है। इसका अर्थ है कि एक दृश्य विभिन्न भागों से बना होता है: व्यक्ति (वे कैसे दिखते हैं), क्रिया (वे क्या कर रहे हैं), और स्थान (वे कहाँ हैं)। एक संस्कृति का व्यक्ति दूसरी संस्कृति की क्रिया कर सकता है और तीसरी संस्कृति के स्थान पर हो सकता है। शोध पत्र सुझाव देता है कि एक ही AI से एक साथ तीनों को समझने की कोशिश करना बहुत कठिन है। इसके बजाय, आपको एक टीम की आवश्यकता है।
समाधान: MAVEN टीम
शोधकर्ताओं ने MAVEN नामक एक प्रणाली बनाई। एक शेफ के बजाय, उन्होंने तीन विशेषज्ञ 'सू-शेफ' (sous-chefs) की एक टीम नियुक्त की:
- द पर्सन एजेंट (The Person Agent): एक विशेषज्ञ जो जानता है कि एक विशिष्ट संस्कृति के लोग बिल्कुल कैसे दिखते हैं (बाल, कपड़े, विशेषताएं)।
- द एक्शन एजेंट (The Action Agent): एक विशेषज्ञ जो जानता है कि एक सांस्कृतिक क्रिया को करने के विशिष्ट विवरण क्या हैं (एक वाद्य यंत्र को कैसे पकड़ा जाता है, कैसे नृत्य किया जाता है)।
- द लोकेशन एजेंट (The Location Agent): एक विशेषज्ञ जो प्रसिद्ध लैंडमार्क्स के दृश्य विवरणों को जानता है (विशिष्ट वास्तुकला, प्रकाश व्यवस्था, परिवेश)।
उन्होंने इस टीम को चलाने के चार अलग-अलग तरीकों का परीक्षण किया:
- द सोलो शेफ (बेस): कोई मदद नहीं। केवल मूल प्रॉम्प्ट।
- द जनरल मैनेजर (सिंगल-एजेंट): एक एजेंट व्यक्ति, क्रिया और स्थान तीनों को एक साथ ठीक करने की कोशिश करता है।
- द असेंबली लाइन (सीक्वेंशियल): एजेंट एक के बाद एक काम करते हैं। पर्सन एजेंट प्रॉम्प्ट को ठीक करता है, फिर उसे एक्शन एजेंट को सौंपता है, जो उसे लोकेशन एजेंट को सौंपता है।
- द पैरेलल टीम (MAP): तीनों एजेंट एक ही समय में काम करते हैं, प्रत्येक अपने हिस्से को ठीक करता है, और फिर एक "फ्यूज एजेंट" उनके काम को एक पूर्ण प्रॉम्प्ट में मिला देता है।
उन्होंने क्या पाया: साथ मिलकर काम करने की शक्ति
परिणाम स्पष्ट थे: पैरेलल टीम (MAP) विजेता रही।
जब उन्होंने 972 उत्पन्न वीडियो (चीनी, अमेरिकी और रोमानियाई संस्कृतियों के विस्तार में) पर इन तरीकों का परीक्षण किया, तो पैरेलल टीम ने सबसे सांस्कृतिक रूप से सटीक वीडियो बनाए।
- स्कोर: पैरेलल टीम ने कुछ न करने की तुलना में "सांस्कृतिक प्रासंगिकता स्कोर" में 4.6% का सुधार किया, और सिंगल-एजेंट दृष्टिकोण की तुलना में 1.6% का सुधार किया।
- बड़ी जीत: सबसे बड़ा सुधार लोकेशन्स (स्थानों) में हुआ। पैरेलल टीम ने बेसलाइन की तुलना में लैंडमार्क्स की सटीकता में 12% से अधिक का सुधार किया। यह समझ में आता है क्योंकि एक सिंगल एजेंट व्यक्ति या क्रिया से विचलित हो सकता है, लेकिन एक समर्पित लोकेशन एजेंट पूरी तरह से महल या स्मारक को सही करने पर ध्यान केंद्रित करता है।
- क्रॉस-कल्चरल मैजिक: यह प्रणाली तब और भी सहायक थी जब प्रॉम्प्ट संस्कृतियों का मिश्रण था (जैसे, एक रोमानियाई महल में चीनी डंपलिंग खाते हुए एक अमेरिकी व्यक्ति)। ये "क्रॉस-कल्चरल" दृश्य आमतौर पर AI के लिए सबसे कठिन होते हैं, लेकिन पैरेलल टीम ने इस अंतर को काफी कम कर दिया, जो बताता है कि समस्या को तोड़ने से AI जटिल मिश्रणों को संभालने में मदद मिलती है।
दिलचस्प बात यह है कि शोधकर्ताओं ने पाया कि जबकि पैरेलल टीम ने वीडियो को सांस्कृतिक रूप से बेहतर बनाया, इसने वीडियो की गुणवत्ता को खराब नहीं किया। वीडियो अभी भी सुचारू और सुसंगत दिखे, जिससे साबित होता है कि आप गहरा सांस्कृतिक विवरण जोड़ने के बिना भी AI को "भ्रमित" (hallucinate) किए बिना या वीडियो को खराब किए बिना काम चला सकते हैं।
माप की समस्या: कंप्यूटर बनाम जज
शोध पत्र की एक और दिलचस्प खोज यह है कि हम सफलता को कैसे मापते हैं।
- मैथ टेस्ट (CLIP): शोधकर्ताओं ने यह जांचने के लिए एक मानक कंप्यूटर प्रोग्राम (CLIP) का उपयोग किया कि क्या वीडियो टेक्स्ट से मेल खाता है। यह प्रोग्राम बड़ी चीजों को पहचानने में अच्छा है लेकिन अक्सर सूक्ष्म सांस्कृतिक विवरणों को मिस कर देता है।
- AI जज (VLM): उन्होंने एक अधिक उन्नत AI (Gemini 2.5 Pro) का भी उपयोग किया जो एक मानव-समान जज के रूप में कार्य करता है, जो वीडियो को देखता है और तर्क देता है कि क्या यह सांस्कृतिक रूप से सही महसूस होता है।
उन्होंने पाया कि मैथ टेस्ट अक्सर पैरेलल टीम द्वारा किए गए सुधारों को कम करके आंकता है। AI जज ने पैरेलल टीम के वीडियो को बहुत उच्च अंक दिए, जिसने सूक्ष्म विवरणों को पहचाना जैसे कि एक व्यक्ति ने अपने वाद्य यंत्र को किस विशिष्ट तरीके से पकड़ा था या एक इमारत की सटीक शैली क्या थी। यह सुझाव देता है कि हमारे वर्तमान उपकरण, जिनका उपयोग AI के परीक्षण के लिए किया जाता है, सांस्कृतिक सुधार के वास्तविक मूल्य को पकड़ने के लिए बहुत सरल हो सकते हैं।
इसका क्या अर्थ है (और क्या नहीं)
शोध पत्र सुझाव देता है कि दुनिया की विविधता का सम्मान करने और सटीक रूप से प्रतिनिधित्व करने वाले AI वीडियो बनाने के लिए, हमें संस्कृति को एक एकल, समान चीज़ के रूप में मानना बंद करना होगा। इसके बजाय, हमें इसे विशिष्ट भागों (लोग, क्रियाएं, स्थान) में तोड़ना चाहिए और प्रत्येक भाग को परिष्कृत करने का काम विशिष्ट विशेषज्ञों को सौंपना चाहिए।
हालाँकि, लेखक अपने काम की सीमाओं को नोट करने में भी सावधान हैं। उन्होंने केवल तीन संस्कृतियों (चीनी, अमेरिकी, रोमानियाई) और तीन प्रकार की क्रियाओं (भोजन, संगीत, नृत्य) का परीक्षण किया है। वे यह दावा नहीं करते हैं कि यह दुनिया की हर संस्कृति के लिए इस समस्या को हल करता है। वे यह भी स्वीकार करते हैं कि उनका AI मॉडल कभी-कभी चेहरों को स्पष्ट रूप से दिखाने में संघर्ष करता है (अक्सर लोगों को पीछे से दिखाता है), जिससे उपस्थिति के बारे में सांस्कृतिक विवरणों का निर्णय लेना कठिन हो जाता है।
लेकिन मुख्य संदेश आशावादी है: AI को एक सामान्य विशेषज्ञ के बजाय विशेषज्ञों की एक टीम के रूप में व्यवस्थित करके, हम एक महत्वपूर्ण कदम उठा सकते हैं ताकि ऐसे वीडियो उत्पन्न किए जा सकें जो न केवल वास्तविक दिखें, बल्कि सांस्कृतिक रूप से सच्चे भी महसूस हों।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।