RAVEN-Eval: Rubric-Guided Automatic Evaluation for AI Video Generation Models Based on LMM Preference Judgement
यह शोध पत्र RAVEN-Eval प्रस्तुत करता है, जो एक स्केलेबल, रूब्रिक-निर्देशित स्वचालित मूल्यांकन ढांचा है जो मानव एनोटेशन लागत को कम करते हुए अत्याधुनिक एआई वीडियो जनरेशन मॉडल्स के बीच सूक्ष्म गुणवत्ता अंतर को विश्वसनीय रूप से अलग करने के लिए लार्ज मल्टीमॉडल मॉडल (LMM) प्राथमिकता निर्णयों का लाभ उठाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक विशाल, हाई-टेक मूवी स्टूडियो के निर्देशक हैं जहाँ अभिनेता वास्तव में सुपर-स्मार्ट कंप्यूटर हैं। ये कंप्यूटर, जिन्हें एआई वीडियो जनरेटर (AI video generators) के रूप में जाना जाता है, अब आपके द्वारा टाइप किए गए एक वाक्य को पढ़कर शून्य से पूरे दृश्य बना सकते हैं। लेकिन इसमें एक पेच है, वे इतने अच्छे होते जा रहे हैं कि एक "काफी अच्छे" वीडियो और एक "अविश्वसनीय" वीडियो के बीच का अंतर नीले रंग के दो शेड्स के बीच के अंतर जितना सूक्ष्म है। अतीत में, आप बस एक इंसान से पूछ सकते थे कि "वह वाला बेहतर दिखता है।" लेकिन अब, हर दिन हजारों वीडियो बनाए जा रहे हैं, और उन सभी को देखने के लिए पर्याप्त इंसानों को काम पर रखना बहुत महंगा होगा और इसमें बहुत समय लगेगा। इसके अलावा, इंसान भी थक जाते हैं और छोटी-छोटी बारीकियों को मिस कर सकते हैं। यह वह समस्या है जिसका सामना वैज्ञानिक कर रहे हैं: जब ये सभी उन्नत कंप्यूटर कलाकार लगभग पूर्ण स्तर पर प्रदर्शन कर रहे हों, तो आप इन एआई फिल्मों को कैसे ग्रेड करेंगे, और आप हर एक क्लिप को देखने के लिए मानव को नियुक्त नहीं कर सकते?
यहीं पर "RAVEN-Eval" पेपर काम आता है। यह एक नए, अत्यंत सख्त रेफरी सिस्टम की तरह है जिसे बिना किसी इंसान के हर एक एआई फिल्म को देखे, इन एआई फिल्मों को जज करने के लिए डिज़ाइन किया गया है। शोधकर्ताओं ने महसूस किया कि कंप्यूटर से यह पूछने के बजाय कि, "इस वीडियो को 1 से 10 के बीच रेट करें," जो अक्सर भ्रमित करने वाला और असंगत होता है, यह पूछना बेहतर है कि, "इन दो वीडियो में से कौन सा बेहतर है?" इसे "पेयरवाइज कंपैरिजन" (pairwise comparison) कहा जाता है, और यह इंसानों और कंप्यूटरों दोनों के लिए निर्णय लेना बहुत आसान बनाता है। लेकिन यह सुनिश्चित करने के लिए कि कंप्यूटर रेफरी केवल सबसे चमकदार वीडियो को न चुन ले, टीम ने इसे प्रत्येक कार्य के लिए एक विशेष नियम पुस्तिका, या "रूब्रिक" (rubric) दिया। यह एक जज को चेकलिस्ट देने जैसा है जो कहता है, "यदि प्रॉम्प्ट ने लाल गेंद मांगी थी, तो गेंद लाल होनी चाहिए," या "यदि प्रॉम्प्ट ने हाइड्रोलिक प्रेस द्वारा बत्तख को कुचलने के लिए कहा था, तो बत्तख पिचकनी चाहिए, फटना नहीं।" इन विशिष्ट नियमों का उपयोग करके, सिस्टम उन सूक्ष्म, बारीक अंतरों को पहचान सकता है जो सर्वश्रेष्ठ एआई मॉडल्स को बाकी सबसे अलग करते हैं।
शंघाई जियाओ टोंग यूनिवर्सिटी और शंघाई आर्टिफिशियल इंटेलिजेंस लेबोरेटरी के शोधकर्ताओं के नेतृत्व में इस अध्ययन के पीछे की टीम ने RAVEN-Eval बेंचमार्क नामक एक विशाल परीक्षण मैदान बनाया। उन्होंने एआई को केवल रैंडम प्रॉम्प्ट्स नहीं दिए; उन्होंने 250 अलग-अलग कार्यों को सावधानीपूर्वक तैयार किया, जो सरल टेक्स्ट-टू-वीडियो अनुरोधों से लेकर जटिल इमेज-टू-वीडियो चुनौतियों तक फैले हुए हैं जहाँ एआई को एक दृश्य के लापता मध्य भाग को भरना होता है। उन्होंने दुनिया के शीर्ष 20 एआई वीडियो मॉडल्स का परीक्षण करने के लिए 4,500 से अधिक वीडियो जेनरेट किए। एआई को अंधे होकर खुद को जज करने देने के बजाय, उन्होंने "जज" सिस्टम का उपयोग किया जो लार्ज मल्टीमॉडल मॉडल्स (LMMs) द्वारा संचालित है—जो मूल रूप से एआई दिमाग हैं जो छवियों और टेक्स्ट को देख और समझ सकते हैं। इन एआई जजों को प्रत्येक कार्य के लिए विशिष्ट नियम पुस्तिकाएं दी गईं और उन्हें अगल-बगल (side-by-side) वीडियो की तुलना करने के लिए कहा गया।
परिणाम बेहद दिलचस्प थे। शोधकर्ताओं ने पाया कि जब उन्होंने एआई जजों को ये विस्तृत, कार्य-विशिष्ट नियम पुस्तिकाएं दीं, तो सिस्टम शीर्ष स्तर के मॉडल्स के बीच अंतर बताने में अविश्वसनीय रूप से सक्षम हो गया। वास्तव में, उनके नए सिस्टम ने पिछले तरीकों की तुलना में, जो केवल एक सामान्य स्कोर मांगते थे या निश्चित चेकलिस्ट का उपयोग करते थे, मानव विशेषज्ञों के साथ बहुत अधिक निकटता से सहमति व्यक्त की। उन्होंने दो लीडरबोर्ड भी बनाए: एक 20 एआई वीडियो मॉडल्स को रैंक करने के लिए (यह दिखाने के लिए कि वर्तमान में सबसे अच्छा कलाकार कौन है) और दूसरा 13 अलग-अलग एआई जजों में से खुद को रैंक करने के लिए (यह दिखाने के लिए कि कौन सा एआई दिमाग सबसे सटीक रेफरी है)। उन्होंने एक बहुत ही शानदार ट्रिक भी ईजाद की जिसे "एंकर-बेस्ड इंसर्शन" (anchor-based insertion) कहा जाता है। कल्पना कीजिए कि आपके पास शीर्ष 20 धावकों का एक लीडरबोर्ड है, और एक नया धावक आता है। उन्हें सभी 20 लोगों के खिलाफ दौड़ने के बजाय (जिसमें बहुत समय लगेगा), आप बस उन्हें शीर्ष, मध्य और निचले हिस्से के सावधानीपूर्वक चुने गए कुछ "एंकर" धावकों के खिलाफ दौड़ने के लिए रखते हैं। यह आपको बहुत कम प्रयास के साथ यह पता लगाने में मदद करता है कि नया धावक रैंकिंग में कहाँ फिट बैठता है।
अंततः, यह पेपर सुझाव देता है कि एआई को जज करने के लिए एआई का उपयोग करने का यह नया, नियम-निर्देशित तरीका एक स्केलेबल और विश्वसनीय मार्ग है। यह साबित करता है कि एआई वीडियो जनरेशन की तीव्र गति के साथ तालमेल बिठाने के लिए हमें पूरी तरह से महंगे मानव एनोटेटर्स पर निर्भर रहने की आवश्यकता नहीं है। स्मार्ट, नियम-आधारित तुलनाओं का उपयोग करके, हम एक भरोसेमंद प्रणाली बना सकते हैं जो उन मॉडल्स के साथ विकसित होती है जिन्हें वह माप रही है, यह सुनिश्चित करते हुए कि जैसे-जैसे ये डिजिटल कलाकार बेहतर होते हैं, उनके काम को सराहने और रैंक करने की हमारी क्षमता भी बेहतर होती जाती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।