Beyond Time Shifts: Adapting Omni-LLM as a Reference-Free Evaluator for Generative Audio-Visual Models
यह शोध पत्र जनरेटिव ऑडियो-विजुअल मॉडल्स के लिए एक रेफरेंस-फ्री मूल्यांकन ढांचा प्रस्तुत करता है जो जनरेटिव विफलताओं के एक डेटासेट, एक अनुकूलित Omni-LLM और क्रॉस-मोडल सिंक्रोनाइज़ेशन के आकलन के लिए मानव प्राथमिकताओं के साथ अत्याधुनिक संरेखण प्राप्त करने हेतु रियल-वैल्यूड ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइज़ेशन का लाभ उठाकर सापेक्ष मानवीय धारणा और पूर्ण स्वचालित मेट्रिक्स के बीच के विरोधाभास को हल करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक फिल्म देख रहे हैं जहाँ एक कुत्ता भौंकता है, लेकिन आवाज़ एक खिलौने जैसी 'स्क़्वीकी' आती है, या कांच टूटने की आवाज़ एक पानी वाले गुब्बारे के फटने जैसी आती है। AI की दुनिया में, ये "वर्ल्ड सिमुलेटर्स" (world simulators) तस्वीरों और आवाज़ों को बनाने में बहुत माहिर हो रहे हैं, लेकिन अक्सर ये भौतिकी (physics) को गलत कर देते हैं। वे ऐसी आवाज़ बना सकते हैं जो क्रिया से मेल नहीं खाती, या कोई ऐसी आवाज़ बनाना भूल सकते हैं जो वहाँ होनी चाहिए थी।
लंबे समय तक, वैज्ञानिकों ने यह जाँचने की कोशिश की कि क्या ये AI फिल्में "तालमेल" (in sync) में हैं या नहीं, इसके लिए उन्होंने "स्पॉट द डिले" (spot the delay) का एक सरल खेल खेला। वे एक सटीक आवाज़ लेते थे, उसे थोड़ा सा बाएँ या दाएँ खिसकाते थे, और देखते थे कि क्या कोई कंप्यूटर अंतर को पहचान सकता है। लेकिन इस शोध पत्र के लेखक कहते हैं: इसे बंद करो! यह वैसा ही है जैसे किसी शेफ को यह परखने के लिए आंकना कि क्या वह नमक और चीनी के बीच अंतर बता सकता है जब दोनों एक ही जार में हों। यह काम नहीं करता क्योंकि आधुनिक AI केवल समय (timing) को गलत नहीं करता; वह कहानी को गलत कर देता है। वह ऐसी आवाज़ बना सकता है जो कभी हुई ही नहीं, या वह आवाज़ छोड़ सकता है जो वहाँ होनी चाहिए थी।
बड़ी समस्या: "रिलेटिव" बनाम "एब्सोल्यूट" विरोधाभास
यहाँ वह पेचीदा हिस्सा है जिसे लेखकों को हल करना था। जब इंसान दो खराब AI वीडियो देखते हैं, तो यह कहना आसान होता है कि "वीडियो A, वीडियो B से बेहतर है।" हम तुलना करने में माहिर हैं। लेकिन यदि आप हमसे पूछते हैं कि बिना किसी तुलना के वीडियो A को 100 में से स्कोर दें, तो हम भ्रमित हो जाते हैं। हम एक दिन "70" कह सकते हैं और दूसरे दिन "85"।
हालाँकि, एक रोबोट जज बनाने के लिए जो इंटरनेट पर काम कर सके, हमें एक एब्सोल्यूट स्कोर (absolute score) की आवश्यकता है। हमें एक ऐसे नंबर की आवश्यकता है जो कहे, "यह वीडियो 72.4 है," चाहे अन्य वीडियो मौजूद हों या न हों। शोध पत्र का तर्क है कि हम केवल इंसान से एक नंबर नहीं मांग सकते; हमें मशीन को यह सिखाना होगा कि हमारे "बेहतर/बदतर" के अहसास को "72.4" नंबर में कैसे बदला जाए।
समाधान: एक नए प्रकार का रोबोट जज
टीम ने इस समस्या को ठीक करने के लिए तीन चरणों वाली प्रणाली बनाई, जिसे वे Beyond Time Shifts कहते हैं।
1. "सिंथसिंक" (SynthSync) प्लेग्राउंड (डेटासेट)
आवाजों को खिसकाकर गलतियाँ पैदा करने के बजाय, उन्होंने SynthSync नामक एक प्लेग्राउंड बनाया। उन्होंने वास्तविक वीडियो लिए और उन्हें 10 अलग-अलग शीर्ष स्तर के AI साउंड जनरेटरों के माध्यम से चलाया। इससे "प्रामाणिक विफलताओं" (authentic failures) का एक ढेर तैयार हुआ।
- उपमा: कल्पना कीजिए कि आप 10 अलग-अलग शेफ से एक ही रेसिपी के आधार पर सूप बनाने के लिए कह रहे हैं। कुछ शेफ लहसुन जला देते हैं, कुछ नमक भूल जाते हैं, और कुछ बहुत अधिक काली मिर्च डाल देते हैं। लेखकों ने केवल सूप को नहीं देखा; उन्होंने मानव विशेषज्ञों से एक बार में दो कटोरे चखने के लिए कहा और पूछा, "शेफ A, शेफ B से बेहतर है।" उन्होंने यह 306,000 बार किया ताकि यह समझने के लिए एक विशाल मानचित्र बनाया जा सके कि कौन किससे बेहतर है।
2. एक नए दिमाग वाला "ओमनी-एलएलएम" (Omni-LLM)
उन्होंने एक सुपर-स्मार्ट AI जिसे Omni-LLM (विशेष रूप से Qwen2.5-Omni-3B मॉडल) कहा जाता है, लिया और उसे एक नई नौकरी दी। आमतौर पर, यह AI "अच्छा" या "बुरा" जैसे शब्दों में बात करता है। लेखकों ने उस शब्द-जनरेटर को निकाल दिया और उसकी जगह एक कंटीन्यूअस स्लाइडर (continuous slider) लगा दिया।
- उपमा: AI के "अच्छा!" या "बुरा!" चिल्लाने के बजाय, अब यह एक स्मूथ स्लाइडर पर एक एकल संख्या आउटपुट करता है। उन्होंने इसे Bradley-Terry-Luce नामक गणितीय ट्रिक का उपयोग करके प्रशिक्षित किया, जिससे AI ने सीखा कि यदि वह सोचता है कि शेफ A, शेफ B से बेहतर है, तो A का नंबर B से अधिक होना चाहिए।
3. "आर-जीआरपीओ" (R-GRPO) का जादू
यही असली सफलता है। केवल यह जानना कि "A, B से बेहतर है" पर्याप्त नहीं है; AI को पूरे समूह को समझने की आवश्यकता है। यदि शेफ A सबसे अच्छा है, शेफ B मध्यम है, और शेफ C सबसे खराब है, तो स्कोर उसी क्रम में होने चाहिए।
- उपमा: कल्पना कीजिए कि AI एक छात्र है जो परीक्षा दे रहा है। केवल यह जाँचने के बजाय कि क्या उसने प्रश्न 1 सही किया है, शिक्षक (R-GRPO एल्गोरिदम) उत्तरों की पूरी सूची को देखता है। यह एक "गौसियन पॉलिसी" (Gaussian policy) का उपयोग करता है (जो बस "एक्सप्लोर करने के लिए थोड़ा रैंडम शोर जोड़ने" का एक फैंसी तरीका है) यह देखने के लिए कि क्या AI एक साथ शेफों के पूरे समूह के लिए सही रैंकिंग पा सकता है।
- परिणाम: इस विधि का उपयोग करके, AI ने इंसानों के साथ अविश्वसनीय रूप से अच्छी तरह से स्कोर देना सीख लिया।
उन्होंने क्या पाया (आंकड़े)
लेखकों ने अपने नए रोबोट जज का पुराने तरीकों (जैसे AV-Align, JavisScore, और DeSync) के विरुद्ध परीक्षण किया।
- पुराना तरीका: पुराने मेट्रिक्स एक टूटे हुए पैमाने की तरह थे। वे अक्सर उन वीडियो को उच्च स्कोर देते थे जो वास्तव में बेकार थे, सिर्फ इसलिए क्योंकि आवाजें सही समय पर हुईं, भले ही आवाजें बेमतलब थीं।
- नया तरीका: उनके नए मेट्रिक ने, जिसे SynthSync डेटासेट पर प्रशिक्षित किया गया था और R-GRPO के साथ फाइन-ट्यून किया गया था, 72.38% की पेयरवाइज एक्यूरेसी (Pairwise Accuracy) हासिल की। इसका मतलब है कि जब इसने दो वीडियो की तुलना की, तो यह मानव विशेषज्ञों के साथ 72.38% बार सहमत था।
- तुलना: उनके द्वारा परीक्षण किए गए अगले सबसे अच्छे तरीके ने केवल 69.36% सटीकता प्राप्त की।
- लीडरबोर्ड: उन्होंने अपने नए जज का उपयोग करके 6 प्रसिद्ध AI वीडियो मॉडलों (जिनमें Sora-2, Veo-3.1, और LTX-2 शामिल हैं) को रैंक किया। उनके जज ने स्पष्ट रूप से दिखाया कि Sora-2 और Veo-3.1 भौतिकी को समझने में सर्वश्रेष्ठ हैं, जबकि अन्य संघर्ष करते हैं।
वे स्पष्ट रूप से किसे खारिज करते हैं
शोध पत्र बहुत स्पष्ट है कि क्या काम नहीं करता है:
- टाइम शिफ्ट्स (Time Shifts): वे तर्क देते हैं कि आधुनिक AI के लिए आवाजों को आगे-पीछे खिसकाना (पुराना मानक) बेकार है क्योंकि यह "स्ट्रक्चरल हैलुसिनेशन" (बनाई गई आवाज़ें) को नहीं पकड़ पाता।
- डिस्क्रीट वर्ड्स (Discrete Words): उन्होंने पाया कि AI को "अच्छा" या "खराब" जैसे शब्दों का उपयोग करने के लिए कहना (टेक्स्ट जनरेशन का उपयोग करना) एक बुरा विचार था। इसने "क्वांटाइजेशन आर्टिफैक्ट्स" (quantization artifacts) पैदा किए, जिसका अर्थ है कि स्कोर बहुत अधिक उछलते थे और पर्याप्त स्मूथ नहीं थे।
- सिंपल रिग्रेशन (Simple Regression): उन्होंने सीधे नंबर का अनुमान लगाने (रिग्रेशन) की कोशिश की और वह विफल रहा, जिसमें केवल 0.1628 का केंडल का τ (Kendall's τ) मिला (वास्तविकता के साथ रैंकिंग कितनी अच्छी तरह मेल खाती है, इसका एक माप)। उनके नए तरीके ने 0.4899 प्राप्त किया।
वे कितने आश्वस्त हैं?
लेखक अपने परिणामों को लेकर बहुत आश्वस्त हैं क्योंकि उन्होंने केवल अनुमान नहीं लगाया; उन्होंने इसे मापा।
- उन्होंने SyncBench नामक एक मानकीकृत बेंचमार्क बनाया जिसमें 185 अलग-अलग प्रॉम्प्ट्स (जैसे "लकड़ी काटना", "बारिश", या "मोटरसाइकिल") थे।
- उन्होंने अपने मेट्रिक को एक "रिवॉर्ड सिग्नल" (AI को सुधारने के लिए बताने का एक तरीका) के रूप में परीक्षण किया। जब उन्होंने अपने मेट्रिक का उपयोग उम्मीदवारों के समूह में से सर्वश्रेष्ठ AI वीडियो चुनने के लिए किया, तो यह क्रॉस-मेट्रिक परीक्षणों में रैंडम गेसिंग की तुलना में 5.0589 गुना बेहतर काम कर रहा था।
- उन्होंने यह साबित किया कि उनका तरीका काम करता है, यह दिखाकर कि जब उन्होंने R-GRPO प्रशिक्षण चरण को हटाया, तो स्कोर काफी गिर गया ( 72.38% से 71.07% तक), जिससे यह सिद्ध हुआ कि उनके सिस्टम का हर हिस्सा आवश्यक है।
संक्षेप में, शोध पत्र सुझाव देता है कि AI फिल्मों को आंकने के लिए, हम केवल देरी (delays) को नहीं देख सकते; हमें एक ऐसे जज की आवश्यकता है जो ध्वनि और दृश्य की कहानी को समझता हो। मानव "बेहतर/बदतर" के अहसास को एक स्मूथ, निरंतर संख्या में बदलकर, उन्होंने एक ऐसा उपकरण बनाया जो अंततः दुनिया को उसी तरह देखता है जैसे हम देखते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।