CogOmniControl: Reasoning-Driven Controllable Video Generation via Creative Intent Cognition
CogOmniControl एक तर्क-संचालित ढांचा है जो सटीक रचनात्मक इरादे के बोध के लिए एक विशेष CogVLM को एक एकीकृत CogOmniDiT जनरेटर और एक क्लोज्ड-लूप बेस्ट-ऑफ-एन चयन तंत्र के साथ एकीकृत करके नियंत्रणीय वीडियो निर्माण को बढ़ाता है, जिससे मौजूदा मॉडलों की तुलना में पेशेवर बेंचमार्क पर बेहतर प्रदर्शन प्राप्त होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक फिल्म निर्देशक हैं जो अपनी टीम के एनिमेटरों को एक जटिल दृश्य समझाने की कोशिश कर रहे हैं। आपके पास एक रफ स्केच (एक स्टोरीबोर्ड) है, एक पात्र का क्ले मॉडल (मिट्टी का मॉडल) है, और कुछ अस्पष्ट नोट्स जैसे "इसे बरसाती और उदास महसूस कराएं" हैं।
अतीत में, AI वीडियो जनरेटर उन एनिमेटरों की तरह थे जो केवल सख्त, पिक्सेल-परफेक्ट निर्देशों का पालन कर सकते थे। यदि आप उन्हें एक रफ स्केच देते, तो वे भ्रमित हो जाते, एक धुंधला सा कचरा बना देते, या आपके भावनात्मक नोट्स को पूरी तरह से अनदेखा कर देते। उनमें यह समझने के लिए "क्रिएटिव ब्रेन" (रचनात्मक मस्तिष्क) की कमी थी कि आप वास्तव में चाहते थे कि दृश्य कैसा दिखे।
CogOmniControl एक नया सिस्टम है जिसे इसे ठीक करने के लिए डिज़ाइन किया गया है। यह एक सुपर-स्मार्ट क्रिएटिव डायरेक्टर की तरह काम करता है जो आपके (उपयोगकर्ता) और एनीमेशन टीम (AI जनरेटर) के बीच बैठता है। यह इस प्रकार काम करता है, जिसे सरल चरणों में विभाजित किया गया है:
1. समस्या: "अनुवाद का अंतर" (The Translation Gap)
वर्तमान AI वीडियो टूल्स चीजें वास्तविक दिखाने में बहुत अच्छे हैं, लेकिन वे तब संघर्ष करते हैं जब आप उन्हें अमूर्त या अव्यवस्थित निर्देश (जैसे हाथ से बना स्केच या क्ले मॉडल) देते हैं।
- पुराना तरीका: आप एक स्केच देते हैं; AI उन रेखाओं की सटीक नकल करने की कोशिश करता है लेकिन 'एहसास' या 'कहानी' को मिस कर देता है।
- परिणाम: वीडियो गलत दिखता है, पात्र का चेहरा बदल जाता है (आइडेंटिटी ड्रिफ्ट), या हलचल झटकेदार होती है।
2. समाधान: एक दो-भाग वाली टीम
लेखकों ने एक सिस्टम बनाया है जिसमें दो मुख्य पात्र मिलकर काम करते हैं:
पात्र A: "क्रिएटिव डायरेक्टर" (CogVLM)
इसे एक अत्यधिक प्रशिक्षित फिल्म निर्देशक के रूप में सोचें जिसने हजारों पेशेवर एनिमे प्रोडक्शन वीडियो देखे हैं।
- यह क्या करता है: यह केवल आपके स्केच को नहीं देखता; यह आपके इरादे को समझता है। यदि आप उसे बारिश में एक पात्र का स्केच दिखाते हैं, तो यह "डायरेक्टर" केवल रेखाएं नहीं देखता। वह तर्क देता है: "ठीक है, पात्र उदास है, जमीन गीली होनी चाहिए, बारिश की लहरें (ripples) होनी चाहिए, और लाइटिंग उदास/धुंधली होनी चाहिए।"
- जादू: यह आपके अस्पष्ट, अमूर्त विचारों को एक सघन, विस्तृत योजना में बदल देता है। यह एक अनुवादक के रूप में कार्य करता है, जो आपके "क्रिएटिव इंटेंट" को स्पष्ट निर्देशों के एक सेट में बदल देता है जिसे कंप्यूटर वास्तव में फॉलो कर सके।
- प्रशिक्षण: उन्होंने इस डायरेक्टर को रैंडम इंटरनेट वीडियो के बजाय पेशेवर एनीमेशन स्टूडियो (स्टोरीबोर्ड और क्ले रेंडर) के वास्तविक डेटा का उपयोग करके सिखाया है। यह इसे "चीजें कैसी दिखनी चाहिए" का विशेषज्ञ बनाता है, न कि केवल "चीजें कैसी दिखती हैं" का।
पात्र B: "एनिमेटर" (CogOmniDiT)
यह वास्तविक वीडियो जनरेटर है, जो पिक्सेल पेंट करता है।
- यह क्या करता है: यह क्रिएटिव डायरेक्टर से प्राप्त विस्तृत योजना और मूल स्केच को लेता है, और वीडियो बनाता है।
- जादू: क्योंकि यह डायरेक्टर की विस्तृत योजना को सुन रहा है, इसे पता है कि पात्र को कैसे हिलना चाहिए, कपड़े कैसे लहराने चाहिए, और रोशनी कैसे बदलनी चाहिए। यह केवल अनुमान नहीं लगाता; यह एक तार्किक रोडमैप का पालन करता है।
3. "हार्नेस" सिस्टम: क्वालिटी कंट्रोल लूप
सबसे चतुर हिस्सा यहाँ है। आमतौर पर, आप एक वीडियो जेनरेट करते हैं और उम्मीद करते हैं कि वह अच्छा होगा। CogOmniControl एक क्वालिटी कंट्रोल हार्नेस जोड़ता है।
- विचार: वीडियो दिखाने से पहले, क्रिएटिव डायरेक्टर (CogVLM) एक प्रोड्यूसर की तरह कार्य करता है। वह कहता है, "ठीक है, हमें तीन चीजों की जांच करनी है: क्या पात्र का चेहरा सुसंगत है? क्या बारिश स्वाभाविक रूप से चल रही है? क्या लाइटिंग सही है?"
- प्रक्रिया:
- सिस्टम वीडियो के कई संस्करण जेनरेट करता है (जैसे 4 अलग-अलग टेक आज़माना)।
- डायरेक्टर विशिष्ट "इंस्पेक्टर्स" (मूल्यांककों) को चुनता है जो दृश्य की जरूरतों के आधार पर होते हैं। यदि दृश्य में एक विशिष्ट पात्र है, तो वह "आइडेंटिटी इंस्पेक्टर" चुनता है। यदि यह एक तूफान है, तो वह "फिजिक्स इंस्पेक्टर" चुनता है।
- ये इंस्पेक्टर्स वीडियो को ग्रेड देते हैं।
- सिस्टम सबसे बेहतरीन वाले (Best-of-N) को चुनता है और वह आपको दिखाता है।
4. नए "टेस्ट ड्राइव्स" (बेंचमार्क्स)
यह साबित करने के लिए कि उनका सिस्टम काम करता है, लेखकों ने केवल मानक परीक्षणों का उपयोग नहीं किया। उन्होंने दो नए "ड्राइविंग ट्रैक्स" बनाए जिन्हें CogReasonBench और CogControlBench कहा जाता है।
- ये ट्रैक वास्तविक दुनिया की पेशेवर चुनौतियों (जैसे एक रफ स्टोरीबोर्ड को अंतिम मूवी सीन में बदलना) से भरे हुए हैं।
- उन्होंने पाया कि उनका सिस्टम, CogOmniControl, सभी ओपन-सोर्स मॉडल्स से बेहतर प्रदर्शन करता है और सबसे महंगे, निजी सिस्टमों के बहुत करीब पहुंच जाता है।
सारांश उपमा (Summary Analogy)
कल्पमान कीजिए कि आप एक बहुत ही विशिष्ट, जटिल केक बनाना चाहते हैं।
- पुराना AI: आप इसे एक नैपकिन सौंपते हैं जिस पर केक का एक स्केच बना है। यह उस स्केच की नकल करने की कोशिश करता है, जिसके परिणामस्वरूप एक जला हुआ, विकृत केक मिलता है।
- CogOmniControl: आप वह नैपकिन एक मास्टर शेफ (CogVLM) को सौंपते हैं। शेफ आपके स्केच को पढ़ता है, समझता है कि आप एक "नम चॉकलेट केक जिसमें रसभरी (raspberry) सेंटर हो" चाहते हैं, और एक सटीक रेसिपी लिखता है। फिर, बेकर (CogOmniDiT) उस रेसिपी का पूरी तरह से पालन करता है। अंत में, शेफ कुछ बैचों को चखता है, एक विशिष्ट चेकलिस्ट का उपयोग करके सबसे अच्छा वाला चुनता है, और आपको एकदम सही केक परोसता है।
पेपर का दावा है कि यह दृष्टिकोण "अस्पष्ट मानवीय विचारों" और "सटीक कंप्यूटर निष्पादन" के बीच के अंतर को पाटता है, जिससे सरल स्केच और अमूर्त विचारों से उच्च-गुणवत्ता वाले, पेशेवर दिखने वाले वीडियो बनाना संभव हो जाता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।