A Systematic Post-Train Framework for Video Generation
यह शोध पत्र वीडियो डिफ्यूजन मॉडल्स के लिए एक व्यवस्थित पोस्ट-ट्रेनिंग फ्रेमवर्क प्रस्तावित करता है जो प्रीट्रेनिंग प्रदर्शन और वास्तविक दुनिया की तैनाती के बीच के अंतर को पाटने के लिए सुपरवाइज्ड फाइन-ट्यूनिंग, एक नवीन ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइज़ेशन-आधारित RLHF चरण, प्रॉम्प्ट एन्हांसमेंट और इन्फरेंस ऑप्टिमाइज़ेशन को एकीकृत करता है, जिससे निर्देश पालन (इंस्ट्रक्शन फॉलोइंग), टेम्पोरल कोहेरेंस और विजुअल क्वालिटी में महत्वपूर्ण सुधार के साथ-साथ इन्फरेंस लागत में कमी आती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक शानदार, विश्व स्तरीय शेफ है जिसने अस्तित्व की हर रेसिपी बुक से वर्षों तक खाना बनाना सीखा है। यह शेफ (प्री-ट्रेन्ड मॉडल) आश्चर्यजनक, जटिल व्यंजन बना सकता है। हालाँकि, यदि आप उनसे कहें कि "एक्स्ट्रा चीज़ के साथ एक स्पाइसी पास्ता बनाओ," तो वे भ्रमित हो सकते हैं, रसोई जला सकते हैं, या आपको ऐसा व्यंजन परोस सकते हैं जो दिखने में तो बेहतरीन है लेकिन उसका स्वाद पास्ता जैसा बिल्कुल नहीं है। वे प्रतिभाशाली हैं लेकिन अप्रत्याशित और चलाने में महंगे हैं।
यह पेपर उस प्रतिभाशाली लेकिन अनिश्चित शेफ को एक भरोसेमंद, कुशल और आज्ञाकारी पेशेवर बनाने के लिए एक चार-चरणीय प्रशिक्षण शिविर का प्रस्ताव देता है जो एक व्यस्त रेस्टोरेंट में काम कर सके।
यहाँ बताया गया है कि ये चार चरण सरल उपमाओं का उपयोग करके कैसे काम करते हैं:
चरण 1: "बुनियादी आज्ञाकारिता" का बूट कैंप (सुपरवाइज्ड फाइन-ट्यूनिंग)
समस्या: शेफ को खाना बनाना आता है, लेकिन वे अच्छी तरह सुनते नहीं हैं। वे आपके आदेश को अनदेखा कर सकते हैं या अपने खुद के नियम बना सकते हैं।
समाधान: उन्हें उन्नत तकनीक सिखाने से पहले, हम उन्हें एक सख्त बूट कैंप से गुजारते हैं। हम उन्हें हजारों उदाहरण दिखाते हैं कि जब कोई विशिष्ट ऑर्डर दिया जाए तो ठीक क्या करना है।
परिणाम: शेफ अपने खुद के नियम बनाना बंद कर देते हैं। वे सीखते हैं कि "यस, शेफ" कैसे कहना है और निर्देशों का विश्वसनीय रूप से पालन कैसे करना है। यह एक स्थिर आधार बनाता है ताकि जब हम बाद में उन्हें अधिक कठिन चुनौतियों के लिए तैयार करें, तो वे नियंत्रण से बाहर न हों।
चरण 2: "स्वाद-परीक्षण" प्रतियोगिता (रीइन्फोर्समेंट लर्निंग)
समस्या: शेफ अब आदेशों का पालन करते हैं, लेकिन भोजन अभी भी थोड़ा अजीब दिख सकता है, सॉस गांठदार हो सकती है, या व्यंजन कुछ ही मिनटों में बिखर सकता है।
समाधान: हम केवल शेफ को यह नहीं बताते कि क्या करना है; हम उन्हें एक ही व्यंजन के विभिन्न संस्करण बनाने देते हैं और उन्हें एक-दूसरे के विरुद्ध परखते हैं।
- उपमा: कल्पना कीजिए कि शेफ एक पास्ता डिश के 8 संस्करण बनाता है। जजों का एक पैनल (रिवॉर्ड मॉडल्स) उन्हें चखता है और चार चीजों के आधार पर विजेताओं को चुनता है:
- क्या यह दिखने में अच्छा है? (विजुअल एस्थेटिक्स)
- क्या सॉस चिकना है? (मोशन क्वालिटी)
- क्या इसका स्वाद ऑर्डर जैसा है? (टेक्स्ट एलाइनमेंट)
- क्या प्लेटिंग सुंदर है? (इमेज एस्थेटिक्स)
- जादू: अनुमान लगाने के बजाय, शेफ अपने ही प्रयासों की तुलना करके सीखता है। यदि संस्करण A, संस्करण B से बेहतर दिखता है, तो शेफ सीखता है कि संस्करण A में जो किया गया था, उसे और अधिक कैसे करना है। इसे GRPO (ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइजेशन) कहा जाता है। यह एक स्पोर्ट्स टीम की तरह है जो कोच के चिल्लाने का इंतज़ार करने के बजाय, खुद के खिलाफ अभ्यास करके तेज़ होना सीखती है।
चरण 3: "अनुवादक" अपग्रेड (प्रॉम्प्ट एन्हांसमेंट)
समस्या: कभी-कभी शेफ बहुत अच्छे होते हैं, लेकिन आप (ग्राहक) यह बताने में खराब होते हैं कि आपको क्या चाहिए। आप कहते हैं, "एक कूल वीडियो बनाओ," और शेफ कुछ उबाऊ बनाता है क्योंकि "कूल" एक अस्पष्ट शब्द है।
समाधान: हम आपके और शेफ के बीच बैठने के लिए एक स्मार्ट अनुवादक (एक लैंग्वेज मॉडल) को नियुक्त करते हैं।
- उपमा: आप अनुवादक से कहते हैं, "मुझे एक कूल वीडियो चाहिए।" अनुवादक इसे बदलकर, "सूर्यास्त के समय नियॉन लाइट और उड़ती कारों के साथ एक भविष्यवादी शहर का सिनेमाई शॉट" में लिख देता है।
- प्रशिक्षण: इस अनुवादक को भी उसी "स्वाद-परीक्षण" प्रतियोगिता का उपयोग करके प्रशिक्षित किया जाता है। यदि अनुवादक के द्वारा दोबारा लिखे गए प्रॉम्प्ट से बेहतर व्यंजन बनता है, तो अनुवादक को उच्च स्कोर मिलता है। अब, भले ही आप अस्पष्ट आदेश दें, अनुवादक उसे शेफ के लिए एक आदर्श रेसिपी में बदल देता है।
चरण 4: "स्पीड रन" प्रशिक्षण (ऑटोरेग्रेसिव डिस्टिलेशन)
समस्या: शेफ अब अद्भुत है, लेकिन वह धीमा है। वह एक व्यंजन पकाने में घंटों लगा देता है क्योंकि वह रसोई में हर सामग्री की हर दूसरी सामग्री के साथ जाँच कर रहा है।
समाधान: हम शेफ को खाना बनाने का एक नया, तेज़ तरीका सिखाते हैं जिसमें सब कुछ एक साथ जाँचने की आवश्यकता नहीं होती।
- उपमा: पूरी रसोई को देखने के बजाय कि आगे क्या करना है, शेफ फ्रेम-दर-फ्रेम (या स्टेप-बाय-स्टेप) खाना बनाना सीखता है, और अगले कदम को तय करने के लिए केवल उसी का उपयोग करता है जो उसने अभी-अभी बनाया है।
- परिणाम: शेफ अब पिछले चरणों में सीखी गई गुणवत्ता खोए बिना बहुत तेज़ी से व्यंजन परोस सकता है (एफिशिएंट इन्फरेंस)। यह एक धीमी, सावधानीपूर्वक मैनुअल ट्रांसमिशन से हाई-स्पीड ऑटोमैटिक में स्विच करने जैसा है।
अंतिम परिणाम
इस चार-चरणीय प्रक्रिया के अंत तक, वीडियो जनरेशन मॉडल:
- आज्ञाकारी है: यह वास्तव में आपके निर्देशों को सुनता है।
- सुंदर है: वीडियो स्मूथ, यथार्थवादी और उच्च गुणवत्ता वाले होते हैं।
- मजबूत है: जटिल प्रॉम्प्ट मिलने पर यह विफल नहीं होता।
- तेज़ है: यह वास्तविक दुनिया में उपयोगी होने के लिए पर्याप्त तेज़ी से वीडियो बना सकता है।
पेपर ने इसे अपने आंतरिक वीडियो मॉडल पर टेस्ट किया और पाया कि केवल "स्वाद-परीक्षण" चरण ने मानव मूल्यांकन में वीडियो को 31% बेहतर बना दिया, और "अनुवादक" जोड़ने से वे 20% और बेहतर हो गए। परिणाम एक ऐसा सिस्टम है जो केवल लैब में एक कूल प्रयोग होने के बजाय, वास्तविक अनुप्रयोगों में उपयोग के लिए तैयार है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।