Plans You Can Check: Verifier-Grounded Learning of an Open-Weight Planner for Executable Video-Editing
यह शोध पत्र RefineCut को प्रस्तुत करता है, जो निष्पादन योग्य वीडियो संपादन के लिए एक ओपन-वेट प्लानर है जो मल्टी-टीचर रिपेयर्स और प्रेफरेंस रिफाइनमेंट को डिस्टिल करने के लिए एक डिटरमिनिस्टिक वेरीफायर का लाभ उठाता है, जिससे एक 8B मॉडल को इन्फरेंस के दौरान टीचर कॉल्स की आवश्यकता के बिना एक नए बेंचमार्क पर फ्रंटियर टीचर्स से बेहतर प्रदर्शन करने में सक्षम बनाया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस की दुनिया में, एक सामान्य अंतर नई छवियां बनाने के कार्य को मौजूदा छवियों को व्यवस्थित करने के कार्य से अलग करता है। जबकि कई प्रणालियों ने शून्य से पिक्सेल पेंट करना सीख लिया है, जिससे एक साधारण विचार को एक बिल्कुल नई तस्वीर में बदला जा सके, वीडियो संपादित करने की चुनौती अलग है। वास्तविक दुनिया में वीडियो संपादन नए प्रकाश उत्पन्न करने के बारे में कम और निर्णयों की एक श्रृंखला लेने के बारे में अधिक है। एक संपादक को मौजूदा फुटेज के एक समूह को देखना होता है, यह तय करना होता है कि कौन से क्लिप रखने हैं, प्रत्येक को कितनी देर तक चलाना है, यह निर्धारित करना होता है कि उन्हें कहाँ रखना है, और यह सुनिश्चित करना होता है कि कट साउंडट्रैक की लय के साथ मेल खाएं। यह प्रक्रिया बाधाओं की एक पहेली है: अंतिम वीडियो एक विशिष्ट लंबाई का होना चाहिए, इसमें कुछ विशेष दृश्य शामिल होने चाहिए, कुछ को बाहर रखा जाना चाहिए, और यह संगीत के साथ पूरी तरह से तालमेल बिठाना चाहिए। कंप्यूटर के लिए यह करने के लिए, वह केवल अनुमान नहीं लगा सकता; उसे एक ऐसी योजना का पालन करना होगा जिसे नियमों की एक सूची के विरुद्ध जांचा जा सके।
शोधकर्ताओं की एक टीम ने इस समस्या का समाधान इस प्रकार किया है कि वीडियो संपादन को एक रचनात्मक अनुमान लगाने वाले खेल के रूप में नहीं, बल्कि एक सत्यापन योग्य योजना कार्य (verifiable planning task) के रूप में देखा गया। उन्होंने RefineCut नामक एक प्रणाली बनाई, जो एक संक्षिप्त, ओपन-सोर्स कंप्यूटर मॉडल को ये संपादन योजनाएं बनाना सिखाती है। पिछले दृष्टिकोणों के विपरीत, जो सही उत्तर का अनुमान लगाने के लिए विशाल, क्लोज्ड-सोर्स मॉडलों पर निर्भर करते हैं, RefineCut एक दो-चरणीय शिक्षण प्रक्रिया का उपयोग करता है। पहले, यह कई शक्तिशाली AI शिक्षकों के अव्यवस्थित, अक्सर विरोधाभासी सुझावों को लेता है और उन्हें एक सख्त, स्वचालित चेकर (checker) के माध्यम से चलाता है। यह चेकर, जो एक डिजिटल संपादक की तरह कार्य करता है, प्रत्येक प्रस्तावित परिवर्तन को आवश्यकताओं की एक स्पष्ट सूची के विरुद्ध परीक्षण करता है, जैसे कि "वीडियो 30 सेकंड लंबा होना चाहिए" या "इस विशिष्ट क्लिप को शामिल किया जाना चाहिए।" केवल वे सुझाव जो इस परीक्षण में पास होते हैं, उन्हें छात्र मॉडल को सीखने के लिए उदाहरण के रूप में रखा जाता है। यह सुनिश्चित करता है कि मॉडल अपने शिक्षकों की गलतियों या अनुमानों की नकल करने के बजाय सत्यापित सफलताओं से सीखता है।
शोधकर्ताओं ने फिर प्रशिक्षण का दूसरा चरण पेश किया जहाँ मॉडल अपने स्वयं के काम को सुधारना सीखता है। अपने संपादनों के लिए किसी मानव या शिक्षक द्वारा ग्रेड दिए जाने की प्रतीक्षा करने के बजाय, मॉडल एक समस्या के लिए कई संभावित समाधान उत्पन्न करता है, और स्वचालित चेकर उन्हें इस आधार पर स्कोर देता है कि वे नियमों को कितनी अच्छी तरह पूरा करते हैं। फिर मॉडल को उच्चतम-स्कोर वाले समाधानों को प्राथमिकता देने के लिए प्रशिक्षित किया जाता है। यह चक्र सिस्टम को अपनी योजना बनाने की क्षमताओं को परिष्कृत करने की अनुमति देता है जब तक कि वह बिना किसी बड़े, अधिक महंगे AI की मदद लिए पूरी तरह से स्वतंत्र रूप से कार्य कर सके। परिणाम एक ऐसा सिस्टम है जो एक वीडियो का संक्षिप्त विवरण, क्लिप्स का एक पुस्तकालय और नियमों का एक सेट ले सकता है, और वीडियो को जोड़ने के लिए एक विस्तृत, निष्पादन योग्य योजना तैयार कर सकता है।
इस दृष्टिकोण का परीक्षण करने के लिए, टीम ने RefineCut-Bench नामक एक नया बेंचमार्क बनाया, जिसमें हजारों संपादन कार्य, वास्तविक वीडियो क्लिप, संगीत ट्रैक और स्पष्ट बाधाओं की सूचियाँ शामिल हैं। उन्होंने पाया कि जब मॉडल ने शक्तिशाली AI शिक्षकों के कच्चे सुझावों से सीधे सीखा, तो इसने खराब प्रदर्शन किया, और उनके विशिष्ट परीक्षण पैमाने पर 0.620 का स्कोर प्राप्त किया। हालाँकि, एक बार जब मॉडल को सत्यापित, चेकर-अनुमोदित सुझावों के साथ प्रशिक्षित किया गया, तो इसका प्रदर्शन काफी बढ़ गया और 0.858 हो गया। इसके बाद के स्व-सुधार के दूसरे चरण के बाद, जहाँ मॉडल ने अपने स्वयं के सुधारों में से सर्वश्रेष्ठ को चुनना सीखा, स्कोर और बढ़कर 0.924 हो गया। मॉडल का यह अंतिम संस्करण, जो अपेक्षाकृत छोटा और कुशल है, उन बहुत बड़े और जटिल AI सिस्टम के समान या उनसे बेहतर प्रदर्शन करता है जिनकी नकल करने के लिए इसे मूल रूप से प्रशिक्षित किया गया था।
अध्ययन स्पष्ट रूप से इस विचार को खारिज करता है कि शक्तिशाली AI मॉडलों के आउटपुट की नकल करना ही इस समस्या को हल करने के लिए पर्याप्त है। शोधकर्ताओं ने दिखाया कि जब मॉडल ने सीधे अपने शिक्षकों की नकल करने की कोशिश की, तो उसने उनकी त्रुटियों और विसंगतियों को भी विरासत में प्राप्त कर लिया। सफलता की कुंजी सत्यापन का मध्यवर्ती चरण था। प्रत्येक संभावित संपादन निर्णय को उपयोग किए जाने वाले शिक्षण उपकरण के रूप में उपयोग करने से पहले स्वचालित चेकर के माध्यम से चलाने से, सिस्टम ने शोर को फ़िल्टर किया और केवल विश्वसनीय पथों को रखा। यह पद्धति विभिन्न प्रकार के AI मॉडलों में मजबूत साबित हुई, न कि केवल उस मॉडल में जिससे वे शुरू हुए थे, जो यह सुझाव देती है कि काम को सत्यापित और जांचने की क्षमता मॉडल के आकार से अधिक शक्तिशाली शिक्षक है।
शोधकर्ताओं ने यह भी परीक्षण किया कि क्या ये योजना संबंधी लाभ वास्तविक दृश्य गुणवत्ता में परिवर्तित होते हैं। उन्होंने मानव न्यायाधीशों से नए सिस्टम द्वारा बनाए गए पुराने तरीकों के मुकाबले ब्लाइंड, लेफ्ट-राइट रैंडमाइज्ड A/B प्रीव्यू (स्टोरीबोर्ड रेंडर) की तुलना करवाई। न्यायाधीशों ने लगातार RefineCut सिस्टम द्वारा बनाए गए वीडियो को पसंद किया, जिससे पुष्टि हुई कि बेहतर योजना स्कोर का अर्थ बेहतर दृश्य परिणाम था। सिस्टम जटिल अनुरोधों को संभालने में सक्षम था, जैसे कि एक विशिष्ट दृश्य को बदलना, बीट के साथ तालमेल बिठाने के लिए गति को समायोजित करना, या यह सुनिश्चित करना कि कुल अवधि सटीक हो, और यह सब करते हुए उन सामान्य त्रुटियों से बचना जो अनवेरिफाइड मॉडलों में देखी जाती थीं, जैसे कि क्लिप का छूटना या बेमेल लंबाई।
यह कार्य प्रदर्शित करता है कि सख्त नियमों और संरचित निर्णयों वाले कार्यों के लिए, एक छोटा, ओपन मॉडल बड़े, क्लोज्ड सिस्टम से बेहतर प्रदर्शन कर सकता है यदि इसे अपने काम को जांचने के विश्वसनीय तरीके के साथ प्रशिक्षित किया जाए। शोधकर्ताओं ने यह दावा नहीं किया है कि उन्होंने वीडियो निर्माण के हर पहलू को हल कर लिया है, जैसे कि कट के कलात्मक स्वाद का निर्णय लेना या जटिल भावनात्मक कहानियों को समझना, जो मशीनों के लिए कठिन बने हुए हैं। हालाँकि, उन्होंने सफलतापूर्वक दिखाया है कि संपादन का यांत्रिक पक्ष—क्लिप्स का चयन करना, क्रमबद्ध करना और आवश्यकताओं को पूरा करने के लिए समय निर्धारित करना—एक ऐसे सिस्टम द्वारा मास्टर किया जा सकता है जो योजना बनाने, जांचने और आत्म-सुधार के चक्र से सीखता है। इन प्रयोगों के लिए उपयोग किए गए कोड और डेटासेट को अब सार्वजनिक रूप से उपलब्ध कराया गया है, जिससे अन्य शोधकर्ता इस सत्यापित दृष्टिकोण पर आगे का काम कर सकें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।