कल्पना कीजिए कि आप एक फिल्म का दृश्य फिल्माने की कोशिश कर रहेกัน, लेकिन आपके पास कोई एकल स्क्रिप्ट नहीं, बल्कि तस्वीरों और एक वीडियो क्लिप का एक अस्त-व्यस्त ढेर है, और आपको अपने अभिनेताओं को ठीक-ठीक बताना है कि उन्हें क्या करना है। यह AI वीडियो एडिटिंग की दुनिया है, एक ऐसा क्षेत्र जहाँ कंप्यूटर यह सीखने के लिए सीखते हैं कि हमें जो बताया जाए उसके आधार पर वीडियो को कैसे बदला जाए। लंबे समय तक, ये कंप्यूटर उत्साही लेकिन भ्रमित इंटर्न की तरह थे: यदि आप उनसे कहते, "आसमान को इस फोटो जैसा बना दो और पात्र को उस एक की तरह," तो वे अक्सर गड़बड़ा जाते थे, आसमान को पात्र के साथ बदल देते थे या दोनों छवियों को एक अजीब मिश्रण में मिला देते थे। मुख्य समस्या यह नहीं थी कि कंप्यूटर छवियों को देख नहीं सकते थे; समस्या यह थी कि वे निर्देशों को इतनी स्पष्टता से नहीं समझ पाते थे कि यह जान सकें कि किस विशिष्ट फोटो के आधार पर वीडियो के किस हिस्से को बदलना है।

यह शोध पत्र, ReBind, उस भ्रम को दूर करने के लिए है, यह महसूस करते हुए कि रहस्य केवल एक स्मार्ट वीडियो जनरेटर होने में नहीं है, बल्कि एक स्मार्ट "अनुवादक" (translator) होने में है। लेखक सुझाव देते हैं कि निर्देश देने का पुराना तरीका—जैसे कि "दूसरे व्यक्ति को फोटो 2 वाले व्यक्ति से बदल दें" जैसे अस्पष्ट वाक्य—कंप्यूटर के लिए बहुत धुंधला है जब इसमें कई फोटो शामिल हों। इसके बजाय, वे निर्देश देने का एक नया तरीका प्रस्तावित करते हैं, जो एक सख्त स्टेज मैनेजर की तरह काम करता है, जो हर एक फोटो की ओर स्पष्ट रूप से इशारा करता है और कहता है, "वीडियो का यह हिस्सा इस विशिष्ट चित्र से आता है, और वह हिस्सा उस एक से आता है।" इन निर्देशों को पहले ठीक करके, वीडियो एडिटिंग का जादू वास्तव में काम करता है।

समस्या: "बहुत अधिक फोटो" वाला भ्रम

एक वीडियो को एडिट करने की कोशिश को एक ऐसी रेसिपी का पालन करने की तरह समझें जहाँ आपको एक साथ तीन अलग-अलग कुकबुक्स से सामग्री मिलानी पड़ती है। यदि रेसिपी केवल कहती है, "किताब A से कुछ मसाला डालें और किताब B से एक सब्जी डालें," तो एक मानव शेफ अनुमान लगा सकता है, लेकिन एक कंप्यूटर अक्सर घबरा जाता है। वह गलत मसाला उठा सकता है या सब्जी को गलत व्यंजन के साथ मिला सकता है।

लेखकों ने पाया कि मौजूदा AI मॉडल मल्टी-रेफरेंस वीडियो एडिटिंग (Multi-Reference Video Editing) के साथ संघर्ष कर रहे थे। यह तब होता है जब आप एक वीडियो (जैसे सड़क पर चलता हुआ एक आदमी) लेना चाहते हैं और उसे कई संदर्भ छवियों (reference images) के विवरणों का उपयोग करके बदलना चाहते हैं (शायद आप चाहते हैं कि सड़क फोटो 1 से साइबरपंक शहर जैसी दिखे, लेकिन आदमी फोटो 2 से एक रोबोट जैसा दिखे)।

पुराने तरीके इसलिए विफल रहे क्योंकि उनके द्वारा उपयोग किए जाने वाले निर्देश बहुत अस्पष्ट थे। वे AI पर निर्भर थे कि वह "अनुमान लगाए" कि कौन सा फोटो किस हिस्से से मेल खाता है। शोध पत्र का तर्क है कि सामान्य-उद्देश्य वाले AI मॉडल (जो हमसे चैट करते हैं और सवालों के जवाब देते हैं) इस विशिष्ट कार्य के लिए बहुत खराब हैं। वे इस बात को लेकर भ्रमित हो जाते हैं कि कौन सा दृश्य विवरण किस स्रोत छवि से संबंधित है, जिससे ऐसे परिणाम मिलते हैं जहाँ रोबोट के पास साइबरपंक स्ट्रीट की लाइटिंग आ जाती है, या बैकग्राउंड बदल जाता है जब उसे नहीं बदलना चाहिए था। लेखक इसे एक "गंभीर कमी" (critical deficiency) कहते हैं: निर्देशों में स्पष्ट संदर्भ संबंध (explicit reference relationships) की कमी होती है।

समाधान: ReBind और "मैजिक टैग्स"

इसे ठीक करने के लिए, टीम ने ReBind नामक एक नया सिस्टम बनाया। कल्पना कीजिए कि आप एक कहानी लिख रहे हैं, लेकिन केवल "लाल कार" कहने के बजाय, आपको शब्द "लाल" के साथ एक वास्तविक, अटूट टैग लगाना होगा जो कहता है, "यह लाल कार फोटो 1 से आती है।"

ReBind निर्देशों का एक नया प्रकार पेश करता है जिसे डेंस इंस्ट्रक्शंस विद एक्सप्लिसिट रेफरेंस टोकन्स (Dense Instructions with Explicit Reference Tokens) कहा जाता है।

• पुराना तरीका: "युवा व्यक्ति को दूसरी तस्वीर वाले वृद्ध व्यक्ति से बदल दें।" (AI को अनुमान लगाना पड़ता है कि कौन सी तस्वीर कौन सी है और बदलाव कहाँ होता है)।
• ReBind का तरीका: "वीडियो में, <Video_1> वाला युवा व्यक्ति <Image_2> के चेहरे वाले एक वृद्ध व्यक्ति द्वारा प्रतिस्थापित किया जाता है, जो <Image_1> के स्वेटर को पहनता है।"

इन विशेष "टैग्स" (जैसे <Image_1>) को सीधे वाक्य के बगल में विवरण के साथ जोड़कर, AI को पता चल जाता है कि उसे कहाँ देखना है। यह कंप्यूटर को केवल एक पड़ोस के मौखिक विवरण के बजाय, 'X' मार्क वाले मानचित्र देने जैसा है।

उन्होंने AI को कैसे सिखाया: दो-चरणीय प्रशिक्षण

शोध पत्र बताता है कि आप केवल इन विशेष निर्देशों को एक मानक AI को देकर यह उम्मीद नहीं कर सकते कि वह काम करेगा; इसे इन्हें लिखने के लिए विशेष रूप से प्रशिक्षित करने की आवश्यकता है। लेखकों ने उनके नए AI, ReBind-Instruct के लिए एक दो-चरणीय प्रशिक्षण प्रक्रिया बनाई:

1. चरण 1: प्रारूप सीखना (Supervised Fine-Tuning)।
   सबसे पहले, उन्होंने AI को ये संरचित वाक्य लिखना सिखाया। उन्होंने इसे हजारों उदाहरण दिखाए जिनमें वीडियो और उनके "पहले और बाद" के संस्करण, साथ ही सही "टैग्ड" निर्देश थे। AI ने यह देखना सीखा कि "आह, यह हिस्सा इसलिए बदला क्योंकि यह इमेज 1 की वजह से था, और यह हिस्सा मूल वीडियो से वैसा ही रहा।" उसने सही स्थानों पर <Image_1> टैग लगाना सीख लिया।

2. चरण 2: सटीक होना सीखना (Reinforcement Learning)।
   केवल प्रारूप जानना पर्याप्त नहीं है; AI को सटीक होना चाहिए। यदि वह कहता है "टोपी इमेज 1 से है" लेकिन टोपी वास्तव में इमेज 2 से है, तो वह विफल हो जाता है। इसे ठीक करने के लिए, टीम ने ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइजेशन (GRPO) नामक तकनीक का उपयोग किया।

• इसे एक खेल के रूप में सोचें जहाँ AI निर्देशों के कुछ अलग-अलग संस्करण लिखता है।
• एक "जज" (एक अन्य AI) एक चेकलिस्ट के विरुद्ध उनकी जाँच करता है। क्या इसने उन सभी चीजों का उल्लेख किया जो बदली गईं? क्या इसने टोपी को सही फोटो से सही ढंग से जोड़ा? क्या इसने ऐसी चीजें बनाने से परहेज किया जो वहां नहीं थीं (hallucinations)?
• AI को सही लिंक बनाने के लिए "रिवॉर्ड" मिलता है और गलत मिलाने पर "पेनल्टी" मिलती है। समय के साथ, वह हमेशा सही विवरणों के साथ सही फोटो टैग जोड़ना सीख जाता है।

परिणाम: एक स्मार्ट एडिटर

एक बार जब AI (ReBind-Instruct) इन पूर्ण, टैग्ड निर्देशों को लिखने में विशेषज्ञ बन गया, तो उन्होंने इस विशेषज्ञता का उपयोग एक वीडियो एडिटर, ReBind-Edit को प्रशिक्षित करने के लिए किया। यह एडिटर उन टैग्ड निर्देशों को लेता है और एक वीडियो जेनरेशन मॉडल (जो LTX-2.3 नामक सिस्टम पर आधारित है) को निर्देशित करने के लिए उनका उपयोग करता है।

परिणाम प्रभावशाली थे। UniVBench और IntelligentVBench जैसे बेंचमार्क पर परीक्षण करने पर:

• निर्देश की गुणवत्ता (Instruction Quality): ReBind-Instruct मानक, सामान्य-उद्देश्य वाले AI मॉडल की तुलना में स्पष्ट, सटीक निर्देश लिखने में बहुत बेहतर था। इसने दृश्य विवरणों को उनकी स्रोत छवियों से सही ढंग से जोड़ने में कुछ सबसे शक्तिशाली "क्लोज्ड-सोर्स" मॉडलों को भी पीछे छोड़ दिया।
• वीडियो की गुणवत्ता (Video Quality): ReBind-Edit द्वारा बनाए गए वीडियो अन्य ओपन-सोर्स तरीकों की तुलना में काफी बेहतर थे। उन परीक्षणों में जहाँ AI को एक फोटो का उपयोग करके पात्र का चेहरा बदलना था और दूसरी फोटो का उपयोग करके बैकग्राउंड बदलना था, ReBind-Edit विवरणों को सही ढंग से बनाए रखने में सफल रहा, जबकि अन्य मॉडल अक्सर दोनों को आपस में मिला देते थे या मूल वीडियो की गति को बनाए रखने में विफल रहते थे।

लेखकों ने पाया कि निर्देश की गुणवत्ता सीधे तौर पर वीडियो की गुणवत्ता को निर्धारित करती है। जब उन्होंने नए "डेंस" निर्देशों (टैग्स के साथ) का उपयोग करके वीडियो एडिटर को प्रशिक्षित किया, तो परिणाम पुराने, अस्पष्ट निर्देशों की तुलना में बहुत बेहतर थे। यह सुझाव देता है कि वीडियो एडिटिंग में बाधा अनिवार्य रूप से वीडियो जनरेटर नहीं है, बल्कि हमारे द्वारा दिए जाने वाले निर्देशों की गुणवत्ता है।

यह क्यों मायने रखता है

शोध पत्र निष्कर्ष निकालता है कि AI द्वारा जटिल वीडियो एडिटिंग में महारत हासिल करने के लिए—जहाँ आप एक ही दृश्य में पांच अलग-अलग फोटो के तत्वों को मिलाना चाह सकते हैं—हमें निर्देशों को सरल वाक्यों के रूप में मानना बंद करना होगा और उन्हें संरचित मानचित्रों के रूप में मानना शुरू करना होगा। यह सुनिश्चित करके कि AI स्पष्ट रूप से कहे, "यह पिक्सेल उस फोटो से आता है," हम भ्रम को समाप्त कर देते हैं।

लेखक यह दावा नहीं करते हैं कि उन्होंने वीडियो जेनरेशन की हर समस्या को हल कर दिया है, लेकिन उन्होंने दिखाया है कि स्पष्ट संदर्भ ग्राउंडिंग (explicit reference grounding) ही वह गायब कड़ी है। उनका तरीका, ReBind, यह सिद्ध करता है कि सही "अनुवादक" के साथ जो निर्देशों को लिख सके, ओपन-सोर्स मॉडल भी सर्वश्रेष्ठ क्लोज्ड-सोर्स सिस्टम के साथ प्रतिस्पर्धा कर सकते हैं, जिससे ऐसे वीडियो बनते हैं जो न केवल दिखने में शानदार हैं, बल्कि वास्तव में निर्देशक के विशिष्ट, मल्टी-फोटो विजन का पालन करते हैं।