💻 computer science

Video-OPD: Efficient Post-Training of Multimodal Large Language Models for Temporal Video Grounding via On-Policy Distillation

यह शोध पत्र Video-OPD का प्रस्ताव करता है, जो टेम्पोरल वीडियो ग्राउंडिंग के लिए एक कुशल पोस्ट-ट्रेनिंग फ्रेमवर्क है, जो स्पार्स रिवॉर्ड्स को डेंस टोकन-लेवल सुपरविजन में बदलने के लिए एक फ्रंटियर टीचर के साथ ऑन-पॉलिसी डिस्टिलेशन का लाभ उठाता है, जिससे यह अभिसरण गति (convergence speed) और कम्प्यूटेशनल दक्षता में मौजूदा GRPO विधियों से बेहतर प्रदर्शन करता है।

मूल लेखक: Jiaze Li, Hao Yin, Haoran Xu, Boshen Xu, Wenhui Tan, Zewen He, Jianzhong Ju, Zhenbo Luo, Jian Luan

प्रकाशित 2026-05-15

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Jiaze Li, Hao Yin, Haoran Xu, Boshen Xu, Wenhui Tan, Zewen He, Jianzhong Ju, Zhenbo Luo, Jian Luan

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ Video-OPD पेपर का सरल भाषा में अनुवाद दिया गया है:

बड़ी तस्वीर: एक रोबोट को वीडियो में पल (Moments) ढूँढना सिखाना

कल्पना कीजिए कि आपके पास एक स्मार्ट वीडियो असिस्टेंट है। आप उससे पूछते हैं, "मुझे वह हिस्सा दिखाओ जहाँ कुत्ता बिल्ली का पीछा कर रहा है।" असिस्टेंट को उस घटना का सटीक शुरू और अंत का समय ढूँढना होगा। इसे Temporal Video Grounding (TVG) कहा जाता है।

यह पेपर तर्क देता है कि इन AI मॉडल्स को सिखाने का वर्तमान सबसे अच्छा तरीका बहुत धीमा, बहुत महंगा और अक्सर भ्रमित करने वाला है। लेखक एक नई विधि प्रस्तावित करते हैं जिसे Video-OPD कहा जाता है, जो तेज़, सस्ता और अधिक स्मार्ट है।

समस्या: वर्तमान तरीके क्यों संघर्ष करते हैं

नए समाधान को समझने के लिए, हमें पहले यह देखना होगा कि पुराने तरीके (जिन्हें SFT और GRPO कहा जाता है) दोषपूर्ण क्यों हैं।

1. "ऑफ-पॉलिसी" (Off-Policy) की समस्या (SFT)

उपमा: कल्पना कीजिए कि आप एक छात्र को धूप वाले दिन आदर्श ड्राइविंग के वीडियो दिखाकर ड्राइविंग सिखा रहे हैं। लेकिन जब वे वास्तव में स्टीयरिंग संभालते हैं (Inference), तो बारिश हो रही होती है और वे ट्रैफिक में फंसे होते हैं। क्योंकि प्रशिक्षण वास्तविक दुनिया की स्थितियों से मेल नहीं खाता था, छात्र घबरा जाता है और दुर्घटना कर बैठता है।
वास्तविकता: मानक प्रशिक्षण (SFT) AI को पहले से रिकॉर्ड किए गए "परफेक्ट" उदाहरणों का उपयोग करके सिखाता है। लेकिन जब AI अपने आप वीडियो के समय का अनुमान लगाने की कोशिश करता है, तो वह शुरुआत में एक छोटी सी गलती करता है। क्योंकि उसे अपनी गलतियों को संभालने के लिए प्रशिक्षित नहीं किया गया था, इसलिए जैसे-जैसे वीडियो आगे बढ़ता है, उसकी स्थिति और खराब होती जाती है।

2. "स्पार्स रिवॉर्ड" (Sparse Reward) की समस्या (GRPO)

उपमा: कल्पना कीजिए कि एक छात्र 10-प्रश्नों का गणित का टेस्ट दे रहा है। उसे पूरा टेस्ट वापस मिलता है, और शिक्षक बस कहता है, "तुम्हें 60% मिले।" शिक्षक यह नहीं बताता कि कौन से प्रश्न गलत थे या क्यों गलत थे। छात्र को अगले टेस्ट के लिए अपने उत्तरों को बदलने के लिए अंदाज़ा लगाना पड़ता है।
वास्तविकता: वर्तमान शीर्ष विधि (GRPO) AI को वीडियो के बिल्कुल अंत में एक एकल स्कोर देती है (जैसे, "अच्छा काम किया" या "बुरा काम किया")। यह AI को यह नहीं बताती कि वीडियो का कौन सा विशिष्ट क्षण गलत था। यह सीखने की प्रक्रिया को बहुत धीमा और अक्षम बनाता है।
लागत: एक विश्वसनीय स्कोर प्राप्त करने के लिए, AI को हर एक सबक के लिए वीडियो को 8 बार "रोल आउट" (सिमुलेट) करना पड़ता है। यह एक छात्र को औसत ग्रेड पाने के लिए एक ही टेस्ट को 8 बार देने के लिए कहने जैसा है। यह भारी मात्रा में कंप्यूटर पावर को जला देता है।

समाधान: Video-OPD (द "ऑन-पॉलिसी डिस्टिलेशन" विधि)

लेखक Video-OPD का प्रस्ताव करते हैं, जो दोनों दुनियाओं के सर्वश्रेष्ठ गुणों को मिलाता है। इसे वास्तविक समय में काम करने वाले मास्टर शेफ और कुकिंग अप्रेंटिस (चेले) के रूप में सोचें।

1. "ऑन-पॉलिसी" दृष्टिकोण (रसोई में ही रहना)

केवल खाना पकाने के वीडियो देखने (SFT) के बजाय, अप्रेंटिस (छात्र AI) वास्तव में भोजन बनाता है। यदि वे टोस्ट जला देते हैं, तो मास्टर शेफ इसे होते हुए देखता है और तुरंत उन्हें सुधारता है।

यह कैसे मदद करता है: AI अपनी गलतियों को संभालने के लिए सीखता है क्योंकि इसे ठीक उन्हीं स्थितियों पर प्रशिक्षित किया जाता है जो वह परीक्षण के दौरान बनाता है।

2. "डेंस रिवॉर्ड" (चरण-दर-चरण आलोचना)

भोजन समाप्त होने तक स्कोर देने के बजाय, मास्टर शेफ (एक शक्तिशाली टीचर AI) अप्रेंटिस को हर एक कदम पर खाना बनाते हुए देखता है।

उपमा: "नहीं, अभी प्याज न काटें; पहले पैन को गर्म होने दें।" "अच्छा, अब सॉस को हिलाएं।"
वास्तविकता: टीचर AI, स्टूडेंट AI द्वारा उत्पन्न किए गए हर एक शब्द (टोकन) पर फीडबैक देता है। यह एक अस्पष्ट "अच्छा काम किया" को हजारों छोटे, सहायक सुधारों में बदल देता है। इसे Dense Supervision कहा जाता है।

3. "सिंगल रोलआउट" (दक्षता)

चूंकि टीचर हर कदम पर इतना विस्तृत फीडबैक दे रहा है, इसलिए स्टूडेंट को यह समझने के लिए कि क्या गलत हुआ, टेस्ट 8 बार लेने की आवश्यकता नहीं है। एक प्रयास ही काफी है।

परिणाम: यह पुराने तरीकों की तुलना में कंप्यूटर के समय और पैसे में लगभग 80% की बचत करता है।

सीक्रेट सॉस: TVDF (द "स्मार्ट फ़िल्टर")

पेपर एक चतुर तकनीक भी पेश करता है जिसे Teacher-Validated Disagreement Focusing (TVDF) कहा जाता है।

उपमा: कल्पना कीजिए कि मास्टर शेफ कभी-कभी थका हुआ या विचलित हो सकता है। आप उनके बुरे दिनों से नहीं सीखना चाहेंगे। TVDF एक ऐसी प्रणाली है जो जाँच करती है: "क्या मास्टर शेफ ने वास्तव में इस विशिष्ट समस्या पर सही उत्तर दिया था?"
- यदि शेफ सही है लेकिन स्टूडेंट पूरी तरह से गलत है, तो यह एक परफेक्ट लर्निंग मोमेंट है।
- यदि शेफ भ्रमित है, तो सिस्टम उस सबक को अनदेखा कर देता है।
परिणाम: AI केवल उन समस्याओं का अध्ययन करता है जहाँ वह सबसे अधिक संघर्ष कर रहा है, लेकिन केवल तभी जब शिक्षक समाधान के प्रति आश्वस्त हो। यह सीखने को और भी तेज़ बनाता है।

उन्होंने क्या हासिल किया?

पेपर ने कई वीडियो डेटासेट्स (जैसे फिल्मों या स्पोर्ट्स क्लिप्स में विशिष्ट क्षणों को ढूँढना) पर इस नई विधि का परीक्षण किया।

बेहतर स्कोर: Video-OPD मॉडल ने पिछले सर्वश्रेष्ठ तरीकों (GRPO) को महत्वपूर्ण अंतर से पीछे छोड़ दिया (औसत रूप से लगभग 17% सुधार)।
तेज़ सीखना: इसने उच्च प्रदर्शन स्तर बहुत तेज़ी से प्राप्त किया।
सस्ता: इसके लिए बहुत कम कंप्यूटिंग पावर की आवश्यकता थी क्योंकि इसे हर सबक के लिए कई सिमुलेशन चलाने की आवश्यकता नहीं थी।
टीचर को पछाड़ना: एक आश्चर्यजनक मोड़ में, कुछ राउंड के प्रशिक्षण के बाद, "स्टूडेंट" AI वास्तव में उस "टीचर" AI से अधिक स्मार्ट हो गया जिससे वह सीख रहा था।

सारांश

Video-OPD एक ऐसे ट्यूटर की तरह है जो आपको टेस्ट में फेल होने के बाद केवल अंतिम ग्रेड देने के बजाय, आपके बगल में बैठता है, आपकी हर हरकत को देखता है, आपको तुरंत सुधारता है, और केवल उन्हीं समस्याओं का अभ्यास करने देता है जिनके लिए आप वास्तव में तैयार हैं। परिणाम एक स्मार्ट AI है जो तेज़ी से सीखता है और जिसे प्रशिक्षित करने की लागत कम है।

तकनीकी सारांश: Video-OPD

समस्या विवरण (Problem Statement)

टेम्पोरल वीडियो ग्राउंडिंग (TVG) का लक्ष्य प्राकृतिक भाषा प्रश्नों (natural language queries) के अनुरूप वीडियो के भीतर विशिष्ट टेम्पोरल सेगमेंट को स्थानीयकृत (localize) करना है। जबकि हाल के अध्ययनों ने मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स (MLLMs) के लिए एक पोस्ट-ट्रेनिंग प्रतिमान (paradigm) के रूप में रिइन्फोर्समेंट लर्निंग (RL) के उपयोग की खोज की है, मौजूदा दृष्टिकोणों के सामने दो महत्वपूर्ण सीमाएँ हैं:

विरल रिवॉर्ड सिग्नल (Sparse Reward Signals): वर्तमान विधियाँ, विशेष रूप से ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइजेशन (GRPO) पर आधारित, सीक्वेंस-लेवल रिवॉर्ड्स (जैसे, Intersection-over-Union) पर निर्भर करती हैं। इसके परिणामस्वरूप एपिसोड की लंबाई के बावजूद एक एकल, निश्चित-आकार का रिवॉर्ड प्राप्त होता है। फलस्वरूप, मॉडल एक गंभीर क्रेडिट असाइनमेंट समस्या (credit assignment problem) से जूझता है, क्योंकि उसे इस बारे में कोई जानकारी नहीं मिलती कि किन मध्यवर्ती टोकन-लेवल निर्णयों ने सफलता या विफलता में योगदान दिया। यह विरलता (sparsity) खराब सैंपल एफिशिएंसी और धीमी अभिसरण (convergence) का कारण बनती है, विशेष रूपकर लंबे समय तक चलने वाले कार्यों (long-horizon tasks) में।
अत्यधिक कम्प्यूटेशनल ओवरहेड (Prohibitive Computational Overhead): विरल रिवॉर्ड्स के उच्च वेरिएंस को कम करने के लिए, GRPO को प्रत्येक ट्रेनिंग इंस्टेंस के लिए कई ऑन-पॉलिसी रोलआउट्स की आवश्यकता होती है। वीडियो समझ के संदर्भ में, जहाँ प्रत्येक रोलआउट लंबे विजुअल कॉन्टेक्स्ट पर आधारित होता है, रोलआउट्स की संख्या के साथ कम्प्यूटेशनल लागत अत्यधिक बढ़ जाती है, जिससे गणना, मेमोरी और लेटेंसी में भारी ओवरहेड होता है।

इसके अतिरिक्त, पारंपरिक सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) अपर्याप्त है क्योंकि यह ऑफ-पॉलिसी (off-policy) रूप से कार्य करता है, जो मॉडल के अपने इंफरेंस के दौरान प्रेरित स्टेट डिस्ट्रीब्यूशन के बजाय फिक्स्ड डेमोंस्ट्रेशन डिस्ट्रीब्यूशन पर अनुकूलित होता है। यह मिसमैच संचयी त्रुटियों (compounding errors) की ओर ले जाता है जहाँ शुरुआती विचलन मॉडल को अनदेखे स्टेट्स में धकेल देते हैं, जिससे लंबे टेम्पोरल होराइजन्स पर प्रदर्शन में गिरावट आती है।

कार्यप्रणाली: Video-OPD और TVDF

लेखक Video-OPD (वीडियो ऑन-पॉलिसी डिस्टिलेशन) प्रस्तावित करते हैं, जो एक कुशल पोस्ट-ट्रेनिंग फ्रेमवर्क है जो एक फ्रंटियर टीचर मॉडल से प्राप्त सघन (dense), टोकन-लेवल सुपरविजन के साथ ऑन-पॉलिसी ऑप्टिमाइजेशन के लाभों को एकीकृत करता है।

मुख्य फ्रेमवर्क: Video-OPD

Video-OPD सीधे वर्तमान स्टूडेंट पॉलिसी से सैंपल किए गए ट्राजेक्टरीज को ऑप्टिमाइज़ करता है, जो ट्रेनिंग और इंफरेंस डिस्ट्रीब्यूशन के बीच महत्वपूर्ण संरेखण (alignment) को बनाए रखता है। GRPO के विपरीत, यह स्पार्स एपिसोड-लेवल रिवॉर्ड्स को रिवर्स KL डायवर्जेंस ऑब्जेक्टिव के माध्यम से डेंस, स्टेप-वाइज लर्निंग सिग्नल्स से बदल देता है। ट्रेनिंग पाइपलाइन चार चरणों से बनी है:

ऑन-पॉलिसी ट्राजेक्टरी सैंपलिंग: स्टूडेंट मॉडल अपनी वर्तमान पॉलिसी $\pi_\theta$ से एक ट्राजेक्टरी $\tau$ (जिसमें रीजनिंग टोकन्स और टेम्पोरल बाउंड्री प्रेडिक्शन शामिल हैं) सैंपल करता है।
कंडीशनल इवैल्यूएशन: एक फिक्स्ड, हाई-कैपेसिटी टीचर मॉडल $\pi_{tea}$ स्टूडेंट द्वारा जनरेट किए गए टोकन्स का मूल्यांकन करता है, जो कंडीशनल लॉग-प्रोबेबिलिटी $\log \pi_{tea}(a_t | s_t)$ प्रदान करता है। टीचर स्वयं टोकन जनरेट नहीं करता है, जिससे सख्त ऑन-पॉलिसी ऑप्टिमाइजेशन सुनिश्चित होता है।
डेंस टोकन-लेवल सुपरविजन: रिवर्स KL डायवर्जेंस का उपयोग करके प्रत्येक टोकन के लिए एक डेंस रिवॉर्ड सिग्नल $r_t$ की गणना की जाती है:
$r_t = -(\log \pi_\theta(a_t | s_t) - \log \pi_{tea}(a_t | s_t))$
यह फॉर्मूलेशन सूक्ष्म (fine-grained) सुपरविजन प्रदान करता है, जो उन टोकन्स को दंडित करता है जहाँ स्टूडेंट टीचर के अपेक्षित व्यवहार से विचलित होता है, जिससे रीजनिंग चेन में सटीक क्रेडिट असाइनमेंट संभव होता है।
पॉलिसी अपडेट: स्टूडेंट पॉलिसी को स्टैंडर्ड पॉलिसी ग्रेडिएंट्स का उपयोग करके अपडेट किया जाता है, जिसमें $r_t$ को एक टोकन-लेवल रिवॉर्ड के रूप में माना जाता है। यह एक सिंगल ट्राजेक्टरी से डेंस सिग्नल प्राप्त करके मल्टी-रोलआउट की आवश्यकता को समाप्त करता है।

करिकुलम स्ट्रैटेजी: टीचर-वैलिडेटेड डिसएग्रीमेंट फोकसिंग (TVDF)

दक्षता को और बढ़ाने के लिए, लेखक TVDF पेश करते हैं, जो एक लाइटवेट ट्रेनिंग करिकुलम है जो ग्राउंड-ट्रुथ टेम्पोरल एनोटेशन का उपयोग केवल एक वैलिडेशन सिग्नल के रूप में करता है, न कि प्रत्यक्ष सुपरविजन टारगेट के रूपके। TVDF दो चरणों में कार्य करता है:

टीचर रिलायबिलिटी प्री-वैलिडेशन (TRPV): ग्राउंड-ट्रुथ एनोटेशन का उपयोग विशिष्ट वीडियो-क्वेरी पेयर्स के लिए टीचर मॉडल की विश्वसनीयता को सत्यापित करने के लिए किया जाता है। वे सैंपल जहाँ टीचर का प्रेडिक्शन ग्राउंड ट्रुथ के साथ निरंतरता मानदंड (जैसे, IoU थ्रेशोल्ड) को पूरा करने में विफल रहता है, उन्हें अस्वीकार कर दिया जाता है ताकि अविश्वसनीय फीडबैक को फैलने से रोका जा सके।
डिसएग्रीमेंट-आधारित ट्राजेक्टरी प्रायोरिटाइजेशन (DBTP): वैलिडेटेड विश्वसनीय सैंपल्स के बीच, करिकुलम उन ट्राजेक्टरीज को प्राथमिकता देता है जो स्टूडेंट और टीचर के बीच सबसे बड़े डिसएग्रीमेंट को प्रदर्शित करते हैं, जिसे एग्रीगेटेड रिवर्स KL डायवर्जेंस द्वारा मापा जाता है। यह प्रशिक्षण को उन सैंपल्स पर केंद्रित करता है जो टीचर-रिलायबल भी हैं और वर्तमान स्टूडेंट पॉलिसी के लिए मैक्सिमली इन्फॉर्मेटिव भी हैं।

मुख्य योगदान (Key Contributions)

सीमाओं की पहचान: पेपर ने पहचान की है कि TVG के लिए GRPO-आधारित पोस्ट-ट्रेनिंग स्पार्स रिवॉर्ड्स के कारण अक्षम ऑप्टिमाइजेशन और मल्टी-रोलआउट ट्रेनिंग के कारण अत्यधिक कम्प्यूटेशनल लागत से बाधित है।
Video-OPD फ्रेमवर्क: एक कुशल पोस्ट-ट्रेनिंग फ्रेमवर्क का प्रस्ताव, जो स्पार्स सीक्वेंस-लेवल रिवॉर्ड्स को रिवर्स KL डिस्टिलेशन के माध्यम से डेंस टोकन-लेवल सुपरविजन से बदल देता है। यह प्रभावी क्रेडिट असाइनमेंट, तेज़ अभिसरण (convergence) सक्षम करता है, और मल्टी-रोलआउट की आवश्यकता को समाप्त करता है।
TVDF करिकुलम: एक करिकुलम स्ट्रैटेजी का परिचय जो प्रत्यक्ष सुपरविजन के बिना टीचर की विश्वसनीयता को मान्य करने और हाई-डिसएग्रीमेंट सैंपल्स को प्राथमिकता देने के लिए ग्राउंड-ट्रुथ डेटा का अप्रत्यक्ष रूप से उपयोग करती है।
प्रायोगिक सत्यापन: प्रयोगों द्वारा यह सिद्ध किया गया है कि Video-OPD मानक TVG बेंचमार्क और व्यापक वीडियो अंडरस्टैंडिंग कार्यों पर GRPO और अन्य बेसलाइन्स को लगातार पछाड़ते हुए, बेहतर प्रदर्शन करता है।

प्रायोगिक परिणाम (Experimental Results)

लेखकों ने तीन मानक TVG बेंचमार्क (Charades-TimeLens, ActivityNet-TimeLens, QVHighlights-TimeLens) और व्यापक वीडियो अंडरस्टैंडिंग बेंचमार्क (TempCompass, MVBench, Video-MME) पर Video-OPD का मूल्यांकन किया।

प्रदर्शन लाभ: Video-OPD ने ओपन-सोर्स मॉडल्स के बीच स्टेट-ऑफ-द-आर्ट प्रदर्शन हासिल किया, जो लगातार GRPO से बेहतर रहा। औसतन, Video-OPD ने TVG बेंचमार्क पर 17% से अधिक सुधार किया, जबकि GRPO ने लगभग 12% लाभ दिखाया।
सामान्यीकरण (Generalization): पद्धति ने व्यापक वीडियो अंडरस्टैंडिंग कार्यों के लिए मजबूत सामान्यीकरण प्रदर्शित किया, जहाँ ऑफ-पॉलिसी डिस्टिलेशन विधियों के प्रदर्शन में गिरावट आई, वहाँ इसने प्रदर्शन को बनाए रखा या सुधारा।
दक्षता: Video-OPD, GRPO की तुलना में काफी तेजी से अभिसरित (converge) हुआ। कम्प्यूटेशनल लागत के मामले में, मल्टी-रोलआउट आवश्यकताओं को समाप्त करने के कारण, Video-OPD को समान चरणों के लिए GRPO के प्रशिक्षण समय का लगभग केवल 20% समय लगा।
टीचर-स्टूडेंट डायनामिक्स: प्रयोगों ने दिखाया कि स्टूडेंट मॉडल कई राउंड के प्रशिक्षण के बाद लगातार टीचर मॉडल से आगे निकल सकता है, जो यह दर्शाता है कि प्रदर्शन स्वाभाविक रूप से टीचर की क्षमता तक सीमित नहीं है।

महत्व और दावे (Significance and Claims)

पेपर का दावा है कि Video-OPD, टेम्पोरल वीडियो ग्राउंडिंग के लिए पारंपरिक रिइन्फोर्समेंट लर्निंग के एक प्रभावी विकल्प के रूप में ऑन-पॉलिसी डिस्टिलेशन को स्थापित करता है। डिस्ट्रीब्यूशनल शिफ्ट को कम करने के लिए महत्वपूर्ण ऑन-पॉलिसी प्रॉपर्टी को बनाए रखते हुए और स्पार्स रिवॉर्ड्स को फाइन-ग्रेन्ड लर्निंग सिग्नल्स में बदलकर, यह फ्रेमवर्क वर्तमान RL-आधारित पोस्ट-ट्रेनिंग विधियों की मौलिक बाधाओं को संबोधित करता है।

लेखक इस बात पर जोर देते हैं कि उनका दृष्टिकोण एक अधिक अनुकूल दक्षता-प्रदर्शन ट्रेड-ऑफ (efficiency–performance trade-off) प्रदान करता है, जो काफी कम कम्प्यूटेशनल ओवरहेड के साथ तीव्र अभिसरण और उच्च-गुणवत्ता वाला ग्राउंडिंग सक्षम करता है। यह कार्य TVG में ऑन-पॉलिसी डिस्टिलेशन लाने का पहला प्रयास है, जो विशेष रूप से लंबे समय तक चलने वाले टेम्पोरल रीजनिंग की चुनौतियों को संबोधित करता है जिसके लिए सख्त डिस्ट्रीब्यूशनल अलाइनमेंट और फाइन-ग्रेन्ड क्रेडिट असाइनमेंट दोनों की आवश्यकता होती है।