🤖 AI

Manifold-Aware Exploration for Reinforcement Learning in Video Generation

यह शोध पत्र SAGE-GRPO का प्रस्ताव करता है, जो एक मैनिफोल्ड-अवेयर (manifold-aware) सुदृढीकरण शिक्षण ढांचा है जो सूक्ष्म-स्तरीय वक्रता सुधारों (micro-level curvature corrections) और मैक्रो-स्तरीय द्वैत विश्वास क्षेत्रों (macro-level dual trust regions) के माध्यम से वैध वीडियो डेटा मैनिफोल्ड के भीतर अन्वेषण को सीमित करता है, जिससे प्रशिक्षण को स्थिर किया जाता है और मौजूदा विधियों की तुलना में वीडियो निर्माण की गुणवत्ता और रिवॉर्ड मैक्सिमाइजेशन में महत्वपूर्ण सुधार किया जाता है।

मूल लेखक: Mingzhe Zheng, Weijie Kong, Yue Wu, Dengyang Jiang, Yue Ma, Xuanhua He, Bin Lin, Kaixiong Gong, Zhao Zhong, Liefeng Bo, Qifeng Chen, Harry Yang

प्रकाशित 2026-03-24

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Mingzhe Zheng, Weijie Kong, Yue Wu, Dengyang Jiang, Yue Ma, Xuanhua He, Bin Lin, Kaixiong Gong, Zhao Zhong, Liefeng Bo, Qifeng Chen, Harry Yang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट शेफ को एक बेहतरीन, मल्टी-कोर्स मील (वीडियो) बनाना सिखा रहे हैं (एक टेक्स्ट प्रॉम्प्ट के आधार पर एक रेसिपी)।

रोबोट पहले से ही मौजूदा रेसिपी के विशाल पुस्तकालय (प्री-ट्रेंड मॉडल) से खाना पकाने की बुनियादी बातें सीख चुका है। हालाँकि, आप इसे एक विशिष्ट आलोचक (क्रिटिक) की पसंद के अनुसार और भी बेहतर खाना बनाना सिखाना चाहते हैं (रिवॉर्ड)। ऐसा करने के लिए, आप रोबोट को बार-बार वही व्यंजन बनाने देते हैं, और हर बार सामग्री में थोड़ा बदलाव करते हैं ताकि यह देखा जा सके कि आलोचक को सबसे ज्यादा क्या पसंद आता है। इस प्रक्रिया को रीइन्फोर्समेंट लर्निंग (Reinforcement Learning) कहा जाता है।

समस्या यह है कि वीडियो जनरेशन अविश्वसनीय रूप से जटिल है। यदि रोबोट बहुत उत्साहित हो जाता है और अपने प्रयोगों में यादृच्छिक (रैंडम), अजीब सामग्रियां (नॉइज़) डालने लगता है, तो व्यंजन एक खाने योग्य कचरे में बदल जाता है। रोबंडा अनजाने में "अच्छे खाना पकाने के मार्ग" से भटककर एक अराजक क्षेत्र में जा सकता है जहाँ भोजन एक ग्लिच वाले बुरे सपने जैसा दिखने लगता है।

यह पेपर इस समस्या को ठीक करने के लिए SAGE-GRPO नामक एक नई विधि पेश करता है। इसे एक स्मार्ट जीपीएस और एक स्थिर हाथ देने के रूप में समझें ताकि रोबोट अपना रास्ता भटके बिना नए व्यंजनों का पता लगा सके।

यह कैसे काम करता है, इसे तीन सरल भागों में विभाजित किया गया है:

1. "मैनिफोल्ड" (Manifold): सुरक्षित कुकिंग पाथ

कल्पना कीजिए कि रोबोट जो भी वीडियो बना सकता है, वे सभी एक विशाल, धुंधले परिदृश्य (लैंडस्केप) हैं।

"मैनिफोल्ड" उस धुंध के बीच से गुजरने वाला एक संकरा, अच्छी तरह से पक्का राजमार्ग (हाईवे) है। यह हाईवे उन सभी वीडियो का प्रतिनिधित्व करता है जो वास्तविक दिखते हैं और जिनका कोई अर्थ निकलता है ("वैलिड डेटा")।
समस्या: पुराने तरीके रोबोट को सिखाने जैसे थे जैसे उसे "यादृच्छिक रूप से दौड़ने" के लिए कहना। लेकिन क्योंकि रोबोट बिना किसी मानचित्र के बहुत तेज़ी से दौड़ रहा था, वह अक्सर हाईवे से भटककर धुंधले दलदल (हाई-नॉइज़ क्षेत्रों) में गिर जाता था, जिससे ग्लिच वाले, झटकेदार वीडियो बनते थे।
समाधान (माइक्रो-लेवल): लेखकों ने एक प्रिसाइज SDE (Precise SDE - स्टोकेस्टिक डिफरेंशियल इक्वेशन) डिज़ाइन किया है। इसे एक स्मार्ट जीपीएस के रूप में समझें। रोबोट को बेतरतीब ढंग से भटकने देने के बजाय, जीपीएस गणना करता है कि हाईवे पर बने रहने के लिए कितने "हिलने-डुलने की गुंजाइश" (विगल रूम) की आवश्यकता है। यह उस "अतिरिक्त ऊर्जा" (अनावश्यक शोर) को हटा देता है जो आमतौर पर रोबोट को सड़क से बाहर धकेल देती है। अब, रोबोट द्वारा किया गया प्रत्येक प्रयोग सुरक्षित, पक्के रास्ते पर रहता है।

2. "ग्रेडिएंट इक्वलाइज़र" (Gradient Equalizer): गर्मी को संतुलित करना

जीपीएस के साथ भी, रोबोट के सामने एक और समस्या है: खाना पकाने की प्रक्रिया असमान है।

समस्या: जब रोबोट अभी खाना बनाना शुरू ही कर रहा होता है (उच्च शोर), तो निर्देश बहुत अस्पष्ट होते हैं, और रोबोट को ऐसा महसूस होता है जैसे वह शून्य में चिल्ला रहा है (ग्रेडिएंट वैनिश/लुप्त होना)। लेकिन जब व्यंजन लगभग तैयार होता है (कम शोर), तो निर्देश बहुत संवेदनशील हो जाते हैं, और रोबोट अत्यधिक प्रतिक्रिया दे सकता है और खाना जला सकता है (ग्रेडिएंट एक्सप्लोड/विस्फोट)। यह सीखने की प्रक्रिया को अस्थिर बनाता है।
समाधान (माइक्रो-लेवल): उन्होंने एक ग्रेडिएंट नॉर्म इक्वलाइज़र (Gradient Norm Equalizer) पेश किया है। इसे रोबोट के मस्तिष्क के लिए एक स्मार्ट थर्मोस्टेट के रूप में कल्पना करें। यह स्वचालित रूप से वॉल्यूम को कम कर देता है जब रोबोट बहुत अधिक उत्साहित (लो नॉइज़) हो रहा होता है, और वॉल्यूम को बढ़ा देता है जब रोबोट बहुत शांत (हाई नॉइज़) होता है। यह सुनिश्चित करता है कि रोबोट पूरे खाना पकाने की प्रक्रिया के दौरान एक स्थिर, संतुलित गति से सीखता है, न कि अजीब मूड स्विंग्स के साथ।

3. "डुअल ट्रस्ट रीजन" (Dual Trust Region): एक चलता-फिरता एंकर

अंत में, रोबोट को यह जानने की आवश्यकता है कि वह अपनी मूल ट्रेनिंग से कितना दूर जा सकता है इससे पहले कि वह सब कुछ भूल जाए।

समस्या:
- यदि आप रोबोट को उसकी मूल ट्रेनिंग से बांध देते हैं (एक फिक्स्ड एंकर), तो वह नए करतब कभी नहीं सीख पाएगा क्योंकि वह शुरुआती रेखा से दूर जाने में बहुत डरता है। वह वहीं अटक जाता है।
- यदि आप उसे स्वतंत्र छोड़ देते हैं, तो वह इतना दूर भटक सकता है कि वह पूरी तरह से खाना बनाना भूल जाए और मतिभ्रम (रिवॉर्ड हैकिंग) करने लगे।
समाधान (मैक्रो-लेवल): उन्होंने एक मूविंग एंकर (Moving Anchor) के साथ डुअल ट्रस्ट रीजन बनाया है।
- कल्पना कीजिए कि रोबोट एक पट्टे (लीश) पर है।
- शॉर्ट-टर्म लीश: यह उसके तत्काल पिछले कदम से बंधा है, ताकि वह अचानक, पागलपन भरा जंप न ले।
- लॉन्ग-टर्म लीश: हर कुछ चरणों के बाद, एंकर पॉइंट रोबोट के वर्तमान स्थान पर स्थानांतरित हो जाता है।
- परिणाम: रोबोट नए क्षेत्रों का पता लगा सकता है (प्लास्टिसिटी) क्योंकि एंकर उसके साथ चलता है, लेकिन वह अपने "हाल ही में सफल" संस्करण से बहुत दूर नहीं भटक सकता (स्थिरता)। यह एक हाइकर की तरह है जो हर कुछ दिनों में अपना बेस कैंप आगे बढ़ाता है, यह सुनिश्चित करते हुए कि वह कभी खो न जाए, लेकिन साथ ही वह कभी आगे बढ़ना भी न छोड़े।

निचोड़ (The Bottom Line)

इन तीन उपकरणों को जोड़कर:

एक जीपीएस जो सड़क पर रहने में मदद करता है (मैनिफोल्ड-अवेयर SDE)।
एक थर्मोस्टेट जो सीखने को स्थिर रखता है (ग्रेडिएंट इक्वलाइज़र)।
एक चलता-फिरता बेस कैंप जो सुरक्षित अन्वेषण की अनुमति देता है (डुअल ट्रस्ट रीजन)।

रोबोट (SAGE-GRPO) ऐसे वीडियो बनाना सीखता है जो पिछले तरीकों की तुलना में अधिक स्मूथ, अधिक वास्तविक और निर्देशों का बेहतर पालन करने वाले होते हैं। यह ग्लिच वाले, झटकेदार कचरे बनाना बंद कर देता है और उच्च गुणवत्ता वाले, सुसंगत मूवीज़ बनाने लगता है जो वास्तव में वैसा ही दिखते हैं जैसा उपयोगकर्ता ने मांगा था।

यहाँ पेपर "Manifold-Aware Exploration for Reinforcement Learning in Video Generation" (SAGE-GRPO) का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह पेपर वीडियो जनरेशन मॉडल पर Group Relative Policy Optimization (GRPO) को लागू करने की अस्थिरता और अविश्वसनीयता को संबोधित करता है। जबकि GRPO भाषा मॉडल और इमेज जनरेशन में सफल रहा है, वीडियो के लिए इसका अनुप्रयोग वीडियो डेटा के जटिल, उच्च-आयामी (high-dimensional) समाधान स्थान के कारण अनूठी चुनौतियों का सामना करता है।

पहचानी गई मुख्य समस्याएँ:

अत्यधिक शोर इंजेक्शन (Excess Noise Injection): मौजूदा विधियाँ (जैसे, FlowGRPO, DanceGRPO) अन्वेषण (exploration) के लिए Euler-style discretization और प्रथम-क्रम सन्निकटन (first-order approximations) का उपयोग करके नियतात्मक (deterministic) Ordinary Differential Equations (ODEs) को Stochastic Differential Equations (SDEs) में बदल देती हैं। यह महत्वपूर्ण ट्रंकेशन एरर (truncation errors) पेश करता है, जिससे "अतिरिक्त ऊर्जा" (शोर) इंजेक्ट होती है जो जनरेशन प्रक्षेपवक्र (trajectory) को वैध डेटा मैनिफोल्ड (data manifold) से दूर धकेल देती है।
मैनिफोल्ड ड्रिफ्ट (Manifold Drift): यह ऑफ-मैनिफोल्ड अन्वेषण टेम्पोरल जिटर (temporal jitter), आर्टिफ़ेक्ट्स और कम गुणवत्ता वाले रोलआउट्स का कारण बनता है, जिससे रिवॉर्ड अनुमान अविश्वसनीय हो जाते हैं और अलाइनमेंट प्रक्रिया अस्थिर हो जाती है।
ग्रेडिएंट असंतुलन (Gradient Imbalance): डिफ्यूजन प्रक्रिया में विभिन्न टाइमस्टेप्स के बीच अंतर्निहित सिग्नल-टू-नॉइज़ असंतुलन होता है। उच्च शोर स्तरों ( $t \to 1$ ) पर ग्रेडिएंट लुप्त (vanish) हो जाते हैं और कम शोर स्तरों ( $t \to 0$ ) पर विस्फोट (explode) हो जाते हैं, जिससे बायस्ड लर्निंग होती है।
स्टेबिलिटी-प्लास्टिसिटीता द्वंद्व (Stability-Plasticity Dilemma): पारंपरिक KL बाधाएं (प्रारंभिक मॉडल से बांधना) बहुत कठोर हैं, जो मॉडल को इष्टतम पॉलिसी तक पहुँचने से रोकती हैं (underfitting)। इसके विपरीत, शिथिल बाधाएं पॉलिसी को वैध डेटा मैनिफोल्ड से अनिश्चित काल के लिए भटकने की अनुमति देती हैं, जिससे रिवॉर्ड हैकिंग या कैटास्ट्रोफिक फॉरगेटिंग (catastrophic forgetting) हो सकता है।

2. कार्यप्रणाली: SAGE-GRPO

लेखक SAGE-GRPO (Stable Alignment via Exploration) प्रस्तावित करते हैं, जो एक ऐसा फ्रेमवर्क है जो प्रक्षेपवक्रों को प्री-ट्रेंड वीडियो डेटा मैनिफोल्ड के निकट रखने के लिए माइक्रो (micro) और मैक्रो (macro) दोनों स्तरों पर अन्वेषण को नियंत्रित करता है।

A. माइक्रो-लेवल: सटीक मैनिफोल्ड-अवेयर SDE और ग्रेडिएंट इक्वलाइज़ेशन

सटीक मैनिफोल्ड-अवेयर SDE:
- लीनियर फर्स्ट-ऑर्डर एप्रोक्सिमेशन के बजाय, लेखक टाइम इंटरवल $[\sigma_{t+1}, \sigma_t]$ पर डिफ्यूजन कोएफिशिएंट्स को इंटीग्रेट करके एक सटीक शोर मानक विचलन ( $\Sigma_t^{1/2}$ ) प्राप्त करते हैं।
- मुख्य सूत्र: विचरण (variance) में एक लॉगैरिथमिक कर्वेचर करेक्शन (logarithmic curvature correction) शामिल है:
  $\Sigma_t = \eta^2 \left[ -(\sigma_t - \sigma_{t+1}) + \log\left(\frac{1-\sigma_{t+1}}{1-\sigma_t}\right) \right]$
- यह करेक्शन सिग्नल कोएफिशिएंट के ज्यामितीय संकुचन (geometric contraction) को ध्यान में रखता है, जिससे यह सुनिश्चित होता है कि इंजेक्ट किया गया शोर फ्लो प्रक्षेपवक्र के स्पर्शरेखीय (tangent) रहे और डेटा मैनिफोल्ड के करीब रहे, जिससे ऑफ-मैनिफोल्ड ड्रिफ्ट कम होता है।
ग्रेडिएंट नॉर्म इक्वलाइज़र (Gradient Norm Equalizer):
- वैनिशिंग/एक्सप्लोडिंग ग्रेडिएंट समस्या को हल करने के लिए, एक टेम्पोरल ग्रेडिएंट इक्वलाइज़र पेश किया गया है।
- यह SDE मापदंडों के आधार पर प्रति-टाइमस्टेप ग्रेडिएंट स्केल प्रॉक्सी ( $N_t$ ) का अनुमान लगाता है और एक मजबूत नॉर्मलाइजेशन (सभी टाइमस्टेप्स में स्केल्स के मीडियन का उपयोग करके) लागू करता है।
- यह सुनिश्चित करता है कि ऑप्टिमाइज़ेशन प्रेशर सभी टाइमस्टेप्स में संतुलित रहे, जिससे लो-नॉइज़ स्टेप्स अपडेट पर हावी न हो सकें।

B. मैक्रो-लेवल: डुअल ट्रस्ट रीजन ऑप्टिमाइज़ेशन

लॉन्ग-होराइजन ड्रिफ्ट को रोकने और प्लास्टिसिटी बनाए रखने के लिए, लेखक दो KL डाइवर्जेंस बाधाओं को संयोजित करने वाला एक डुअल ट्रस्ट रीजन (Dual Trust Region) ऑब्जेक्टिव पेश करते हैं:

पोजीशन कंट्रोल (पीरियडिकल मूविंग एंकर):
- प्रारंभिक मॉडल ( $\pi_0$ ) से बांधने के बजाय, रेफरेंस पॉलिसी ( $\pi_{ref}$ ) को हर $N$ स्टेप्स के बाद अपडेट किया जाता है।
- यह एक डायनेमिक ट्रस्ट रीजन बनाता है जो मैनिफोल्ड के करीब चेकपॉइंट्स को ट्रैक करता है, जिससे पॉलिसी लंबे प्रशिक्षण क्षितिज (training horizons) के दौरान वैध डेटा वितरण से बहुत दूर नहीं भटक पाती है।
वेलोसिटी कंट्रोल (स्टेप-वाइज कंस्ट्रेंट):
- एक मानक स्टेप-वाइज KL बाधा ( $\pi_{k-1}$ ) प्रत्येक चरण में पैरामीटर अपडेट के परिमाण को सीमित करती है, जिससे सुचारू स्थानीय संक्रमण (smooth local transitions) सुनिश्चित होते हैं।
संयुक्त ऑब्जेक्टिव (Combined Objective):
- कुल लॉस GRPO पॉलिसी लॉस, टेम्पोरल ग्रेडिएंट इक्वलाइज़र और डुअल KL रेगुलराइज़र को जोड़ता है:
  $\mathcal{L}_{SAGE-GRPO} = -\frac{1}{G}\sum A_i \cdot \sum S_t \cdot \log \pi_\theta - \lambda_{KL} \cdot (\beta_{pos} D_{KL}(\pi_\theta || \pi_{ref}) + \beta_{vel} D_{KL}(\pi_\theta || \pi_{k-1}))$

3. मुख्य योगदान

फॉर्मुलेशन: वीडियो GRPO को एक मैनिफोल्ड-कंस्ट्रेंड एक्सप्लोरेशन प्रॉब्लम के रूप में परिभाषित किया, यह पहचानते हुए कि मानक ODE-to-SDE रूपांतरण अतिरिक्त शोर इंजेक्ट करते हैं जो रोलआउट की गुणवत्ता को खराब करता है।
माइक्रो-लेवल इनोवेशन: लॉगैरिथमिक कर्वेचर करेक्शन के साथ एक प्रिसाइज मैनिफोल्ड-अवेयर SDE और सैंपलिंग को स्थिर करने तथा सभी टाइमस्टेप्स में ऑप्टिमाइज़ेशन को संतुलित करने के लिए एक ग्रेडिएंट नॉर्म इक्वलाइज़र विकसित किया।
मैक्रो-लेवल इनोवेशन: मूविंग एंकर और स्टेप-वाइज कंस्ट्रेंट्स का उपयोग करके एक डुअल ट्रस्ट रीजन तंत्र प्रस्तावित किया ताकि स्टेबिलिटी-प्लास्टिसिटीिटी ट्रेड-ऑफ को हल किया जा सके, जिससे आवश्यक अन्वेषण की अनुमति देते हुए ऑफ-मैनिफोल्ड ड्रिफ्ट को रोका जा सके।
अनुभवजन्य सत्यापन (Empirical Validation): HunyuanVideo1.5 मॉडल पर स्टेट-ऑफ-द-आर्ट बेसलाइन्स (DanceGRPO, FlowGRPO, CPS) पर निरंतर सुधार प्रदर्शित किया।

4. प्रयोगात्मक परिणाम

इस विधि का मूल्यांकन HunyuanVideo1.5 पर VideoAlign रिवॉर्ड मॉडल (स्वयं रिवॉर्ड मॉडल को फाइन-ट्यून किए बिना) का उपयोग करके किया गया।

मात्रात्मक मेट्रिक्स (Quantitative Metrics):
- SAGE-GRPO ने विजुअल क्वालिटी (VQ), मोशन क्वालिटी (MQ), टेक्स्ट अलाइनमेंट (TA) और विजुअल मेट्रिक्स (CLIPScore, PickScore) में बेहतर प्रदर्शन किया।
- "अलाइनमेंट-फोकस्ड" सेटिंग में, डुअल मूविंग KL के साथ SAGE-GRPO ने उच्चतम समग्र स्कोर प्राप्त किया, जो बेसलाइन्स से काफी बेहतर रहा।
गुणात्मक विश्लेषण (Qualitative Analysis):
- जनरेट किए गए वीडियो में टेम्पोरल जिटर कम देखा गया और विजुअल कंटेंट का बेहतर संरक्षण हुआ।
- भावनात्मक विवरण, ऑक्लूजन (occlusion) और लॉन्ग-रेंज मोशन वाले जटिल प्रॉम्प्ट्स के साथ बेहतर अलाइनमेंट दिखा।
यूजर स्टडी (User Study):
- 29 मूल्यांकनकर्ताओं के साथ एक अध्ययन में, SAGE-GRPO ने विजुअल क्वालिटी तुलना में 85.9%, मोशन क्वालिटी के लिए 75.8% और सिमेंटिक अलाइनमेंट के लिए 79.2% मामलों में बेसलाइन्स को हराया।
एब्लेशन स्टडीज (Ablation Studies):
- पुष्टि की कि स्थिरता के लिए माइक्रो-लेवल (SDE + Equalizer) और मैक्रो-लेवल (Dual Trust Region) दोनों घटक आवश्यक हैं।
- दिखाया कि दो-चरणीय KL वेट शेड्यूलिंग (वार्म-अप के बाद एडैप्टिव फीडबैक) सबसे स्थिर रिवॉर्ड प्रदान करती है।

5. महत्व

यह पेपर वीडियो जनरेशन में रिइनफोर्समेंट लर्निंग के लिए एक महत्वपूर्ण सैद्धांतिक और व्यावहारिक प्रगति प्रदान करता है। डेटा मैनिफोल्ड की ज्यामितिक संरचना (geometric structure) को पहचानकर, SAGE-GRPO उस "शोर इंजेक्शन" की मौलिक समस्या को हल करता है जिसने पिछले वीडियो अलाइनमेंट तरीकों को प्रभावित किया था।

विश्वसनीयता: यह वीडियो के लिए GRPO को टेक्स्ट और इमेज की तरह विश्वसनीय बनाता है, जिससे स्थिर पोस्ट-ट्रेनिंग अलाइनमेंट संभव होता है।
गुणवत्ता: यह उच्च-फिडेलिटी वीडियो बनाता है जिनमें बेहतर टेम्पोरल कंसिस्टेंसी और सिमेंटिक अलाइनमेंट होता है, जो क्रिएटिव टूल्स, शिक्षा और वैज्ञानिक संचार के अनुप्रयोगों के लिए महत्वपूर्ण है।
सामान्यीकरण (Generalizability): मैनिफोल्ड-अवेयर SDEs और डुअल ट्रस्ट रीजन्स के विचार केवल वीडियो के अलावा अन्य उच्च-आयामी, स्ट्रक्चर्ड जेनेरेटिव कार्यों में भी रिइनफोर्समेंट लर्निंग को स्थिर करने के लिए एक नया प्रतिमान (paradigm) प्रदान करते हैं।