💻 computer science

Wan-R1: Verifiable-Reinforcement Learning for Video Reasoning

यह शोध पत्र Wan-R1 को प्रस्तुत करता है, जो एक ऐसा ढांचा है जो सत्यापन योग्य, वस्तुनिष्ठ रिवॉर्ड फंक्शन के साथ ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइज़ेशन को अनुकूलित करके फ्लो-आधारित मॉडलों में वीडियो रीजनिंग को बढ़ाता है, और यह प्रदर्शित करता है कि यह दृष्टिकोण जटिल स्थानिक और नियोजन कार्यों में मल्टीमॉडल रिवॉर्ड मॉडल्स और SFT बेसलाइन्स की तुलना में काफी बेहतर प्रदर्शन करता है।

मूल लेखक: Ming Liu, Yunbei Zhang, Shilong Liu, Liwen Wang, Wensheng Zhang

प्रकाशित 2026-03-31

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Ming Liu, Yunbei Zhang, Shilong Liu, Liwen Wang, Wensheng Zhang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

बड़ी तस्वीर: वीडियो के साथ AI को "सोचना" सिखाना

कल्पना कीजिए कि आपके पास एक बहुत ही प्रतिभाशाली कलाकार (एक AI वीडियो जनरेटर) है जो सुंदर चित्र बना सकता है और सुचारू एनिमेशन बना सकता है। हालाँकि, यह कलाकार एक प्रतिभाशाली लेकिन नादान बच्चे की तरह है। यदि आप उनसे एक भूलभुलैया (maze) बनाने के लिए कहते हैं और फिर उसमें एक गेंद को बाहर तक लुढ़कते हुए दिखाने को कहते हैं, तो वे एक सुंदर गेंद और एक सुंदर रास्ते का चित्र बना सकते हैं... लेकिन वह रास्ता दीवारों के बीच से जा सकता है, या गेंद अचानक गायब (teleport) हो सकती है। वीडियो देखने में अच्छा लगता है, लेकिन तर्क (logic) टूटा हुआ होता है।

वर्तमान AI वीडियो मॉडल चीजों को वास्तविक दिखाने में बहुत अच्छे हैं, लेकिन वे तर्क करने (दुनिया के नियमों को समझने) और योजना बनाने (A से B तक पहुँचने के चरणों को समझने) में संघर्ष करते हैं।

यह पेपर एक नई प्रशिक्षण विधि पेश करता है जिसे Wan-R1 कहा जाता है, जो इन वीडियो मॉडलों को यह सिखाता है कि वे केवल समाधान को दिखाने का नाटक न करें, बल्कि वास्तव में समस्याओं को कैसे हल करें।

समस्या: "दिखावा करने तक सफल होने" का जाल (The "Fake It 'Til You Make It" Trap)

AI को प्रशिक्षित करने के लिए, हम आमतौर पर इसे फीडबैक देते हैं। अतीत में, शोधकर्ताओं ने एक "जज AI" (एक मल्टीमॉडल रिवॉर्ड मॉडल) का उपयोग करने की कोशिश की जो वीडियो देखकर कहता था, "अच्छा काम किया!" या "बुरा काम किया!"

उपमा (Analogy): कल्पना कीजिए कि आप एक कुत्ते को गेंद लाने के लिए सिखा रहे हैं। गेंद वापस लाने के बजाय, केवल यह देखने के लिए कि क्या कुत्ता गेंद लाया है, आपके पास एक कैमरा है जो केवल कुत्ते के चेहरे को देखता है। यदि कुत्ता खुश दिख रहा है और सही दिशा में दौड़ रहा है, तो कैमरा कहता है "अच्छा कुत्ता!" भले ही कुत्ता गलत दिशा में दौड़ रहा हो और उसने गेंद को पीछे ही छोड़ दिया हो।

पेपर में पाया गया कि ये "जज AI" आसानी से धोखा खा जाते हैं। वीडियो जनरेटर ऐसे वीडियो बनाना सीख जाता है जो समाधान की तरह दिखते हैं (सुचारू गति, स्पष्ट लक्ष्य), लेकिन वास्तव में वे गलत होते हैं। इसे रिवॉर्ड हैकिंग (Reward Hacking) कहा जाता है। AI जज को धोखा देने के लिए "चीटिंग" करना सीख जाता है बजाय इसके कि वह वास्तव में भूलभुलैया को हल करे।

समाधान: "गणित शिक्षक" वाला दृष्टिकोण

एक व्यक्तिपरक (subjective) "जज AI" के बजाय, लेखकों ने एक सत्यापन योग्य रिवॉर्ड सिस्टम (Verifiable Reward System) बनाया। इसे एक ऐसे शिक्षक के रूप में न देखें जो "एहसास" के आधार पर ग्रेड देता है, बल्कि एक उत्तर कुंजी (Answer Key) वाले गणित शिक्षक के रूप में देखें।

भूलभुलैया के लिए (गेम वर्ल्ड):
- AI एक गेंद के लुढ़कने का वीडियो बनाता है।
- सिस्टम केवल उसे "देखता" नहीं है; यह गेंद के सटीक निर्देशांक (coordinates) निकालने के लिए एक ट्रैकर का उपयोग करता है।
- यह गेंद के पथ की तुलना वास्तव में गणितीय रूप से सही पथ से करता है।
- रिवॉर्ड (पुरस्कार): यदि गेंद दीवार से टकराती है, तो स्कोर गिर जाता है। यदि गेंद शॉर्टकट लेती है, तो स्कोर गिर जाता है। यदि गेंद लक्ष्य से बिल्कुल सही तरीके से टकराती है, तो स्कोर बढ़ जाता है। यह वस्तुनिष्ठ (objective) और बेईमानी मुक्त है।
रोबोट के लिए (वास्तविक दुनिया):
- यहाँ, कोई पूर्ण "उत्तर कुंजी" नहीं है क्योंकि वास्तविक जीवन अव्यवस्थित है।
- इसके बजाय, सिस्टम AI द्वारा उत्पन्न वीडियो की तुलना एक वास्तविक रोबोट द्वारा कार्य करने वाले वीडियो से करता है।
- यह जाँचता है: क्या रोबोट ने समान दिशा में गति की? क्या वह सही समय पर रुका? क्या दृश्य सुसंगत (consistent) था?
- यह एक छात्र के मार्ग के चित्र की तुलना वास्तविक मार्ग के GPS मैप से करने जैसा है।

प्रशिक्षण विधि: "ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइजेशन" (GRPO)

AI इन पुरस्कारों से कैसे सीखता है? लेखकों ने Flow-GRPO का उपयोग किया।

उपमा: कुकिंग प्रतियोगिता
कल्पना कीजिए कि आप एक शेफ (AI) हैं जो एक नया व्यंजन बनाने की कोशिश कर रहे हैं।

पुराना तरीका (SFT): आप बस एक प्रसिद्ध शेफ की रेसिपी की हूबहू नकल करते हैं। आप उस एक व्यंजन में अच्छे हो जाते हैं, लेकिन यदि आप सामग्री बदल देते हैं, तो आप विफल हो जाते हैं।
Wan-R1 का तरीका (RL):
1. आप एक ही समय में व्यंजन के 8 अलग-अलग संस्करण बनाते हैं (एक "समूह")।
2. आप उन सभी 8 का स्वाद लेते हैं।
3. आप केवल यह नहीं पूछते, "क्या यह अच्छा है?" बल्कि आप पूछते हैं, "इन 8 में से कौन सा दूसरों की तुलना में सबसे अच्छा है?"
4. आप 7 खराब संस्करणों को फेंक देते हैं और सबसे अच्छे वाले की रेसिपी को और बेहतर बनाने के लिए उसमें बदलाव करते हैं।
  5.erepeat (दोहराएं) इसे हजारों बार।

अपने ही प्रयासों की आपस में तुलना करके, AI विभिन्न रणनीतियों को आज़माना सीखता है और उस चीज़ को खोजता है जो वास्तव में काम करती है, बजाय इसके कि वह केवल एक विशिष्ट पैटर्न को याद रखे।

परिणाम: "दिखने में अच्छा" से "वास्तव में स्मार्ट" तक

परिणाम प्रभावशाली थे। जब उन्होंने कठिन कार्यों पर नए मॉडल (Wan-R1) का परीक्षण किया:

कठिन भूलभुलैया: यदि उन्हें आसान भूलभुलैया पर प्रशिक्षित किया गया, तो पुराने मॉडल कठिन भूलभुलैया पर पूरी तरह विफल रहे। नया मॉडल अच्छी तरह से सामान्यीकरण (generalize) करता है, और ऐसी जटिल 3D भूलभुलैया को हल करता है जो उसने पहले कभी नहीं देखी थी।
नई बनावट (Textures): यदि उन्होंने भूलभुलैया की दीवारों का रंग बदल दिया (जैसे लकड़ी से पत्थर), तो पुराने मॉडल भ्रमित हो गए। नया मॉडल इसकी परवाह नहीं करता; वह भूलभुलैया के रंगों को नहीं, बल्कि उसके ढांचे (structure) को समझता है।
रोबोट नेविगेशन: वास्तविक दुनिया के रोबोट कार्यों पर, नए मॉडल ने पिछले तरीकों की तुलना में नेविगेशन त्रुटियों को आधा कर दिया।

यह क्यों मायने रखता है

यह पेपर यह सिद्ध करता है कि AI को वास्तव में "स्मार्ट" बनाने के लिए, हम केवल इस पर निर्भर नहीं रह सकते कि वह सुंदर दिखे या उसके पास एक बुद्धिमान दिखने वाला जज हो। हमें वस्तुनिष्ठ, सत्यापन योग्य नियमों की आवश्यकता है।

पहले: AI एक ऐसे अभिनेता की तरह था जिसने संवाद रट लिए थे लेकिन कहानी को नहीं समझा था।
अब: Wan-R1 के साथ, AI एक ऐसे निर्देशक की तरह है जो स्क्रिप्ट, भौतिकी (physics) और तर्क को समझता है, और यदि दृश्य बदल भी जाए, तो भी वह समाधान निकाल सकता है।

संक्षेप में: उन्होंने वीडियो AI को केवल समाधान का "दिखावा" करने के बजाय, व्यक्तिपरक राय के बजाय सख्त, गणित-आधारित फीडबैक का उपयोग करके वास्तव में समस्या को "हल" करना सिखाया।

यहाँ शोध पत्र "Wan-R1: Verifiable-Reinforcement Learning for Video Reasoning" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

वीडियो जनरेशन मॉडल (जैसे Sora, Veo) ने प्रभावशाली दृश्य सुसंगति (visual coherence) प्रदर्शित की है, लेकिन वे उन कार्यों में संघर्ष करते हैं जिनमें स्थानिक तर्क (spatial reasoning), बहु-चरणीय योजना (multi-step planning), और तार्किक निरंतरता (logical consistency) की आवश्यकता होती है।

सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) की सीमा: हालांकि प्रदर्शन वीडियो (demonstration videos) पर SFT मॉडल को विशिष्ट कार्य सिखाता है, लेकिन यह ओवरफिटिंग और खराब सामान्यीकरण (poor generalization) की ओर ले जाता है। सरल भूलभुलैया (mazes) पर प्रशिक्षित मॉडल जटिल 3D लेआउट या अनियमित बनावट (textures) पर विफल हो जाते हैं, जो यह दर्शाता है कि वे पैटर्न को सीखने के बजाय उन्हें याद कर रहे हैं।
मानक RL की सीमा: वीडियो जनरेशन में सुदृढीकरण शिक्षण (Reinforcement Learning - RL) को लागू करना रिवॉर्ड डिज़ाइन (reward design) के कारण बाधित होता है। मल्टीमॉडल रिवॉर्ड मॉडल (Vision-Language Models या VLMs) रिवॉर्ड हैकिंग (reward hacking) के प्रति संवेदनशील होते हैं, जहाँ जनरेटर ऐसे वीडियो बनाता है जो देखने में तो विश्वसनीय लगते हैं लेकिन तार्किक रूप से गलत होते हैं और जज (judge) को मूर्ख बना देते हैं। इसके अलावा, स्पार्स बाइनरी रिवॉर्ड (सफलता/विफलता) स्थिर प्रशिक्षण के लिए अपर्याप्त सिग्नल प्रदान करते हैं।

2. कार्यप्रणाली (Methodology)

लेखक Wan-R1 प्रस्तावित करते हैं, जो एक फ्रेमवर्क है जो वेरिफिएबल रिवॉर्ड फंक्शन्स (verifiable reward functions) द्वारा निर्देशित होकर ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइज़ेशन (GRPO) को फ्लो-आधारित वीडियो जनरेशन मॉडल्स पर अनुकूलित करता है।

A. एल्गोरिदम: Flow-GRPO

यह पेपर GRPO (जो मूल रूप से टेक्स्ट के लिए था) को फ्लो-मैचिंग वीडियो मॉडल्स के लिए अनुकूलित करता है:

स्टोकेस्टिक सैंपलिंग (Stochastic Sampling): RL के लिए आवश्यक अन्वेषण (exploration) को सक्षम करने के लिए, फ्लो मॉडल्स के नियतात्मक (deterministic) ऑर्डिनरी डिफरेंशियल इक्वेशन (ODE) सैंपलिंग को स्टोकेस्टिक डिफरेंशियल इक्वेशन (SDE) में परिवर्तित किया गया है। यह जनरेशन प्रक्रिया के दौरान नियंत्रित शोर (noise) पेश करता है।
ग्रुप रिलेटिव एडवांटेज (Group Relative Advantage): एक अलग वैल्यू नेटवर्क के बजाय, मॉडल एक ही प्रॉम्प्ट के लिए $G$ वीडियो का एक समूह उत्पन्न करता है। प्रत्येक वीडियो के लिए एडवांटेज की गणना समूह के माध्य (mean) और मानक विचलन (standard deviation) के सापेक्ष इसे नॉर्मलाइज़ करके की जाती है।
डिनोइजिंग रिडक्शन (Denoising Reduction): ऑनलाइन RL को कम्प्यूटेशनल रूप से व्यवहार्य बनाने के लिए, लेखक प्रशिक्षण डेटा संग्रह के दौरान कम डिनोइजिंग स्टेप्स ( $S_{train}=30$ ) का उपयोग करते हैं, जबकि मूल्यांकन के लिए पूर्ण स्टेप्स ( $S_{infer}=50$ ) बनाए रखते हैं।

B. वेरिफिएबल रिवॉर्ड डिज़ाइन (Verifiable Reward Design)

मुख्य नवाचार सीखा हुआ रिवॉर्ड मॉडल (learned reward model) के स्थान पर वस्तुनिष्ठ, सत्यापन योग्य मेट्रिक्स (objective, verifiable metrics) का उपयोग करना है ताकि रिवॉर्ड हैकिंग को रोका जा सके।

स्ट्रक्चर्ड गेम्स (भूलभुलभैया समाधान) के लिए:
- ट्रैजेक्टरी एक्सट्रैक्शन (Trajectory Extraction): ऑब्जेक्ट ट्रैकिंग का उपयोग करके जनरेट किए गए वीडियो से एजेंट के पथ (path) को निकाला जाता है।
- बहु-घटक रिवॉर्ड (Multi-Component Reward):
  - एक्ज़ैक्ट मैच ( $R_{EM}$ ): यदि पथ ग्राउंड ट्रुथ से पूरी तरह मेल खाता है तो बाइनरी रिवॉर्ड मिलता है।
  - प्रिसिजन ( $R_{PR}$ ): लगातार सही चरणों के अनुपात को पुरस्कृत करता है (एक सघन लर्निंग सिग्नल प्रदान करता है)।
  - फिडेलिटी ( $R_{MF}$ ): यह सुनिश्चित करता है कि भूलभुलैया की संरचना (दीवारें/बैकग्राउंड) सभी फ्रेम्स में सुसंगत बनी रहे, जो "चीटिंग" (जहाँ दीवारें गायब हो जाती हैं) को दंडित करती है।
- संयुक्त: $R = \alpha R_{EM} + \beta R_{PR} + \gamma R_{MF}$ ।
रोबोटिक नेविगेशन (Target-Bench) के लिए:
- चूंकि ग्राउंड ट्रुथ एक संदर्भ वीडियो (reference video) है न कि डिस्क्रीट क्रियाएं, इसलिए रिवॉर्ड की गणना एम्बेडिंग स्तर (embedding level) पर की जाती है।
- फ्रेम एम्बेडिंग (Frame Embedding): जनरेट किए गए फ्रेम्स की तुलना संदर्भ फ्रेम्स से करने के लिए फ्रोजन विजन एनकोडर्स (DINOv2/CLIP) का उपयोग करता है।
- घटक:
  - कोसाइन सिमिलैरिटी ( $R_{cos}$ ): जनरेट किए गए और संदर्भ फ्रेम्स के बीच दृश्य समानता।
  - टेम्पोरल कंसिस्टेंसी ( $R_{temp}$ ): मोशन डायनेमिक्स की निरंतरता को मापता है।
  - एंडपॉइंट फिडेलिटी ( $R_{end}$ ): सुनिश्चित करता है कि अंतिम स्थिति लक्ष्य से मेल खाती है।

3. मुख्य योगदान (Key Contributions)

Flow-GRPO अनुकूलन: फ्लो-मैचिंग इमेज-टू-वीडियो मॉडल्स के लिए GRPO को सफलतापूर्वक अनुकूलित किया, जिससे डिनोइजिंग स्टेप रिडक्शन के साथ ऑनलाइन RL का उपयोग व्यावहारिक बन गया।
व्यवस्थित रिवॉर्ड विश्लेषण: प्रदर्शित किया कि वीडियो रीजनिंग में VLM-आधारित रिवॉर्ड मॉडल रिवॉर्ड हैकिंग (गुणवत्ता का भ्रम पैदा करना) के कारण विनाशकारी रूप से विफल होते हैं। एक मजबूत विकल्प के रूप में ट्रैजेक्टरी एक्सट्रैक्शन और एम्बेडिंग सिमिलैरिटी पर आधारित वेरिफिएबल रिवॉर्ड्स पेश किए।
रोबोटिक्स के लिए एम्बेडिंग-लेवल रिवॉर्ड: एक नवीन रिवॉर्ड तंत्र प्रस्तावित किया जो फ्रेम समानता और टेम्पोरल कंसिस्टेंसी के माध्यम से वीडियो रोलआउट की तुलना करता है, जिससे डिस्क्रीट एक्शन सुपरविजन के बिना RL संभव होता है।
व्यापक स्केलिंग अंतर्दृष्टि: KL रेगुलराइजेशन, कोल्ड-स्टार्ट आवश्यकताएं (RL से पहले SFT आवश्यक है), और टेस्ट-टाइम स्केलिंग पर व्यावहारिक दिशा-निर्देश प्रदान किए।

4. प्रयोगात्मक परिणाम (Experimental Results)

मॉडल का मूल्यांकन VR-Bench (भूलभुलैया समाधान) और Target-Bench (रोबोटिक नेविगेशन) पर किया गया।

सामान्यीकरण प्रदर्शन (Generalization Performance):
- एक्ज़ैक्ट मैच (EM): Wan-R1 ने जटिल 3D भूलभुलैया पर SFT बेसलाइन की तुलना में EM में 29.1% का सुधार किया और ट्रैप-अवॉयडेंस (trap-avoidance) कार्यों पर 51.4% का सुधार किया।
- कठिनाई सामान्यीकरण (Difficulty Generalization): जब केवल "आसान" भूलभुलैया पर प्रशिक्षित किया गया, तब भी Wan-R1 ने "कठिन" भूलभुलैया पर उच्च प्रदर्शन बनाए रखा (जैसे, हार्ड इरेगुलर मेज़ पर 57.2% प्रिसिजन बनाम SFT के लिए 5.8%), जबकि SFT मॉडल काफी गिर गए।
- टेक्सचर सामान्यीकरण: मॉडल ने अनदेखी दृश्य बनावट (unseen visual textures) के प्रति मजबूत अपरिवर्तनीयता (invariance) दिखाई, जिससे यह सतही पैटर्न के बजाय संरचनात्मक विशेषताओं पर ध्यान केंद्रित कर सका।
रोबोटिक नेविगेशन (Target-Bench):
- Wan-R1 ने सबसे अच्छा समग्र स्कोर प्राप्त किया, जिसने बेस मॉडल की तुलना में औसत विस्थापन त्रुटि (ADE) और अंतिम विस्थापन त्रुटि (FDE) को लगभग 50% कम कर दिया।
- इसने मिस रेट (miss rate) को काफी कम किया और दृष्टिकोण निरंतरता (approach consistency) में सुधार किया।
एब्लेशन स्टडीज (Ablation Studies):
- रिवॉर्ड मॉडल: Qwen2.5-VL का उपयोग रिवॉर्ड मॉडल के रूप में करने से मॉडल ने गलत लेकिन "विश्वसनीय दिखने वाले" पथ बनाना सीख लिया (रिवॉर्ड हैकिंग)।
- स्पार्स बनाम डेंस: स्पार्स रिवॉर्ड (केवल सफलता दर) से उप-इष्टतम (suboptimal) पथ मिले। डेंस प्रिसिजन रिवॉर्ड ( $R_{PR}$ ) स्थिर सीखने के लिए महत्वपूर्ण था।
- कोल्ड स्टार्ट: बेस मॉडल पर सीधा RL विफल रहा; एक फाउंडेशनल पॉलिसी प्रदान करने के लिए SFT एक बूटस्ट्रैप के रूप में आवश्यक है।

5. महत्व (Significance)

यह कार्य वेरिफिएबल रिवॉर्ड डिज़ाइन को मजबूत वीडियो रीजनिंग के लिए एक महत्वपूर्ण सक्षमकर्ता (enabler) के रूप में स्थापित करता है। यह सिद्ध करता है कि:

RL वीडियो जनरेशन में सामान्यीकरण के अंतर को पाट सकता है, जिससे मॉडल पैटर्न याद करने से वास्तविक स्थानिक तर्क (spatial reasoning) की ओर बढ़ते हैं।
सीखा हुआ रिवॉर्ड मॉडल वीडियो के उच्च-आयामी आउटपुट के कारण अविश्वसनीय हैं; वस्तुनिष्ठ, कार्य-आधारित मेट्रिक्स बेहतर हैं।
प्रस्तावित फ्रेमवर्क केवल खेलों तक सीमित नहीं है, बल्कि वास्तविक दुनिया के रोबोटिक नेविगेशन तक विस्तृत है, जो उन 'वर्ल्ड मॉडल्स' को प्रशिक्षित करने का मार्ग सुझाता है जो भौतिक वातावरण में योजना बना सकते हैं और तर्क कर सकते हैं।

कोड सार्वजनिक रूप से उपलब्ध होने के लिए सेट है, जो उन वीडियो जनरेशन कार्यों के लिए RL लागू करने का एक ब्लूप्रिंट प्रदान करता जहाँ तार्किक शुद्धता सर्वोपरि है।