Inference-time Physics Alignment of Video Generative Models with Latent World Models
यह शोध पत्र WMReward को प्रस्तुत करता है, जो एक इन्फरेंस-टाइम अलाइनमेंट विधि है जो वीडियो जनरेशन प्रक्षेप पथों (trajectories) को निर्देशित करने के लिए एक लेटेंट वर्ल्ड मॉडल (VJEPA-2) को रिवॉर्ड सिग्नल के रूप में उपयोग करती है, जो विभिन्न कंडिशनिंग सेटिंग्स में भौतिक सुसंगतता (physics plausibility) में महत्वपूर्ण सुधार करता है और ICCV 2025 परसेप्शन टेस्ट फिजिक्सIQ चैलेंज में प्रथम स्थान सुरक्षित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक जादुई वीडियो कैमरा है जो आपके द्वारा बताए गए किसी भी दृश्य का सपना देख सकता है। आप उसे बताते हैं, "मुझे मेज से गिरते और टूटते हुए एक कांच का गिलास दिखाओ," और वह एक सुंदर, हाई-डेफिनिशन वीडियो बनाता है। लेकिन इसमें एक पेंच है: वीडियो में, कांच गिरने से पहले ऊपर की ओर तैर सकता है, या यह मेज के आर-पार एक भूत की तरह निकल सकता है। दृश्य शानदार हैं, लेकिन इसकी भौतिकी (physics) टूटी हुई है।
यह दुनिया के सबसे अच्छे AI वीडियो जनरेटरों के साथ वर्तमान समस्या है। वे चीजों को सुंदर दिखाने में बहुत अच्छे हैं, लेकिन वे हमेशा यह नहीं समझते कि वास्तविक दुनिया कैसे काम करती है (जैसे गुरुत्वाकर्षण, टकराव, या तरल पदार्थ का बहना)।
यह पेपर WMReward नामक एक चतुर समाधान पेश करता है। AI को यह सिखाने के बजाय कि भौतिकी कैसे काम करती है (जो कठिन और धीमा है), उन्होंने निर्णय लिया कि वे AI को सपने देखते समय उसका काम चेक करने के लिए एक स्मार्ट सुपरवाइजर देंगे।
यह कैसे काम करता है, इसे सरल उपमाओं के साथ नीचे समझाया गया है:
1. समस्या: स्वप्नद्रष्टा बनाम यथार्थवादी (The Dreamer vs. The Realist)
वीडियो जनरेटर (जैसे Sora या MAGI) को एक रचनात्मक स्वप्नद्रष्टा के रूप में सोचें। उसके पास उन छवियों और वीडियो का एक विशाल पुस्तकालय है जिन्हें उसने देखा है, और वह कुछ नया बनाने के लिए उन्हें आपस में मिलाने की कोशिश करता है। कभी-कभी, वह इतना रचनात्मक हो जाता है कि वह वास्तविकता के नियमों को भूल जाता है।
2. समाधान: "फिजिक्स कोच" (Latent World Model)
लेखक एक फिजिक्स कोच लेकर आए। यह कोच एक विशेष AI है जिसे "लेटेंट वर्ल्ड मॉडल" (विशेष रूप से, VJE-PA2 नाम का एक मॉडल) कहा जाता है।
- कोच कैसे सोचता है: वीडियो जनरेटर के विपरीत, जो हर एक पिक्सेल (जैसे शर्ट का सटीक रंग) की चिंता करता है, कोच चीजों के हिलने-डुलने के "बड़े चित्र" पर ध्यान देता है। वह समझता है कि यदि आप एक गेंद को धक्का देते हैं, तो वह लुढ़कती है; यदि आप एक कप गिराते हैं, तो वह टूट जाता है। वह फैंसी विवरणों को अनदेखा करता है और गति के तर्क (logic of motion) पर ध्यान केंद्रित करता है।
- "सरप्राइज" स्कोर: कोच उस वीडियो को देखता है जो स्वप्नद्रष्टा बना रहा है। यदि वीडियो भौतिकी के नियमों का पालन करता है, तो कोच कहता है, "यह समझ में आता है!" (कम सरप्राइज)। यदि वीडियो में एक कार छत पर चलती हुई दिखाई देती है, तो कोच कहता है, "रुको, यह असंभव है!" (उच्च सरप्राइज)।
- रिवॉर्ड (Reward): सिस्टम वीडियो को एक "स्कोर" देता है कि कोच कितना हैरान हुआ। कम सरप्राइज = बेहतर भौतिकी = उच्च स्कोर।
3. रणनीति: कई रास्ते आज़माना
वीडियो जनरेटर केवल एक वीडियो बनाकर रुक नहीं जाता। यह एक चित्रकार की तरह है जो सही ब्रशस्ट्रोक पाने की कोशिश कर रहा है। लेखक सबसे अच्छा वीडियो खोजने के लिए दो मुख्य तरकीबों का उपयोग करते हैं:
- "बेस्ट ऑफ एन" (BoN) रणनीति: कल्पना करें कि AI एक ही दृश्य के 16 अलग-अलग संस्करण पेंट करता है। फिर, फिजिक्स कोच उन सभी 16 को देखता है और उनमें से उसे चुनता है जो सबसे अधिक भौतिक अर्थ रखता है। यह 16 पिज्जा ऑर्डर करने और केवल उसी को खाने जैसा है जो सही स्वाद देता है।
- "गाइडेंस" (Guidance) रणनीति: कल्पना करें कि AI पेंटिंग कर रहा है, और कोच उसके ठीक बगल में खड़ा होकर फुसफुसा रहा है, "नहीं, गुरुत्वाकर्षण नीचे खींचता है, ऊपर नहीं!" AI कोच की सलाह मानकर अपने ब्रशस्ट्रोक को पेंट करते समय ही एडजस्ट करता है।
यह पेपर इन दोनों को जोड़ता है: AI 16 संस्करण पेंट करता है, लेकिन जब वह पेंट कर रहा होता है, तो कोच उन्हें बेहतर बनाने के लिए सलाह फुसफुसाता रहता है। फिर, यह सबसे बेहतरीन वाला चुनता है।
4. परिणाम: फिजिक्स ओलंपिक्स जीतना
टीम ने एक बहुत कठिन टेस्ट पर इसका परीक्षण किया जिसे PhysicsIQ कहा जाता है, जो AI के लिए एक भौतिकी परीक्षा की तरह है।
- पहले: सर्वश्रेष्ठ AI मॉडल इस टेस्ट में लगभग 55% अंक प्राप्त करते थे। वे अच्छे थे, लेकिन वे अभी भी मूर्खतापूर्ण भौतिकी संबंधी गलतियाँ करते थे।
- बाद में: इस नए "फिजिक्स कोच" सिस्टम के साथ, AI उछलकर 62.6% पर पहुँच गया। उन्होंने न केवल पिछला रिकॉर्ड तोड़ा, बल्कि उन्होंने प्रथम स्थान हासिल करके सबको पीछे छोड़ दिया।
यह क्यों महत्वपूर्ण है
यह एक बड़ी बात है क्योंकि इसके लिए विशाल, महंगे वीडियो मॉडल्स को फिर से प्रशिक्षित करने की आवश्यकता नहीं है। यह एक छात्र को परीक्षा के दौरान चीट शीट (रिवॉर्ड मॉडल) देने जैसा है, बजाय इसके कि उन्हें एक और साल स्कूल जाने के लिए मजबूर किया जाए।
संक्षेप में:
यह पेपर दिखाता है कि यदि आप एक रचनात्मक वीडियो AI को एक तार्किक "फिजिक्स कोच" के साथ जोड़ते हैं जो वास्तविक समय में उसके काम की जांच करता है, तो आप वीडियो को प्रकृति के नियमों को तोड़ने से रोक सकते हैं। परिणाम ऐसे वीडियो हैं जो न केवल सुंदर दिखते हैं, बल्कि वास्तविक भी लगते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।