DiReCT: Disentangled Regularization of Contrastive Trajectories for Physics-Refined Video Generation
यह शोध पत्र DiReCT को प्रस्तुत करता है, जो एक पोस्ट-ट्रेनिंग फ्रेमवर्क है जो टेक्स्ट-कंडीशन्ड वीडियो जनरेशन में सिमेंटिक-फिजिक्स एंटैंगलमेंट (semantic-physics entanglement) को हल करने के लिए कंट्रास्टिव लर्निंग को मैक्रो और माइक्रो स्केल्स में विभाजित करता है ताकि विजुअल फिडेलिटी (visual fidelity) से समझौता किए बिना या प्रशिक्षण समय बढ़ाए बिना फिजिकल कॉमनसेंस (physical commonsense) में सुधार किया जा सके।
मूल पेपर CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/) के तहत सार्वजनिक डोमेन को समर्पित है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट कलाकार को आपके विवरण के आधार पर चलते-फिरते चित्र (वीडियो) बनाना सिखा रहे हैं। आप रोबोट से कहते हैं, "बारिश के बीच चलती हुई एक कार दिखाओ।"
रोबोट चित्र को वास्तविक दिखाने में बहुत कुशल है। बारिश गीली दिखती है, कार चमकदार दिखती है, और रंग जीवंत होते हैं। लेकिन एक समस्या है: रोबोट वास्तव में भौतिकी (physics) को नहीं समझता है।
रोबोट द्वारा बनाए गए वीडियो में, कार अचानक पीछे की ओर जा सकती है, या बारिश ऊपर की ओर गिर सकती है, या कार किसी दीवार के आर-पार एक भूत की तरह निकल सकती है। रोबोट के लिए, ये केवल "पिक्सेल की गलतियाँ" हैं, न कि वास्तविक दुनिया के नियमों का उल्लंघन।
यह शोध पत्र इस समस्या को ठीक करने के लिए DiReCT (Disentangled Regularization of Contrastive Trajectories) नामक एक नई प्रशिक्षण विधि पेश करता है। इसे एक "फिजिक्स कोच" के रूप में समझें।
DiReCT कैसे काम करता है, यहाँ सरल उपमाओं के माध्यम से दिया गया है:
1. समस्या: "भ्रमित छात्र"
वर्तमान वीडियो AI मॉडल "पिक्सेल त्रुटियों" को कम करने के लिए प्रशिक्षित होते हैं। यदि रोबोट आपकी 'आगे बढ़ने' की मांग के बजाय कार को पीछे की ओर ले जाता है, तो उसे एक छोटा सा दंड मिलता है। लेकिन उसे यह नहीं पता कि वह गलत क्यों है। वह बस इतना जानता है कि पिक्सेल प्रॉम्प्ट से पूरी तरह मेल नहीं खाते।
शोधकर्ताओं ने कॉन्ट्रास्टिव लर्निंग (Contrastive Learning) नामक एक तकनीक का उपयोग किया। कल्पना कीजिए कि एक शिक्षक कह रहा है: "कार को आगे बढ़ते हुए दिखाओ (अच्छा)। अब, कार को पीछे जाते हुए दिखाओ (बुरा)। सुनिश्चित करो कि ये दोनों चित्र एक-दूसरे से बहुत अलग हों!"
चुनौती: वास्तविक दुनिया में, "बारिश में एक कार" और "बारिश में पीछे जाती हुई एक कार" बहुत समान विवरण हैं। रोबोट भ्रमित हो जाता है। वह "पीछे जाने वाली" कार को अलग बनाने की कोशिश करता है, लेकिन ऐसा करते समय, वह गलती से "आगे जाने वाली" कार को भी बिगाड़ देता है। यह वैसा ही है जैसे किसी को "चलने" और "दौड़ने" के बीच का अंतर समझाने के लिए उन्हें एक स्थिर व्यक्ति के दो चित्र दिखाना। रोबोट एक ऐसे लूप में फंस जाता है जहाँ "खराब भौतिकी" का सबक, "अच्छी भौतिकी" के सबक को रद्द कर देता है।
2. समाधान: "दो-कोच" प्रणाली (DiReCT)
लेखकों ने महसूस किया कि उन्हें पाठों को अलग करने की आवश्यकता है। उन्होंने एक दो-भाग वाली प्रशिक्षण प्रणाली बनाई जिसे DiReCT कहा जाता है:
कोच A: "मैक्रो" कोच (बड़ी तस्वीर)
- उपमा: कल्पना कीजिए कि आप एक छात्र को बिल्ली और कार के बीच अंतर करना सिखा रहे हैं। ये पूरी तरह से अलग चीजें हैं। आप उन्हें एक बिल्ली और एक कार दिखाते हैं और कहते हैं, "सुनिश्चित करें कि वे एक दूसरे जैसे बिल्कुल न दिखें!" यह आसान है और बहुत मददगार है।
- DiReCT में: यह कोच ऐसे "नकारात्मक उदाहरण" चुनता है जो प्रॉम्प्ट से पूरी तरह अलग हों। यदि प्रॉम्प्ट है "बारिश में एक कार," तो नकारात्मक उदाहरण "रेगिस्तान में उड़ता हुआ एक पक्षी" हो सकता है। क्योंकि वे इतने अलग हैं, रोबोट बिना भ्रमित हुए उन्हें आसानी से अलग करना सीख जाता है। यह दुनिया की एक मजबूत, वैश्विक समझ बनाता है।
कोच B: "माइक्रो" कोच (बारीक विवरण)
- उपमा: अब, कल्पना कीजिए कि आपको चलने और दौड़ने के बीच अंतर सिखाना है। वे बहुत समान दिखते हैं। यदि आप केवल यह कहते हैं कि "उन्हें अलग दिखाओ," तो छात्र शर्ट का रंग या बैकग्राउंड बदल सकता है, जो कि मददगार नहीं है। आपको कहना होगा, "शर्ट और बैकग्राउंड को समान रखें, लेकिन केवल पैरों की गति को बदलें।"
- DiReCT में: यही जादू वाला हिस्सा है। सिस्टम एक स्मार्ट AI (LLM) का उपयोग करता है जो मूल प्रॉम्प्ट को लेता है और केवल एक सूक्ष्म भौतिक नियम को बदल देता है।
- मूल: "एक सर्फर लहर पर सवारी करता है।"
- बदलाव (माइक्रो कोच): "एक सर्फर लहर पर सवारी करता है, लेकिन पानी शहद की तरह गाढ़ा है।"
- रोबोट फिर शहद में सर्फर का वीडियो बनाता है। यह एक "हार्ड नेगेटिव" है। यह असली वाले जैसा ही दिखता है, लेकिन भौतिकी गलत है (पानी बहुत गाढ़ा है)। रोबлот अपने "असली" वीडियो को इस "शहद वाले" वीडियो से दूर धकेलना सीखता है, जिससे विशेष रूप से तरल प्रवाह (fluid flow) की भौतिकी सुधरती है, बिना सर्फर के चेहरे या समुद्र तट को बिगाड़े।
3. सुरक्षा जाल: "अपनी कलात्मक कुशलता न भूलें"
एक जोखिम यह है कि भौतिकी सीखने के प्रयास में, रोबोट सुंदर चित्र बनाना भूल सकता है। वह शायद ऐसे स्टिक फिगर्स (stick figures) बनाने लगे जो चलते तो सही हैं लेकिन दिखने में बहुत खराब हैं।
इसे रोकने के लिए, DiReCT एक सुरक्षा जाल (Safety Net) का उपयोग करता है। यह रोबोट के मूल "कला कौशल" की एक प्रति को स्मृति में सुरक्षित रखता है। प्रशिक्षण के दौरान, यह लगातार जाँचता है: "क्या आप अभी भी सुंदर चित्र बना रहे हैं, या आप भौतिकी के चक्कर में बहुत ज्यादा भटक गए हैं?" यदि रोबोट अपनी दृश्य गुणवत्ता खोने लगता है, तो सुरक्षा जाल उसे वापस खींच लाता है। यह सुनिश्चित करता है कि वीडियो सुंदर भी हों और भौतिकी के नियमों का पालन भी करें।
परिणाम
जब शोधकर्ताओं ने इसे एक लोकप्रिय वीडियो मॉडल (Wan 2.1) पर परखा:
- पहले: रोबोट ऐसे वीडियो बनाता था जहाँ कारें पीछे की ओर चलती थीं, लोग दीवारों में समा जाते थे, और वस्तुएं असंभव तरीके से तैरती थीं।
- बाद में (DiReCT के साथ): रोबोट ने सीखा कि कारें आगे चलती हैं, ठोस वस्तुएं एक-दूसरे के आर-पार नहीं जा सकतीं, और पानी ढलान की ओर बहता है।
- दक्षता: इसने यह सब बिना किसी विशाल सुपरकंप्यूटर की आवश्यकता के किया। इस "फिजिक्स कोच" वाले एक छोटे मॉडल ने उन बहुत बड़े मॉडलों को मात दी जिनके पास यह नहीं था।
संक्षेप में: DiReCT एक स्मार्ट ट्यूटर की तरह है जो एक AI रोबोट को "बहुत अलग चीजों" (मैक्रो) और "सूक्ष्म, भौतिकी तोड़ने वाली गलतियों" (माइक्रो) के स्पष्ट उदाहरण दिखाकर भौतिक दुनिया के नियम सिखाता है, और साथ ही यह भी सुनिश्चित करता है कि रोबोट सुंदर चित्र बनाना न भूले।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।