PhyCo: Learning Controllable Physical Priors for Generative Motion
PhyCo एक ऐसा फ्रेमवर्क है जो वीडियो डिफ्यूजन मॉडल्स को एक बड़े सिमुलेशन डेटासेट संग्रह, ControlNet के माध्यम से भौतिकी-पर्यवेक्षित फाइन-ट्यूनिंग और VLM-निर्देशित रिवॉर्ड ऑप्टिमाइज़ेशन के साथ नियंत्रित, भौतिक रूप से सुसंगत गतियों के साथ विस्तारित करता है ताकि इन्फरेंस के दौरान सिम्युलेटर्स या ज्यामितीय पुनर्निर्माण की आवश्यकता के बिना यथार्थवादी भौतिक व्यवहार उत्पन्न किए जा सकें।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक फिल्म देख रहे हैं जहाँ एक गेंद उछल रही है, एक डिब्बा फिसल रहा है, या एक व्यक्ति ट्रैम्पोलिन पर कूद रहा है। आज के अधिकांश AI-जनरेटेड वीडियो में, ये हरकतें अक्सर "गलत" महसूस होती हैं। गेंद किसी भूत की तरह तैर सकती है, गलत ऊर्जा के साथ उछल सकती है, या जमीन पर इस तरह फिसल सकती है जैसे वह बर्फ से बनी हो, जबकि उसे रबर से बना होना चाहिए। AI चीजों को "सही दिखने" में तो उत्कृष्ट है (रंग, रोशनी), लेकिन यह पूरी तरह से नहीं समझ पाता कि चीजें भौतिकी के नियमों के अनुसार कैसे चलती हैं।
PhyCo एक नया सिस्टम है जिसे इसे ठीक करने के लिए विकसित किया गया है। इसे AI को एक "फिजिक्स चीट शीट" देने के रूप में समझें ताकि यह ऐसे वीडियो बना सके जहाँ वस्तुएं बिल्कुल वैसे ही व्यवहार करें जैसा कि वास्तविक दुनिया में होना चाहिए।
यहाँ बताया गया है कि PhyCo कैसे काम करता है, जिसे तीन सरल चरणों में विभाजित किया गया है:
1. ट्रेनिंग कैंप (डेटासेट)
इससे पहले कि PhyCo किसी AI को कुछ सिखा सके, उसे खुद खेल के नियम सीखने होंगे। शोधकर्ताओं ने 1,00,000 सिम्युलेटेड वीडियो का एक विशाल पुस्तकालय बनाया।
- उपमा: एक विशाल जिमनेजियम की कल्पना करें जहाँ रोबोट गिरने, कूदने और फिसलने का अभ्यास कर रहे हैं। इस हॉल में, शोधकर्ता हर वस्तु के "नॉब्स" (knobs) को बदल सकते हैं। वे एक गेंद को सुपर-बाउंसी बना सकते हैं, एक फर्श को सुपर-फिसलन भरा, या एक दीवार को सुपर-सॉफ्ट।
- परिणाम: AI इन वीडियो को देखता है और सीखता है कि "यदि मैं 'फ्रिक्शन' (घर्षण) का नॉब बढ़ाता हूँ, तो वस्तु कम फिसलेगी" या "यदि मैं 'डेफॉर्मेशन' (विकृति) का नॉब बढ़ाता हूँ, तो वस्तु अधिक दबेगी।" यह कारण-और-प्रभाव के संबंधों का एक विशाल डेटाबेस बनाता है।
2. कंट्रोल पैनल (ControlNet)
एक बार जब AI ने ट्रेनिंग वीडियो देख लिए, तो शोधकर्ता उसे एक विशेष कंट्रोल पैनल देते हैं।
- उपमा: एक वीडियो गेम के बारे में सोचें जहाँ आप स्क्रीन पर एक मैप बना सकते हैं ताकि पात्र को बता सकें कि उसे कहाँ जाना है। PhyCo के साथ, आप भौतिक गुणों का एक "मैप" बना सकते हैं। आप स्क्रीन पर एक स्थान को पेंट कर सकते हैं कि "यह क्षेत्र चिपचिपा है" या "यह वस्तु भारी है।"
- यह कैसे काम करता है: AI इन मैप्स को लेता है और इनका उपयोग वीडियो बनाने के लिए करता है। केवल यह अनुमान लगाने के बजाय कि कोई वस्तु कैसे चलती है, यह आपके मैप को देखता है और कहता है, "ठीक है, आपने मुझे बताया कि यहाँ फ्रिक्शन अधिक है, इसलिए मैं वस्तु को धीरे से फिसलने दूँगा।" यह निरंतर नियंत्रण (continuous control) को सक्षम बनाता है, जिसका अर्थ है कि आप फ्रिक्शन को केवल चालू या बंद नहीं कर सकते, बल्कि इसे सुचारू रूप से ऊपर या नीचे भी घुमा सकते हैं।
3. सख्त कोच (VLM रिवॉर्ड ऑप्टिमाइज़ेशन)
कंट्रोल पैनल के होने के बावजूद, AI अभी भी छोटी गलतियाँ कर सकता है। इसे ठीक करने के लिए, शोधकर्ताओं ने एक "सख्त कोच" जोड़ा है।
- उपमा: एक कोच की कल्पना करें जो AI के ट्रेनिंग वीडियो देख रहा है और विशिष्ट प्रश्न पूछ रहा है: "क्या यह गेंद पर्याप्त ऊँचाई तक उछली?" "क्या यह डिब्बा पर्याप्त दूर तक फिसला?" यदि AI गलत उत्तर देता है, तो कोच उसे सुधारने के लिए एक "दंड" (गणितीय दंड) देता है।
- जादू: यह कोच एक विज़न-लैंग्वेज मॉडल (VLM) है। यह केवल पिक्सेल को नहीं देखता; यह भौतिकी की अवधारणा को समझता है। यह वीडियो को पढ़ता है और जाँचता है कि क्या गति आपके द्वारा निर्धारित नियमों से मेल खाती है। यदि गेंद बहुत कम उछलती है जबकि आपने उच्च उछाल का अनुरोध किया था, तो कोच AI को फिर से प्रयास करने के लिए कहता है। समय के साथ, AI कोच को संतुष्ट करना सीख जाता है, जिसके परिणामस्वरूप ऐसे वीडियो बनते हैं जो न केवल देखने में सुंदर हैं बल्कि भौतिक रूप से भी सही हैं।
PhyCo क्या कर सकता है?
यह कार्य दिखाता है कि PhyCo निम्नलिखित को संभाल सकता है:
- फ्रिक्शन (घर्षण): चीजों को आसानी से फिसलने दें या जमीन से चिपका दें।
- रेस्टीट्यूशन (बाउंसनेस/उछाल): चीजों को रबर की गेंद की तरह उछलने दें या पत्थर की तरह थपकी खाने दें।
- डेफॉर्मेशन (विकृति): नरम वस्तुओं को दबने और वापस उछलने दें, जबकि कठोर वस्तुएं स्थिर रहें।
- फोर्स (बल): वस्तुओं को विशिष्ट दिशाओं में विशिष्ट शक्ति के साथ धकेलें।
बड़ी जीत
सबसे प्रभावशाली बात यह है कि PhyCo ने यह सब एक सिम्युलेटेड दुनिया (जिमनेजियम) में सीखा, फिर भी यह वास्तविक दुनिया में भी उतना ही अच्छा काम करता है। आप इसे एक व्यक्ति के ट्रैम्पोलिन पर कूदने का वीडियो बनाने के लिए कह सकते हैं, और हालांकि इसने प्रशिक्षण के दौरान कभी वास्तविक ट्रैम्पोलिन नहीं देखा, फिर भी यह जानता है कि ट्रैम्पोलिन को कैसे विकृत होना चाहिए और व्यक्ति को कैसे कूदना चाहिए क्योंकि इसने भौतिकी के सिद्धांतों को सीखा है।
संक्षेप में, PhyCo AI को यह अनुमान लगाना बंद करने और उन नियमों को समझने के लिए सिखाता है जो दुनिया को संचालित करते हैं, ताकि हम ऐसे वीडियो बना सकें जहाँ भौतिकी छवियों जितनी ही वास्तविक हो।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।