PRISM: Streaming Human Motion Generation with Per-Joint Latent Decomposition
PRISM एक स्ट्रीमिंग मानव गति निर्माण फ्रेमवर्क पेश करता है जो प्रतिनिधित्व के उलझाव (representation entanglement) और त्रुटि संचय (error accumulation) को दूर करने के लिए एक एकल फाउंडेशन मॉडल के भीतर एक संयुक्त-कारकित लेटेंट स्पेस (joint-factorized latent space) और शोर-मुक्त स्थिति इंजेक्शन (noise-free condition injection) का उपयोग करता है, जिससे टेक्स्ट-टू-मोशन, पोज़-कंडीशन्ड, और लॉन्ग-होरिज़ोनल अनुक्रमिक संश्लेषण (long-horizon sequential synthesis) को अत्याधुनिक प्रदर्शन के साथ एकीकृत किया जाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को एक कहानी के आधार पर नाचना सिखाना चाहते हैं। आप कहते हैं, "रोबोट दरवाजे की ओर चलता है, उसे खोलता है, और एक चक्कर (spin) लगाता है।"
लंबे समय तक, AI शोधकर्ताओं ने इसे इस तरह हल करने की कोशिश की कि हर सेकंड के लिए रोबोट को एक विशाल "विचार" (thought) दिया जाए। यह एक पूरे ऑर्केस्ट्रा के प्रदर्शन का वर्णन करने के लिए पूरे कमरे के लिए केवल एक संख्या लिखने जैसा था। AI को यह अनुमान लगाना पड़ता था कि किस संख्या का अर्थ वायलिन था, कौन सा ड्रम था, और वे एक साथ कैसे चले। इससे नृत्य उथला और झटकेदार हो जाता था, जहाँ रोबट के पैर फर्श पर फिसल सकते थे या उसके हाथ अस्वाभाविक रूप से मुड़ सकते थे।
PRISM एक नया सिस्टम है जो खेल के नियम बदल देता है। एक विशाल विचार देने के बजाय, यह रोबोट के शरीर के हर एक जोड़ (जैसे कंधे, कोहनी, घुटने आदि) के लिए हर क्षण के लिए एक व्यक्तिगत निर्देश कार्ड देता है।
यहाँ बताया गया है कि PRISM कैसे काम करता है, जिसे तीन सरल अवधारणाओं में विभाजित किया गया है:
1. "व्यक्तिगत सीट" का उदाहरण (Joint-Factorized Latent Space)
पुराना तरीका: एक भीड़ भरी बस की कल्पना करें जहाँ हर कोई एक विशाल ढेर में सिमटा हुआ है। अपनी सीट तक पहुँचने के लिए, आपको उस पूरे ढेर के बीच से रास्ता बनाना पड़ता है। AI को हर हरकत के साथ यह करना पड़ता था, जिससे बाएं पैर को दाएं कूल्हे के डेटा के ढेर से अलग करना मुश्किल हो जाता था।
PRISM का तरीका: PRISM व्यक्तिगत सीटों का एक 2D ग्रिड बनाता है।
- समय (Time) पंक्ति (Row) है (फ्रेम 1, फ्रेम 2, फ्रेम 3...)।
- जोड़ (Joints) कॉलम (सिर, बायां हाथ, दाहिना पैर...) हैं।
- हर एक जोड़ को अपना समर्पित "सीट" और अपना स्वयं का निर्देश कार्ड मिलता है।
चूंकि AI को यह अनुमान नहीं लगाना पड़ता कि डेटा का कौन सा हिस्सा किस जोड़ का है, इसलिए यह पूरी तरह से इस बात पर ध्यान केंद्रित कर सकता है कि वह विशिष्ट जोड़ खूबसूरती से कैसे चले। यह एक कंडक्टर द्वारा प्रत्येक संगीतकार को एक विशिष्ट नोट देने जैसा है, बजाय इसके कि पूरे समूह पर चिल्लाकर कहा जाए "संगीत बजाओ!" इस अकेले बदलाव ने इसकी गति को पिछले तरीकों की तुलना में 18 गुना अधिक सटीक बना दिया।
2. "साफ बनाम गंदा" का उदाहरण (Noise-Free Condition Injection)
समस्या: आमतौर पर, यदि आप चाहते हैं कि AI किसी विशिष्ट मुद्रा (pose) से नृत्य जारी रखे, या "चलने" से "दौड़ने" में बदल जाए, तो आपको एक अलग AI मॉडल या उपकरणों के एक जटिल पैचवर्क की आवश्यकता होती है। यह एक फिल्म के रील को बीच में काटकर दूसरी फिल्म जोड़ने जैसा है; किनारे अक्सर ऊबड़-खाबड़ दिखते हैं।
PRISM का समाधान: PRISM एक चालाक तकनीक का उपयोग करता है जिसे "Noise-Free Condition Injection" कहा जाता है।
कल्पना कीजिए कि AI एक चित्र बनाने वाला कलाकार है।
- "गंदे" (Dirty) भाग: चित्र के वे हिस्से जिन्हें AI को आविष्कार करना है (भविष्य के नृत्य के मूव्स) को कोहरे (noise) से ढका गया है। AI का काम उस कोहरे को हटाकर छवि को प्रकट करना है।
- "साफ" (Clean) भाग: जो हिस्से आप पहले से जानते हैं (शुरुआती मुद्रा या टेक्स्ट प्रॉम्प्ट) उन्हें कोहरे से मुक्त छोड़ दिया जाता है।
PRISM एक ही समय में "साफ" भागों (शुरुआती मुद्रा) और "कोहरे वाले" भागों (भविष्य के मूव्स) को देख सकता है। वह जानता है कि किन हिस्सों को रखना है और किन हिस्सों को पेंट करना है। यह इसे सक्षम बनाता है:
- एक टेक्स्ट विवरण से नृत्य शुरू करना।
- एक विशिष्ट फोटो वाली मुद्रा से नृत्य शुरू करना।
- उन्हें सहजता से एक साथ जोड़ना: यह एक नृत्य को समाप्त कर सकता है, उसके अंतिम कुछ फ्रेम ले सकता है, और तुरंत उन्हें अगले नृत्य के लिए "साफ" शुरुआती बिंदु के रूप में उपयोग कर सकता है, जिससे बिना किसी झटके के निरंतर गति का प्रवाह बनता है।
3. "रिहर्सल" का उदाहरण (Self-Forcing)
समस्या: जब आप कई नृत्य खंडों को एक साथ जोड़ते हैं, तो छोटी गलतियाँ जुड़ती जाती हैं। यदि AI पहले 10 सेकंड में एक छोटी सी गलती करता है, तो 5 मिनट तक पहुँचते-पहुँचते रोबोट पीछे की ओर चल सकता है या हवा में तैर सकता है। इसे "ड्रिफ्ट" (drift) कहा जाता है।
PRISM का समाधान: शोधकर्ताओं ने AI को अपनी गलतियों के साथ अभ्यास करना सिखाया।
आमतौर पर, प्रशिक्षण के दौरान, AI को हर कदम के बाद एक परफेक्ट उत्तर दिया जाता है (जैसे एक शिक्षक छात्र को तुरंत सुधारता है)। लेकिन वास्तविक दुनिया में, AI को अपने पिछले मूव्स पर निर्भर रहना पड़ता है।
PRISM Self-Forcing नामक तकनीक का उपयोग करता है। प्रशिक्षण के दौरान, AI एक मूव बनाता है, एक गलती करता है, और फिर उस गलत मूव के आधार पर नृत्य जारी रखता है। यह खुद को सुधारना और ट्रैक पर रहना सीखता है, ठीक वैसे ही जैसे एक डांसर जो लड़खड़ाता है लेकिन गिरकर गिरने के बजाय खुद को संभाल लेता है। यह इसे उन नृत्यों को उत्पन्न करने की अनुमति देता है जो इसके मूल प्रशिक्षण काल से 10+ गुना लंबे हैं, बिना बिखरे या बिगड़े।
बड़ी तस्वीर (The Big Picture)
PRISM एक एकल, एकीकृत "मोशन फाउंडेशन मॉडल" है जो यह कर सकता है:
- टेक्स्ट को नृत्य में बदलना।
- एक फोटो को नृत्य में बदलना।
- सैकड़ों क्रियाओं को एक लंबी कहानी में जोड़ना।
यह केवल AI को सामान्य रूप से "बड़ा" या "स्मार्टर" बनाकर नहीं, बल्कि डेटा को बेहतर ढंग से व्यवस्थित करके (हर जोड़ को अपनी सीट देकर) और इसे अपनी गलतियों को संभालने के लिए सिखाकर हासिल करता है। परिणाम स्वरूप मानव गति अधिक सुचारू, अधिक यथार्थवादी और बिना थके लंबी, जटिल कहानियाँ सुनाने में सक्षम है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।