💻 computer science

ProjFlow: Projection Sampling with Flow Matching for Zero-Shot Exact Spatial Motion Control

ProjFlow एक प्रशिक्षण-मुक्त (training-free), ज़ीरो-शॉट सैंपलर है जो रैखिक बाधाओं को लागू करने के लिए एक नवीन काइनेमैटिक्स-जागरूक मेट्रिक का लाभ उठाकर सटीक स्थानिक गति नियंत्रण प्राप्त करता है और गति की स्वाभाविकता को बनाए रखता है, जो प्रभावी रूप से कार्य-विशिष्ट प्रशिक्षण की आवश्यकता के बिना मोशन इनपेंटिंग और 2D-टू-3D लिफ्टिंग जैसे कार्यों में चुनौतियों का समाधान करता है।

मूल लेखक: Akihisa Watanabe, Qing Yu, Edgar Simo-Serra, Kent Fujiwara

प्रकाशित 2026-02-27

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Akihisa Watanabe, Qing Yu, Edgar Simo-Serra, Kent Fujiwara

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक निर्देशक हैं जो एक वर्चुअल कैरेक्टर के लिए नृत्य कोरियोग्राफ करने की कोशिश कर रहे हैं। आपके पास एक बहुत ही विशिष्ट विजन है: आप चाहते हैं कि कैरेक्टर का हाथ हवा में एक सटीक दिल (heart) का आकार बनाए, या उसके पैर फर्श पर एक विशिष्ट पथ का अनुसरण करें।

समस्या यह है कि वर्तमान AI टूल्स उत्साही लेकिन अनाड़ी नर्तकों की तरह हैं। यदि आप उन्हें कहते हैं, "अपना हाथ इस तरह हिलाओ," तो वे सामान्य विचार तो समझ सकते हैं लेकिन सटीक आकार को चूक सकते हैं, या उस निशान तक पहुँचने के लिए अपने शरीर को अजीब या अप्राकृतिक तरीके से मरोड़ सकते हैं। वे आपके निर्देशों को "सुझाव" के रूप में मानते हैं न कि सख्त नियमों के रूप में।

ProjFlow एक नया टूल है जो खेल बदल देता है। यह AI को अदृश्य, लचीले ट्रेनिंग व्हील्स (training wheels) देने जैसा है जो इसे आपके प्राकृतिक लय को तोड़े बिना आपके सटीक नियमों का पालन करने के लिए मजबूर करते हैं।

यह कैसे काम करता है, यहाँ सरल अवधारणाओं में दिया गया है:

1. "कठोर नियम" बनाम "नरम सुझाव" (The "Hard Rule" vs. The "Soft Suggestion")

अधिकांश AI मोशन जनरेटर आपके निर्देशों को एक नरम सुझाव की तरह मानते हैं। यह एक कुत्ते को, "कृपया बैठो," कहने जैसा है, लेकिन कुत्ता बैठ जाता है क्योंकि उसे लगता है कि लेटना भी लगभग वैसा ही है। परिणाम एक ऐसा मोशन होता है जो लगभग सही होता है लेकिन सटीक नहीं होता।

ProjFlow आपके निर्देशों को कठोर नियमों की तरह मानता है। यह एक सख्त डांस इंस्ट्रक्टर की तरह है जो कहता है, "आपका हाथ बिल्कुल यहाँ होना चाहिए।" यदि AI अपने हाथ को आपकी रेखा से एक मिलीमीटर भी इधर-उधर ले जाने की कोशिश करता है, तो ProjFlow तुरंत उसे ठीक कर देता है। यह आपके विशिष्ट बाधाओं (constraints) पर 100% सटीकता की गारंटी देता है।

2. "कंकाल की रीढ़" (The "Skeleton Spine" - द सीक्रेट सॉस)

यहाँ पेचीदा हिस्सा यह है: यदि आप किसी रोबोट के हाथ को किसी विशिष्ट स्थान पर जाने के लिए मजबूर करते हैं, तो एक मूर्ख रोबोट वहां पहुँचने के लिए अपने हाथ को प्रेत्ज़ल (pretzel) की तरह मरोड़ सकता है, जो अप्रात्मक लगेगा।

ProjFlow के दिमाग में एक विशेष "रीढ़" है जिसे काइनेमैटिक्स-अवेयर मेट्रिक (Kinematics-Aware Metric) कहा जाता है। इसे कंकाल के सभी जोड़ों को जोड़ने वाले एक रबर बैंड के रूप में सोचें।

पुराना तरीका: यदि आप हाथ को खींचते हैं, तो हाथ खिंचता है, लेकिन कंधे और कोहनी अजीब कोणों में आ सकते हैं क्योंकि AI यह नहीं समझ पाता कि शरीर कैसे जुड़ा हुआ है।
ProjFlow का तरीका: जब यह हाथ को ठीक करता है, तो यह महसूस करता है कि तनाव रबर बैंड के माध्यम से पूरे शरीर में कैसे फैलता है। यह कंधे, कोहनी और धड़ को एक साथ इस तरह समायोजित करता है जैसे कोई वास्तविक इंसान हिल रहा हो। यह सुधार को पूरे शरीर में फैला देता है ताकि पूरा शरीर स्वाभाविक रूप से हिले, न कि केवल वह हिस्सा जिसे आपने मांगा था।

3. खाली जगहों को भरना (Motion Inpainting)

कल्पना कीजिए कि आपके पास किसी व्यक्ति के नाचने का एक वीडियो है, लेकिन वीडियो का आधा हिस्सा गायब है (जैसे फटी हुई फिल्म रील)। आप जानते हैं कि वे कहाँ से शुरू हुए और कहाँ समाप्त हुए, लेकिन बीच का हिस्सा गायब है।

पुराना तरीका: AI बीच के हिस्से का अनुमान लगाता है, लेकिन यह झटकेदार या कटा हुआ लग सकता है।
ProjFlow का तरीका: यह एक स्मार्ट एडिटर की तरह काम करता है। यह AI को गाइड करने के लिए स्टार्ट और एंड पॉइंट्स के बीच एक धुंधली, अस्थायी रेखा खींचता है। जैसे-जैसे AI गायब फ्रेमों को "बनाता" है, वह धीरे-धीरे इस गाइड लाइन को धुंधला कर देता है, जिससे AI की अपनी प्राकृतिक नृत्य सहजता (instincts) को काम करने का मौका मिलता है। यह अंतराल को सुचारू रूप से भर देता है, जिससे गायब मोशन ऐसा लगता है जैसे इसे पूरी तरह से फिल्माया गया हो।

4. 2D से 3D का जादू (Lifting)

कल्पना कीजिए कि आप कागज के एक टुकड़े पर एक स्टिक फिगर (stick figure) बनाते हैं (2D) और उसे 3D मूवी में बदलना चाहते हैं।

पुराना तरीका: AI गहराई का अनुमान लगाने की कोशिश करता है, लेकिन हाथ हवा में तैर सकता है या फर्श के आर-पार जा सकता है क्योंकि वह सिर्फ अंदाजा लगा रहा होता है।
ProjFlow का तरीका: यह आपके 2D ड्राइंग को एक गणितीय "परछाई" (shadow) के रूप में मानता जिसे 3D कैरेक्टर को जरूर डालना होगा। यह 3D कैरेक्टर को इस तरह से हिलने के लिए मजबूर करता है कि यदि आप उसकी फोटो लें, तो वह आपके 2D ड्राइंग से पूरी तरह मेल खाए। यह इस पहेली को हल करता है कि "कौन सा 3D पोज़ इस 2D परछाई को बनाता है?" पूर्ण सटीकता के साथ।

यह एक बड़ी बात क्यों है?

आमतौर पर, AI को इतना विशिष्ट कार्य करने के लिए, आपको:

इसे एक विशिष्ट कार्य (जैसे "छड़ी के साथ चलना") के लिए हफ्तों तक ट्रेन करना पड़ता है।
हर बार वीडियो जेनरेट करने के लिए धीमी, भारी गणनाएं (calculations) करनी पड़ती हैं।

ProjFlow जीरो-शॉट (Zero-Shot) है। इसका मतलब है कि यह बिना दोबारा प्रशिक्षित किए किसी भी कार्य पर तुरंत काम करता है। यह एक यूनिवर्सल रिमोट कंट्रोल होने जैसा है जो बिना नया रिमोट खरीदे आपके घर के हर टीवी पर काम करता है।

संक्षेप में:
ProjFlow एनिमेटरों के लिए एक जादुई छड़ी है। यह आपको एक रेखा खींचने, एक बिंदु चुनने या एक आकार बनाने देता है, और यह एक पूर्ण-शरीर, यथार्थवादी 3D एनीमेशन जेनरेट करता है जो आपके नियमों का बिल्कुल पालन करता है, जबकि यह अभी भी एक स्वाभाविक, मानवीय गति की तरह दिखता है। यह एक रोबोट की सटीकता को एक डांसर की आत्मा के साथ जोड़ता है।

यहाँ शोध पत्र "ProjFlow: Projection Sampling with Flow Matching for Zero-Shot Exact Spatial Motion Control" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

उपयोगकर्ता द्वारा परिभाषित सटीक स्थानिक बाधाओं (जैसे, विशिष्ट जॉइंट प्रक्षेपवक्र (joint trajectories), 2D-से-3D लिफ्टिंग, या निश्चित सापेक्ष स्थितियाँ) का पालन करते हुए यथार्थवादी मानव गति उत्पन्न करना चरित्र एनीमेशन (character animation) में एक महत्वपूर्ण चुनौती है। मौजूदा दृष्टिकोण तीन मुख्य सीमाओं से ग्रस्त हैं:

सॉफ्ट कंस्ट्रेंट्स (Soft Constraints): अधिकांश विधियाँ बाधाओं को सॉफ्ट उद्देश्यों या गाइडेंस टर्म्स के रूप में मानती हैं, जिसका अर्थ है कि वे उपयोगकर्ता के इनपुट का सटीक अनुपालन सुनिश्चित नहीं कर सकतीं। अवशेष त्रुटियाँ (Residual errors) अक्सर बनी रहती हैं।
टास्क-विशिष्ट प्रशिक्षण (Task-Specific Training): कई उच्च-प्रदर्शन वाली विधियों के लिए विशिष्ट कंडीशनिंग शाखाओं (जैसे, ControlNet) के साथ जनरेटिव मॉडल को फिर से प्रशिक्षित करने की आवश्यकता होती है, जो सामान्यीकरण (generalizability) को सीमित करता है और प्रत्येक नए कार्य के लिए बड़े डेटासेट की आवश्यकता होती है।
इन्फरेंस-टाइम ऑप्टिमाइज़ेशन (Inference-Time Optimization): कुछ विधियाँ इन्फरेंस के दौरान शोर (noise) या लॉजिट्स (logits) के धीमे, पुनरावृत्ति अनुकूलन (iterative optimization) पर निर्भर करती हैं, जो इंटरैक्टिविटी को कम करती है और लोकल मिनिमा (local minima) में फंस सकती हैं।

लक्ष्य एक जीरो-शॉट (zero-shot) तरीके से (बिना पुनः प्रशिक्षण के) और बिना इनर-लूप ऑप्टिमाइज़ेशन के, पूर्व-प्रशिक्षित मोशन प्रायर (motion prior) की स्वाभाविकता और विविधता को बनाए रखते हुए, रैखिक स्थानिक बाधाओं का सटीक (exact) अनुपालन प्राप्त करना है।

2. कार्यप्रणाली: ProjFlow (Methodology: ProjFlow)

ProjFlow इन चुनौतियों का समाधान एक रैखिक व्युत्क्रम समस्या (linear inverse problem) के रूप में स्थानिक मोशन कंट्रोल को स्वरूपित करके और एक नवीन प्रोजेक्शन-आधारित फ्लो मैचिंग सैंपलर का उपयोग करके करता है।

A. एकीकृत रैखिक व्युत्क्रम स्वरूपण (Unified Linear Inverse Formulation)

लेखक विविध मोशन कंट्रोल कार्यों (ट्रैजेक्टरी फॉलोइंग, कीफ्रेमिंग, 2D-से-3D लिफ्टिंग) को एक एकल रैखिक ऑब्जर्वेशन मॉडल में एकीकृत करते हैं:
$y = Ax + \epsilon$
जहाँ:

$x$ पूर्ण 3D मोशन सीक्वेंस है।
$y$ उपयोगकर्ता द्वारा निर्दिष्ट ऑब्जर्वेशन (जैसे, 2D कीपॉइंट्स, विशिष्ट जॉइंट ट्रैजेक्टरीज) का प्रतिनिधित्व करता है।
$A$ एक ज्ञात रैखिक ऑपरेटर है जो 3D मोशन को ऑब्जर्वेशन में मैप करता है।
$\epsilon$ ऑब्जर्वेशन नॉइज़ (कोवेरिएंस $\Sigma$ के साथ) है। हार्ड कंस्ट्रेंट्स को उस सीमा के रूप में मॉडल किया गया है जहाँ $\Sigma \to 0$ होता है।

B. फ्लो मैचिंग के साथ प्रोजेक्शन सैंपलिंग (Projection Sampling with Flow Matching)

जेनरेशन प्रक्रिया को गाइड करने के बजाय, ProjFlow प्रत्येक डीनॉइजिंग स्टेप पर वैध समाधानों के सेट पर अनुमानित मोशन को प्रोजेक्ट करता है। इस प्रक्रिया में प्रति टाइमस्टेप $t$ तीन चरण शामिल हैं:

क्लीन एंडपॉइंट का अनुमान लगाना (Predict Clean Endpoint): प्री-ट्रेन्ड फ्लो मैचिंग मॉडल से सीखे गए वेलोसिटी फील्ड $v_\theta(x_t, t)$ का उपयोग करते हुए, एल्गोरिदम ट्वीडीज़ फॉर्मूला (Tweedie's formula) का उपयोग करके क्लीन मोशन एंडपॉइंट $\hat{x}_1$ का अनुमान लगाता है:
$\hat{x}_1 = x_t + (1-t)v_\theta(x_t, t)$
काइनेमैटिक्स-अवेयर प्रोजेक्शन (Kinematics-Aware Projection): एल्गोरिदम रैखिक बाधाओं $y = A(x_1)$ को संतुष्ट करने के लिए आवश्यक न्यूनतम सुधार $\Delta x_1$ की गणना करता है। इसे एक कॉनवेक्स क्वाड्रेटिक ऑप्टिमाइज़ेशन समस्या के रूप में हल किया जाता है:
$\min_{\Delta x_1} \frac{1}{2}\|\Delta x_1\|_R^2 + \frac{1}{2}\|y - A(\hat{x}_1 + \Delta x_1)\|_{\Sigma^{-1}}^2$
इसका समाधान एक क्लोज्ड-फॉर्म अपडेट है:
$\hat{x}_1^* = \hat{x}_1 + R^{-1}A^\top (AR^{-1}A^\top + \Sigma)^{-1}(y - A\hat{x}_1)$
मुख्य नवाचार (मेट्रिक $R$ ): मानक इमेज रेस्टोरेशन विधियों के विपरीत जो यूक्लिडियन मेट्रिक ( $R=I$ ) का उपयोग करती हैं, ProjFlow एक काइनेमैटिक्स-अवेयर मेट्रिक $R$ पेश करता है। यह मेट्रिक कंस्ट्रेंट के आधार पर स्केलेटल टोपोलॉजी (स्केलेटन के ग्राफ लैपलेसियन का उपयोग करके) को एनकोड करता है। यह सुनिश्चित करता है कि सुधार का वितरण काइनेमैटिक ट्री (kinematic tree) में सुसंगत रूप से हो, जिससे अस्वाभाविक, अलग-थलग जॉइंट मूवमेंट को रोका जा सके और मोशन की वास्तविकता बनी रहे।
स्टोकेस्टिक रीकंपोजिशन (Stochastic Recomposition): सुधारा गया एंडपॉइंट $\hat{x}_1^*$ मूल नॉइज़ और नए स्टोकेस्टिक नॉइज़ के मिश्रण के साथ मिलकर अगला स्टेट $x_{t+\Delta t}$ बनाता है, जिससे यह सुनिश्चित होता है कि मोशन सीखे गए डेटा मैनिफोल्ड पर बना रहे।

C. स्पार्स इनपुट्स को संभालना (Handling Sparse Inputs - Motion Inpainting)

मोशन इनपेंटिंग जैसे कार्यों के लिए जहाँ ऑब्जर्वेशन स्पार्स (जैसे, केवल कुछ कीफ्रेम्स) होते हैं, विधि टाइम-वेरिंग स्यूडो-ऑब्जर्वेशंस (time-varying pseudo-observations) पेश करती है:

डायनेमिक मास्किंग: ज्ञात फ्रेमों के आसपास एक टेम्पोरल नेबरहुड में सॉफ्ट स्यूडो-ऑब्जर्वेशंस (कीफ्रेम्स के बीच लीनियर इंटरपोलेशन के माध्यम से उत्पन्न) को सक्रिय किया जाता है। यह नेबरहुड सैंपलिंग के दौरान ( $t \to 1$ ) रैखिक रूप से छोटा होता जाता है।
एडेप्टिव वेरिएंस: इन स्यूडो-ऑब्जर्वेशंस पर विश्वास को एक टाइम-डिके फैक्टर और लोकल कर्वेचर पेनल्टी द्वारा नियंत्रित किया जाता है। जैसे-जैसे मॉडल का अपना प्रेडिक्शन अधिक विश्वसनीय होता जाता है या मोशन कर्वेचर बढ़ता है, स्यूडो-ऑब्जर्वेशंस का वेरिएंस बढ़ जाता है (विश्वास कम हो जाता है), जिससे मॉडल खराब लीनियर एस्टीमेट्स द्वारा अत्यधिक बाधित हुए बिना स्वाभाविक रूप से अंतराल (gaps) को भर सकता है।

3. प्रमुख योगदान (Key Contributions)

एकीकृत ढांचा (Unified Framework): एक जीरो-शॉट सैंपलर जो विविध स्थानिक नियंत्रण कार्यों को रैखिक व्युत्क्रम समस्याओं के रूप में मानता है, जिससे टास्क-विशिष्ट पुनः प्रशिक्षण की आवश्यकता समाप्त हो जाती है।
सटीक बाधा संतुष्टि (Exact Constraint Satisfaction): यह विधि गारंटी देती है कि हार्ड इक्वैलिटी कंस्ट्रेंट्स इन्फरेंस के समय (संख्यात्मक शुद्धता तक) सटीक रूप से संतुष्ट होते हैं, जो गाइडेंस-आधारित विधियों के विपरीत है।
काइनेमैटिक्स-अवेयर ज्योमेट्री: प्रोजेक्शन के लिए स्केलेटल टोपोलॉजी-आधारित मेट्रिक ( $R$ ) का परिचय, जो सुधारों को स्केलेटन के साथ सुसंगत रूप से वितरित करता है, जिससे यूक्लिडियन प्रोजेक्शन की तुलना में मोशन की वास्तविकता में काफी सुधार होता है।
टाइम-वेरिंग स्यूडो-ऑब्जर्वेशंस: इनपेंटिंग कार्यों के लिए स्पार्स इनपुट को संभालने के लिए एक नवीन तंत्र, जो लीनियर इंटरपोलेशन गाइड्स और जनरेटिव प्रायर के बीच गतिशील रूप से संतुलन बनाता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने HumanML3D डेटासेट पर दो प्राथमिक अनुप्रयोगों के लिए ProjFlow का मूल्यांकन किया: मोशन इनपेंटिंग और 2D-से-3D लिफ्टिंग।

सटीकता (Exactness): ProjFlow ने स्थानिक बाधाओं के लिए प्रक्षेपवक्र (trajectory), स्थान और औसत त्रुटि मेट्रिक्स पर 0.0000 त्रुटि प्राप्त की, जिसने सभी बेसलाइन (OmniControl और MaskControl जैसे ट्रेनिंग-आधारित तरीकों सहित) को पीछे छोड़ दिया, जिनमें अवशेष त्रुटियाँ देखी गई थीं।
यथार्थवाद (FID): ProjFlow ने स्टेट-ऑफ-द-आर्ट ट्रेनिंग-आधारित कंट्रोलर्स के समान या उनसे बेहतर यथार्थवाद (Fréchet Inception Distance) प्राप्त किया। उदाहरण के लिए, पेल्विस ट्रैजेक्टरी कंट्रोल में, ProjFlow ने 0.107 का FID प्राप्त किया, जो प्रशिक्षित मॉडलों (जैसे, MaskControl का 0.066) के तुलनीय है।
2D-से-3D लिफ्टिंग: 2D ट्रैजेक्टरीज से 3D मोशन को पुनर्गठित करने में, ProjFlow ने प्राकृतिक वॉकिंग मोशन बनाए रखते हुए शून्य रिप्रोजेक्शन एरर (MPJPE-2D = 0.000) प्राप्त किया, जबकि बेसलाइन विधियां (जैसे, Sketch2Anim) सटीक 2D ट्रैजेक्टरी आकार को बनाए रखने में विफल रहीं।
दक्षता (Efficiency): ProjFlow ऑप्टिमाइज़ेशन-आधारित विधियों (जैसे, MaskControl प्रति सैंपल ~76s लेता है बनाम ProjFlow का ~1.8s) की तुलना में काफी तेज़ है और ControlNet-आधारित दृष्टिकोणों के साथ प्रतिस्पर्धी है, क्योंकि इसमें अतिरिक्त कंडीशनिंग शाखाओं की आवश्यकता नहीं होती है।

5. महत्व (Significance)

ProjFlow नियंत्रणीय मोशन जनरेशन (controllable motion generation) में एक प्रतिमान परिवर्तन (paradigm shift) का प्रतिनिधित्व करता है। फ्लो मैचिंग और लीनियर इनवर्स प्रॉब्लम्स के गणितीय गुणों का लाभ उठाकर, यह कंस्ट्रेंट सेटिस्फैक्शन को मॉडल ट्रेनिंग से अलग करता है।

व्यावहारिक प्रभाव: यह एनिमेटरों को अपने जनरेटेड मोशन में "ड्रिफ्ट" (drift) से बचे बिना या मॉडल को फिर से प्रशिक्षित करने की प्रतीक्षा किए बिना, सटीक स्थानिक बाधाओं (जैसे, सटीक फुट प्लेसमेंट या हैंड ट्रैजेक्टरीज) को इंटरैक्टिव रूप से निर्दिष्ट करने में सक्षम बनाता है।
सैद्धांतिक योगदान: यह प्रदर्शित करता है कि जटिल, संरचित डेटा जनरेशन (मानव गति) को यदि सही ज्यामितीय मेट्रिक (काइनेमैटिक्स-अवेयर) का उपयोग किया जाए, तो क्लोज्ड-फॉर्म प्रोजेक्शन स्टेप्स के माध्यम से नियंत्रित किया जा सकता है, जो जनरेटिव प्रायर और हार्ड फिजिकल कंस्ट्रेंट्स के बीच के अंतर को पाटता है।

संक्षेप में, ProjFlow सटीक स्थानिक मोशन कंट्रोल के लिए एक एकीकृत, प्रशिक्षण-मुक्त और गणनात्मक रूप से कुशल समाधान प्रदान करता है, जो चरित्र एनीमेशन में सटीकता और यथार्थवाद के लिए एक नया मानक स्थापित करता है।