🤖 AI

ParaScale: Scale-Calibrated Camera-Motion Transfer via a Gauge-Invariant Parallax Number

ParaScale एक प्लग-एंड-प्ले मॉड्यूल है जो एक गेज-इनवेरिएंट (gauge-invariant) पैरलैक्स नंबर को संरक्षित करके, असंगत स्केल्स वाले वीडियो के बीच स्केल-कैलिब्रेटेड कैमरा-मोशन ट्रांसफर को सक्षम बनाता है, जिससे बिना किसी रिट्रेनिंग के मोशन एक्सैजरेशन (motion exaggeration) या सप्रेशन (suppression) को समाप्त किया जा सके।

मूल लेखक: Zijie Meng

प्रकाशित 2026-06-19

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Zijie Meng

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक फिल्म निर्देशक हैं। आपके पास एक संदर्भ वीडियो (reference video) है जिसमें एक गैलेक्सी (आकाशगंगा) के ऊपर से भव्यता से गुजरता हुआ कैमरा मूवमेंट दिखाया गया है। आप उस सटीक कैमरा मूवमेंट को अपने एक नए वीडियो के लिए कॉपी करना चाहते हैं, लेकिन इस बार, दृश्य केवल डेस्क पर रखी एक कॉफी कप का है।

यदि आप गैलेक्सी के मूवमेंट को सीधे कॉफी कप पर कॉपी करने की कोशिश करते हैं, तो दो चीजें गलत हो जाती हैं:

डेस्क पर गैलेक्सी का मूव: कैमरा डेस्क के बहुत छोटे हिस्से पर इतनी धीमी गति से चलता है कि आप देख भी नहीं पाते कि वह हिल रहा है। ऐसा लगता है जैसे कैमरा स्थिर (frozen) है।
गैलेक्सी पर डेस्क का मूव: इसके विपरीत, यदि आप डेस्क वाले दृश्य के एक मामूली से हलचल को गैलेक्सी पर कॉपी करने की कोशिश करते हैं, तो कैमरा बिजली की गति से फ्रेम से बाहर निकल जाएगा, जिससे वीडियो अराजक और टूटा हुआ लगेगा।

पेपर ParaScale इस समस्या को हल करता है। यह कैसे काम करता है, इसे सरल उपमाओं (analogies) का उपयोग करके समझते हैं।

समस्या: "स्केल" (Scale) का बेमेल होना

लेखक बताते हैं कि जब कैमरा चलता है, तो स्क्रीन पर हमें वास्तव में क्या दिखाई देता है, यह दो चीजों पर निर्भर करता है:

कैमरा भौतिक रूप से कितनी दूर चला।
वस्तुएं कितनी दूर हैं।

इसे एक पेड़ के पास से गुजरने जैसा समझें। यदि आप 10 मीटर दूर स्थित एक पेड़ के पास से 1 मीटर चलते हैं, तो पेड़ थोड़ा सा खिसकता हुआ प्रतीत होता है। लेकिन यदि आप उसी 1 मीटर की दूरी पर स्थित एक पेड़ के पास से 1 मीटर चलते हैं, तो पेड़ आपके पास से बहुत तेजी से गुजरता हुआ प्रतीत होगा।

कंप्यूटर विजन में, हम अक्सर यह अनुमान लगा सकते हैं कि कैमरा कैसे चला और वस्तुएं कितनी दूर हैं, लेकिन हम निरपेक्ष (absolute) आकार नहीं जान सकते। हमें यह नहीं पता कि जो "1 मीटर" हमने गणना की है, वह वास्तव में 1 मीटर है, या 1 किलोमीटर, या 1 मिलीमीटर। हम केवल गति और दूरी के बीच का अनुपात (ratio) जानते हैं।

समाधान: "पैरलैक्स नंबर" (Parallax Number)

लेखकों ने एक विशेष संख्या खोजी है जिसे वे पैरलैक्स नंबर (Π) कहते हैं।

इस नंबर को "एहसास की तीव्रता" (Intensity of the Feeling) के रूप में सोचें।

इसे इस बात से कोई फर्क नहीं पड़ता कि आप एक गैलेक्सी की शूटिंग कर रहे हैं या कॉफी कप की।
यह केवल यह देखता है: कैमरा जितना चला, उसके सापेक्ष बैकग्राउंड कितना शिफ्ट हुआ?

यदि आप एक गैलेक्सी वीडियो से कॉफी कप वीडियो में कैमरा मूवमेंट ट्रांसफर करना चाहते हैं, तो आपको कैमरे द्वारा तय की गई कच्ची दूरी (raw distance) को कॉपी नहीं करना चाहिए। इसके बजाय, आपको पैरलैक्स नंबर को कॉपी करना चाहिए। यह सुनिश्चित करता है कि दृश्य के आकार के बावजूद, दर्शक को गति का एहसास एक जैसा ही महसूस हो।

ParaScale कैसे काम करता है (द "प्लग-एंड-प्ले" मॉड्यूल)

पेपर एक टूल पेश करता है जिसे ParaScale कहा जाता है। आप इसे कैमरा मूवमेंट्स के लिए एक यूनिवर्सल ट्रांसलेटर के रूप में समझ सकते हैं।

एहसास को पढ़ना: यह संदर्भ वीडियो (गैलेक्सी) को देखता है और हर एक फ्रेम के लिए "पैरलैक्स नंबर" की गणना करता है। यह वास्तविक आकार को अनदेखा करता है और केवल गति के एहसास पर ध्यान केंद्रित करता है।
लक्ष्य को मापना: यह नए वीडियो (कॉफी कप) को देखता है और दृश्य की गहराई को मापता है।
गियर को एडजस्ट करना: यह कॉफी कप वीडियो के लिए कैमरा मूवमेंट की गति को स्वचालित रूप से समायोजित करता है।
- यदि कॉफी कप का दृश्य "छोटा" है, तो यह कैमरा मूवमेंट की गति बढ़ा देता है ताकि बैकग्राउंड उतना ही शिफ्ट हो जितना गैलेक्सी वीडियो में हुआ था।
- यदि दृश्य "विशाल" है, तो यह कैमरे की गति को धीमा कर देता है।
रोटेशन को अकेला छोड़ना: यह केवल आगे/पीछे/बगल की गति को बदलता है। यह घूमने (rotation) को बिल्कुल वैसा ही छोड़ देता है जैसा वह था, क्योंकि घूमना (spinning) पास या दूर होने पर भी एक जैसा ही दिखता है।

यह एक बड़ी बात क्यों है

लेखकों ने परीक्षण किया कि यह टूल टेबलटॉप की छोटी वस्तुओं से लेकर विशाल ब्रह्मांडीय परिदृश्यों (आकार में 10,000 गुना का अंतर) तक के दृश्यों पर कैसे काम करता है।

ParaScale के बिना: कैमरा या तो देखने के लिए बहुत धीमा चलता है या देखने लायक नहीं बचता। "एहसास" पूरी तरह से गलत होता है।
ParaScale के साथ: कैमरा मूवमेंट दोनों ही छोटे और विशाल दृश्यों में पूरी तरह से स्वाभाविक लगता है। "एहसास" सुरक्षित रहता है।

उन्होंने सफलता को मापने का एक नया तरीका भी बनाया जिसे PCE (Parallax Consistency Error) कहा जाता है। पुराने तरीकों के विपरीत, जो आपको यह विश्वास दिला सकते हैं कि कोई मूव अच्छा है क्योंकि वह समान दिखता है, PCE यह जांचता है कि क्या मूवमेंट की तीव्रता वास्तव में सही है। ParaScale ने पिछले तरीकों की तुलना में इस त्रुटि (error) को 3 गुना से अधिक कम कर दिया।

निष्कर्ष

ParaScale एक स्मार्ट, ऑटोमैटिक टूल है जो आपको किसी भी वीडियो से किसी भी अन्य वीडियो में कैमरा मूव्स को कॉपी करने की अनुमति देता है, चाहे उनके आकार कितने भी अलग क्यों न हों। यह ऐसा इसलिए करता है क्योंकि यह कच्चे नंबरों के बजाय गति के एहसास पर ध्यान केंद्रित करता है, जिससे यह सुनिश्चित होता कि स्पेस मूवी में दिखने वाला "महाकाव्य" (epic) अहसास कॉफी कप के वीडियो में भी "महाकाव्य" (छोटा नहीं) महसूस हो, और इसके विपरीत भी। इसके लिए किसी री-ट्रेनिंग की आवश्यकता नहीं है और यह मौजूदा वीडियो जनरेटर्स के साथ काम करता है।

तकनीकी सारांश: ParaScale

समस्या विवरण (Problem Statement)

जेनेरेटिव वीडियो में संदर्भ-संचालित कैमरा नियंत्रण (reference-driven camera control) का लक्ष्य एक संदर्भ क्लिप से सिनेमाई गति को एक नए जनरेटेड टारगेट सीन में स्थानांतरित करना है। हालाँकि, एक मौलिक ज्यामितीय असंगतता (geometric incompatibility) मनमाने संदर्भ और लक्ष्य दृश्यों के बीच मौजूद होती है: वे अक्सर बहुत अलग भौतिक पैमानों (physical scales) पर कार्य करते हैं (जैसे, एक गैलेक्सी के माध्यम से घूमता कैमरा बनाम एक डेस्क पर सूक्ष्म हलचल)।

वर्तमान विधियाँ आमतौर पर एक संदर्भ से कैमरा प्रक्षेपवक्र (trajectory) (अनुवाद $T$ और रोटेशन $\omega$ ) निकालती हैं और उसे सीधे एक टारगेट जनरेटर में इंजेक्ट करती हैं। यह "नाइव" (naive) स्थानांतरण विफल हो जाता है क्योंकि मोनोकुलर पुनर्निर्माण (monocular reconstruction) अनुवाद और गहराई को एक अज्ञात वैश्विक स्केल फैक्टर (एक समानता रूपांतरण/similarity transformation) तक ही रिकवर करता है। इसके परिणामस्वरूप, पूर्ण अनुवाद परिमाण $\|T\|$ बिना किसी संगत गहराई स्केल $Z$ के अर्थहीन हो जाता है। जब एक संदर्भ प्रक्षेपवक्रम को अलग दृश्य पैमाने वाले टारगेट पर लागू किया जाता है, तो परिणामी गति या तो नगण्य होती है (यदि टारगेट संदर्भ की तुलना में "बड़ा" है) या अत्यधिक हिंसक होती है (यदि टारगेट "छोटा" है), जिससे जेनरेशन की विजुअल फिडेलिटी टूट जाती है।

कार्यप्रणाली: पैरलैक्स नंबर और ParaScale

सैद्धांतिक आधार (Theoretical Foundation)

यह शोधपत्र स्थापित करता है कि अनुवादात्मक गति (translational motion) की कथित शक्ति कच्चे अनुवाद वेक्टर द्वारा नहीं, बल्कि अनुवाद और गहराई के अनुपात द्वारा नियंत्रित होती है। गहराई $Z$ पर एक बिंदु के लिए प्रोजेक्शन समीकरण के आधार पर, अनुवाद से प्रेरित इमेज मोशन $\|T\|/Z$ के रूप में स्केल होता है।

लेखक पैरलैक्स नंबर ( $\Pi$ ) को एक आयामहीन (dimensionless), गेज-इनवेरिएंट (gauge-invariant) डिस्क्रिप्टर के रूप में परिभाषित करते हैं:
$\Pi_t = \frac{\|\Delta T_t\|}{\bar{Z}_t}$
जहाँ:

$\|\Delta T_t\|$ इंटर-फ्रेम कैमरा बेसलाइन (अनुवाद परिमाण) है।
$\bar{Z}_t$ उस फ्रेम के लिए रोबस्ट मीडियन सीन डेप्थ है।

शोधपत्र सिद्ध करता है कि $\Pi$ डेप्थ-स्केल गेज के तहत इनवेरिएंट है (दोनों $T$ और $Z$ को एक कारक $s$ से स्केल करने पर $\Pi$ अपरिवर्तित रहता है)। इसलिए, $\Pi$ , कच्चे प्रक्षेपवक्रम $T$ के बजाय, वह अद्वितीय मात्रा है जिसे स्केल-फेथफुल मोशन ट्रांसफर प्राप्त करने के लिए संरक्षित किया जाना चाहिए।

द पैरास्केल मॉड्यूल (The ParaScale Module)

ParaScale एक प्लग-एंड-प्ले, ट्रेनिंग-फ्री मॉड्यूल है जिसे पोज एक्सट्रैक्शन और पोज इंजेक्शन के बीच एक जेनेरेटिव पाइपलाइन में डाला जाता है। यह इस प्रकार कार्य करता है:

एक्सट्रैक्शन (Extraction): संदर्भ वीडियो से, यह मोनोकुलर स्ट्रक्चर-फ्रॉम-मोशन (SfM) और एक डेप्थ एस्टिमेटर का उपयोग करके कैमरा प्रक्षेपवक्रम और एक रोबस्ट मीडियन डेप्थ $\bar{Z}^{ref}_t$ का अनुमान लगाता है। यह गेज-इनवेरिएंट पैरलैक्स नंबर $\Pi^{ref}_t$ की गणना करता है।
टारगेट एस्टिमेशन (Target Estimation): टारगेट सीन के लिए, यह कंडीशनिंग इमेज या पहले लेटेंट से मीडियन डेप्थ $\bar{Z}^{tgt}_t$ का अनुमान लगाता है।
री-रियलाइजेशन (Re-realization): यह संदर्भ पैरलैक्स नंबर को टारगेट की गहराई के साथ मिलाने के लिए प्रति-फ्रेम ट्रांसलेशनल गेन $\alpha_t$ की गणना करता है:
$\alpha_t = \frac{\bar{Z}^{tgt}_t}{\bar{Z}^{ref}_t}$
कैलिब्रेटेड ट्रांसलेशन $T^{cal}_t = \alpha_t T^{ref}_t$ है, जबकि रोटेशन $R^{cal}_t$ को बिना किसी बदलाव के पास किया जाता है ( $R^{ref}_t$ )।
इंजेक्शन (Injection): कैलिब्रेटेड एक्सट्रिंसिक्स को जनरेटर द्वारा आवश्यक फॉर्मेट (जैसे, प्लकर मैप्स या रॉ $RT$ मैट्रिसेस) में परिवर्तित किया जाता है और एक फ्रोजन, पोज-कंडीशन्ड डिफ्यूजन मॉडल में फीड किया जाता है।

पेपर में दिए गए सैद्धांतिक प्रमाणों से पता चलता है कि यह प्रति-फ्रेम अनुकूलन टेम्पोरल पैरलैक्स प्रोफाइल को बनाए रखने के लिए आवश्यक और पर्याप्त है, जबकि ग्लोबल स्केलिंग या कोई स्केलिंग न करना विफल रहता है जब सीन डेप्थ समय के साथ बदलती है या दृश्यों के बीच काफी भिन्न होती है।

इवैल्यूएशन मेट्रिक: PCE

स्केल फिडेलिटी को मापने के लिए, लेखक पैरलैक्स कंसिस्टेंसी एरर (PCE) पेश करते हैं:
$\text{PCE} = \frac{1}{N} \sum_{t=1}^{N} \left| \log \frac{\Pi^{out}_t}{\Pi^{ref}_t} \right|$
ट्रांस-एरर (TransErr) जैसे मानक मेट्रिक्स के विपरीत (जो समानता संरेखण पर निर्भर करते हैं और ग्लोबल स्केल मिसमैच को छिपा सकते हैं), PCE स्केल-सिमेट्रिक और गेज-इनवेरिएंट है। यह सीधे मोशन स्ट्रेंथ में विसंगतियों को उजागर करता है।

मुख्य योगदान (Key Contributions)

गेज-इनवेरिएंट सिद्धांत: प्रक्षेपवक्रम संख्याओं के सीधे पुन: उपयोग योग्य होने के गलत धारणा को पहचानते हुए, पैरलैक्स नंबर ( $\Pi$ ) को सही इनवेरिएंट के रूप में स्थापित करना।
ParaScale: एक ट्रेनिंग-फ्री, जनरेटर-एग्नोस्टिक इंफरेंस-टाइम मॉड्यूल जो टारगेट सीन के डेप्थ के विरुद्ध $\Pi$ को री-रियलाइज करता है, जिसके लिए जेनेरेटिव बैकबोन को फिर से प्रशिक्षित करने की आवश्यकता नहीं होती है।
PCE मेट्रिक: एक नया मूल्यांकन मेट्रिक जो विशेष रूप से स्केल-फेथफुलनेस को मापता है और उन दृश्य-पैमाने के मिसमैच को उजागर करता है जिन्हें पारंपरिक मेट्रिक्स मिस कर देते हैं।
एम्पिरिकल वैलिडेशन: दृश्य पैमाने (टेबलटॉप, ह्यूमन/रूम, आर्किटेक्चरल, और कॉस्मिक) के चार ऑर्डर्स ऑफ मैग्नीट्यूड और कई बैकबोन आर्किटेक्चर पर प्रदर्शन।

परिणाम (Results)

प्रयोग एक Wan2.1 डिफ्यूजन ट्रांसफार्मर बैकबोन (प्लकर कंडीशनिंग के साथ) का उपयोग करके किए गए, जिसमें ParaScale की तुलना Raw transfer, Global-norm scaling, MotionMaster, और CameraCtrl II के ट्रेनिंग-टाइम स्केल कैलिब्रेशन से की गई।

स्केल फिडेलिटी: ParaScale एकमात्र ऐसी विधि है जो सभी स्केल रिजीम्स में आइडेंटिटी लाइन पर रियलाइज्ड पैरलैक्स नंबर को रखती है। Raw transfer कॉस्मिक सीन्स को कम और टेबलटॉप सीन्स को अत्यधिक संचालित करता है।
त्रुटि में कमी: ParaScale अनकैलिब्रेटेड Raw transfer की तुलना में पैरलैक्स कंसिस्टेंसी एरर (PCE) को 3 $\times$ से अधिक कम करता है, और ग्लोबल-नॉर्म एवं ट्रेनिंग-टाइम कैलिब्रेशन विधियों से बेहतर प्रदर्शन करता है।
विजुअल फिडेलिटी: यह विधि विजुअल क्वालिटी के नुकसान के बिना (FVD और CLIP-SIM स्कोर सुरक्षित या बेहतर रहते हैं) ये लाभ प्राप्त करती है।
जनरैलिटी: मॉड्यूल बिना रिट्रेनिंग के विभिन्न प्रकार के जनरेटर (प्लकर-कंडीशन्ड और मैट्रिक्स-कंडीशन्ड) पर प्रभावी ढंग से काम करता है।

महत्व और दावे (Significance and Claims)

पेपर का दावा है कि ParaScale रेफरेंस-ड्रिवन कंट्रोलर्स में एक "साइलेंट धारणा" (silent assumption) को संबोधित करता है: कि प्रक्षेपवक्रम संख्याएँ सीधे पुन: उपयोग योग्य हैं। यह प्रमाणित करते हुए कि ट्रांसलेशन-प्रेरित मोशन डेप्थ-डिपेंडेंट है, लेखक एक कठोर समाधान प्रदान करते हैं।

इसका महत्व रचनाकारों को मैन्युअल हस्तक्षेप या रिट्रेनिंग के बिना, विभिन्न संदर्भों (मैक्रो से कॉस्मिक स्केल तक) में सिनेमाई कैमरा मूव्स को पुनः उपयोग करने में सक्षम बनाना है। पेपर का दावा है कि ParaScale पहला तरीका है जो इंफरेंस टाइम पर मनमाने संदर्भ और टारगेट के बीच गेज-इनवेरिएंट पैरलैक्स नंबर को उजागर और री-रियलाइज करता है।

सीमाएं: लेखक नोट करते हैं कि विधि मोनोकुलर डेप्थ एस्टिमेट्स पर निर्भर करती है (जहाँ त्रुटियां $\alpha_t$ में रैखिक रूप से प्रसारित होती हैं) और यह मानती है कि दृश्य की ज्यामिति रिजिड (rigid) है। डायनेमिक सीन्स और एनिसोट्रोपिक स्केल फील्ड्स के लिए इस दृष्टिकोण का विस्तार भविष्य का कार्य है।