💻 computer science

OrthoMotion:Disentangling Camera and Subject Motion via Geometry Semantics Orthogonal Attention

ऑर्थोमोशन (OrthoMotion) एक नवीन वीडियो जनरेशन फ्रेमवर्क है जो बीजगणितीय रूप से पूरक अटेंशन ऑपरेटर्स—कैमरा मोशन को एक ज्यामितीय RoPE रोटेशन के माध्यम से और सब्जेक्ट मोशन को सिमेंटिक वैल्यू इंजेक्शन के माध्यम से रूट करके—कैमरा और सब्जेक्ट मोशन के विसंयोजन (disentanglement) की गारंटी देता है, जिससे क्रॉस-टॉक को महत्वपूर्ण रूप से कम करते हुए अत्याधुनिक नियंत्रण सटीकता प्राप्त होती है।

मूल लेखक: Zijie Meng

प्रकाशित 2026-06-23

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Zijie Meng

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक फिल्म निर्देशित कर रहे हैं। आपके पास दो मुख्य 'नॉब्स' (knobs) हैं जिन्हें आप घुमा सकते हैं: एक कैमरा को हिलाता है (ज़ूम इन करना, पैन करना, या किसी चीज़ के चारों ओर घूमना), और दूसरा अभिनेता (विषय) को स्टेज पर इधर-उधर ले जाता है।

मौजूदा अधिकांश वीडियो जनरेशन टूल्स में, ये दोनों नॉब्स आपस में जुड़े हुए हैं। यदि आप कैमरे को हिलाने की कोशिश करते हैं, तो अभिनेता अनजाने में अपने रास्ते से फिसल जाता है। यदि आप अभिनेता को हिलाने की कोशिश करते हैं, तो कैमरा डगमगाने लगता है। OrthoMotion नामक यह पेपर बताता है कि ऐसा क्यों होता है और एक नया सिस्टम बनाता है जहाँ ये दोनों नॉब्स स्वतंत्र रूप से, पूरी तरह से काम करते हैं।

यहाँ उनके समाधान का सरल उपमाओं (analogies) के साथ विवरण दिया गया है:

1. समस्या: "साझा स्केल" (Shared Scale) का भ्रम

लेखकों ने समझाया कि वर्तमान AI मॉडल इसलिए भ्रमित हो जाते हैं क्योंकि वे इन्वर्स डेप्थ (1/Z) नामक एक गणितीय ट्रिक का उपयोग करते हैं।

उपमा: कल्पना कीजिए कि आप सड़क का दृश्य देख रहे हैं। यदि कोई कार आपके करीब आती है, तो वह बड़ी दिखाई देती है। यदि आप कार के करीब चलते हैं, तो वह भी बड़ी दिखाई देती है। एक 2D कैमरे के लिए, "कार का हिलना" और "आपका हिलना" गणितीय रूप से बिल्कुल एक जैसा दिखता है।
परिणाम: क्योंकि गणित बिल्कुल समान है, AI यह नहीं बता पाता कि गति कैमरे से आ रही है या वस्तु से। यह नमक और काली मिर्च को एक ही महीन पाउडर में पीस देने जैसा है, जिसे अलग करना मुश्किल है। AI केवल अनुमान लगाता है, और जब उसका अनुमान गलत होता है, तो कैमरा और विषय एक-दूसरे में हस्तक्षेप करने लगते हैं।

2. समाधान: दो अलग "भाषाएँ"

लेखकों ने महसूस किया कि केवल बेहतर अनुमान लगाने के बजाय, उन्हें AI से दो अलग "भाषाओं" में बात करने की आवश्यकता थी ताकि वह कभी भ्रमित न हो। उन्होंने AI के मस्तिष्क के भीतर (विशेष रूप से एक अटेंशन मैकेनिज्म के अंदर) एक नया सिस्टम बनाया जो दो प्रकार की गतियों को अलग-अलग चैनलों में भेजता है:

कैमरा चैनल (द "ज्यामिति" भाषा):
- यह कैसे काम करता है: वे कैमरा मूवमेंट को एक रोटेशन (घूर्णन) की तरह मानते हैं। कल्पना कीजिए कि आप एक ग्लोब को घुमा रहे हैं। महाद्वीपों का आकार नहीं बदलता; वे बस घूमते हैं।
- जादू: वे कैमरा निर्देशों को एक "नॉर्म-प्रिजर्विंग रोटेशन" (आकार सुरक्षित रखने वाला घूर्णन) के रूप में लागू करते हैं। इसका मतलब है कि कैमरा निर्देश AI को बताता है कि कैसे घूमना है, लेकिन यह डेटा के आकार या वजन को कभी नहीं बदलता। यह एक शुद्ध, साफ स्पिन है।
विषय चैनल (द "सिमेंटिक" भाषा):
- यह कैसे काम करता है: वे अभिनेता की गति को ट्रांसलेशन (स्थानांतरण या खिसकना) की तरह मानते हैं। कल्पना कीजिए कि आप कागज के एक टुकड़े पर एक स्टिकर को खिसका रहे हैं।
- जादू: वे अभिनेता के पथ को एक "गेटेड वैल्यू" के रूप में इंजेक्ट करते हैं। यह एक विशिष्ट निर्देश जोड़ने जैसा है जो केवल उन पिक्सेल पर लागू होता है जहाँ अभिनेता मौजूद है, बिना बाकी दृश्य को छुए।

3. "ऑर्थोगोनल" (Orthogonal) गारंटी

सबसे महत्वपूर्ण हिस्सा यह है कि वे कैसे सुनिश्चित करते हैं कि ये दो भाषाएँ कभी आपस में न मिलें।

उपमा: एक 3D कमरे के बारे में सोचें। कैमरा सख्ती से X-अक्ष (बाएं/दाएं) के साथ चलता है, और विषय सख्ती से Y-अक्ष (ऊपर/नीचे) के साथ चलता है। आप चाहे कितनी भी दूर बाएं चले जाएं, आप गलती से ऊपर नहीं जा सकते। गणित में, इन दिशाओं को ऑर्थोगोनल (एक सटीक 90-डिग्री कोण पर) कहा जाता है।
नवाचार: लेखकों ने एक "रेगुलराइज़र" (एक प्रशिक्षण नियम) जोड़ा है जो एक सख्त शिक्षक की तरह काम करता है। यह लगातार जाँच करता है: "क्या कैमरा विषय को हिला रहा है? क्या विषय कैमरे को हिला रहा है?" यदि उत्तर हाँ है, तो यह उन्हें वापस तब तक धकेलता है जब तक कि वे पूरी तरह से लंबवत (orthogonal) न हो जाएं।
दावा: पिछले तरीकों के विपरीत जो केवल इस उम्मीद पर निर्भर थे कि AI उन्हें अलग करना सीख जाएगा, यह तरीका डिज़ाइन द्वारा पूर्ण अलगाव की गारंटी देता है। यह कोई तुक्का नहीं है; यह एक अंतर्निहित नियम है।

4. परिणाम: कोई "क्रॉस-टॉक" नहीं

पेपर में यह मापने के लिए एक नया मीट्रिक पेश किया गया है जिसे क्रॉस-टॉक एरर (CTE) कहा जाता है कि नॉब्स एक-दूसरे में कितना हस्तक्षेप करते हैं।

परिणाम: जब उन्होंने अपने सिस्टम का परीक्षण किया, तो उन्होंने पाया कि पिछले तरीकों के कारण कैमरा हिलने पर विषय काफी विचलित हो जाता था (जैसे कि +25 पिक्सेल का ड्रिफ्ट)। OrthoMotion ने इस ड्रिफ्ट को लगभग शून्य (केवल +2 पिक्सल) तक कम कर दिया।
गुणवत्ता: महत्वपूर्ण बात यह है कि उन्होंने इस अलगाव को हासिल करते हुए वीडियो की गुणवत्ता को खराब नहीं होने दिया। गुणवत्ता (fidelity) उच्च बनी रही, और AI अभी भी यथार्थवादी वीडियो बना सकता था।

सारांश

OrthoMotion वीडियो जनरेशन में "जुड़े हुए नॉब्स" की समस्या को यह समझकर हल करता है कि कैमरा और ऑब्जेक्ट की गति को एक ही भ्रमित करने वाली भाषा बोलने के लिए मजबूर किया जा रहा था। उन्होंने इसे ठीक किया:

कैमरे को एक शुद्ध "रोटेशन" भाषा (घूमना) दी।
विषय को एक शुद्ध "ट्रांसलेशन" भाषा (खिसकना) दी।
एक नियम जोड़ा जो इन दोनों भाषाओं को एक-दूसरे के साथ सटीक 90-डिग्री के कोण पर रहने के लिए मजबूर करता है, जिससे यह सुनिश्चित होता है कि एक को हिलाने से दूसरे को गलती से भी नहीं हिलाया जा सकता।

परिणामस्वरूप, यह पहला वीडियो जनरेटर है जो स्वतंत्र रूप से नियंत्रित कर सकता है कि कैमरा कहाँ जाता है और अभिनेता कहाँ जाता है, जिसमें गणितीय रूप से गारंटीकृत अलगाव है।

तकनीकी सारांश: OrthoMotion

समस्या विवरण (Problem Statement)

नियंत्रणीय वीडियो जनरेशन (Controllable video generation) के लिए कैमरा मोशन और सब्जेक्ट मोशन पर स्वतंत्र नियंत्रण आवश्यक है। हालाँकि, मौजूदा विधियाँ एंटैंगलमेंट (entanglement) से ग्रस्त हैं, जहाँ एक अक्ष (जैसे, कैमरा ऑर्बिट) को नियंत्रित करने से अनजाने में दूसरा अक्ष (जैसे, सब्जेक्ट ट्रेजेक्टरी) विकृत हो जाता है।

यह शोध पत्र तर्क देता है कि यह केवल एक आर्किटेटेक्चरल विफलता नहीं है, बल्कि एक रिप्रेजेंटेशनल एम्बिग्युइटी (representational ambiguity) है। गहराई $Z$ पर एक सीन पॉइंट के ऑप्टिकल फ्लो समीकरण के आधार पर, कैमरा ट्रांसलेशनल मोशन और ऑब्जेक्ट सेल्फ-मोशन दोनों $1/Z$ के इनवर्स डेप्थ फैक्टर के साथ स्केल होते हैं। फलस्वरूप, 2D-कंडीशनिंग सेटिंग में, कैमरा-प्रेरित फ्लो और ऑब्जेक्ट-प्रेरित फ्लो के बीच का विभाजन एक इल-पोस्ड इनवर्स प्रॉब्लम (ill-posed inverse problem) है (जो नॉन-आइडेंटिफिएबल है)। स्पष्ट बाधाओं के बिना, एक मॉडल केवल 2D इमेज साक्ष्य के आधार पर मूविंग कैमरा और मूविंग ऑब्जेक्ट के बीच अंतर नहीं कर सकता है, जिससे स्वाभाविक क्रॉस-टॉक (cross-talk) होता है।

कार्यप्रणाली: OrthoMotion

OrthoMotion इस एंटैंगलमेंट को एक डिफ्यूजन ट्रांसफॉर्मर (विशेष रूप से Wan2.1) के अटेंशन मैकेनिज्म के भीतर एक ऑपरेटर डिज़ाइन समस्या के रूप में पुनर्गठित करके हल करता है। यह जियोमेट्रिक-सिमेंटिक ऑर्थोगोनल (GSO) अटेंशन पेश करता है, जो कैमरा और सब्जेक्ट कंट्रोल्स को बीजगणितीय रूप से पूरक (complementary) सब-ऑपरेटर्स में रूट करता है।

1. ज्योमेट्रिक चैनल (कैमरा)

कैमरा मोशन को रोटरी पोजीशन एम्बेडिंग (RoPE) फेज में इंजेक्ट किया जाता है।

मैकेनिज्म: एडिटिव इंजेक्शन या नॉन-नॉर्म-प्रिजर्विंग प्रोजेक्टिव एम्बेडिंग्स (जो RoPE इनवेरियंट्स को तोड़ते हैं) के बजाय, OrthoMotion क्वेरी और की (key) वेक्टर्स पर एक नॉर्म-प्रिजर्विंग रोटेशन लागू करता है।
गणितीय रूप: एक ग्लोबल ऑर्थोगोनल मैट्रिक्स $\Omega(g) \in SO(d_h)$ को मानक RoPE रोटेशन $R(p)$ के साथ कंपोज़ किया जाता है। लॉजिट $\tilde{q}_i^\top \tilde{k}_j = q_i^\top R(p_i)^\top \Phi_{ij} R(p_j) k_j$ बनता है, जहाँ $\Phi_{ij}$ केवल सापेक्ष कैमरा पोज़ पर निर्भर करता है।
सैद्धांतिक गारंटी: प्रपोजिशन 1 और थ्योरम 2 के अनुसार, यह ऑपरेशन टोकन नॉर्म्स और सॉफ्टमैक्स टेम्परेचर ज्योमेट्री को सुरक्षित रखता है, यह सुनिश्चित करता है कि कैमरा कंट्रोल एक शुद्ध ज्योमेट्रिक वार्प के रूप में कार्य करे बिना अटेंशन स्टैटिस्टिक्स या प्रति-पिक्सेल ऑब्जेक्ट टर्म के रूप में छद्म रूप धारण किए।

2. सिमेंटिक चैनल (सब्जेक्ट)

सब्जेक्ट ट्रेजेक्टरी टोकन्स को टेक्स्ट कीज़/वैल्यूज़ में जोड़ा जाता है और सब्जेक्ट रीजन के लिए विशिष्ट एक सॉफ्ट मास्क $M_t(x)$ द्वारा गेट किया जाता है।

मैकेनिज्म: अपडेट वैल्यू स्पेस में एक एडिटिव ट्रांसलेशन है: $o_i = \sum \alpha_{ij} v_j + \sum \beta_{ik} v_{\tau}^k$ ।
सैद्धांतिक गारंटी: प्रपोजिशन 3 के अनुसार, यह ऑपरेशन एडिटिव और लोकल है। यह क्वेरी/की ज्योमेट्री (कैमरा फेज) को परिवर्तित नहीं करता है और पूरी तरह से सब्जेक्ट मास्क तक सीमित है, जिससे टारगेट रीजन के बाहर लीकेज को रोका जा सके।

3. डिकपलिंग रेगुलराइज़र (Decoupling Regularizer)

यह सुनिश्चित करने के लिए कि दोनों चैनल एक-दूसरे में हस्तक्षेप न करें, लेखक एक डिकपलिंग रेगुलराइज़र ( $\mathcal{L}_\perp$ ) पेश करते हैं।

उद्देश्य: रेगुलराइज़र कैमरा ( $\hat{J}_g$ ) और सब्जेक्ट ( $\hat{J}_\tau$ ) के रिस्पॉन्स जैकोबियन के बीचों-बीच इनर प्रोडक्ट के फ्रोबिनियस नॉर्म को कम करता है:
$\mathcal{L}_\perp = \| \hat{J}_g^\top \hat{J}_\tau \|_F^2$
सैद्धांतिक गारंटी: थ्योरम 3 सिद्ध करता है कि $\mathcal{L}_\perp$ को कम करने से रिस्पॉन्स सबस्पेस ऑर्थोगोनैलिटी (orthogonality) की ओर अग्रसर होते हैं। यह दोनों कंट्रोल्स के बीच फर्स्ट-ऑर्डर क्रॉस-टॉक (लीकेज) को सीमित करता है। अन्य विधियों के विपरीत जो एंट disentanglement के उभरने की प्रतीक्षा करती हैं, OrthoMotion इसे निर्माण द्वारा गारंटी देता है।

मुख्य योगदान (Key Contributions)

रिप्रेजेंटेशनल डायग्नोसिस: यह पेपर औपचारिक रूप से सिद्ध करता है कि कैमरा-ऑब्जेक्ट एंटैंगलमेंट ऑप्टिकल फ्लो में साझा $1/Z$ स्केलिंग से उत्पन्न होता है, जिससे विशिष्ट ऑपरेटर बाधाओं के बिना 2D स्प्लिट नॉन-आइडेंटिफिएबल हो जाता है।
GSO अटेंशन विद रेगुलराइजेशन: यह एक डुअल-चैनल आर्किटेक्चर (जियोमेट्रिक फेज + सिमेंटिक वैल्यू इंजेक्शन) और एक रेगुलराइज़र प्रस्तावित करता है जो उनके रिस्पॉन्स सबस्पेस के बीच ऑर्थोगोनैलिटी को गणितीय रूप से लागू करता है।
क्रॉस-टॉक एरर (CTE) मेट्रिक: लीकेज को मापने के लिए एक नया मेट्रिक पेश किया गया है:
- $CTE_{c \to s}$ : कैमरा स्वीप करने पर सब्जेक्ट ड्रिफ्ट।
- $CTE_{s \to c}$ : सब्जेक्ट स्वीप करने पर कैमरा ड्रिफ्ट।
प्रथम गारंटीड डिसेंटैंगलमेंट: यह उभरते व्यवहार (emergent behavior) पर निर्भर रहने के बजाय सैद्धांतिक गारंटी प्रदान करने वाली पहली विधि है।

प्रयोगात्मक परिणाम (Experimental Results)

Wan2.1-1.3B बैकबोन पर मूल्यांकन (जिसमें 14B और CogVideoX-2B पर सामान्यीकरण का परीक्षण किया गया) के आधार पर, OrthoMotion प्राप्त करता है:

स्टेट-ऑफ-द-आर्ट एक्यूरेसी: कैमरा रोटेशन/ट्रांसलेशन एरर और सब्जेक्ट ट्रेजेक्टरी एक्यूरेसी (ObjMC) में बेसलाइन (MotionCtrl, MotionPro, Tora+ReRoPE) से बेहतर प्रदर्शन करता है।
भारी क्रॉस-टॉक में कमी: बिना रेगुलराइज़र वाले वेरिएंट की तुलना में $CTE_{c \to s}$ को >2.4× कम करता है (11.3 px $\to$ 4.6 px)।
कोई फिडेलिटी लॉस नहीं: यह FVD (Fréchet Video Distance) या CLIP सिमिलैरिटी को कम किए बिना ये लाभ प्राप्त करता है; वास्तव में, यह उनमें सुधार करता है।
एब्लेशन इनसाइट्स:
- रेगुलराइज़र ( $\mathcal{L}_\perp$ ) को हटाने से क्रॉस-टॉक काफी बढ़ जाता है।
- नॉन-नॉर्म-प्रिजर्विंग इंजेक्शन (जैसे एडिटिव प्लकर्स) का उपयोग करने से फिडेलिटी घट जाती है।
- इष्टतम रेगुलराइजेशन वेट $\lambda=0.1$ पर पाया गया है।
- सिंगल-एक्सिस परफॉरमेंस स्पेशलाइज्ड कंट्रोलर्स के बराबर या उनसे बेहतर है, जो "जॉइंट-कंट्रोल पेनल्टी" की पुष्टि करता है।

महत्व और दावे (Significance and Claims)

यह पेपर दावा करता है कि यह केवल आर्किटेक्चर को ट्यून करने के बजाय रिप्रेजेंटेशनल एम्बिग्युइटी को संबोधित करके डिकपल्ड कैमरा-सब्जेक्ट कंट्रोल की ओपन प्रॉब्लम को हल करता है।

सैद्धांतिक बदलाव: यह क्षेत्र को एंट disentanglement को डेटा या ट्रेनिंग आर्टिफैक्ट के रूप में मानने के बजाय एक डिज़ाइन गारंटी के रूप में देखने की ओर ले जाता है।
व्यावहारिक प्रभाव: यह सिनेमैटिक क्रिएशन को सक्षम बनाता है जहाँ कैमरा और सब्जेक्ट को बिना किसी "ड्रैग" या "परटर्बेशन" के स्वतंत्र रूप से नियंत्रित किया जा सकता है (जैसे "दो अलग-अलग डायल")।
सीमाएँ: लेखक स्वीकार करते हैं कि वर्तमान में विधि फर्स्ट-ऑर्डर जैकोबियन अनुमानों पर निर्भर करती है और कठोर दृश्यों (Eq. 1 के आधार पर) को मानती है। डिफॉर्मेबल सब्जेक्ट्स और मल्टी-ऑब्जेक्ट सीन्स तक विस्तार करना भविष्य के कार्य के रूप में पहचाना गया है।