💻 computer science

FrameDiT: Diffusion Transformer with Frame-Level Matrix Attention for Efficient Video Generation

यह शोध पत्र FrameDiT का प्रस्ताव करता है, जो एक नवीन वीडियो जनरेशन आर्किटेक्चर है जो फ्रेमों को मैट्रिक्स के रूप में प्रोसेस करके वैश्विक स्थानिक-कालिक गतिशीलता (global spatio-temporal dynamics) को कुशलतापूर्वक मॉडल करने के लिए मैट्रिक्स अटेंशन पेश करता है, जिससे स्थानीय फैक्टराइज्ड अटेंशन (local factorized attention) के तुलनीय कम्प्यूटेशनल दक्षता बनाए रखते हुए अत्याधुनिक वीडियो गुणवत्ता और टेम्पोरल कोहेरेंस प्राप्त होता है।

मूल लेखक: Minh Khoa Le, Kien Do, Duc Thanh Nguyen, Truyen Tran

प्रकाशित 2026-03-11

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Minh Khoa Le, Kien Do, Duc Thanh Nguyen, Truyen Tran

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को फिल्म बनाना सिखाने की कोशिश कर रहे हैं। रोबोट को दो चीजें समझने की जरूरत है:

चीजें कैसी दिखती हैं (एक व्यक्ति के चेहरे का विवरण, एक कार की बनावट)।
समय के साथ चीजें कैसे चलती हैं (एक व्यक्ति का चलना, एक कार की रफ्तार बढ़ना)।

लंबे समय तक, वीडियो बनाने वाली AI के पास एक कठिन विकल्प था, जैसे कि एक बेहद विस्तृत मानचित्र (super-detailed map) और एक तेज, धुंधले स्केच (fast, blurry sketch) के बीच चुनाव करना।

पुरानी समस्या: "मानचित्र बनाम स्केच" की दुविधा

"बेहद विस्तृत मानचित्र" (Full 3D Attention): यह तरीका हर एक फ्रेम में हर एक पिक्सेल को देखता है और पूछता है, "यह पिक्सेल पूरे वीडियो के अन्य सभी पिक्सेल्स से कैसे संबंधित है?"
- फायदे: यह अद्भुत, सुचारू फिल्में बनाता है जहाँ वस्तुएं पूरी तरह से चलती हैं।
- नुकसान: यह अविश्वसनीय रूप से धीमा और महंगा है। यह एक सारांश लिखने के लिए लाइब्रेरी की हर किताब के हर शब्द को पढ़ने की कोशिश करने जैसा है। इसमें बहुत समय लगता है और इसके लिए एक विशाल कंप्यूटर की आवश्यकता होती है।
"तेज स्केच" (Local Factorized Attention): यह तरीका गति के मामले में स्मार्ट है। यह एक फ्रेम को देखता है, विवरणों को समझता है, और फिर बस यह जांचता है कि क्या अगले फ्रेम में वही स्थान हिल गया है।
- फायदे: यह बहुत तेज और सस्ता है।
- नुकसान: जब चीजें बहुत अधिक चलती हैं, तो यह भ्रमित हो जाता है। यदि कोई व्यक्ति स्क्रीन के बाईं ओर से दाईं ओर चलता है, तो यह तरीका खो जाता है क्योंकि यह अगले फ्रेम में केवल "बाईं ओर" ही देख रहा होता है। यह एक रिले रेस में धावक का पीछा केवल बैटन (baton) को देखकर करने की कोशिश करने जैसा है, न कि खुद धावक को देखकर।

नया समाधान: FrameDiT और "मैट्रिक्स अटेंशन" (Matrix Attention)

इस पेपर के लेखकों ने FrameDiT के माध्यम से रोबोट को सिखाने का एक नया तरीका ईजाद किया जिसे Matrix Attention कहा जाता है।

यहाँ उपमा (analogy) दी गई है:

कल्पना कीजिए कि आप एक नाटक देख रहे हैं।

पुराना तरीका (Token Level): पूरे दृश्य को देखने के बजाय, आपको एक विशिष्ट अभिनेता की नाक पर टकटकी लगाकर देखने के लिए मजबूर किया जाता है। आप केवल यह देखते हैं कि वह नाक दृश्य-दर-दृश्य कैसे चलती है। यदि अभिनेता मंच पर एक तरफ से दूसरी तरफ जाता है, तो आप उन्हें खो देते हैं क्योंकि आप अभी भी उसी जगह को देख रहे होते हैं जहाँ उनकी नाक पहले थी।
नया तरीका (Matrix Attention): आप पीछे हटते हैं और पूरे दृश्य को एक एकल चित्र (मैट्रिक्स) के रूप में देखते हैं। आप पूछते हैं, "दृश्य A का पूरा चित्र दृश्य B के पूरे चित्र से कैसे संबंधित है?"

पूरे फ्रेम को एक इकाई (unit) के रूप में मानकर, AI यह समझ सकता है कि "जो व्यक्ति दृश्य A में बाईं ओर था, वह अब दृश्य B में दाईं ओर है।" यह हर पिक्सेल की हर दूसरे पिक्सेल से तुलना किए बिना, गति के बड़े चित्र (big picture) को समझ लेता है।

FrameDiT के दो संस्करण

टीम ने इस नए रोबोट के दो संस्करण बनाए हैं:

FrameDiT-G (द ग्लोबल थिंकर - वैश्विक विचारक): यह संस्करण विशेष रूप से "पूरे मंच" के दृश्य का उपयोग करता है। यह बड़ी, व्यापक गतिविधियों (जैसे हाईवे पर कार का चलना) को समझने में माहिर है। यह तेज है और कहानी को सुसंगत बनाए रखता है।
FrameDiT-H (द हाइब्रिड मास्टर - संकर मास्टर): यह "दोनों दुनियाओं का सर्वश्रेष्ठ" संस्करण है। यह बड़ी गतिविधियों के लिए "पूरे मंच" के दृश्य का उपयोग करता है और सूक्ष्म विवरणों (जैसे किसी का पलक झपकना या पत्ते का हिलना) के लिए "नाक देखने वाले" (Nose Watcher) दृश्य को भी बनाए रखता है।
- ऐसा क्यों किया? कभी-कभी आपको यह जानने के लिए बड़े चित्र की आवश्यकता होती है कि कार चल रही है, लेकिन आपको यह सुनिश्चित करने के लिए भी बारीकी से देखने की आवश्यकता होती है कि कार के पहिए सही ढंग से घूम रहे हैं। FrameDiT-H इन दोनों को एक साथ करता है।

यह क्यों महत्वपूर्ण है

इस पेपर से पहले, यदि आप उच्च-गुणवत्ता वाला वीडियो चाहते थे, तो आपको एक सुपरकंप्यूटर की आवश्यकता थी जिसे रेंडर करने में घंटों लगते थे। यदि आप इसे तेज चाहते थे, तो वीडियो झटकेदार और अजीब दिखता था।

FrameDiT-H ने खेल बदल दिया। यह ऐसे वीडियो बनाता है जो उन धीमी, महंगी विधियों की तरह सुचारू और वास्तविक दिखते हैं, लेकिन यह लगभग उन सस्ते, धुंधले तरीकों जितना ही तेज चलता है।

संक्षेप में:
उन्होंने यह पता लगा लिया है कि AI को विवरणों में खो जाने से कैसे रोका जाए और उसे पूरे वीडियो की कहानी के बारे में सोचना कैसे शुरू किया जाए, जिससे बिना किसी बेसमेंट में रखे सुपरकंप्यूटर के उच्च-गुणवत्ता वाली फिल्में बनाना संभव हो गया है।

यहाँ शोध पत्र "FrameDiT: Efficient Video Generation के लिए Frame-Level Matrix Attention के साथ Diffusion Transformer" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

डिफ्यूजन मॉडल्स का उपयोग करके उच्च-गुणवत्ता वाला वीडियो जनरेशन, स्पैटियो-टेम्पोरल डायनेमिक्स (spatio-temporal dynamics) को मॉडल करने में अभिव्यक्ति (expressiveness) और कंप्यूटेशनल दक्षता (computational efficiency) के बीच एक मौलिक समझौते (trade-off) का सामना करता है:

Full 3D Attention: यह वीडियो को $T \times N$ टोकन (जहाँ $T$ समय है और $N$ स्थानिक टोकन हैं) के अनुक्रम के रूप में मानता है और संयुक्त अटेंशन (joint attention) लागू करता है। हालांकि यह अत्यधिक अभिव्यंजक है और जटिल गति को पकड़ने में सक्षम है, इसकी कंप्यूटेशनल जटिलता $O(T^2N^2)$ के रूप में क्वाड्रेटिक (quadratic) रूप से बढ़ती है, जिससे यह उच्च-रिज़ॉल्यूशन या लंबी अवधि के वीडियो के लिए अत्यधिक महंगी हो जाती है।
Local Factorized Attention: यह स्थानिक (spatial) और टेम्पोरल (temporal) अटेंशन को अलग करता है। यह फ्रेम के भीतर स्थानिक अटेंशन लागू करता है और विभिन्न फ्रेमों के बीच केवल एक ही स्थानिक स्थान पर स्थित टोकनों के बीच टेम्पोरल अटेंशन लगाता है। यह जटिलता को $O(T^2N + TN^2)$ तक कम कर देता है, लेकिन यह बड़ी गतियों (large motions) को पकड़ने में विफल रहता है जहाँ वस्तुएं स्थानिक स्थितियों के पार चलती हैं, जिससे टेम्पोरल असंगतता (temporal incoherence) और ऑब्जेक्ट विसंगति उत्पन्न होती है।

मुख्य चुनौती एक ऐसा आर्किटेक्चर डिजाइन करने की है जो Full 3D Attention की वैश्विक टेम्पोरल सुसंगतता (global temporal coherence) प्राप्त करे, जबकि Local Factorized Attention की कंप्यूटेशनल दक्षता को बनाए रखे।

2. कार्यप्रणाली: FrameDiT और Matrix Attention

लेखक एक नवीन अटेंशन मैकेनिज्म पर आधारित एक डिफ्यूजन ट्रांसफॉर्मर (DiT) आर्किटेक्चर, FrameDiT का प्रस्ताव करते हैं, जो Matrix Attention नामक एक नए तंत्र पर निर्मित है।

A. Matrix Attention (मुख्य नवाचार)

पारंपरिक अटेंशन के विपरीत जो टोकन स्तर पर कार्य करता है, Matrix Attention फ्रेम स्तर पर कार्य करता है।

प्रतिनिधित्व (Representation): प्रत्येक वीडियो फ्रेम $z_t$ को $N \times D$ आकार के मैट्रिक्स (जहाँ $N$ टोकन की संख्या है और $D$ एम्बेडिंग आयाम है) के रूप में माना जाता है।
तंत्र (Mechanism): व्यक्तिगत टोकनों के बीच अटेंशन की गणना करने के बजाय, मॉडल रो-और-कॉलम-वेट मैट्रिसेस (row- and column-weight matrices) के साथ मैट्रिक्स-नेटिव ऑपरेशंस का उपयोग करके पूरे फ्रेम के लिए क्वेरी ( $Q$ $Q$ ), की ( $K$ $K$ ), और वैल्यू ( $V$ $V$ ) मैट्रिसेस की गणना करता है।
- $q_t = U_q^\top z_t W_q + B_q$
- समानता की गणना पूरे फ्रेम मैट्रिसेस के बीच स्केल्ड फ्रोबेनियस इनर प्रोडक्ट (scaled Frobenius inner product) के माध्यम से की जाती है: $S_{t,t'} = \frac{\langle q_t, k_{t'} \rangle_F}{\sqrt{N_{qk}D_{qk}}}$ ।
प्रभाव: यह मॉडल को विशिष्ट स्थानिक स्थानों के बजाय संपूर्ण फ्रेम पर ध्यान केंद्रित करने की अनुमति देता है। फलस्वरूप, यह वैश्विक स्पैटियो-टेम्पोरल संरचनाओं को कैप्चर करता है और बड़ी ऑब्जेक्ट मोशन के प्रति मजबूत रहता है, क्योंकि यह फ्रेमों के बीच स्थानिक संरेखण (spatial alignment) पर निर्भर नहीं करता है।

B. FrameDiT आर्किटेक्चर

लेखक FrameDiT आर्किटेक्चर के दो वेरिएंट पेश करते हैं:

FrameDiT-G (केवल ग्लोबल): यह मानक टेम्पोरल अटेंशन ब्लॉक को पूरी तरह से Matrix Attention से बदल देता है। यह वैश्विक फ्रेम-स्तरीय संदर्भ की प्रभावशीलता को अलग करता है।
FrameDiT-H (ग्लोबल-लोकल हाइब्रिड): यह मानक Local Factorized Attention के साथ Matrix Attention को एकीकृत करता है।
- यह दो समानांतर शाखाओं का उपयोग करता है: एक सूक्ष्म स्थानीय गति (Local) के लिए और एक वैश्विक फ्रेम-स्तरीय निरंतरता (Matrix) के लिए।
- आउटपुट को एक कॉनकेटेनेशन लेयर (concatenation layer) के माध्यम से फ्यूज किया जाता है जिसके बाद एक MLP आता है।
- डिज़ाइन विकल्प: लेखकों ने पाया कि कॉनकेटेनेशन फ्यूजन (softmax गेटिंग के बजाय) का उपयोग करने से अर्ली सैचुरेशन (early saturation) को रोका जा सकता है और संतुलित ग्रेडिएंट फ्लो सुनिश्चित होता है, जिससे मॉडल प्रभावी ढंग से स्थानीय और वैश्विक डायनेमिक्स को सीख पाता है।

C. जटिलता विश्लेषण (Complexity Analysis)

FrameDiT-G: जटिलता $O(TN^2 + T^2N_{qk})$ है। चूंकि रो-वेट डाइमेंशन $N_{qk}$ आमतौर पर $N$ से बहुत छोटा होता है (जैसे, $N_{qk} \ll N$ ), टेम्पोरल टर्म नगण्य है।
FrameDiT-H: यह स्थानीय टेम्पोरल टर्म $O(T^2N)$ जोड़ता है, जिसके परिणामस्वरूप $O(TN^2 + T^2N + T^2N_{qk})$ होता है।
परिणाम: दोनों वेरिएंट स्थानिक अटेंशन $TN^2$ द्वारा संचालित होने के कारण, Local Factorized Attention के समान दक्षता बनाए रखते हैं, जबकि Full 3D Attention की $T^2N^2$ लागत से बचते हैं।

3. मुख्य योगदान

Matrix Attention: एक नवीन फ्रेम-स्तरीय अटेंशन मैकेनिज्म जो फ्रेमों को मैट्रिक्स के रूप में मानता है, जिससे Full 3D Attention की क्वाड्रेटिक लागत के बिना कुशल वैश्विक स्पैटियो-टेम्पोरल डिपेंडेंसी मॉडलिंग संभव होती है।
FrameDiT-G और FrameDiT-H: नए DiT आर्किटेक्चर जो अभिव्यक्ति और दक्षता को सफलतापूर्वक संतुलित करते हैं। FrameDiT-H विशेष रूप से ग्लोबल और लोकल अटेंशन को हाइब्रिडाइज करके अत्याधुनिक (SOTA) प्रदर्शन प्राप्त करता है।
अनुभवजन्य सत्यापन (Empirical Validation): व्यापक प्रयोग जो प्रदर्शित करते हैं कि FrameDiT-H मौजूदा बेसलाइन्स की तुलना में बेहतर टेम्पोरल सुसंगतता और वीडियो गुणवत्ता प्राप्त करता है, जबकि कंप्यूटेशनल लागत कुशल फैक्टराइज्ड मॉडल्स के समान रहती है।

4. प्रयोगात्मक परिणाम

मॉडल्स का मूल्यांकन कई बेंचमार्क (UCF-101, Sky-Timelapse, Taichi-HD, FaceForensics) और टेक्स्ट-टू-वीडियो (T2V) कार्यों पर किया गया।

वीडियो जनरेशन बेंचमार्क:
- प्रदर्शन: FrameDiT-H ने सभी डेटासेट्स पर स्टेट-ऑफ-द-आर्ट (SOTA) परिणाम प्राप्त किए, जिसने Latte, OpenSora और AR-Diffusion जैसे मजबूत बेसलाइन्स को पीछे छोड़ दिया।
- मेट्रिक्स: इसने Fréchet Video Distance (FVD) और Fréchet Video Motion Distance (FVMD) में महत्वपूर्ण सुधार दिखाया। उदाहरण के लिए, FaceForensics पर, इसने Latte की तुलना में FVD में ~39% सुधार किया।
- स्केलिंग: जैसे-जैसे वीडियो की लंबाई बढ़ी (16 से 128 फ्रेम), FrameDiT ने स्थिर FVD और कम लेटेंसी/मेमोरी बनाए रखी, जबकि Full 3D Attention मॉडल्स तीव्र कंप्यूटेशनल लागत और मेमोरी उपयोग का शिकार हुए।
टेक्स्ट-टू-वीडियो (T2V):
- एक प्री-ट्रेन्ड Latte मॉडल पर आधारित, FrameDiT-H को Pexels-400K डेटासेट पर फाइन-ट्यून किया गया।
- इसने VBench मेट्रिक्स पर Latte और अन्य फैक्टराइज्ड मॉडल्स को पछाड़ दिया, विशेष रूप से सब्जेक्ट कंसिस्टेंसी (95.10 बनाम 88.88) और मोशन स्मूथनेस (95.97 बनाम 94.63) में।
- इसने एक छोटे डेटासेट पर प्रशिक्षित होने और बैकबोन को फ्रीज रखने के बावजूद, बड़े Full 3D मॉडल्स (जैसे Wan 2.1) के प्रदर्शन के अंतर को कम कर दिया।
एब्लेशन स्टडीज (Ablation Studies):
- फ्यूजन: टेम्पोरल जानकारी को संरक्षित करने के लिए कॉनकेटेनेशन फ्यूजन गेटिंग मैकेनिज्म की तुलना में बेहतर साबित हुआ।
- रो-वेट मैट्रिक्स ( $U$ ): रो-वेट मैट्रिक्स का Softmax नॉर्मलाइजेशन सबसे अच्छा प्रदर्शन प्रदान करता है, जिससे यह सुनिश्चित होता है कि सिंथेसाइज्ड फ्रेम रिप्रेजेंटेशन मूल एम्बेडिंग मैनिफोल्ड के भीतर रहे।
- कंप्रेशन: यह मैकेनिज्म न्यूनतम प्रदर्शन गिरावट के साथ स्थानिक टोकन के लॉस-फुल कंप्रेशन (N_{qk} को कम करना) की अनुमति देता है, जो एक लचीला क्वालिटी-कॉस्ट ट्रेड-ऑफ प्रदान करता है।

5. महत्व

यह शोध पत्र वीडियो जनरेशन में एक महत्वपूर्ण बाधा को संबोधित करता है: कुशल मॉडल्स की बड़ी गतियों और वैश्विक सुसंगतता को संभालने में असमर्थता, बिना Full 3D Attention की भारी कंप्यूटेशनल लागत उठाए।

दक्षता: FrameDiT सिद्ध करता है कि गुणवत्ता के लिए दक्षता का त्याग करने की आवश्यकता नहीं है। यह "दोनों दुनियाओं का सर्वश्रेष्ठ" (best of both worlds) प्रदान करता है, जो महंगे Full 3D मॉडल्स की सुसंगतता से मेल खाता है, जबकि फैक्टराइज्ड मॉडल्स की तरह वीडियो लंबाई के साथ लीनियरली स्केल करता है।
स्केलेबिलिटी: यह दृष्टिकोण सीमित हार्डवेयर संसाधनों पर लंबे, उच्च-फिडेलिटी वीडियो के निर्माण को सक्षम बनाता है, जिससे उच्च-गुणवत्ता वाला वीडियो डिफ्यूजन अधिक सुलभ हो जाता है।
सामान्यीकरण (Generalizability): Matrix Attention मैकेनिज्म को मौजूदा DiT बैकबोन (जैसे Latte या OpenSora) में एकीकृत किया जा सकता है ताकि प्रदर्शन को तुरंत बढ़ाया जा सके, जो भविष्य के वीडियो जनरेशन अनुसंधान के लिए एक नया दिशा सुझाव देता है।