💻 computer science

LaTtE-Flow: Layerwise Timestep-Expert Flow-based Transformer

यह शोध पत्र LaTtE-Flow को प्रस्तुत करता है, जो एक कुशल मल्टीमॉडल ट्रांसफॉर्मर आर्किटेक्चर है जो प्रीट्रेंड VLMs और एक नवीन लेयरवाइज टाइमस्टेप-एक्सपर्ट फ्लो-मैचिंग तंत्र का लाभ उठाकर इमेज अंडरस्टैंडिंग और जनरेशन को एकीकृत करता है ताकि काफी तेज़ इन्फरेंस स्पीड के साथ प्रतिस्पर्धी जनरेशन क्वालिटी प्राप्त की जा सके।

मूल लेखक: Ying Shen, Zhiyang Xu, Jiuhai Chen, Shizhe Diao, Jiaxin Zhang, Yuguang Yao, Joy Rimchala, Ismini Lourentzou, Lifu Huang

प्रकाशित 2026-06-19

📖 4 मिनट में पढ़ें☕ कॉफ़ी ब्रेक में पढ़ें

CC BY 4.0

मूल लेखक: Ying Shen, Zhiyang Xu, Jiuhai Chen, Shizhe Diao, Jiaxin Zhang, Yuguang Yao, Joy Rimchala, Ismini Lourentzou, Lifu Huang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक विशाल, अविश्वसनीय रूप से बुद्धिमान पुस्तकालय है (एक प्री-ट्रेन्ड विजन-लैंग्वेज मॉडल) जो किताबों को पढ़ने और चित्रों को पूरी तरह से समझने में माहिर है। हालाँकि, यह पुस्तकालय शून्य से नए चित्र बनाने में बहुत खराब है। आमतौर पर, इस पुस्तकालय को चित्र बनाने के लिए मजबूर करने हेतु आपको इसे हर एक ब्रशस्ट्रोक के लिए बेसमेंट से अटारी तक इमारत के हर एक कमरे से बार-बार गुजरना पड़ता है। यह धीमा, थकाऊ और समय लेने वाला है।

यह शोध पत्र LaTtE-Flow पेश करता है, जो इस पुस्तकालय को व्यवस्थित करने का एक नया तरीका है ताकि यह अपनी बुद्धिमत्ता खोए बिना बहुत तेज़ी से चित्र बना सके।

यह कैसे काम करता है, इसे सरल अवधारणाओं में यहाँ दिया गया है:

1. समस्या: "ऑल-हैंड्स" मीटिंग

वर्तमान एआई मॉडल का उपयोग करके एक चित्र बनाने की कल्पना करें, जैसे कि 28 श्रमिकों (लेयर्स) की एक टीम एक भित्ति चित्र (म्यूरल) बनाने की कोशिश कर रही हो। पारंपरिक तरीकों में, प्रत्येक श्रमिक को पेंटिंग प्रक्रिया के प्रत्येक चरण पर उपस्थित होना पड़ता है और काम करना पड़ता है। यदि पेंटिंग को पूरा होने में 40 चरण लगते हैं, तो 28 श्रमिकों को 40 बार काम करना पड़ता है। यह बहुत अधिक प्रयास है जिससे परिणाम धीमा मिलता है।

2. समाधान: "विशेषज्ञ शिफ्ट" प्रणाली

LaTtE-Flow इस शेड्यूल को बदल देता है। हर कोई हर चरण पर काम करने के बजाय, 28 श्रमिकों को 4 विशेषज्ञ टीमों में विभाजित किया जाता है।

टीम A केवल पेंटिंग की शुरुआत (रफ स्केच) पर काम करती है।
टीम B केवल बीच के हिस्से (रंग भरने) पर काम करती है।
टीम C बारीकियों (डिटेल्स) पर काम करती है।
टीम D अंतिम स्पर्श (फिनिशिंग टच) देती है।

जब एआई को ड्राइंग प्रक्रिया का एक कदम उठाने की आवश्यकता होती है, तो यह केवल उस विशेष क्षण के लिए आवश्यक एक विशिष्ट टीम को ही जगाता है। बाकी 21 श्रमिक आराम कर सकते हैं। इसका मतलब है कि एआई किसी भी क्षण में केवल 1/4 काम करता है, जिससे पूरी प्रक्रिया पहले की तुलना में लगभग 6 गुना तेज़ हो जाती है।

3. "स्मार्ट हैंडऑफ": टाइमस्टेप-कंडीशन्ड रेसिडुअल अटेंशन

आप चिंतित हो सकते हैं: "यदि टीम A स्केच के बाद काम करना बंद कर देती है, तो टीम B को कैसे पता चलेगा कि स्केच कैसा दिखता था?"

आमतौर पर, अगली टीम को पिछले पूरे स्केच को शुरू से फिर से पढ़ना होगा। LaTtE-Flow एक चतुर "हैंडऑफ नोट" प्रणाली पेश करता है। यह वर्तमान टीम को पिछली टीम द्वारा छोड़े गए नोट्स (अटेंशन मैप्स) को देखने की अनुमति देता है और यह कहने की अनुमति देता है, "ओह, मैंने देखा कि आपने क्या किया। मैं उस हिस्से को रखूँगा और बस उसमें थोड़ा बदलाव करूँगा।"

हालाँकि, यह नोट प्रणाली स्मार्ट है। यह एक "टाइम-सेंसिटिव गेट" का उपयोग करती है। वे पेंटिंग के किस चरण में हैं, इसके आधार पर, गेट यह तय करता है कि पिछली टीम के काम का कितना हिस्सा रखना है। कभी-कभी वे लगभग सब कुछ रखते हैं; कभी-कभी वे बहुत अधिक बदलाव करते हैं। यह टीमों को भ्रमित होने से रोकता है और पेंटिंग को सुचारू रूप से और तेज़ी से उभरने में मदद करता है।

4. परिणाम: तेज़ और स्मार्ट

लेखकों ने इस नई प्रणाली का परीक्षण किया:

यह तेज़ है: यह अन्य समान "यूनिफाइड" मॉडलों (जो छवियों को समझ भी सकते हैं और बना भी सकते हैं) की तुलना में लगभग 6 गुना तेज़ी से चित्र बनाता है।
यह स्मार्ट है: क्योंकि यह मूल "लाइब्रेरी" (प्री-ट्रेन्ड मॉडल) को अछूता और स्थिर रखता है, इसलिए यह छवियों को समझने और प्रश्नों के उत्तर देने में उतना ही अच्छा है जितना कि मूल मॉडल था। इसने गति प्राप्त करने के लिए अपनी "बौद्धिक क्षमता" को कम नहीं किया है।
यह उच्च गुणवत्ता वाला है: इसके द्वारा बनाए गए चित्र स्पष्ट और तीक्ष्ण हैं और दिए गए विवरणों से मेल खाते हैं, जो बेहतरीन इमेज जनरेटर्स के साथ प्रतिस्पर्धा करते हैं।

सारांश

LaTtE-Flow एक व्यस्त, धीमी फैक्ट्री को एक कुशल असेंबली लाइन में बदलने जैसा है जहाँ विशेषज्ञ टीमें केवल तभी आती हैं जब उनके काम के विशिष्ट हिस्से की आवश्यकता होती है। यह फैक्ट्री की बुद्धिमत्ता को बरकरार रखता है लेकिन प्रतीक्षा समय को काफी कम कर देता है, जिससे एआई को वास्तविक समय में "सोचने" और "चित्र बनाने" में मदद मिलती है।

तकनीकी सारांश: LaTtE-Flow

समस्या विवरण

मल्टीमॉडल फाउंडेशन मॉडल्स में हालिया प्रगति ने इमेज अंडरस्टैंडिंग और जनरेशन को एकीकृत कर दिया है, फिर भी मौजूदा यूनिफाइड आर्किटेक्चर महत्वपूर्ण दक्षता बाधाओं (efficiency bottlenecks) का सामना करते हैं। वर्तमान दृष्टिकोण आम तौर पर दो श्रेणियों में आते हैं: ऑटोरिग्रेसिव मॉडल जो इमेज को टोकनाइज़ करते हैं (जो अक्सर उच्च-रिज़ॉल्यूशन आउटपुट के लिए लंबे डिकोडिंग समय से ग्रस्त होते हैं) और डिफ्यूजन/फ्लो-मैचिंग मॉडल जिन्हें पूरे बैकबोन के माध्यम से दर्जनों फॉरवर्ड पासेज की आवश्यकता होती है। ये यूनिफाइड मॉडल, विशेष रूप से जो डिफ्यूजन या फ्लो-मैचिंग का उपयोग करते हैं, धीमी जनरेशन गति और उच्च संसाधन खपत से ग्रस्त हैं, जो वास्तविक समय या संसाधन-सीमित सेटिंग्स में उनके व्यावहारिक परिनियोजन (deployment) को सीमित करते हैं। इसके अलावा, एक ही मॉडल के भीतर विभिन्न टाइमस्टेप्स के लिए अनुकूलन (optimization) करने से अक्सर विरोधाभासी ग्रेडिएंट्स उत्पन्न होते हैं, जिसके परिणामस्वरूप धीमी अभिसरण (convergence) दर और घट प्रदर्शन होता है।

कार्यप्रणाली (Methodology)

लेखक LaTtE-Flow (Layerwise Timestep-Expert Flow-based Transformer) का प्रस्ताव करते हैं, जो एक नवीन आर्किटेक्चर है जिसे यूनिफाइड मॉडल सेटिंग के भीतर डिफ्यूजन/फ्flow-आधारित ट्रांसफॉर्मर की दक्षता में सुधार करने के लिए डिज़ाइन किया गया है। यह दृष्टिकोण शक्तिशाली प्री-ट्रेंड विजन-लैंग्वेज मॉडल्स (VLMs), विशेष रूप से Qwen2-VL-2B-Instruct पर आधारित है, जो उनकी मजबूत मल्टीमॉडल समझ क्षमताओं को विरासत में लेते हुए एक विशिष्ट जेनेरेटिव पाथवे पेश करता है।

LaTtE-Flow का मुख्य भाग दो प्रमुख आर्किटेक्चरल नवाचारों से बना है:

1. लेयरवाइज टाइमस्टेप एक्सपर्ट्स (Layerwise Timestep Experts)

प्रत्येक सैंपलिंग टाइमस्टेप के दौरान पूरे ट्रांसफॉर्मर बैकबोन को कॉल करने के बजाय (जिसमें $O(L \times T)$ का कंप्यूटेशनल खर्च होता है, जहाँ $L$ परतों की संख्या है और $T$ स्टेप्स की संख्या है), LaTtE-Flow $L$ ट्रांसफॉर्मर परतों को $K$ गैर-ओवरलैपिंग समूहों में विभाजित करता है।

विशेषज्ञता (Specialization): परतों के प्रत्येक समूह को फ्लो-मैचिंग टाइमस्टेप्स के एक विशिष्ट अंतराल (interval) के लिए सौंपा जाता है। प्रशिक्षण के दौरान, प्रत्येक समूह अपने सौंपे गए टाइमस्टेप रेंज के भीतर विशेष रूप से वेलोसिटी फील्ड (velocity field) की भविष्यवाणी करना सीखता है, जिसके लिए लेयरवाइज फ्लो-मैचिंग लॉस का उपयोग किया जाता है।
अनुमान दक्षता (Inference Efficiency): अनुमान (inference) के समय, केवल वर्तमान टाइमस्टेप के अनुरूप विशिष्ट एक्सपर्ट ग्रुप को सक्रिय किया जाता है। यह प्रति-स्टेप कंप्यूटेशनल जटिलता को $O(L \times T)$ से घटाकर $O(M \times T)$ कर देता है, जहाँ $M = L/K$ है।
प्रशिक्षण रणनीति (Training Strategy): अंतराल सीमाओं पर मजबूती सुनिश्चित करने के लिए, लेखक प्रशिक्षण के दौरान आसन्न (adjacent) टाइमस्टेप अंतरालों के बीच 100-स्टेप का ओवरलैप पेश करते हैं, जिससे सीमावर्ती टाइमस्टेप्स को कई लेयर समूहों द्वारा देखा जा सके।

2. टाइमस्टेप-कंडीशन्ड रेसिडुअल अटेंशन (Timestep-Conditioned Residual Attention)

परतों के बीच सूचना के पुन: उपयोग (information reuse) को सुगम बनाने और अभिसरण को तेज करने के लिए, लेखक एक हल्का तंत्र पेश करते हैं जो बाद की परतों को पहले की परतों में गणना किए गए सेल्फ-अटेंशन मैप्स का पुन: उपयोग करने की अनुमति देता है।

तंत्र (Mechanism): परत $l+1$ पर अटेंशन मैट्रिक्स को परत $l$ से एक रेसिडुअल कनेक्शन के साथ बढ़ाया जाता है, जिसे वर्तमान टाइमस्टेप एम्बेडिंग से प्राप्त गेटिंग वेक्टर $g(t)$ द्वारा नियंत्रित किया जाता है।
कार्य (Function): गेट $g(t) = \tanh(h_t W_t)$ गतिशील रूप से यह नियंत्रित करता है कि प्रत्येक अटेंशन हेड पिछले लेयर से रेसिडुअल जानकारी को किस हद तक शामिल करेगा। यह डिज़ाइन मॉडल को फ्लो-मैचिंग स्टेज के आधार पर फीचर्स को अनुकूलित रूप से रिफाइन करने की अनुमति देता है, जो विभिन्न टाइमस्टेप्स के बीच विरोधाभासी अनुकूलन दिशाओं के मुद्दे को संबोधित करता है।

यह आर्किटेक्चर मल्टीमॉडल कॉन्टेक्स्ट के लिए 3D रोटरी पोजीशनल एम्बेडिंग्स (RoPE) और जेनेरेटिव इमेज टोकन्स के लिए 2D RoPE को मिलाकर एक हाइब्रिड पोजीशनल एनकोडिंग स्कीम का उपयोग करता है, जबकि समझने के कार्यों के लिए प्री-ट्रेंड VLM पैरामीटर्स (फ्रीज़्ड) को सुरक्षित रखता है।

मुख्य योगदान

LaTtE-Flow आर्किटेक्चर: एक कुशल यूनिफाइड मल्टीमॉडल आर्किटेक्चर जो फ्लो-मैचिंग आधारित इमेज जनरेशन को प्री-ट्रेंड VLMs के साथ एकीकृत करता है।
लेयरवाइज टाइमस्टेप एक्सपर्ट डिज़ाइन: एक नवीन विधि जो ट्रांसफॉर्मर परतों को टाइमस्टेप-विशिष्ट एक्सपर्ट्स में वितरित करके, प्रत्येक स्टेप पर परतों के एक उपसमुच्चय (subset) को सक्रिय करके अनुमान जटिलता को काफी कम करती है।
टाइमस्टेप-कंडीशन्ड रेसिडुअल अटेंशन: एक तंत्र जो परतों के बीच अटेंशन जानकारी के प्रभावी पुन: उपयोग को सक्षम बनाता है, जो अनुमान समय लागत जोड़े बिना प्रशिक्षण दक्षता और जनरेशन गुणवत्ता को बढ़ाता है।
अनुभवजन्य सत्यापन (Empirical Validation): व्यापक प्रयोग जो प्रदर्शित करते हैं कि प्रस्तावित विधि प्रतिस्पर्धी जनरेशन गुणवत्ता और मजबूत मल्टीमॉडल समझ प्राप्त करती है, साथ ही काफी तेज़ अनुमान गति भी प्रदान करती है।

परिणाम

लेखकों ने इमेज जनरेशन के लिए ImageNet-50K पर और मल्टीमॉडल अंडरस्टैंडिंग के लिए विभिन्न बेंचमार्क (MMBench, SEED, POPE, आदि) पर LaTtE-Flow का मूल्यांकन किया।

इमेज जनरेशन: LaTtE-Flow ImageNet-50K पर 5.79 का फ्रेट चेलेट इनसेप्शन डिस्टेंस (FID) और 213.1 का इनसेप्शन स्कोर (IS) प्राप्त करता है।
- दक्षता: यह हालिया यूनिफाइड मॉडल्स जैसे Janus Pro की तुलना में लगभग 6× तेज़ अनुमान और Show-o की तुलना में 48× तेज़ अनुमान प्राप्त करता है।
- पैरामीटर दक्षता: यह प्रति टाइमस्टेप केवल ~500M पैरामीटर्स को सक्रिय करता है (बेसलाइन "वैनिला" मॉडल के 2.0B की तुलना में), जिसके परिणामस्वरूप बेसलाइन के 28.3 TFLOPs के मुकाबले प्रति फॉरवर्ड पास 7.08 TFLOPs की कंप्यूटेशनल लागत आती है।
मल्टीमॉडल अंडरस्टैंडिंग: LaTtE-Flow सभी अंडरस्टैंडिंग बेंचमार्क में अपने फ्रीज़्ड बैकबोन (Qwen2-VL-2B) के प्रदर्शन से मेल खाता है, जो पुष्टि करता है कि जेनेरेटिव संशोधनों से उसकी समझ क्षमताओं में गिरावट नहीं आती है।
एब्लेशन स्टडीज (Ablation Studies):
- लेयरवाइज टाइमस्टेप एक्सपर्ट्स को हटाने (वैनिला बेसलाइन) से धीमा अभिसरण और कम जनरेशन गुणवत्ता होती है।
- टाइमस्टेप-कंडीशन्ड रेसिडुअल अटेंशन को हटाने से FID (5.79 से 8.26) और IS में उल्लेखनीय गिरावट आती है।
- ह्यूमन प्रेफरेंस स्टडीज संकेत देती हैं कि फोटो-रियलिज्म और सिमेंटिक सटीकता के आधार पर LaTtE-Flow को Janus Pro (71.4% जीत दर) और Show-o (63.4% जीत दर) पर प्राथमिकता दी जाती है।

महत्व और दावे

पेपर का दावा है कि LaTtE-Flow कुशल, यूनिफाइड मल्टीमॉडल फाउंडेशन मॉडल्स बनाने की दिशा में एक महत्वपूर्ण कदम है। स्पेशलाइज्ड लेयर ग्रुप्स के माध्यम से फ्लो-मैचिंग प्रक्रिया को अलग करके और एडेप्टिव इंफॉर्मेशन रियूज को सक्षम करके, यह आर्किटेक्चर उस ट्रेड-ऑफ को दूर करता है जो वर्तमान यूनिफाइड मॉडल्स में जनरेशन क्वालिटी और अनुमान गति के बीच होता है।

लेखक इस बात पर जोर देते हैं कि यह कार्य बड़े पैमाने के फाउंडेशन मॉडल्स की मजबूत समझ और जनरेशन क्षमताओं से समझौता किए बिना, मोबाइल डिवाइस या रियल-टाइम एप्लिकेशन जैसे संसाधन-सीमित वातावरणों में उच्च-प्रदर्शन वाले मल्टीमॉडल सिस्टम के परिनियोजन को सक्षम बनाता है। इस कार्य को एक स्केलेबल समाधान के रूप में प्रस्तुत किया गया है जो प्री-ट्रेंड VLMs की ताकत को बनाए रखते हुए जेनेरेटिव प्रक्रियाओं को तेज करने के लिए नवीन तंत्र पेश करता है।