💻 computer science

LeapAlign: Post-Training Flow Matching Models at Any Generation Step by Building Two-Step Trajectories

LeapAlign एक फ्लो मैचिंग मॉडल्स के लिए पोस्ट-ट्रेनिंग फाइन-ट्यूनिंग विधि है जो रैंडमाइज्ड टू-स्टेप लीप ट्रेजेक्टरीज का निर्माण करके लंबी-ट्रैजेक्टरी बैकप्रोपैगेशन की मेमोरी और ग्रेडिएंट एक्सप्लोजन समस्याओं को दूर करती है, जिससे बेहतर इमेज क्वालिटी और अलाइनमेंट के लिए रिवॉर्ड्स से शुरुआती जनरेशन स्टेप्स तक कुशल और स्थिर डायरेक्ट ग्रेडिएंट अपडेट सक्षम होते हैं।

मूल लेखक: Zhanhao Liang, Tao Yang, Jie Wu, Chengjian Feng, Liang Zheng

प्रकाशित 2026-05-05

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Zhanhao Liang, Tao Yang, Jie Wu, Chengjian Feng, Liang Zheng

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बहुत ही प्रतिभाशाली कलाकार (AI मॉडल) को आपके विवरणों के आधार पर चित्र बनाना सिखा रहे हैं। कलाकार एक खाली, शोर वाले कैनवास (noisy canvas) से शुरू करता है और धीरे-धीरे एक स्पष्ट छवि प्रकट होने तक उसे चरण-दर-चरण परिष्कृत (refine) करता है। इस प्रक्रिया को "फ्लो मैचिंग" (flow matching) कहा जाता है।

समस्या यह है: हम इस कलाकार को ठीक वही कैसे सिखाएं जो हम चाहते हैं, विशेष रूप से बड़ी तस्वीर (लेआउट/ढांचा), बिना खुद को कंप्यूटर मेमोरी के बोझ तले दबाए?

यहाँ पेपर के समाधान का सरल विवरण दिया गया है, LeapAlign:

1. समस्या: "लंबा रास्ता" बहुत भारी है

कलाकार को सिखाने के लिए, हम आमतौर पर उन्हें एक तैयार ड्राइंग दिखाते हैं, हमें बताते हैं कि वह कितनी अच्छी है (एक "रिवॉर्ड" या पुरस्कार), और फिर उस फीडबैक को ड्राइंग प्रक्रिया के बिल्कुल पहले चरण तक वापस भेजने की कोशिश करते हैं ताकि गलतियों को सुधारा जा सके।

समस्या: यदि ड्राइंग को पूरा करने में 25 चरण लगते हैं, तो फीडबैक को पूरे 25 चरणों के माध्यम से वापस भेजना पहाड़ की चोटी से घाटी के तल तक संदेश चिल्लाकर भेजने जैसा है। इसमें बहुत अधिक ऊर्जा (कंप्यूटर मेमोरी) लगती है और संदेश अक्सर नीचे पहुँचते-पहुँचते विकृत हो जाता है या अनियंत्रित (gradient explosion) हो जाता है।
परिणाम: क्योंकि शुरुआत में फीडबैक भेजना बहुत कठिन है, इसलिए वर्तमान के अधिकांश तरीके केवल ड्राइंग के अंतिम कुछ चरणों को ही ठीक करते हैं। वे विवरणों को तो निखारते हैं लेकिन लेआउट (कुत्ता कहाँ है, पेड़ कहाँ है) को अपरिवर्तित छोड़ देते हैं। यदि लेआउट गलत है, तो तस्वीर गलत ही रहेगी, चाहे विवरण कितने भी सुंदर क्यों न हों।

2. समाधान: "लीप" (छलांग) वाला शॉर्टकट

लेखकों, झानहाओ लियांग और ताओ यांग ने LeapAlign नामक एक विधि का आविष्कार किया है। पूरे लंबे रास्ते पर चलकर फीडबैक देने के बजाय, वे एक शॉर्टकट बनाते हैं।

ड्राइंग प्रक्रिया की कल्पना एक लंबी सीढ़ी के रूप में करें जो ऊपर (शोर/noise) से नीचे (तैयार छवि) तक जाती है।

पुराना तरीका: फीडबैक देने के लिए हर एक सीढ़ी से नीचे उतरें। (बहुत धीमा, बहुत भारी)।
LeapAlign का तरीका: आप सीढ़ियों पर दो यादृच्छिक (random) स्थान चुनते हैं—मान लीजिए, चरण 20 और चरण 10। पूरी यात्रा करने के बजाय, आप चरण 20 से सीधे चरण 10 तक छलांग (leap) लगाते हैं, और फिर चरण 10 से सीधे तैयार छवि तक छलांग लगाते हैं।

इस दो-चरणीय "लीप ट्राजेक्टरी" को बनाकर, कंप्यूटर को यात्रा के पच्चीस चरणों के बजाय केवल दो चरणों को याद रखने की आवश्यकता होती है। यह भारी मात्रा में मेमोरी बचाता है और संदेश को अनियंत्रित होने से रोकता है।

3. यह एक बड़ी बात क्यों है

क्योंकि "लीप" सीढ़ियों के किसी भी बिंदु (यादृच्छिक रूप से चुना गया) से शुरू हो सकता है, सिस्टम अब ड्राइंग प्रक्रिया के बिल्कुल शुरुआत में फीडबैक भेज सकता है।

परिणाम: AI न केवल विवरणों को बल्कि वैश्विक संरचना (global structure/layout) को भी ठीक करना सीख जाता है। यह सीखता है कि "लाल साइकिल" को बाईं ओर और "नीली कार" को दाईं ओर कैसे रखना है, न कि केवल साइकिल को चमकदार बनाना।

4. स्थिरता के लिए दो गुप्त सामग्रियां

पेपर में इसे सुचारू रूप से काम करने के लिए दो चतुर तरकीबों का उल्लेख किया गया है:

"वॉल्यूम नॉब" (ग्रेडिएंट डिस्काउंटिंग): कभी-कभी, जब आप एक लीप के माध्यम से फीडबैक भेजते हैं, तो सिग्नल बहुत तेज़ हो जाता है और सीखने की प्रक्रिया को बाधित कर देता है। पिछले तरीके फीडबैक को पूरी तरह से बंद कर देते थे। LeapAlign वॉल्यूम को थोड़ा कम कर देता है। यह सिग्नल को बनाए रखता है (ताकि AI चरणों के बीच संबंध सीख सके) लेकिन वॉल्यूम को इतना कम कर देता है कि स्पीकर फट न जाए।
"ट्रस्ट स्कोर" (ट्राजेक्टरी-सिमिलैरिटी वेटिंग): कभी-कभी, एक लीप एक अजीब शॉर्टकट होता है जो एक वास्तविक ड्राइंग पथ जैसा नहीं दिखता है। LeapAlign जाँचता है: "क्या यह शॉर्टकट एक सामान्य ड्राइंग पथ जैसा दिखता है?" यदि हाँ, तो यह फीडबैक को अधिक महत्व (weight) देता है। यदि शॉर्टकट अजीब है, तो यह इसे कम महत्व देता है। यह सुनिश्चित करता है कि AI सर्वोत्तम उदाहरणों से सीखे।

5. परिणाम

लेखकों ने एक शक्तिशाली मॉडल जिसे Flux कहा जाता है, पर इसका परीक्षण किया।

निष्कर्ष: LeapAlign ने लगातार अन्य शीर्ष तरीकों (जैसे GRPO और DRTune) को पछाड़ दिया।
प्रमाण: इसने ऐसी छवियां बनाईं जो न केवल सुंदर थीं बल्कि टेक्स्ट निर्देशों का बहुत बेहतर पालन भी करती थीं। उदाहरण के लिए, यदि आपने "मैट पर बैठी बिल्ली" माँगी, तो LeapAlign ने वास्तव में बिल्ली को मैट पर रखा, जबकि अन्य तरीके अक्सर बिल्ली को मैट के पास या हवा में तैरते हुए छोड़ देते थे।

संक्षेप में: LeapAlign फीडबैक के लिए कुशल शॉर्टकट बनाकर AI कलाकारों को सिखाने का एक स्मार्ट तरीका है। यह AI को पूरी तस्वीर की योजना बनाने के लिए शुरुआत से ही सक्षम बनाता है, जिससे ऐसी छवियां प्राप्त होती हैं जो सुंदर भी होती हैं और बिल्कुल वैसी ही होती हैं जैसी आपने मांगी थीं।

तकनीकी सारांश: LeapAlign

समस्या विवरण

यह शोध पत्र पोस्ट-ट्रेनिंग के माध्यम से फ्लो मैचिंग मॉडल्स को मानवीय प्राथमिकताओं (human preferences) के साथ संरेखित करने की चुनौती को संबोधित करता है। जबकि डायरेक्ट-ग्रेडिएंट विधियाँ (जैसे GRPO के समान पॉलिसी-ग्रेडिएंट दृष्टिकोण के विकल्प के रूप में) फ्लो मैचिंग सैंपलिंग की डिफरेंशिएबल प्रकृति का लाभ उठाकर एक आशाजनक विकल्प प्रदान करती हैं, वे लंबी जनरेशन ट्रैजेक्टरीज (generation trajectories) को लागू करने पर महत्वपूर्ण बाधाओं का सामना करती हैं। विशेष रूप से, पूरी ODE सैंपलिंग स्टेप्स की पूरी अनुक्रम (sequence) के माध्यम से रिवॉर्ड ग्रेडिएंट्स को बैकप्रोपैगेट करने से अत्यधिक मेमोरी लागत आती है और ग्रेडिएंट विस्फोट (gradient explosion) का जोखिम बढ़ जाता है। फलस्वरूप, मौजूदा डायरेक्ट-ग्रेडिएंट विधियाँ आमतौर पर अंतिम छवि के निकट एक एकल टाइमस्टेप तक अपडेट को सीमित कर देती हैं या अस्थिरता से बचने के लिए नेस्टेड ग्रेडिएंट्स को हटा देती हैं। यह सीमा शुरुआती जनरेशन स्टेप्स के अनुकूलन (optimization) को रोकती है, जो अंतिम छवि के वैश्विक लेआउट (global layout) और संरचनात्मक संयोजन को निर्धारित करने के लिए महत्वपूर्ण होते हैं।

कार्यप्रणाली: LeapAlign

लेखक LeapAlign का प्रस्ताव करते हैं, जो एक फाइन-ट्यूनिंग विधि है जिसे अत्यधिक मेमोरी ओवरहेड के बिना, शुरुआती टाइमस्टेप्स सहित किसी भी जनरेशन स्टेप तक कुशल और स्थिर डायरेक्ट ग्रेडिएंट प्रोपेगेशन सक्षम करने के लिए डिज़ाइन किया गया है। मुख्य कार्यप्रणाली में तीन प्रमुख घटक शामिल हैं:

1. टू-स्टेप लीप ट्रैजेक्टरी कंस्ट्रक्शन (Two-Step Leap Trajectory Construction)

पूरी जनरेशन ट्रैजेक्टरी के माध्यम से बैकप्रोपैगेट करने के बजाय, LeapAlign केवल दो स्टेप्स से बनी एक संक्षिप्त लीप ट्रैजेक्टरी (leap trajectory) का निर्माण करता है, जो एक मानक फुल-रन ट्रैजेक्टरी से प्राप्त होती है।

प्रक्रिया: प्रत्येक इटरेशन के दौरान, शोर ( $x_1$ ) से एक स्वच्छ छवि ( $x_0$ ) तक एक पूर्ण ट्रैजेक्टरी सैंपल की जाती है। दो टाइमस्टेप्स, $k$ और $j$ (जहाँ $k > j$ ), यादृच्छिक रूप से चुने जाते हैं।
लीप्स (Leaps): यह विधि भविष्य के लेटेंट्स (latents) का एकल स्टेप में अनुमान लगाने के लिए रेक्टिफाइड फ्लो मॉडल्स के वन-स्टेप लीप प्रेडिक्शन गुण का उपयोग करती है:
- लीप 1: $x_k$ पर वेलोसिटी फील्ड का उपयोग करके $x_k$ से लेटेंट $x_j$ का अनुमान लगाता है: $\hat{x}_{j|k} = x_k - (k-j)v_\theta(x_k)$ ।
- लीप 2: $x_j$ पर वेलोसिटी फील्ड का उपयोग करके $x_j$ से अंतिम लेटेंट $x_0$ का अनुमान लगाता है: $\hat{x}_{0|j} = x_j - j v_\theta(x_j)$ ।
लेटेंट कनेक्टर्स (Latent Connectors): प्रेडिक्टेड स्टेट्स को फुल ट्रैजेक्टरी से सैंपल किए गए वास्तविक स्टेट्स के साथ संरेखित करते हुए डिफरेंशिएबिलिटी बनाए रखने के लिए, stop_gradient ऑपरेशन्स का उपयोग करके "लेटेंट कनेक्टर्स" पेश किए जाते हैं (जैसे, $x_j = \hat{x}_{j|k} + \text{stop\_gradient}(x_j - \hat{x}_{j|k})$ )।
लाभ: यह बैकप्रोपैगेशन पाथ को दो स्टेप्स तक कम कर देता है, जिससे मूल ट्रैजेक्टरी की लंबाई के बावजूद मेमोरी लागत स्थिर रहती है, जबकि जनरेशन प्रक्रिया के किसी भी भाग को अपडेट करने के लिए $(k, j)$ के रैंडम चयन की अनुमति मिलती है।

2. ग्रेडिएंट डिस्काउंटिंग (Gradient Discounting)

उपयोगी लर्निंग सिग्नल्स को संरक्षित करते हुए ग्रेडिएंट विस्फोट को संबोधित करने के लिए, LeapAlign एक ग्रेडिएंट डिस्काउंटिंग तंत्र पेश करता है।

समस्या: दो स्टेप्स के माध्यम से बैकप्रोपैगेट करने से एक "नेस्टेड ग्रेडिएंट" टर्म ( $\frac{\partial v_\theta(x_j)}{\partial x_j} \frac{\partial v_\theta(x_k)}{\partial \theta}$ ) उत्पन्न होता है जो टाइमस्टेप्स के बीच इंटरैक्शन को कैप्चर करता है। DRTune जैसी पिछली विधियाँ इस टर्म को पूरी तरह से हटा देती हैं (मॉडल इनपुट पर ग्रेडिएंट रोककर), जिससे मूल्यवान डिपेंडेंसी जानकारी लुप्त हो जाती है।
समाधान: LeapAlign इस नेस्टेड ग्रेडिएंट टर्म को हटाने के बजाय इसे एक कारक $\alpha \in [0, 1]$ द्वारा स्केल करता है। यह दूसरे लीप में वेलोसिटी प्रेडिक्शन के इनपुट को संशोधित करके प्राप्त किया जाता है: $\hat{x}_{0|j} = x_j - j v_\theta(\alpha x_j + (1-\alpha)\text{stop\_gradient}(x_j))$ ।
प्रभाव: यह प्रशिक्षण को स्थिर करने के लिए बड़े ग्रेडिएंट टर्म्स के परिमाण को कम करता है, जबकि पूर्ण ग्रेडिएंट स्ट्रक्चर और नेस्टेड ग्रेडिएंट को बनाए रखता है।

3. ट्रैजेक्टरी-समानता वेटिंग (Trajectory-Similarity Weighting)

यह सुनिश्चित करने के लिए कि संक्षिप्त लीप ट्रैजेक्टरीज विश्वसनीय सुपरविजन प्रदान करें, यह विधि उन लिप्स को उच्च भार (weight) देती है जो वास्तविक जनरेशन पथ के समान होते हैं।

तंत्र: लॉस को कनेक्शन पॉइंट्स ( $x_j$ और $x_0$ ) पर प्रेडिक्टेड स्टेट्स ( $\hat{x}$ ) और वास्तविक स्टेट्स ( $x$ ) के बीच औसत पूर्ण अंतर के व्युत्क्रम (inverse) द्वारा भारित किया जाता है।
फॉर्मूला: $w_{sim} = \frac{1}{\max(d_j, \tau) + \max(d_0, \tau)}$ , जहाँ $d$ दूरी को दर्शाता है और $\tau$ एक न्यूनतम थ्रेशोल्ड है ताकि लगभग समान जोड़ों पर अत्यधिक जोर देने से बचा जा सके।
उद्देश्य: यह सुनिश्चित करता है कि वास्तविक डायनेमिक्स से काफी विचलित होने वाले लिप्स ग्रेडिएंट अपडेट में कम योगदान दें, जिससे सुपरविजन की स्थिरता और विश्वसनीयता में सुधार होता है।

4. फाइन-ट्यूनिंग ऑब्जेक्टिव (Fine-Tuning Objective)

यह विधि रिवॉर्ड हैकिंग को रोकने के लिए रिवॉर्ड को मैक्सिमाइज करने हेतु एक हिंज-स्टाइल लॉस का उपयोग करती है: $L_{raw} = \max(0, \lambda - r(x_0))$ । महत्वपूर्ण रूप से, लीप प्रेडिक्शंस से रिवॉर्ड का अनुमान लगाने वाली विधियों के विपरीत, LeapAlign फुल ट्रैजेक्टरी द्वारा जनरेट की गई वास्तविक अंतिम छवि ( $x_0$ ) पर रिवॉर्ड का मूल्यांकन करता है, जिससे यह सुनिश्चित होता है कि रिवॉर्ड मॉडल वास्तविक दृश्य और अर्थ संबंधी गुणवत्ता का आकलन करे।

मुख्य योगदान

LeapAlign फ्रेमवर्क: एक नवीन पोस्ट-ट्रेनिंग विधि जो दो-स्टेप लीप ट्रैजेक्टरियां बनाती है ताकि निरंतर मेमोरी लागत के साथ शुरुआती जनरेशन स्टेप्स तक डायरेक्ट ग्रेडिएंट बैकप्रोपैगेशन सक्षम किया जा सके।
ग्रेडिएंट स्टेबिलिटी तकनीकें: नेस्टेड ग्रेडिएंट्स को हटाने के बजाय स्केल करने के लिए ग्रेडिएंट डिस्काउंटिंग, और सुसंगत लिप्स को प्राथमिकता देने के लिए ट्रैजेक्टरी-समानता वेटिंग का परिचय, जो पूर्ववर्ती डायरेक्ट-ग्रेडिएंट विधियों की अस्थिरता और सिग्नल लॉस समस्याओं को संबोधित करता है।
व्यापक मूल्यांकन: यह प्रदर्शन करना कि LeapAlign मानव प्राथमिकता स्कोर (HPSv2.1, HPSv3, PickScore) और कंपोजिशनल एलाइनमेंट बेंचमार्क (GenEval) सहित कई मेट्रिक्स पर स्टेट-ऑफ-द-आर्ट पॉलिसी-ग्रेडिएंट (GRPO-आधारित) और डायरेक्ट-ग्रेडिएंट विधियों से बेहतर प्रदर्शन करता है।

परिणाम

लेखकों ने Flux.1-Dev मॉडल को LeapAlign का उपयोग करके फाइन-ट्यून किया और DanceGRPO, MixGRPO, ReFL, DRaFT-LV, और DRTune सहित बेसलाइन्स के विरुद्ध इसका मूल्यांकन किया।

सामान्य प्राथमिकता संरेखण (General Preference Alignment): LeapAlign ने इन-डोमेन (HPSv2.1) और आउट-ऑफ-डोमेन (HPSv3, PickScore, UnifiedReward) मेट्रिक्स में उच्चतम स्कोर प्राप्त किया। विशेष रूप से, इसने एक सिंगल रिवॉर्ड मॉडल (HPSv2.1) पर प्रशिक्षित होने के बावजूद तीन रिवॉर्ड मॉडल्स का उपयोग करने वाले MixGRPO को भी पीछे छोड़ दिया।
कंपोजिशनल एलाइनमेंट (Compositional Alignment): GenEval बेंचमार्क पर, LeapAlign ने महत्वपूर्ण लाभ दिखाया, विशेष रूप से "दो वस्तुएं" (two objects), "रंग" (colors), "स्थिति" (position), और "एट्रीब्यूट बाइंडिंग" (attribute binding) कार्यों में। इन श्रेणियों में सुधार विधि की वैश्विक लेआउट को नियंत्रित करने वाले शुरुआती स्टेप्स को ऑप्टिमाइज़ करने की सफलता को रेखांकित करता है।
गुणात्मक विश्लेषण (Qualitative Analysis): विजुअल तुलनाओं ने प्रदर्शित किया कि LeapAlign टेक्स्ट प्रॉम्प्ट के साथ बेहतर संरेखण के लिए वैश्विक छवि संरचनाओं को काफी हद तक संशोधित करता है, जबकि लेट-स्टेप अपडेट्स (जैसे ReFL) तक सीमित विधियां अक्सर प्री-ट्रेन्ड मॉडल के लेआउट को बरकरार रखती हैं।
एब्लेशन स्टडीज (Ablation Studies): प्रयोगों ने पुष्टि की कि टू-स्टेप लीप डिज़ाइन प्रदर्शन और मेमोरी के बीच सर्वोत्तम संतुलन प्रदान करता है। $\alpha=0.3$ के साथ ग्रेडिएंट डिस्काउंटिंग ने इष्टतम परिणाम दिए, और $[0, 1]$ की पूरी रेंज में टाइमस्टेप्स का रैंडम चयन फिक्स्ड रेंज की तुलना में बेहतर था, जो शुरुआती-स्टेप अपडेट्स के महत्व को रेखांकित करता है।

महत्व और दावे

यह शोध पत्र दावा करता है कि LeapAlign फ्लो मैचिंग पोस्ट-ट्रेनिंग में मेमोरी दक्षता और ग्रेडिएंट कवरेज के बीच के ट्रेड-ऑफ को सफलतापूर्वक हल करता है। अत्यधिक कम्प्यूटेशनल लागत के बिना शुरुआती जनरेशन स्टेप्स तक अपडेट को सक्षम करके, यह जटिल कंपोजिशनल कार्यों के लिए महत्वपूर्ण वैश्विक छवि संरचना के अनुकूलन की अनुमति देता है। लेखक LeapAlign को स्टोकेस्टिक पॉलिसी-ग्रेडिएंट और अस्थिर डायरेक्ट-ग्रेडिएंट दृष्टिकोणों, दोनों के लिए एक स्थिर और प्रभावी विकल्प के रूप में प्रस्तुत करते हैं। यह कार्य सुझाव देता है कि नेस्टेड ग्रेडिएंट्स को हटाने के बजाय उन्हें रिटेन और स्केल करना, डायरेक्ट-ग्रेडिएंट एलाइनमेंट के प्रदर्शन में सुधार करने वाला एक प्रमुख कारक है। भविष्य के कार्य के रूप में इन सिद्धांतों को वीडियो जनरेशन तक विस्तारित करने का उल्लेख किया गया है।