तकनीकी सारांश: फ्लो मैचिंग मॉडल्स के लिए क्रमिक फाइन-ट्यूनिंग (Gradual Fine-Tuning)

समस्या विवरण

प्रीट्रेन्ड फ्लो मैचिंग मॉडल्स को फाइन-ट्यून करना एक महत्वपूर्ण चुनौती प्रस्तुत करता है, विशेष रूप से उन परिदृश्यों में जहाँ डेटा सीमित हो, वितरण (distributions) विकसित हो रहे हों, या कम्प्यूटेशनल सीमाएँ हों। जबकि रिवॉर्ड-आधारित फाइन-ट्यूनिंग (जैसे, एडजॉइंट मैचिंग, रीइन्फोर्समेंट लर्निंग दृष्टिकोण) में हालिया प्रगति ने उत्साहजनक परिणाम दिखाए हैं, वे अक्सर सैद्धांतिक सीमाओं और व्यावहारिक अस्थिरता से ग्रस्त होते हैं। विशेष रूप से, मौजूदा तरीके अक्सर सैद्धांतिक शुद्धता, प्रशिक्षण स्थिरता, अनुमान दक्षता (inference efficiency) और विविधता संरक्षण को एक साथ सुनिश्चित करने में विफल रहते हैं।

एक महत्वपूर्ण, फिर भी कम खोजा गया परिदृश्य तब आता है जब लक्ष्य वितरण (target distribution) से सीधे नमूने (samples) उपलब्ध होते हैं (जैसे, डोमेन अनुकूलन या डेटासेट ड्रिफ्ट में), जिससे बाहरी रिवॉर्ड फंक्शन की आवश्यकता समाप्त हो जाती है। इस संदर्भ में मानक फाइन-ट्यूनिंग अक्सर प्रीट्रेन्ड मॉडल को केवल एक इनिशियलाइजेशन के रूप में मानती है, इसके द्वारा सीखे गए डायनेमिक्स (जैसे, शॉर्ट प्रोबेबिलिटी पाथ्स) की अनदेखी करती है, जिससे उच्च अस्थिरता और संभावित मोड कोलैप्स (mode collapse) होता है। एक ऐसे सिद्धांत-आधारित ढांचे की आवश्यकता है जो नए लक्ष्य वितरण के अनुकूल होने और प्रीट्रेन्ड मॉडल के लाभकारी गुणों को संरक्षित करने के बीच संतुलन बनाए।

कार्यप्रणाली: क्रमिक फाइन-ट्यूनिंग (GFT)

लेखक क्रमिक फाइन-ट्यूनिंग (GFT) का प्रस्ताव करते हैं, जो एक एनेल्ड रेगुलराइजेशन (annealed regularization) का उपयोग करता है ताकि तापमान-नियंत्रित मध्यवर्ती उद्देश्यों का एक अनुक्रम बनाया जा सके। यह दृष्टिकोण प्रीट्रेन्ड डायनेमिक्स और लक्ष्य डायनेमिक्स के बीच सुचारू रूप से इंटरपोलेशन करता है।

सैद्धांतिक सूत्रीकरण (Theoretical Formulation)

GFT को स्टोकेस्टिक फ्लो द्वारा प्रेरित पाथ स्पेस पर एक ऑप्टिमाइज़ेशन समस्या से व्युत्पन्न किया गया है। उद्देश्य $P_\theta$ (फाइन-ट्यून्ड प्रोसेस) और $P_q$ (टारगेट प्रोसेस) के बीच कुलबैक-लीब्लर (KL) डाइवर्जेंस को कम करना है, जिसे $P_\theta$ और $P_{\theta_0}$ (प्रीट्रेन्ड प्रोसेस) के बीच KL डाइवर्जेंस द्वारा रेगुलराइज किया गया है:

$$\min_{\theta} \text{KL}(P_\theta \| P_q) + \beta \text{KL}(P_\theta \| P_{\theta_0})$$

जहाँ $\beta \in \mathbb{R}^+$ एक तापमान पैरामीटर है।

थ्योरम 4.1 यह स्थापित करता है कि इस उद्देश्य को न्यूनतम करने से एक क्लोज्ड-फॉर्म ऑप्टिमल ड्रिफ्ट $v^*_\theta$ प्राप्त होता है, जो लक्ष्य वेक्टर फील्ड $v_q$ और प्रीट्रेन्ड वेक्टर फील्ड $v_{\theta_0}$ का एक कॉनवेक्स कॉम्बिनेशन (convex combination) है:

$$v^*_\theta(X_t, t) = \left( \frac{1}{1 + \beta} \right) v_q(X_t, t) + \left( \frac{\beta}{1 + \beta} \right) v_{\theta_0}(X_t, t)$$

एनेल्ड रेगुलराइजेशन (Annealed Regularization): अभिसरण (convergence) प्राप्त करने के लिए, GFT एक समय-निर्भर कूलिंग शेड्यूल का उपयोग करता है जहाँ $\beta$ को एक उच्च प्रारंभिक मान से धीरे-धीरे $0^+$ तक एनील (anneal) किया जाता है।

• उच्च $\beta$: प्रीट्रेन्ड मॉडल से विचलन को कड़ाई से दंडित करता है, जिससे समयपूर्व कोलैप्स को रोका जा सके और स्थिरता सुनिश्चित हो सके।
• निम्न $\beta$ ($\to 0^+$): बाधा को शिथिल करता है, जिससे मॉडल लक्ष्य वेक्टर फील्ड $v_q$ को एसिम्प्टोटिक रूप से रिकवर कर पाता है।

सुलभ पुनर्गठन (Tractable Reformulation)

चूंकि लक्ष्य वेक्टर फील्ड $v_q$ अज्ञात है और उद्देश्य पाथ मेजर्स पर परिभाषित है, लेखक ड्रिफ्ट टर्म्स के संदर्भ में उद्देश्य को पुनर्गठित करने के लिए गिरसानोव थ्योरम (Girsanov's Theorem) लागू करते हैं। इसके परिणामस्वरूप एक सुलभ लॉस फंक्शन प्राप्त होता है जिसमें ड्रिफ्ट्स के बीच स्क्वेयर्ड $L_2$ डिस्टेंस शामिल है।

इसके अलावा, कुशल प्रशिक्षण और अनुमान को सक्षम करने के लिए, GFT कंडीशनल फ्लो मैचिंग (CFM) सिद्धांतों का उपयोग करता है। मनमाने स्रोत-लक्ष्य कपलिंग (जैसे, ऑप्टिमल ट्रांसपोर्ट प्लान्स) पर कंडीशन करने से, लॉस निम्न प्रकार हो जाता है:

$$\mathcal{L}_\pi(\theta) = \mathbb{E}_{Z \sim \pi, X_t \sim P(\cdot|Z), t \sim U[0,1]} \left[ \frac{1}{2} \left( \|v_\theta - v_q(\cdot|Z)\|^2 + \beta \|v_\theta - v_{\theta_0}\|^2 \right) \right]$$

यह फॉर्मूलेशन अनकंडीशनल उद्देश्य के सैद्धांतिक गारंटियों को सुरक्षित रखता है और साथ ही जनरेशन को तेज करने के लिए कुशल कपलिंग (जैसे OT) के उपयोग की अनुमति देता है।

फ्यू-स्टेप इन्फरेंस (Few-Step Inference) तक विस्तार

यह ढांचा स्वाभाविक रूप से मीन फ्लो (MF) मॉडल्स तक विस्तारित होता है, जो फ्यू-स्टेप इन्फरेंस को सक्षम करते हैं। लेखक सिद्ध करते हैं कि MF मॉडल्स के लिए ऑप्टिमल एवरेज वेलोसिटी फील्ड भी एक कॉनवेक्स कॉम्बिनेशन रूप का पालन करता है, जिससे GFT को सैद्धांतिक शुद्धता से समझौता किए बिना वन-स्टेप या फ्यू-स्टेप जनरेशन के लिए लागू किया जा सकता है।

मुख्य योगदान

पेपर चार प्राथमिक योगदानों को रेखांकित करता है:

1. सैद्धांतिक अभिसरण (Theoretical Convergence): प्रमाण कि GFT मानक मान्यताओं के तहत लक्ष्य वितरण की ओर अभिसरित होता है, जिसमें एक स्पष्ट अभिसरण दर तापमान $\beta$ पर निर्भर करती है।
2. कपलिंग समानता (Coupling Equivalence): यह स्थापना कि GFT मनमाने स्रोत-लक्ष्य कपलिंग पर कंडीशन करने पर समान परिणाम देता है, जिससे इन्फरेंस दक्षता बढ़ाने वाली प्रशिक्षण तकनीकों (जैसे OT) का उपयोग संभव होता है।
3. फ्यू-स्टेप विस्तार (Few-Step Extension): फ्यू-स्टेप इन्फरेंस विधियों (जैसे, मीन फ्लो) के लिए फाइन-ट्यूनिंग में GFT के स्वाभाविक विस्तार का प्रदर्शन, बिना सैद्धांतिक गारंटियों से समझौता किए।
4. अनुभवजन्य श्रेष्ठता (Empirical Superiority): व्यापक प्रयोगात्मक सत्यापन जो दिखाता है कि GFT अन्य तरीकों की तुलना में बेहतर या तुलनीय जनरेशन क्वालिटी प्राप्त करता है, साथ ही बेहतर प्रशिक्षण स्थिरता, जनरेशन विविधता और लगातार छोटे प्रोबेबिलिटी पाथ्स प्रदान करता है।

प्रयोगात्मक परिणाम

लेखकों ने WILDS बेंचमार्क डेटासेट्स (Camelyon17, RxRx1, FMoW) और 2D सिम्युलेटेड डेटा पर क्रॉस-डोमेन और इन-डोमेन अनुकूलन सहित कई सेटिंग्स में GFT का मूल्यांकन किया।

• स्थिरता और अभिसरण: GFT ने मानक CFM फाइन-ट्यूनिंग और रिवॉर्ड-आधारित विधियों (जैसे, एडजॉइंट मैचिंग) की तुलना में काफी अधिक स्थिरता प्रदर्शित की। मेट्रिक्स जैसे इंस्टेंटेनियस वेरिएंस और एपॉक्स एवं FID के बीच स्पीयरमैन कोरिलेशन ने मोनोटोनिक, स्थिर अभिसरण का संकेत दिया।
• जनरेशन क्वालिटी: क्रॉस-डोमेन अनुकूलन में, GFT ने मानक फाइन-ट्यूनिंग के तुलनीय FID स्कोर प्राप्त किए लेकिन कम औसत पाथ लेंथ के साथ, जो अधिक कुशल इन्फरेंस का संकेत देता है। इन-डोमेन अनुकूलन में, GFT ने फुल फाइन-ट्यूनिंग की सटीकता के बराबर प्रदर्शन किया जबकि कम पाथ लेंथ बनाए रखी।
• विविधता: 2D बाइमॉडल गौसियन टारगेट्स पर, GFT और मानक CFM ने उच्च विविधता के साथ दोनों मोड्स को सफलतापूर्वक कवर किया। इसके विपरीत, एडजॉइंट मैचिंग जैसी रिवॉर्ड-आधारित विधियां मोड कोलैप्स से ग्रस्त रहीं, जिससे नमूने एक ही मोड के भीतर बहुत सघन रूप से क्लस्टर हो गए।
• दक्षता: GFT ने CFM की सिमुलेशन-फ्री ट्रेनिंग दक्षता को बरकरार रखा। जबकि एडजॉइंट मैचिंग के लिए प्रत्येक स्टेप के लिए महंगे ODE सिमुलेशन की आवश्यकता थी (जिसके परिणामस्वरूप प्रशिक्षण समय एक क्रम का अधिक था), GFT कुशल रहा।
• फ्यू-स्टेप इन्फरेंस: मीन फ्लो मॉडल्स पर लागू होने पर, GFT ने इटरेटिव मॉडल्स के तुलनीय FID प्राप्त किया लेकिन इन्फरेंस के दौरान मॉडल इवैलुएशन (NFEs) में 50-100 गुना कमी आई।
• रेगुलराइजेशन कंट्रोल: न्यूनतम तापमान $\beta$ को बदलने वाले प्रयोगों ने अंतिम FID और औसत पाथ लेंथ के बीच एक नियंत्रणीय ट्रेड-ऑफ प्रकट किया, जिससे उपयोगकर्ताओं को जनरेशन सटीकता और इन्फरेंस स्पीड के बीच संतुलन को स्पष्ट रूप से ट्यून करने की अनुमति मिली।

महत्व और दावे

पेपर GFT को वितरण शिफ्ट के तहत फ्लो मैचिंग मॉडल्स के स्केलेबल अनुकूलन के लिए एक सरल लेकिन सैद्धांतिक रूप से ठोस और व्यावहारिक रूप से प्रभावी विकल्प के रूप में प्रस्तुत करता है।

लेखक दावा करते हैं कि GFT मौजूदा साहित्य के महत्वपूर्ण अंतराल को भरता है और एक आदर्श फाइन-ट्यूनिंग विधि के लिए सभी प्रमुख आवश्यकताओं को पूरा करता है:

• सैद्धांतिक रूप से सही: यह एक नियंत्रणीय दर के साथ सही लक्ष्य वितरण की ओर अभिसरित होता है।
• स्थिर: यह अत्यधिक मोनोटोनिक अभिसरण प्रदर्शित करता है, जो मानक फाइन-ट्यूनिंग में होने वाली अस्थिरता और दोलनों (oscillations) से बचता है।
• कुशल: यह CFM की सिमुलेशन-फ्री ट्रेनिंग को बनाए रखता है और OT कपलिंग और फ्यू-स्टेप मेथड्स के माध्यम से कुशल इन्फरेंस का समर्थन करता है।
• विविध: यह प्रीट्रेन्ड मॉडल की विविधता को संरक्षित करता है, रिवॉर्ड-आधारित दृष्टिकोणों में देखे जाने वाले मोड कोलैप्स से बचता है।

हाई-क्वालिटी प्रीट्रेनिंग और फाइन-ट्यूनिंग के बीच के अंतर को पाटते हुए, GFT जटिल, डेटा-संचालित डोमेन में फ्लो-आधारित जनरेटिव मॉडल्स के अनुकूलन के लिए एक मजबूत समाधान प्रदान करता है जहाँ फाइन-ट्यूनिंग के परिणाम पर सूक्ष्म नियंत्रण की आवश्यकता होती है। यह कार्य फ्लो-आधारित जनरेटिव मॉडल्स के स्केलेबल अनुकूलन के लिए एक आधार स्थापित करता है।