तकनीकी सारांश: लेटेंट फ्लो मैचिंग में स्थिरता का अन्वेषण और दोहन

1. समस्या विवरण

जेनरेटिव मॉडल, विशेष रूप से डिफ्यूजन मॉडल और उनके फ्लो मैचिंग (FM) समकक्षों को प्रशिक्षित करना, कम्प्यूटेशनल रूप से महंगा बना हुआ है। इन मॉडलों को आमतौर पर विशाल डेटासेट, व्यापक कंप्यूट संसाधन, लंबे प्रशिक्षण काल और, कंडीशनल सेटअप में, व्यापक एनोटेशन की आवश्यकता होती है। जबकि फ्लो मैचिंग, ऑर्डिनरी डिफरेंशियल इक्वेशंस (ODEs) के माध्यम से नमूना पीढ़ी (sample generation) के लिए एक नियतात्मक (deterministic) संरचना प्रदान करता है जो अक्सर स्टोकेस्टिक डिफरेंशियल इक्वेशंस (SDEs) की तुलना में सैंपलिंग चरणों को कम कर देता है, पूर्ण-पैमाने के डेटासेट पर इन मॉडलों को प्रशिक्षित करने की लागत एक बाधा बनी हुई है।

इस कार्य द्वारा संबोधित केंद्रीय प्रश्न यह है कि क्या जनरेशन की गुणवत्ता से समझौता किए बिना डेटासेट के आकार और मॉडल क्षमता को महत्वपूर्ण रूप रूप से कम किया जा सकता है। विशेष रूप से, लेखक जांचते हैं कि क्या डेटा सबसैंपलिंग (प्रूनिंग), आर्किटेक्चरल परिवर्तनों और परिवर्तित प्रशिक्षण कॉन्फ़िगरेशन सहित प्रमुख गड़बड़ियों (perturbations) के तहत लेटेंट फ्लो मैचिंग (LFM) मॉडल स्थिर रहते हैं। उनका तर्क है कि यदि LFM ट्रांसपोर्ट ट्राजेक्टरीज स्वाभाविक रूप से स्थिर हैं, तो इस गुण का उपयोग अधिक कुशल प्रशिक्षण और अनुमान (inference) एल्गोरिदम प्राप्त करने के लिए किया जा सकता है।

2. कार्यप्रणाली

2.1. सैद्धांतिक आधार: फ्लो मैचिंग में स्थिरता

यह कार्य इस अवलोकन पर आधारित है कि रेक्टिफाइड फ्लो (Rectified Flow) वेग क्षेत्र (velocity field) के लिए एक क्लोज्ड-फॉर्म अभिव्यक्ति स्वीकार करता है। एक परिमित डेटासेट के लिए, इष्टतम वेग क्षेत्र प्रशिक्षण नमूनों का एक भारित योग (weighted sum) है, जहाँ भार वर्तमान अवस्था और स्केल किए गए प्रशिक्षण नमूनों के बीच वर्ग दूरी (squared distances) पर एक सॉफ्टमैक्स फंक्शन द्वारा निर्धारित होते हैं। लेखक नोट करते हैं कि यह सॉफ्टमैक्स परिवहन चरण (transport phase) के शुरुआती दौर में "पीक्ड" (peaked) हो जाता है, जिसका अर्थ है कि एक दिया गया ट्राजेक्टरी अक्सर एक विशिष्ट प्रशिक्षण नमूने द्वारा नियंत्रित होता है।

यह सैद्धांतिक अंतर्दृष्टि बताती है कि ट्रांसपोर्ट ट्राजेक्टरी काफी हद तक विशिष्ट "प्रमुख" (dominating) नमूनों की उपस्थिति से निर्धारित होती है। फलस्वरूप, गैर-प्रमुख नमूनों को हटाना (प्रूनिंग) अधिकांश ट्राजेक्टरीज को अपरिवर्तित छोड़ देगा। लेखक इसे एक असाइनमेंट मेट्रिक को परिभाषित करके औपचारिक रूप देते हैं: एक शोर $x_0$ से शुरू होने वाली ट्राजेक्टरी के लिए, वे निर्धारित करते हैं कि यह किस प्रशिक्षण नमूना $x_i$ पर समाप्त होती है। उनका अनुमान है कि यदि उस ट्राजेक्टरी के लिए प्रमुख नमूने को बनाए रखा जाता है, तो डेटा का एक बड़ा हिस्सा हटाने पर भी यह असाइनमेंट अपरिवर्तित रहता है।

2.2. डेटा प्रूनिंग रणनीतियाँ

इस स्थिरता का लाभ उठाने के लिए, लेखक तीन डेटा प्रूनिंग मानदंडों का प्रस्ताव करते हैं जो डिस्क्रिमिनेटिव मॉडलों से अनुकूलित हैं लेकिन FM ऑब्जेक्टिव (जो साझा शोर पथों और टाइमस्टेप्स का उपयोग करता है) के लिए पुनर्गठित किए गए हैं:

1. ग्रेडिएंट-आधारित स्कोरिंग (G): नमूनों को लॉस के ग्रेडिएंट नॉर्म के परिमाण के आधार पर रैंक किया जाता है।
2. लॉस-आधारित स्कोरिंग (L): नमूनों को साझा शोर पथों के साथ गणना किए गए लॉस के परिमाण के आधार पर रैंक किया जाता है।
3. क्लस्टरिंग-आधारित स्कोरिंग (C): नमूनों को एक प्री-ट्रेन्ड एम्बेडिंग स्पेस (जैसे CLIP) में क्लस्टर किया जाता है। लेखक दो विशिष्ट वेरिएंट प्रस्तावित करते हैं:
   • प्रोपोर्शनल ($C_p$): क्लस्टर के आकार के आनुपातिक रूप से नमूनों का चयन करता है।
   • बैलेंस्ड ($C_b$): वितरण संबंधी असंतुलन को कम करने के लिए प्रत्येक क्लस्टर से नमूनों की समान संख्या चुनता है।
   • कर्नेल-आधारित ($C_b^\kappa$): लेटेंट स्पेस में क्लस्टर के गौसियन कर्नेल के माध्य से मेल खाने के लिए नमूनों को ग्रीडी तरीके से चुनता है।

लेखक इन मानदंडों के "विपरीत" (सबसे कम स्कोर वाले नमूनों को चुनना) का भी मूल्यांकन करते हैं ताकि स्थिरता के दावे का परीक्षण किया जा सके।

2.3. कोर्स-टू-फाइन (C2F) इन्फरेंस

मॉडल क्षमताओं में ट्राजेक्टरीज की स्थिरता का लाभ उठाते हुए, लेखक एक दो-चरणीय इन्फरेंस रणनीति प्रस्तावित करते हैं:

1. कोर्स मॉडल (Coarse Model): एक हल्का आर्किटेक्चर (जैसे DiT-S/2) डेटा के एक प्रून्ड सबसेट पर प्रशिक्षित किया जाता है। यह ट्राजेक्टरी के पहले चरण ($t \in [0, t_0)$) को संभालता है।
2. फाइन मॉडल (Fine Model): एक उच्च-क्षमता वाला आर्किटेक्चर (जैसे DiT-XL/2), जो पूर्ण डेटासेट पर प्री-ट्रेन किया गया है, दूसरे चरण ($t \in [t_0, 1]$) को संभालता है।

"सीम" (seam) बिंदु $t_0$ पर एक सुचारू संक्रमण सुनिश्चित करने के लिए, कोर्स मॉडल को एक कंटीन्यूटी लॉस (continuity loss) के साथ फाइन-ट्यून किया जाता है। यह लॉस $t_0$ पर कोर्स और फाइन मॉडल्स के वेग क्षेत्रों के बीच अंतर को कम करता है। फाइन मॉडल की ट्राजेक्टरी का उपयोग ODE इनवर्जन (बैकवर्ड इंटीग्रेशन) के माध्यम से लक्ष्य अवस्था $x_{t_0}$ उत्पन्न करने के लिए किया जाता है, जिससे यह सुनिश्चित होता है कि कोर्स मॉडल फाइन मॉडल के पथ के साथ संरेखित होना सीखता है।

3. मुख्य योगदान

1. LFM स्थिरता का अनुभवजन्य प्रदर्शन: लेखक दिखाते हैं कि स्वतंत्र रूप से प्रशिक्षित LFM मॉडल डेटा सबसैंपिंग, आर्किटेक्चरल परिवर्तनों और विभिन्न रैंडम इनिशियलाइजेशन के तहत अत्यधिक सुसंगत ट्रांसपोर्ट ट्राजेक्टरीज की ओर अभिसरित (converge) होते हैं। यह स्थिरता FM ऑब्जेक्टिव के सैद्धांतिक गुणों से जुड़ी है।
2. व्यावहारिक प्रूनिंग एल्गोरिदम: वे FM के लिए उपयुक्त तीन प्रूनिंग मानदंड (ग्रेडिएंट, लॉस, क्लस्टरिंग) पेश करते हैं। वे प्रदर्शित करते हैं कि आक्रामक प्रूनिंग (जैसे 50-95% डेटा हटाना) प्रदर्शन को खराब नहीं करती है और वास्तव में सीमित कंप्यूट बजट के तहत कन्वर्जेंस स्पीड और जनरेशन क्वालिटी में सुधार कर सकती है।
3. कोर्स-टू-फाइन इन्फरेंस त्वरण: वे एक दो-मॉडल जनरेशन रणनीति प्रस्तावित करते है जो ट्राजेक्टरी को विभाजित करती है। यह दृष्टिकोण जनरेशन की गुणवत्ता बनाए रखते हुए (यदि स्थिरता धारणा आर्किटेक्चर के बीच बनी रहती है) महत्वपूर्ण इन्फरेंस स्पीडअप (लगभग 2.15$\times$) प्राप्त करता है।
4. बैलेंस्ड प्रूनिंग के माध्यम से बायस शमन: लेखक दिखाते हैं कि संतुलित क्लस्टरिंग प्रूनिंग ($C_b$) लेबल-अग्नोस्टिक होने के बावजूद, जेनरेटेड डेटा में पूर्वाग्रहों (जैसे लिंग, स्किन टोन) को कम करने के लिए क्लस्टर के प्रतिनिधि तत्वों को समान बनाकर काम कर सकती है।

4. प्रयोगात्मक परिणाम

इन विधियों का मूल्यांकन CelebA-HQ, FFHQ, और ImageNet-1K पर किया गया।

• प्रूनिंग के तहत स्थिरता: CelebA-HQ पर, विलगित (disjoint) सबसेट्स पर प्रशिक्षित मॉडल्स ने एक ही शोर सीड $x_0$ से शुरू होने पर दृश्य रूप से समान चित्र उत्पन्न किए। प्रून्ड और अनप्रून्ड मॉडल्स के बीच ArcFace कोसाइन सिमिलरिटी 0.79 से 0.83 के बीच थी, जो रैंडम पेयर्स (0.37) से काफी अधिक है।
• परफॉरमेंस मेट्रिक्स:
  • CelebA-HQ: बैलेंस्ड क्लस्टरिंग ($C_b$) का उपयोग करके 50% डेटा को प्रून करने से FID 24.24 (अनप्रून्ड) से थोड़ा सुधरकर 22.80 हो गया।
  • ImageNet: 75% डेटा प्रूनिंग ($pr=0.75$) के परिणामस्वरूप तेज़ कन्वर्जेंस हुआ और पूर्ण डेटासेट की तुलना में FID को बनाए रखा या थोड़ा सुधारा। 95% प्रूनिंग पर भी, मॉडल ने शुरुआत में तेजी से कन्वर्ज किया, हालांकि कुछ इटरेशन्स के बाद प्रदर्शन में गिरावट आई।
• परटर्बेशन के प्रति मजबूती:
  • आर्किटेक्चर: मॉडल क्षमता बढ़ाने (DiT-S/2 से DiT-XL/2) से ट्राजेक्टरी में न्यूनतम परिवर्तन हुआ (सिमिलरिटी $s=0.81$)। U-Net आर्किटेक्चर में स्विच करने से सिमिलरिटी ($s=0.55$) कम हो गई, लेकिन मोटे गुण (coarse attributes) सुरक्षित रहे।
  • लेटेंट स्पेस: स्थिरता लेटेंट स्पेस पैरामीट्राइजेशन (जैसे VAE सीड बदलना या इनवर्टिबल ट्रांसफॉर्म लागू करना) के प्रति संवेदनशील है, जिसने स्थिरता को तोड़ दिया।
  • ऑब्जेक्टिव: फ्लो मैचिंग से स्कोर-बेस्ड डिफ्यूजन में स्विच करने से ट्राजेक्टरीज पूरी तरह बदल गईं, जो दर्शाता है कि स्थिरता FM ऑब्जेक्टिव के लिए विशिष्ट है।
• कोर्स-टू-फाइन दक्षता: CeleбA-HQ पर, $t_0=0.7$ के साथ C2F दृष्टिकोण ने इन्फरेंस समय को 93.95 ms/इमेज (केवल फाइन) से घटाकर 43.53 ms/इमेज (लगभग 2.15$\times$ स्पीडअप) कर दिया, जबकि FID को बनाए रखा।
• फेयरनेस: बैलेंस्ड प्रूनिंग ($C_b$) ने लेबल-अग्नोस्टिक होने के बावजूद, गुणों (लिंग, आयु, स्किन टोन) के बीच यूनिफॉर्म डिस्ट्रीब्यूशन के प्रति KL डाइवर्जेंस को अनप्रून्ड मॉडल्स की तुलना में अधिक प्रभावी ढंग से कम किया।

5. महत्व और दावे

लेखक का दावा है कि देखा गया स्थिरता का गुण विशिष्ट प्रशिक्षण एल्गोरिदम का आर्टिफैक्ट नहीं है, बल्कि फिक्स्ड लेटेंट रिप्रेजेंटेशन के तहत रेक्टिफाइड फ्लो मैचिंग प्रतिमान की एक विशेषता है।

• दक्षता: प्राथमिक महत्व यह है कि जनरेशन की गुणवत्ता से समझौता किए बिना प्रशिक्षण समय और डेटा आवश्यकताओं को कम किया जा सकता है। लेखक प्रदर्शित करते हैं कि ImageNet जैसे बड़े डेटासेट के लिए, प्रूनिंग कन्वर्जेंस को तेज कर सकती है, और CelebA-HQ जैसे छोटे डेटासेट के लिए, यह जनरेशन की गुणवत्ता में सुधार कर सकती है।
• इन्फरेंस स्पीडअप: C2F दृष्टिकोण ट्राजेक्टरी को विभाजित करके इन्फरेंस लागत को कम करने का एक सिद्धांतगत तरीका प्रदान करता है, जो यह भरोसा करता है कि हाई-कैपेसिटी मॉडल को केवल अंतिम विवरणों को रिफाइन करने की आवश्यकता है।
• बायस कंट्रोल: यह कार्य सुझाव देता है कि डेटा प्रूनिंग, विशेष रूप से बैलेंस्ड क्लस्टरिंग के माध्यम से, जेनरेटेड डेटा में वितरण संबंधी असंतुलन को नियंत्रित करने और कम करने के लिए एक तंत्र के रूप में कार्य कर सकती है, जो जटिल लेबल-अवेयर रीवेटिंग के बिना निष्पक्ष जेनरेटिव मॉडल्स की ओर एक मार्ग प्रदान करती है।

पेपर निष्कर्ष निकालता है कि जबकि स्थिरता डेटा और मॉडल क्षमता परिवर्तनों के प्रति मजबूत है, यह लेटेंट स्पेस संरचना और स्वयं जेनेरेटिव ऑब्जेक्टिव के प्रति संवेदनशील है। यह अंतर्दृष्टि अभ्यासकर्ताओं को उच्च-फिडेलिटी जनरेशन बनाए रखते हुए अधिक संसाधन-कुशल पाइपलाइन डिजाइन करने की अनुमति देती है।