Curriculum Sampling: A Two-Phase Curriculum for Efficient Training of Flow Matching

यहाँ शोध पत्र "Curriculum Sampling: A Two-Phase Curriculum for Efficient Training of Flow Matching" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

Flow Matching (FM) मॉडल्स में, टाइमस्टेप सैंपलिंग डिस्ट्रीब्यूशन $p(t)$ का चयन एक महत्वपूर्ण डिज़ाइन निर्णय है। वर्तमान अभ्यास तेजी से स्थिर, मध्य-केंद्रित डिस्ट्रीब्यूशन (जैसे कि Logit-Normal) की ओर झुका हुआ है, जो सैंपलिंग डेंसिटी को प्रक्षेपवक्र (trajectory) के मध्य भाग ($t \approx 0.5$) के आसपास केंद्रित करता है।

लेखक इन स्थिर रणनीतियों में एक मौलिक स्पीड-क्वालिटी ट्रेड-ऑफ (speed–quality trade-off) की पहचान करते हैं:

• स्पीड (Speed): मध्य-केंद्रित सैंपलिंग उस "ट्रांसपोर्ट" चरण पर ध्यान केंद्रित करके प्रारंभिक अभिसरण (convergence) को तेज करती है जहाँ वेक्टर फील्ड अधिक सुचारू (smooth) होता है।
• क्वालिटी (Quality): हालाँकि, यह दृष्टिकोण व्यवस्थित रूप से सीमावर्ती शासन (boundary regimes) ($t \to 0$ और $t \to 1$) को कम सैंपल करता है, जिससे बारीक विवरण उत्पन्न करने और अंतिम निष्ठा (asymptotic fidelity) में निरंतर त्रुटियाँ होती हैं। फलस्वरूप, मध्य-केंद्रित सैंपलिंग के साथ प्रशिक्षित मॉडल अक्सर यूनिफॉर्म (Uniform) सैंपलिंग की तुलना में खराब अंतिम जनरेशन क्वालिटी (उच्च FID) प्राप्त करते हैं, भले ही वे शुरुआत में तेजी से अभिसरित होते हैं।

मुख्य समस्या यह है कि $p(t)$ को एक स्थिर हाइपरपैरामीटर के रूप में मानना, प्रक्षेपवक्र के दौरान सीखने के कार्य की बदलती कठिनाई को समझने में विफल रहता है।

2. कार्यप्रणाली: करिकुलम सैंपलिंग (Methodology: Curriculum Sampling)

लेखक करिकुलम सैंपलिंग (Curriculum Sampling) प्रस्तावित करते हैं, जो एक गतिशील, दो-चरणीय प्रशिक्षण अनुसूची (two-phase training schedule) है जो मॉडल की सीखने की आवश्यकताओं के अनुरूप सैंपलिंग डिस्ट्रीब्यूशन $p(t)$ को समय के साथ अनुकूलित करती है।

चरण 1: संरचना सीखना (Structure Learning - Rapid Convergence)

• डिस्ट्रीब्यूशन: Logit-Normal (LN) सैंपलिंग।
• लक्ष्य: वेक्टर फील्ड की वैश्विक संरचना (global structure) को सीखने की गति को तेज करना।
• तंत्र (Mechanism): मध्य शासन ($t \approx 0.5$) में सैंपल केंद्रित करके, मॉडल तेजी से प्राथमिक ट्रांसपोर्ट डायनेमिक्स सीखता है। लेखकों ने पाया कि इस चरण के दौरान नॉइज़-साइड शासन ($t \to 1$) की ओर अधिक अपडेट आवंटित करने से सर्वोत्तम अभिसरण गति प्राप्त होती है।

चरण 2: सीमा परिशोधन (Boundary Refinement - High Fidelity)

• डिस्ट्रीब्यूशन: यूनिफॉर्म (Uniform) सैंपलिंग।
• लक्ष्य: अवशिष्ट त्रुटियों (residual errors) को सुधारना और सूक्ष्म विवरणों को स्पष्ट करना।
• तंत्र (Mechanism): एक बार वैश्विक संरचना स्थापित हो जाने के बाद, अनुसूची यूनिफॉर्म सैंपलिंग पर स्विच हो जाती है। यह सुनिश्चित करता है कि सीमावर्ती शासन ($t \to 0$ और $t \to 1$), जो डेटा और नॉइज़ एंडपॉइंट्स के अनुरूप हैं, को पर्याप्त आवृत्ति के साथ फिर से देखा जाए ताकि उस "U-आकार" की कठिनाई प्रोफाइल को हल किया जा सके जहाँ भविष्यवाणी त्रुटियां उच्चतम होती हैं।

स्विचिंग टाइम ($T_s$)

चरणों के बीच संक्रमण को एक हाइपरपैरामीटर $T_s$ द्वारा नियंत्रित किया जाता है। लेखकों ने अनुभवजन्य रूप से निर्धारित किया कि कुल प्रशिक्षण बजट के लगभग 40% (उदाहरण के लिए, 150k में से 60k स्टेप्स) पर स्विच करना इष्टतम परिणाम देता है, जो संरचनात्मक त्वरण और आवश्यक सीमा परिशोधन के बीच संतुलन बनाता है।

3. मुख्य योगदान (Key Contributions)

1. ट्रेड-ऑफ की पहचान: शोध पत्र अनुभवजन्य रूप से प्रदर्शित करता है कि मध्य-केंद्रित सैंपलिंग (Logit-Normal) सीमा स्थितियों के कम सैंपलिंग के कारण प्रदर्शन की एक सीमा (performance ceiling) बना देती है, जबकि यूनिफॉर्म सैंपलिंग, हालांकि शुरुआत में धीमी है, बेहतर अंतिम निष्ठा (asymptotic fidelity) प्राप्त करती है।
2. लॉस लैंडस्केप विश्लेषण: प्रति-टाइमस्टेप लॉस मॉनिटरिंग के माध्यम से, लेखक एक U-आकार की कठिनाई प्रोफाइल को चित्रित करते हैं। लॉस मध्य ($t \approx 0.5$) में सबसे कम होता है और सीमाओं ($t \to 0, 1$) पर चरम पर होता है, जो यह दर्शाता है कि अंतिम तीक्ष्ण विवरणों को सीखना और प्रारंभिक नॉइज़ प्रस्थान को समझना इस उद्देश्य का सबसे चुनौतीपूर्ण हिस्सा है।
3. करिकुलम सैंपलिंग फ्रेमवर्क: वे एक सरल लेकिन प्रभावी दो-चरणीय करिकुलम पेश करते जो संरचना-केंद्रित डिस्ट्रीब्यूशन से कवरेज-केंद्रित डिस्ट्रीब्यूशन की ओर संक्रमण करता है, और टाइमस्टेप सैंपलिंग को एक स्थिर हाइपरपैरामीटर के बजाय एक विकसित होते करिकुलम के रूप में मानता है।
4. दक्षता लाभ (Efficiency Gains): यह विधि कम प्रशिक्षण चरणों के साथ उच्च गुणवत्ता प्राप्त करती है, जो अभिसरण की गति को अंतिम गुणवत्ता की सीमा से प्रभावी ढंग से अलग करती है।

4. प्रयोगात्मक परिणाम (Experimental Results)

इस पद्धति का मूल्यांकन क्लास-अनकंडीशनल इमेज जनरेशन के लिए 55M पैरामीटर वाले U-Net आर्किटेक्चर का उपयोग करके CIFAR-10 पर किया गया।

• प्रदर्शन (FID):
  • यूनिफॉर्म बेसलाइन: सर्वश्रेष्ठ FID 3.85 (150k स्टेप्स पर प्राप्त)।
  • करिकुलम सैंपलिंग (LN $\to$ Uniform): सर्वश्रेष्ठ FID 3.22।
  • सुधार: यह मानक यूनिफॉर्म बेसलाइन की तुलना में FID में 16.4% सापेक्ष सुधार और स्थिर Logit-Normal बेसलाइन्स की तुलना में 33% सुधार का प्रतिनिधित्व करता है।
• अभिसरण गति (Convergence Speed):
  • करिकुलम सैंपलिंग पद्धति ने अपनी चरम प्रदर्शन क्षमता 100k स्टेप्स पर प्राप्त की, जबकि यूनिफॉर्म बेसलाइन को 150k स्टेप्स की आवश्यकता थी।
  • इसके परिणामस्वरूप सर्वोत्तम संभव गुणवत्ता तक पहुँचने के लिए प्रशिक्षण चरणों में 33% की कमी आती है।
• एब्लेशन निष्कर्ष (Ablation Findings):
  • बहुत जल्दी स्विच करना (जैसे 50k) मध्य-केंद्रित चरण के त्वरण का लाभ उठाने में विफल रहता है।
  • बहुत देर से स्विच करना (जैसे 70k+) सीमा परिशोधन के लिए अपर्याप्त समय छोड़ देता है, जिससे FID अपने न्यूनतम स्तर तक नहीं पहुँच पाता है।
  • चरण 2 में U-आकार के मोड डिस्ट्रीब्यूशन (U-shaped Mode distribution) में संक्रमण करना यूनिफॉर्म में संक्रमण करने की तुलना में कम प्रभावी था, जो सुझाव देता है कि ट्रांसपोर्ट पाथ की कीमत पर सीमाओं को ओवर-सैंपल करने के बजाय व्यापक कवरेज अधिक महत्वपूर्ण है।

5. महत्व और प्रभाव (Significance and Impact)

• प्रतिमान परिवर्तन (Paradigm Shift): यह शोध पत्र इस धारणा को चुनौती देता है कि टाइमस्टेप सैंपलिंग को एक निश्चित हाइपरपैरामीटर होना चाहिए। इसके बजाय, यह गतिशील, अनुकूलित प्रशिक्षण प्रोटोकॉल के पक्ष में तर्क देता है जहाँ सैंपलिंग डिस्ट्रीब्यूशन सीखने के कार्य की बदलती कठिनाई के अनुरूप विकसित होता है।
• व्यावहारिक दक्षता: प्रस्तावित करिकुलम दक्षता के मामले में एक "फ्री लंच" (free lunch) प्रदान करता है, जो काफी कम समय में उच्च गुणवत्ता वाली छवियां प्रदान करता है। यह बड़े पैमाने के जनरेटिव मॉडल प्रशिक्षण के लिए विशेष रूप से मूल्यवान है जहाँ कंप्यूट लागत अधिक होती है।
• व्यापक निहितार्थ: निष्कर्ष बताते हैं कि इन्फरेंस-टाइम (inference-time) टाइमस्टेप आवंटन को भी गैर-समान रूप से अनुकूलित किया जा सकता है, जिससे उन टाइम-रेजीम में अधिक रिज़ॉल्यूशन समर्पित किया जा सके जहाँ सीखा गया वेक्टर फील्ड अनुमान लगाना सबसे कठिन है, जिससे पुन: प्रशिक्षण (retraining) के बिना जनरेशन की गुणवत्ता में सुधार हो सकता है।

निष्कर्षतः, करिकुलम सैंपलिंग बुद्धिमानी से सीखने की प्रक्रिया को क्रमबद्ध करके Flow Matching में स्पीड-क्वालिटी ट्रेड-ऑफ को हल करता है: पहले मध्य-केंद्रित सैंपलिंग के माध्यम से वैश्विक संरचना में महारत हासिल करना, फिर यूनिफॉर्म कवरेज के माध्यम से विवरणों को परिष्कृत करना, जिसके परिणामस्वरूप अत्याधुनिक दक्षता और निष्ठा प्राप्त होती है।