🤖 machine learning

Scaling Categorical Flow Maps

यह शोध पत्र केवल चार चरणों में उच्च गुणवत्ता वाला टेक्स्ट उत्पन्न करने के लिए 2.1T टोकन पर एक 1.7B-पैरामीटर वाले मॉडल को प्रशिक्षित करके कैटेगोरिकल फ्लो मैप्स (Categorical Flow Maps) की स्केलेबिलिटी को प्रदर्शित करता है, साथ ही मूल्यांकन के लिए एक लाइकलीहुड बाउंड (likelihood bound) स्थापित करता है और लॉस वेटिंग (loss weighting) तथा टाइम शेड्यूलिंग (time scheduling) जैसी प्रशिक्षण चुनौतियों में मुख्य अंतर्दृष्टि प्रदान करता है।

मूल लेखक: Oscar Davis, Anastasiia Filippova, Pierre Ablin, Victor Turrisi, Amitis Shidani, Marco Cuturi, Louis Béthune

प्रकाशित 2026-05-11

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Oscar Davis, Anastasiia Filippova, Pierre Ablin, Victor Turrisi, Amitis Shidani, Marco Cuturi, Louis Béthune

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

मुख्य विचार: टेक्स्ट लिखने का एक नया तरीका

लंबे समय से, कंप्यूटर के लिए टेक्स्ट लिखने (जैसे चैटबॉट्स या कहानी जनरेटर) का सबसे अच्छा तरीका ऑटोरिग्रेसिव (AR) मॉडल रहा है। कल्पना कीजिए कि एक लेखक एक समय में एक शब्द बनाता है, जैसे ईंटें बिछाना। वे पहला शब्द लिखते हैं, फिर दूसरा, फिर तीसरा। यह भरोसेमंद है, लेकिन यह धीमा है क्योंकि उन्हें अगला ईंट रखने के लिए प्रत्येक ईंट के सूखने का इंतज़ार करना पड़ता है।

हाल ही में, वैज्ञानिकों ने एक अलग दृष्टिकोण अपनाया जिसे डिफ्यूजन (Diffusion) कहा जाता है। कल्पना कीजिए कि एक मूर्तिकार संगमरमर के एक ब्लॉक से शुरुआत करता है जो शोर (static) से ढका हुआ है और धीरे-धीरे शोर को हटाकर मूर्ति को प्रकट करता है। यह छवियों (images) के लिए बहुत अच्छा है, लेकिन टेक्स्ट के लिए, यह कठिन रहा है क्योंकि टेक्स्ट "ब्लॉक्स" (शब्दों) से बना होता है, न कि चिकनी मिट्टी से।

यह पेपर एक नई विधि पेश करता है जिसे कैटेगोरिकल फ्लो मैप्स (Categorical Flow Maps - CFMs) कहा जाता है। इसे एक हाई-स्पीड ट्रेन के रूप में सोचें जो एक अराजक, शोर वाले स्टेशन से सीधे एक विशिष्ट, सुंदर गंतव्य (एक आदर्श वाक्य) तक केवल कुछ स्टॉप में पहुँचती है, बजाय इसके कि वह धीरे-धीरे छैनी से तराशे या एक-एक करके ईंटें बिछाए।

समस्या: स्केल को बढ़ाना (Scaling Up)

इस "ट्रेन" पद्धति के पिछले प्रयोग छोटे मॉडलों (जैसे एक खिलौना कार) पर तो अच्छे से काम कर रहे थे, लेकिन कोई नहीं जानता था कि क्या यह एक विशाल, वास्तविक दुनिया के ट्रेन (अरबों पैरामीटर्स वाले मॉडल) को संभाल सकता है। डर यह था कि इस ट्रेन को चलाने के लिए आवश्यक गणित बहुत भारी हो जाएगा और सिस्टम को क्रैश कर देगा।

पेपर का दावा: लेखकों ने एक विशाल 1.7-बिलियन-पैरामीटर वाला मॉडल बनाया और सिद्ध किया कि यह "ट्रेन" पद्धति बड़े पैमाने पर काम करती है। वे केवल 4 स्टेप्स (स्टॉप) में उच्च गुणवत्ता वाला टेक्स्ट बनाने में सफल रहे, जबकि अन्य तरीकों को सैकड़ों स्टेप्स की आवश्यकता हो सकती है।

उन्होंने यह कैसे किया (नुस्खा)

लेखकों ने केवल मशीन चालू नहीं की; उन्हें इंजन को सावधानी से ट्यून करना पड़ा। उन्होंने दो चरणों वाली प्रक्रिया का उपयोग किया:

चरण 1: शिक्षक (प्री-ट्रेनिंग)
सबसे पहले, उन्होंने एक मानक मॉडल को शोर से टेक्स्ट की ओर बढ़ने के तरीके को समझने के लिए प्रशिक्षित किया। इसे एक मानचित्र (map) सीखने वाले शिक्षक के रूप में समझें। उन्होंने 350 से अधिक अलग-अलग सेटिंग्स का परीक्षण किया (जैसे ईंधन के मिश्रण या ट्रेन की गति को बदलना) ताकि सही नुस्खा मिल सके। उन्होंने पाया कि विभिन्न समय अनुसूचियों (time schedules) को मिलाना और मॉडल को अपनी गलतियों को कितना "सुनना" चाहिए, इसे समायोजित करना अत्यंत महत्वपूर्ण था।
चरण 2: छात्र (सेल्फ-डिस्टिलेशन)
एक बार जब शिक्षक तैयार हो गया, तो उन्होंने सेल्फ-डिस्टिलेशन (Self-Distillation) नामक तकनीक का उपयोग किया। कल्पना कीजिए कि शिक्षक छात्र को एक शॉर्टकट दिखाता है: "पूरा रास्ता मत चलो; बस शुरुआत से अंत तक छलांग लगाओ।"

छात्र सीधे शोर से अंतिम गंतव्य की भविष्यवाणी करना सीखता है, जिससे धीमी, चरण-दर-चरण यात्रा छूट जाती है।
पेपर ने पाया कि इस "शॉर्टकट" के कारण मॉडल केवल 4 स्टेप्स में विविध, उच्च-गुणवत्ता वाला टेक्स्ट उत्पन्न कर सकता है, जबकि शब्दों की विविधता (entropy) को उच्च रखता है, ताकि यह रोबोटिक या दोहराव वाला न लगे।

परिणाम: गति बनाम गुणवत्ता

पेपर टेक्स्ट उत्पन्न करने के तीन मुख्य तरीकों की तुलना करता है:

ऑटोरिग्रेसिव (ईंट बिछाने वाला): धीमा, लेकिन बहुत सटीक।
स्टैंडर्ड डिफ्यूजन (मूर्तिकार): तेज़ हो सकता है, लेकिन अक्सर टेक्स्ट की गुणवत्ता के साथ संघर्ष करता है।
कैटेगोरिकल फ्लो मैप्स (हाई-स्पीड ट्रेन): पेपर दिखाता है कि यह विधि एक "स्वीट स्पॉट" (आदर्श संतुलन) प्राप्त करती है।

मुख्य निष्कर्ष:

गति: "शॉर्टकट" प्रशिक्षण के साथ, मॉडल 4 स्टेप्स में टेक्स्ट बना सकता है जो धीमे, ईंट बिछाने वाले तरीके के लगभग समान है।
गुणवत्ता: उत्पन्न टेक्स्ट विविध है और यह बेतुकेपन में नहीं बदलता (एक सामान्य समस्या जहाँ मॉडल बार-बार एक ही शब्द दोहराने लगता है)।
स्कोरिंग: उन्होंने मॉडल के आत्मविश्वास (likelihood) को "ग्रेड" करने का एक नया गणितीय तरीका बनाया, जो दिखाता है कि यह अन्य गैर-ईंट-बिछाने वाले तरीकों के साथ प्रतिस्पर्धात्मक रूप से प्रदर्शन करता है।

चुनौतियाँ (रास्ते के झटके)

लेखक उनकी कठिनाइयों के प्रति ईमानदार हैं:

मेमोरी की भूख: इस "ट्रेन" को चलाने के लिए, कंप्यूटर को वाक्य में प्रत्येक स्थिति पर हर संभव शब्द का एक विशाल मानचित्र रखने की आवश्यकता होती है। एक बड़े मॉडल के लिए, इसके लिए बहुत अधिक मेमोरी की आवश्यकता होती है (उन्होंने इसके लिए 256 शक्तिशाली GPUs का उपयोग किया)।
ट्यूनिंग कठिन है: उन्होंने एक "ज़ीरो-शॉट" विधि का उपयोग करने की कोशिश की (एक छोटे मॉडल से सेटिंग्स को स्वचालित रूप से बड़े मॉडल पर कॉपी करना), लेकिन यह अच्छी तरह से काम नहीं किया। उन्हें अभी भी बड़े मॉडल को मैन्युअल रूप से ट्यून करना पड़ा, जो महंगा और समय लेने वाला है।

सारांश

यह पेपर सिद्ध करता है कि कैटेगोरिकल फ्लो मैप्स टेक्स्ट लिखने के पारंपरिक "ईंट-दर-ईंट" तरीके का एक व्यवहार्य, स्केलेबल विकल्प है। एक विशाल मॉडल को शोर से टेक्स्ट तक "शॉर्टकट" लेने के लिए प्रशिक्षित करके, उन्होंने केवल कुछ ही स्टेप्स में उच्च-गुणवत्ता वाला जेनरेशन हासिल किया, जिससे तेज़ और अधिक लचीले भाषा मॉडल की क्षमता खुल गई है।

तकनीकी सारांश: कैटेगोरिकल फ्लो मैप्स (Categorical Flow Maps) का स्केलिंग

समस्या विवरण (Problem Statement)

जबकि ऑटोरेग्रेसिव (AR) मॉडल लैंग्वेज मॉडलिंग में हावी हैं, निरंतर डिफ्यूजन और फ्लो मैचिंग मॉडल्स ने निरंतर मोडैलिटीज (continuous modalities) में महत्वपूर्ण लाभ प्रदर्शित किए हैं, जिसमें त्वरित सैंपलिंग और डिस्ट्रीब्यूशन टिल्टिंग शामिल है। निरंतर डेटा के लिए इन लाभों का विस्तार करना हालिया शोध का एक प्राथमिक लक्ष्य रहा है। पिछले दृष्टिकोण, जैसे कि डिस्क्रीट डिफ्यूजन (discrete diffusion), डिस्क्रीट ग्रिड पर कार्य करते हैं, जो स्थापित निरंतर तकनीकों के अनुप्रयोग को सीमित करते हैं। इसके विपरीत, निरंतर-अवस्था प्रक्रियाएं (जैसे कि कैटेगोरिकल फ्लो मैप्स या CFMs) एक निरंतर सिम्प्लेक्स या $\mathbb{R}^d$ पर संभाव्यता वितरण (probability distribution) को विकसित करके डिस्क्रीट डेटा उत्पन्न करती हैं।

हालिया प्रदर्शनों के बावजूद, जो दर्शाते हैं कि CFMs कम-स्टेप रिजीम (few-step regimes) में प्रतिस्पर्धी सैंपल क्वालिटी प्राप्त कर सकते हैं, उनकी स्केलेबिलिटी अभी भी अपुष्ट रही है। यह स्पष्ट नहीं था कि क्या CFMs उन बिलियन-पैरामीटर और ट्रिलियन-टोकन रिजीम तक स्केल कर सकते हैं जो आधुनिक लार्ज लैंग्वेज मॉडल्स (LLMs) के लिए आवश्यक हैं। एक प्राथमिक तकनीकी बाधा कंप्यूटेशनल और मेमोरी ओवरहेड है: शब्दावली आकार $|V|$ और कॉन्टेक्स्ट लेंथ $L$ के लिए, CFMs को प्रत्येक स्टेप पर $L \times |V|$ लॉगिट मैट्रिसेस को मटेरियलइज़ करने की आवश्यकता होती है, जो $|V| \approx 200,000$ और $L$ के बड़े होने पर अत्यधिक महंगा हो सकता है।

कार्यप्रणाली (Methodology)

लेखक एक 1.7B-पैरामीटर मॉडल को 2.1 ट्रिलियन टोकन पर प्रशिक्षित करने के लिए एक दो-चरणीय प्रशिक्षण पाइपलाइन का प्रस्ताव करते हैं।

1. एक फ्लो मॉडल का प्रीट्रेनिंग (Pretraining a Flow Model)

पहले चरण में एक मानक फ्लो मैचिंग मॉडल (एक डिनोइज़र) को प्रशिक्षित करना शामिल है जो संभाव्यता प्रवाह (probability flow) के ड्रिफ्ट का अनुमान लगाता है।

आर्किटेक्चर: AdaLN-Zero मॉड्यूलेशन, रोटरी पोजीशनल एम्बेडिंग्स और SwiGLU MLPs के साथ एक 1.7B-पैरामीटर ट्रांसफार्मर, जो स्थिरता के लिए लिप्सचिट्ज़ (Lipschitz) बाधाओं का पालन करता है।
ऑब्जेक्टिव: मॉडल को प्रेडिक्टेड एंडपॉइंट और वास्तविक डेटा के बीच क्रॉस-एन्ट्रॉपी लॉस (इक्वेशन 2.10) को मिनिमाइज़ करने के लिए प्रशिक्षित किया जाता है, जो प्रभावी रूप से वेक्टर फील्ड $v_\theta$ को सीखता है।
डिज़ाइन स्पेस एक्सप्लोरेशन: स्केलिंग से पहले, लेखकों ने एक 400M प्रॉक्सी मॉडल पर एक व्यापक हाइपरपैरामीटर स्वीप (350+ कॉन्फ़िगरेशन) किया। मुख्य निष्कर्षों में शामिल थे:
- टाइम शेड्यूलिंग: लीनियर और "एरर डिकोडिंग" शेड्यूल्स ( $\alpha_t = (1-\lambda)t + \lambda\gamma_t$ ) का मिश्रण, जहाँ $\lambda \approx 0.75$ इष्टतम प्रदर्शन देता है। शुद्ध एरर डिकोडिंग ( $\lambda=1$ ) प्रदर्शन पतन (performance collapse) का कारण बनती है।
- एडाप्टिव लॉस वेटिंग: प्रेडिक्शन एरर के आधार पर लॉस को रीवेट करना ( $w(x) = \text{sg}((\Delta(x) + c)^{-r})$ ) जेनेरेटिव परप्लेक्सिटी (Gen PPL) में सुधार करता है लेकिन डिस्ट्रीब्यूशनल फिडेलिटी (MAUVE*) बनाए रखने के लिए सावधानीपूर्वक ट्यूनिंग की आवश्यकता होती है।
- रैंडम अनमास्किंग: एक रैंडम प्रीफिक्स को अनमास्क करने की संभावना $p > 0$ के साथ ट्रेनिंग करना सुसंगत कंडीशनल टेक्स्ट जेनरेट करने के लिए आवश्यक था; इसके बिना, मॉडल आउट-ऑफ-डिस्ट्रीब्यूशन आउटपुट उत्पन्न करते थे।

2. कैटेगोरिकल फ्लो मैप (CFM) में सेल्फ-डिस्टिलेशन (Self-Distillation into a Categorical Flow Map)

दूसरा चरण प्रीट्रेन्ड फ्लो मॉडल को एक CFM में बदल देता है जो उच्च-गुणवत्ता वाली, कम-स्टेप जनरेशन में सक्षम है।

मैकेनिज्म: मॉडल एक फ्लो मैप $X_{s,t}$ सीखता है जो संभाव्यता द्रव्यमान (probability mass) को समय $s$ से $t$ तक एक ही स्टेप में ट्रांसपोर्ट करता है, न कि कई स्टेप्स के ऊपर ODE को इंटीग्रेट करता है।
लॉस फंक्शन्स: लेखकों ने प्रोग्रेसिव सेल्फ-डिस्टिलेशन (PSD) और स्टेबलाइज्ड यूलरियन-लॉगिट सेल्फ-डिस्टिलेशन (ESD) का मूल्यांकन किया।
- PSD: यह एक कंटीन्यूअस-टाइम शॉर्टकट मॉडल अप्रोच का उपयोग करता है।
- डाइवर्जेंस चॉइस: लेखकों ने फॉरवर्ड KL, रिवर्स KL और जेन्सन-शैनन डाइवर्जेंस (JSD) की तुलना की। उन्होंने पाया कि फॉरवर्ड KL और JSD ने लो-स्टेप रिजीम में टोकन एंट्रॉपी और MAUVE* में सुधार किया, जबकि रिवर्स KL ने अस्थिरता और मोड कोलैप्स (mode collapse) का कारण बनाया।
- स्टेबिलिटी: 1.7B स्केल पर ESD ट्रेनिंग हाई-वैरिएंस जैकोबियन एस्टीमेट्स (फाइनाइट डिफरेंस के माध्यम से गणना की गई) के कारण अस्थिर साबित हुई, जिसके कारण लेखकों ने PSD परिणामों पर ध्यान केंद्रित किया।
सैंपलिंग: अंतिम CFM एक प्रायर (prior) से सैंपलिंग करके और सीखे गए फ्लो मैप $X_{0,1}$ को एक सिंगल पास (या कुछ पास) में लागू करके टेक्स्ट जेनरेट करता है, जिससे इन्फरेंस टाइम काफी कम हो जाता है।

3. लाइक्लिहुड एस्टीमेशन (Likelihood Estimation)

मानक लाइक्लिहुड-आधारित बेंचमार्क (जैसे MCQA) पर CFMs का मूल्यांकन करने के लिए, लेखकों ने एक सेमी-डिस्क्रीट ELBO निकाला है। यह बाउंड ODE के महंगे रिवर्स इंटीग्रेशन की आवश्यकता के बिना उत्तर विकल्पों को स्कोर करने की अनुमति देता है, जो उच्च-आयामी डिस्क्रीट सेटिंग्स में विशेष रूप से महंगा होता है।

मुख्य योगदान (Key Contributions)

स्केलेबिलिटी प्रदर्शन: लेखकों ने सफलतापूर्वक एक 1.7B-पैरामीटर फ्लो मॉडल को 2.1T टोकन पर प्रशिक्षित किया और इसे एक CFM में सेल्फ-डिस्टिल किया, जिससे यह सिद्ध हुआ कि CFMs बिलियन-पैरामीटर रिजीम तक स्केल कर सकते हैं।
हाइपरपैरामीटर डिस्कवरी: 400M प्रॉक्सी पर एक व्यवस्थित स्वीप के माध्यम से, उन्होंने टाइम शेड्यूलिंग, लॉस वेटिंग और इनपुट मास्किंग के लिए मजबूत सेटिंग्स की पहचान की जो बड़े स्केल पर भी प्रभावी रहती हैं।
फ्यू-स्टेप जनरेशन: सेल्फ-डिस्टिल्ड CFM केवल 4 इन्फरेंस स्टेप्स (NFE) में विविध, उच्च-गुणवत्ता वाला टेक्स्ट जेनरेट करता है, जबकि यह निकट-डेटा-लेवल टोकन एंट्रॉपी बनाए रखता है, जो अन-डिस्टिल्ड फ्लो मॉडल की तुलना में लो-NFE रिजीम में बेहतर प्रदर्शन करता है।
लाइक्लिहुड बाउंड: सेमी-डिस्क्रीट ELBO का परिचय CFMs को अन्य नॉन-ऑटोरेग्रेसिव तरीकों के समान प्रदर्शन रेंज में रखते हुए, मानक लैंग्वेज मॉडलिंग बेंचमार्क पर मूल्यांकन करने में सक्षम बनाता है।
सीमाओं का विश्लेषण: पेपर $L \times |V|$ मैट्रिसेस को मटेरियलइज़ करने के मेमोरी बॉटलनेक और टाइम-कंडीशंड आर्किटेक्चर के लिए ज़ीरो-शॉट हाइपरपैरामीटर ट्रांसफर की चुनौतियों को स्पष्ट रूप से संबोधित करता है।

परिणाम (Results)

क्वालिटी बनाम स्टेप्स: सेल्फ-डिस्टिल्ड CFM 1024 स्टेप्स पर ~58.66 का Gen PPL प्राप्त करता है (जो AR बेसलाइन के 45.33 के प्रतिस्पर्धी है) और ~0.94 का MAUVE* स्कोर प्राप्त करता है। महत्वपूर्ण रूप से, केवल 4 स्टेप्स पर, CFM ~0.88 का MAUVE* प्राप्त करता है, जो लो-स्टेप रिजीम में AR बेसलाइन (0.7) से काफी बेहतर है।
टोकन एंट्रॉपी: सेल्फ-डिस्टिलेशन कम NFE पर भी उच्च टोकन एंट्रॉपी (विविधता) को बनाए रखता है, जबकि अन-डिस्टिल्ड मॉडल 1–2 स्टेप रिजीम में कोलैप्स (लो एंट्रॉपी) होने लगते हैं।
बेंचमार्क प्रदर्शन: MCQA बेंचमार्क (ARC-E, BoolQ, OBQA, आदि) पर, CFM अन्य नॉन-ऑटोरेग्रेसिव तरीकों (जैसे Eso-LM) के समान सटीकता प्राप्त करता है, लेकिन ELBO मैक्सिमाइजेशन पर सीधे प्रशिक्षित डिस्क्रीट डिफ्यूजन मेथड्स से नीचे रहता है।
कंडीशनल जनरेशन: सेल्फ-डिस्टिल्ड मॉडल्स लो-स्टेप रिजीम में अन-डिस्टिल्ड मॉडल की तुलना में $\Delta$ PPL (कंडीशनल परप्लेक्सिटी) में महत्वपूर्ण सुधार दिखाते हैं।

महत्व और दावे (Significance and Claims)

यह पेपर दावा करता है कि कैटेगोरिकल फ्लो मैप्स आधुनिक LLMs के स्केल पर डिस्क्रीट डेटा जनरेशन के लिए एक व्यवहार्य मार्ग हैं। 1.7B पैरामीटर्स तक सफलतापूर्वक स्केल करके, लेखक यह प्रदर्शित करते हैं कि "फ्लो मैप टूलबॉक्स"—जिसमें गाइडेंस, डिस्ट्रीब्यूशन टिल्टिंग और रिवॉर्ड फाइन-ट्यूनिंग शामिल है—अब लैंग्वेज मॉडलिंग के लिए सुलभ है।

यह कार्य सुझाव देता है कि निरंतर-अवस्था जनरेशन (continuous-state generation) कंप्यूट के बदले सैंपल क्वालिटी का व्यापार कर सकता है, जिससे पारंपरिक डिफ्यूजन या AR मॉडल्स की तुलना में बहुत कम फंक्शन इवैल्यूएशन में उच्च-गुणवत्ता वाला टेक्स्ट जनरेशन संभव होता है। हालांकि लेखक नोट करते हैं कि लाइक्लिहुड एस्टीमेशन (likelihood estimation) रिफाइनमेंट के लिए एक खुला क्षेत्र बना हुआ है (क्योंकि व्युत्पन्न ELBO एक बाउंड है), परिणाम संकेत देते हैं कि CFMs डिस्क्रीट डिफ्यूजन बेसलाइन्स के साथ प्रतिस्पर्धी प्रदर्शन प्राप्त कर सकते हैं और निरंतर फ्लो मैचिंग के लाभों को अनलॉक कर सकते हैं। पेपर निष्कर्ष निकालता है कि CFMs की स्केलेबिलिटी केवल संभावित आउटपुट जनरेशन से परे, लैंग्वेज मॉडल्स को स्टीयर करने और फाइन-ट्यून करने के नए रास्ते खोलती है।