🤖 machine learning

A Flow Matching Algorithm for Many-Shot Adaptation to Unseen Distributions

यह शोध पत्र फंक्शन प्रोजेक्शन फॉर फ्लो मैचिंग (FP-FM) का प्रस्ताव करता है, जो एक ऐसा एल्गोरिदम है जो वेग क्षेत्रों (velocity fields) के लिए आधार फलनों (basis functions) को सीखकर और अनुमान के समय लक्ष्य नमूनों को इस आधार पर प्रोजेक्ट करके, जनरेटिव मॉडल्स को अनदेखी वितरणों (unseen distributions) के लिए कुशल, प्रशिक्षण-मुक्त अनुकूलन सक्षम बनाता है।

मूल लेखक: Tyler Ingebrand, Ruihan Zhao, Kushagra Gupta, David Fridovich-Keil, Sandeep P. Chinchali, Ufuk Topcu

प्रकाशित 2026-05-08

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Tyler Ingebrand, Ruihan Zhao, Kushagra Gupta, David Fridovich-Keil, Sandeep P. Chinchali, Ufuk Topcu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक मास्टर शेफ है जो विशिष्ट प्रकार के व्यंजनों बनाने में अविश्वसनीय रूप से कुशल है, जैसे कि 10 अलग-अलग प्रकार के पास्ता का एक "ट्रेनिंग मेनू"। आप जानते हैं कि वह शेफ स्पैगेटी, लासग्ना और फेटुचिनी कैसे बनाता है क्योंकि आपने उन्हें कई बार बनाते हुए देखा है।

अब, कल्पना कीजिए कि आप रसोई में जाते हैं और कहते हैं, "मुझे एक नया व्यंजन चाहिए: एक ऐसा पास्ता जो एक गुप्त पारिवारिक रेसिपी से बना है जिसे मैंने आपको पहले कभी नहीं दिखाया, लेकिन यहाँ उसके अंतिम परिणाम की तीन तस्वीरें हैं।"

आज के अधिकांश AI मॉडल उन शेफ की तरह हैं जिन्हें हर बार जब आप उन्हें एक नई फोटो दिखाते हैं, तो उन्हें शुरू से फिर से प्रशिक्षित (retrain) करने की आवश्यकता होती है। उन्हें उस नए व्यंजन को चखना पड़ता है, अभ्यास करना पड़ता है और उस एक विशिष्ट भोजन को बनाने के लिए अपनी पूरी खाना पकाने की शैली को फिर से सीखना पड़ता है। इसमें बहुत समय और बहुत प्रयास लगता है।

समस्या:
यह पेपर एक नई विधि पेश करता है जिसे FP-FM (Flow Matching के लिए Function Projection) कहा जाता है। यह AI को केवल कुछ उदाहरण नमूनों (samples) का उपयोग करके, बिना पूरे मॉडल को फिर से प्रशिक्षित किए, नए, अनदेखे वितरण (जैसे कि वह गुप्त पारिवारिक पास्ता) उत्पन्न करने के लिए सिखाने की समस्या को हल करता है।

समाधान: "यूनिवर्सल रेसिपी बुक" (सार्वभौमिक रेसिपी पुस्तक)
शेफ को फिर से प्रशिक्षित करने के बजाय, FP-FM AI को अपने प्रारंभिक प्रशिक्षण के दौरान एक "यूनिवर्सल रेसिपी बुक" (जिसे basis functions कहा जाता है) बनाने के लिए सिखाता है।

चालों का पुस्तकालय (The Library of Moves): कल्पना कीजिए कि शेफ बुनियादी खाना पकाने की चालें सीखता है: "घड़ी की दिशा में चलाना," "नमक डालना," "पैन को पलटना," "धीरे-धीरे उबालना।" ये basis functions हैं।
गुप्त सॉस (गुणांक/Coefficients): जब शेफ को एक विशिष्ट व्यंजन बनाना होता है, तो वे नई चालें नहीं आविष्कार करते हैं। इसके बजाय, वे बस यह तय करते हैं कि प्रत्येक चाल का कितना उपयोग करना है।
- स्पैगेटी बनाने के लिए: "घड़ी की दिशा में चलाना (100%), नमक डालना (50%), पैन पलटना (0%)।"
- लासग्ना बनाने के लिए: "घड़ी की दिशा में चलाना (20%), नमक डालना (80%), पैन पलटना (100%)।"

FP-FM कैसे काम करता है:
जब आप AI को एक नए लक्ष्य वितरण (गुप्त पास्ता) के कुछ उदाहरण देते हैं, तो FP-FM शेफ को नए तरीके नहीं सिखाता है। इसके बजाय, यह उस नए व्यंजन को फिर से बनाने के लिए मौजूदा चालों के सही मिश्रण (coefficients) की तेजी से गणना करता है।

पेपर इस "रेसिपी बुक" के तीन संस्करण प्रस्तावित करता है, जो इस बात का संतुलन (trade-off) प्रदान करते हैं कि शेफ कितना स्मार्ट है और वह कितनी तेजी से खाना बना सकता है:

Static FP-FM (एक ही आकार का शेफ - "One-Size-Fits-All"): यह शेफ शुरुआत में ही रेसिपी का मिश्रण एक बार कैलकुलेट करता है। यह खाना पकाने में बहुत तेज़ है, लेकिन यदि नया व्यंजन बहुत जटिल या अजीब है, तो यह शेफ विवरणों को सही करने में संघर्ष कर सकता है क्योंकि यह चलते समय रेसिपी को एडजस्ट नहीं कर सकता। यह एक टाइमर सेट करने और दूर चले जाने जैसा है; यह सरल चीजों के लिए काम करता है लेकिन जटिल चीजों के लिए विफल हो जाता है।
Temporal FP-FM ("समय-जागरूक" शेफ): यह शेफ महसूस करता है कि खाना पकाने की प्रक्रिया समय के साथ बदलती है। "नमक डालने" की रेसिपी खाना पकाने की प्रक्रिया की शुरुआत में और अंत में अलग हो सकती है। यह शेफ खाना पकाने की प्रक्रिया के प्रत्येक चरण पर (हर टाइम स्टेप पर) रेसिपी मिश्रण की पुनर्गणना करता है। यह व्यंजन के स्वाद को बहुत बेहतर बनाता है और अधिक जटिल स्वादों को संभालता है, लेकिन इसके लिए समय का हिसाब रखने के लिए थोड़ी अधिक मानसिक ऊर्जा की आवश्यकता होती है।
Dynamic FP-FM ("मास्टर टेस्टर" शेफ): यह सबसे उन्नत संस्करण है। यह शेफ हर एक क्षण में बर्तन को देखता है और ठीक उसी समय के आधार पर रेसिपी को एडजस्ट करता है जैसा कि भोजन अभी दिख रहा है। यदि सॉस बहुत गाढ़ा है, तो वे उसी समय पानी डालते हैं। यदि यह बहुत पतला है, तो वे उसी समय इसे धीमी आंच पर पकाते हैं।
- परिणाम: यह शेफ सबसे सटीक, उच्च-गुणवत्ता वाले व्यंजन तैयार करता है, यहाँ तक कि सबसे अजीब, अनदेखी रेसिपी के लिए भी।
- लागत: इसके लिए सबसे अधिक मानसिक ऊर्जा (कंप्यूटेशन) की आवश्यकता होती है क्योंकि वे लगातार मिश्रण का पुनर्मूल्यांकन कर रहे होते हैं।

परिणाम:
लेखकों ने इन शेफों का परीक्षण विभिन्न "मेन्यू" पर किया:

2D Arcs & MNIST (सरल से मध्यम व्यंजन): डायनेमिक शेफ (Dynamic FP-FM) ने नए नंबरों और आकृतियों की सबसे सटीक छवियां बनाईं, जिसमें उन विवरणों को भी पकड़ा जिन्हें अन्य शेफों ने छोड़ दिया था।
ImageNet (हाई-एंड कुजीन): जटिल, उच्च-रिज़ॉल्यूशन वाली छवियों के साथ भी, डायनेमिक शेफ ने सबसे अच्छे परिणाम दिए, जिससे ऐसी छवियां बनीं जो लक्ष्य उदाहरणों के समान दिखती थीं और जिनमें कोई धुंधलापन या नकली विवरण नहीं थे।

मुख्य बातें:

पुनः प्रशिक्षण की आवश्यकता नहीं: मानक विधियों के विपरीत जिन्हें नए डेटा को घंटों तक "सीखने" की आवश्यकता होती है, FP-FM केवल एक त्वरित गणितीय गणना (एक "least-squares projection") करके सही मिश्रण खोजने के माध्यम से तुरंत अनुकूलित हो जाता है।
अनुमान लगाने से बेहतर: यह उन तरीकों से बेहतर प्रदर्शन करता है जो टेक्स्ट विवरणों या सरल लेबल के आधार पर नए व्यंजन का अनुमान लगाने की कोशिश करते हैं।
एक संतुलन (Trade-off): आप अपना शेफ चुन सकते हैं। यदि आपको गति की आवश्यकता है, तो Static संस्करण चुनें। यदि आपको उच्चतम गुणवत्ता चाहिए और आप थोड़ा अतिरिक्त कंप्यूटेशन सह सकते हैं, तो Dynamic संस्करण चुनें।

संक्षेप में, FP-FM एक नए किले को बनाने के लिए आपको लेगो ब्रिक्स (basis functions) और कुछ फोटो देने जैसा है। नए ब्रिक्स बनाने के लिए पूरी फैक्ट्री बनाने के बजाय, AI बस यह पता लगा लेता है कि उस नए किले को पूरी तरह से बनाने के लिए मौजूदा ब्रिक्स को आपस में कैसे जोड़ा जाए।

तकनीकी सारांश: फ्लो मैचिंग के लिए फंक्शन प्रोजेक्शन (FP-FM)

समस्या विवरण

जेनरेटिव मॉडलिंग, विशेष रूप से डिफ्यूजन और फ्लो मैचिंग के माध्यम से, उच्च-गुणवत्ता वाले सिंथेटिक डेटा बनाने में सफलता प्रदर्शित कर चुकी है। हालाँकि, एक महत्वपूर्ण चुनौती मेनी-शॉट अडैप्टेशन (many-shot adaptation) में बनी हुई है: एक नए, अनदेखे लक्ष्य वितरण (target distribution) को केवल उस वितरण के नमूना बिंदुओं (sample points) के सेट का उपयोग करके, बिना किसी अतिरिक्त प्रशिक्षण या फाइन-ट्यूनिंग के, कुशलतापूर्वक अनुकूलित करने की क्षमता।

पारंपरिक कंडीशनल जनरेशन अक्सर स्पष्ट कंडिशनिंग वेरिएबल्स (जैसे प्राकृतिक भाषा प्रॉम्प्ट या क्लास लेबल) पर निर्भर करता है। ज्ञात वर्गों (classes) के लिए प्रभावी होने के बावजूद, ये वेरिएबल्स तब अपर्याप्त होते हैं जब लक्ष्य वितरण विशिष्ट दृश्य उदाहरणों (जैसे किसी विशिष्ट व्यक्ति की छवियां बनाना) या जटिल मिश्रणों द्वारा परिभाषित होता है जिन्हें एक निश्चित शब्दावली द्वारा आसानी से वर्णित नहीं किया जा सकता है। इसके अलावा, मानक फाइन-ट्यूनिंग दृष्टिकोण कम्प्यूटेशनल रूप से महंगे हैं, क्योंकि प्रत्येक नए वितरण के लिए ग्रेडिएंट स्टेप्स की आवश्यकता होती है, जो लो-लेटेंसी अनुप्रयोगों में बाधा डालता है।

लेखक एक ऐसी स्थिति प्रस्तावित करते हैं जहाँ मॉडल को प्रशिक्षण के दौरान वितरणों के एक परिवार $\{p^\iota_X\}_{\iota \in \mathcal{I}}$ को सीखना चाहिए और, एक नए वितरण $p^\iota_X$ (जहाँ $\iota$ प्रशिक्षण के दौरान नहीं देखा गया था) से नमूने प्राप्त करने पर, उससे कुशलतापूर्वक नमूने उत्पन्न करने चाहिए।

कार्यप्रणाली: फंक्शन प्रोजेक्शन फॉर फ्लो मैचिंग (FP-FM)

FP-FM का मुख्य विचार समस्या को फंक्शन एनकोडर परिप्रेक्ष्य का उपयोग करके फ्लो मैचिंग ढांचे के भीतर पुनर्गठित करना है। एक एकल वेलोसिटी फील्ड सीखने या डिस्क्रीट वेरिएबल पर कंडिशन करने के बजाय, FP-FM आधार कार्यों (basis functions) के एक सेट को सीखता है जो प्रशिक्षण वितरणों द्वारा प्रेरित वेलोसिटी फील्ड्स के स्थान (space) को स्पैन (span) करते हैं।

सैद्धांतिक आधार

फ्लो मैचिंग (Flow Matching): मॉडल एक वेलोसिटी फील्ड $v(x, t) = \mathbb{E}[X_1 - X_0 | X_t = x]$ सीखता है जो एक नॉइज़ डिस्ट्रीब्यूशन $X_0 \sim \mathcal{N}(0, I)$ को एक लक्ष्य वितरण $X_1 \sim p_X$ में ले जाता है।
फंक्शन स्पेस (Function Space): वेलोसिटी फील्ड्स के सेट $\mathcal{V}$ को एक हिल्बर्ट स्पेस (Hilbert space) के रूप में माना जाता है। फ्लो मैचिंग में लॉस फंक्शन (मीन स्क्वेर्ड एरर) इस स्पेस में स्क्वेयर्ड नॉर्म (squared norm) के अनुरूप होता है।
बेसिस लर्निंग (Basis Learning): FP-FM $k$ बेसिस फंक्शन्स $\{g_i\}_{i=1}^k$ (जो न्यूरल नेटवर्क के रूप में पैरामीटराइज्ड हैं) सीखता है ताकि प्रशिक्षण वितरणों के वेलोसिटी फील्ड्स को स्पैन किया जा सके।
प्रोजेक्शन के माध्यम से अनुकूलन (Adaptation via Projection): एक नए लक्ष्य वितरण के प्रति अनुकूलित होने के लिए, एल्गोरिदम सीखे गए बेसिस पर लक्ष्य वेलोसिटी फील्ड के लीस्ट-स्क्वायर्स प्रोजेक्शन के माध्यम से गुणांक (coefficients) $c_\iota$ की गणना करता है। इस प्रोजेक्शन के लिए आवश्यक इनर प्रोडक्ट्स (inner products) को लक्ष्य वितरण से दिए गए नमूनों का उपयोग करके अनुमानित किया जाता है, जिससे वास्तविक वेलोसिटी फील्ड को विश्लेषणात्मक रूप से जानने की आवश्यकता नहीं होती।

तीन वेरिएंट्स

पेपर तीन वेरिएंट्स पेश करता है, जो एक्सप्रेसिविटी (expressivity) और कम्प्यूटेशनल लागत के बीच एक ट्रेड-ऑफ प्रदान करते हैं:

स्टैटिक FP-FM (Static FP-FM):
- तंत्र: गुणांक $c_\iota$ एक दिए गए वितरण के लिए स्थिर (constant) होते हैं। वेलोसिटी फील्ड का सन्निकटन (approximation) $v_\iota(x, t) \approx \sum c_{\iota,i} g_i(x, t)$ के रूप में किया जाता है।
- सीमा: यह मानता है कि वितरण और उसके वेलोसिटी फील्ड के बीच एक रैखिक संबंध है। चूंकि निरंतरता समीकरण (continuity equation) नॉनलीनियर है, इसलिए यह वेरिएंट अनदेखे वितरणों (मिश्रण या नए सपोर्ट) के लिए संघर्ष करता है जो प्रशिक्षण वेलोसिटी फील्ड्स के लीनियर स्पैन के बाहर होते हैं।
टेम्पोरल FP-FM (Temporal FP-FM):
- तंत्र: गुणांक समय-निर्भर (time-dependent) हो जाते हैं, $c_\iota(t)$ । सन्निकटन $v_\iota(x, t) \approx \sum c_{\iota,i}(t) g_i(x, t)$ है।
- सुधार: गुणांकों को समय के साथ बदलने की अनुमति देकर, मॉडल निरंतरता समीकरण की नॉनलीनियर डायनेमिक्स को बेहतर ढंग से कैप्चर कर सकता है, जिससे अनदेखे वितरणों के लिए सामान्यीकरण (generalization) में काफी सुधार होता है।
डायनेमिक FP-FM (Dynamic FP-FM):
- तंत्र: गुणांक स्टेट- और टाइम-डिपेंडेंट, $c_\iota(x, t)$ होते हैं। सन्निकटन $v_\iota(x, t) \approx \sum c_{\iota,i}(x, t) g_i(x, t)$ है।
- कार्यान्वयन: इसके लिए प्रत्येक स्टेट $x$ और समय $t$ पर एक लोकलाइज्ड लीस्ट-स्क्वायर्स समस्या को हल करने की आवश्यकता होती है। लेखक वास्तविक वेलोसिटी फील्ड तक सीधी पहुँच की आवश्यकता के बिना, इम्पोर्टेंस सैंपलिंग का उपयोग करके कंडीशनल एक्सपेक्टेशन $\mathbb{E}[X_1 - X_0 | X_t = x]$ को कुशलतापूर्वक कंप्यूट करने के लिए एक प्रमेय (Theorem 1) व्युत्पन्न करते हैं।
- प्रदर्शन: यह उच्चतम एक्सप्रेसिविटी प्रदान करता है, जो उच्च फिडेलिटी के साथ जटिल, अनदेखे सपोर्ट और मिश्रणों को मॉडल करने में सक्षम है।

मुख्य योगदान

एल्गोरिदमिक नवाचार: FP-FM प्रस्तावित करता है, जो स्पष्ट कंडिशनिंग वेरिएबल्स के बजाय सीधे लक्ष्य वितरण के नमूनों पर जनरेशन को कंडिशन करता है, जिससे बिना फाइन-ट्यूनिंग के अनदेखे वितरणों के लिए ज़ीरो-शॉट अडैप्टेशन संभव होता है।
सैद्धांतिक एकीकरण: फंक्शन एनकोडर्स को फ्लो मैचिंग के साथ सफलतापूर्वक एकीकृत करता है, जो वेलोसिटी फील्ड्स को एक सीखे गए बेसिस पर प्रोजेक्ट करने के लिए डिस्ट्रीब्यूशन-वेटेड इनर प्रोडक्ट्स का उपयोग करता है।
एक्सप्रेसिविटी-कंप्यूट स्पेक्ट्रम: स्टैटिक, टेम्पोरल और डायनेमिक वेरिएंट पेश करता है, जो अभ्यासकर्ताओं को उनके मॉडल की एक्सप्रेसिविटी और इंफरेंस लेटेंसी के बीच एक ट्यूनेबल ट्रेड-ऑफ प्रदान करता है।
कुशल अनुमान: स्टेट-डिपेंडेंट गुणांक गणना को संभव बनाने के लिए कंडीशनल एक्सपेक्टेशन के लिए एक मोंटे कार्लो-आधारित एस्टीमेटर (Theorem 1) व्युत्पन्न करता है।

प्रयोगात्मक परिणाम

लेखक तीन डेटासेट्स पर FP-FM का मूल्यांकन करते हैं: 2D Arcs (लो-डायमेंशनल विज़ुअलाइज़ेशन), MNIST (स्ट्रक्चर्ड इमेजेस), और ImageNet (हाई-स्केल, हाई-डायमेंशनल)। वे इसकी तुलना अनकंडीशनल फ्लो मैचिंग, कंडीशनल फ्लो मैचिंग, क्लासिफायर-गाइडेड, डिस्ट्रीब्यूशन-गाइडेड और स्टैंडर्ड फाइन-ट्यूनिंग से करते हैं।

सामान्यीकरण (Generalization): FP-FM वेरिएंट्स अनसीन डिस्ट्रीबशंस (UD) (प्रशिक्षण वर्गों का मिश्रण) और अनसीन सपोर्ट (US) (पूरी तरह से नए वर्ग या आकार) पर बेसलाइन्स से लगातार बेहतर प्रदर्शन करते हैं।
- 2D Arcs पर, डायनेमिक FP-FM उच्चतम प्रिसिजन (UD पर 0.976, US पर 0.734) प्राप्त करता है, जो फाइन-ट्यूनिंग और कंडीशनल बेसलाइन्स को काफी पीछे छोड़ देता है जो मिश्रण या नए सपोर्ट तक सीमित रह जाते हैं।
- MNIST पर, डायनेमिक FP-FM अनसीन डिजिट '9' सहित सभी स्प्लिट्स में सर्वश्रेष्ठ प्रिसिजन, रिकॉल और FID प्राप्त करता है।
- ImageNet पर, डायनेमिक FP-FM अनदेखे वर्गों के लिए उच्चतम गुणवत्ता वाली छवियां बनाता है, जबकि स्टैटिक और टेम्पोरल वेरिएंट मेमोरी बाधाओं और कम एक्सप्रेसिविटी के कारण सीमाओं को दर्शाते हैं।
दक्षता (Efficiency):
- FP-FM फाइन-ट्यूनिंग (जिसके लिए प्रत्येक नए वितरण के लिए ग्रेडिएंट डिसेंट की आवश्यकता होती है) की तुलना में काफी तेज़ है।
- डायनेमिक FP-FM, प्रति-नमूना गुणांक गणना के कारण स्टैटिक/टेम्पोरल वेरिएंट और कंडीशनल मॉडल्स की तुलना में अधिक कम्प्यूटेशनल रूप से महंगा है, लेकिन पूर्ण फाइन-ट्यूनिंग की तुलना में तेज़ रहता है।
मेट्रिक्स: परिणाम एक स्पष्ट रुझान दिखाते हैं: जैसे-जैसे गुणांक गणना की एक्सप्रेसिविटी बढ़ती है (Static $\to$ Temporal $\to$ Dynamic), अनदेखे वितरणों को कैप्चर करने की क्षमता में सुधार होता है, विशेष रूप से प्रिसिजन (डेटा मैनिफोल्ड के ओवर-एप्रोक्सिमेशन से बचने) में।

महत्व और दावे

पेपर का दावा है कि FP-FM कंडीशनल जनरेशन के मौजूदा दृष्टिकोणों के लिए एक व्यावहारिक और प्रभावी विकल्प का प्रतिनिधित्व करता है। इसका प्राथमिक महत्व निम्नलिखित में निहित है:

कंडिशनिंग वेरिएबल्स की आवश्यकता को समाप्त करना: यह मॉडल्स को केवल नमूनों द्वारा परिभाषित वितरणों को अनुकूलित करने की अनुमति देता है, जो सब्जेक्ट-ड्रिवन जनरेशन जैसे कार्यों के लिए अधिक सहज है।
कम्प्यूटेशनल दक्षता: यह फाइन-ट्यूनिंग के लिए आवश्यक महंगे ग्रेडिएंट स्टेप्स के बिना नए वितरणों के त्वरित अनुकूलन को सक्षम बनाता है।
अनसीन सपोर्ट को संभालना: फिक्स्ड वोकैबुलरी या क्लास लेबल पर निर्भर रहने वाले मानक कंडीशनल मॉडल्स के विपरीत, FP-FM फंक्शन स्पेस स्ट्रक्चर का लाभ उठाकर पूरी तरह से नए सपोर्ट (जैसे स्पाइरल डिस्ट्रीब्यूशन या एक नया डिजिट क्लास) तक विस्तार कर सकता है।

लेखक निष्कर्ष निकालते हैं कि फंक्शन स्पेस परिप्रेक्ष्य का उपयोग करके नमूनों पर स्पष्ट रूप से कंडिशन करना अनदेखे वितरणों को अनुकूलित करने के लिए एक व्यवहार्य पहला कदम है, जो फिडेलिटी और कम्प्यूटेशनल लागत के बीच संतुलन बनाने वाले समाधानों का एक स्पेक्ट्रम प्रदान करता है। वे सीमाओं को स्वीकार करते हुए नोट करते हैं कि प्रदर्शन दिए गए नमूनों की संख्या और गुणवत्ता पर निर्भर करता है और यह विधि सरल कंडीशनल मॉडल्स की तुलना में थोड़ी महंगी है।