🤖 AI

Your GFlowNet Secretly Learns an Optimal Transport Plan

यह शोध पत्र गैर-अचक्रीय (non-acyclic) जेनेरेटिव फ्लो नेटवर्क्स (GFlowNets) और इष्टतम परिवहन (optimal transport) के बीच एक सैद्धांतिक संबंध स्थापित करता है, यह प्रदर्शित करते हुए कि एक न्यूनतम-प्रवाह (minimum-flow) GFlowNet में प्रारंभिक प्रवाह वितरण को स्थिर करने से इसका उद्देश्य कांतोरोविच इष्टतम परिवहन समस्या में परिवर्तित हो जाता है, जिससे नेटवर्क बड़े ग्राफों पर इष्टतम परिवहन योजनाओं को सीखने और नमूना लेने में सक्षम होता है।

मूल लेखक: Ian Maksimov, Nikita Morozov, Denis Belomestny, Sergey Samsonov

प्रकाशित 2026-06-05

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Ian Maksimov, Nikita Morozov, Denis Belomestny, Sergey Samsonov

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक विशाल, अराजक डिलीवरी कंपनी के मैनेजर हैं। आपके पास एक गोदाम (स्रोत/source) है जिसमें ढेर सारे पैकेज हैं जिन्हें शहर के विभिन्न घरों (लक्ष्य/target) तक पहुँचाया जाना है। शहर एक विशाल ग्रिड या एक जटिल भूलभुलैया की तरह बना हुआ है, और आप ईंधन और समय बचाने के लिए हर पैकेज को उसके गंतव्य तक सबसे छोटे संभव रास्ते से पहुँचाना चाहते हैं।

यह ऑप्टिमल ट्रांसपोर्ट (Optimal Transport) की क्लासिक समस्या है: "द्रव्यमान" (mass) को बिंदु A से बिंदु B तक ले जाने का सबसे कुशल तरीका खोजना।

अब, एक अलग उपकरण की कल्पना करें जिसे GFlowNet कहा जाता है। इसे एक ऐसे रोबोट के रूप में सोचें जो भूलभुलैया में चलना सीखता है। पूरे रास्ते की योजना एक साथ बनाने के बजाय, रोबोट कदम-दर-कदम निर्णय लेने के लिए "नियमों" (एक पॉलिसी) का एक सेट सीखता है: "यदि मैं इस चौराहे पर हूँ, तो मुझे अगली बार किस दिशा में मुड़ना चाहिए?" यह घूम-घूम कर, अपनी गलतियों से सीखकर, और अंततः शुरुआत से फिनिश लाइन तक पहुँचने का कुशल तरीका खोजकर आगे बढ़ता है।

बड़ी खोज
यह शोध पत्र एक रहस्य प्रकट करता है: रोबोट (GFlowNet) वास्तव में डिलीवरी की समस्या (Optimal Transport) को हल कर रहा है, जबकि हमने इसे स्पष्ट रूप से ऐसा करने के लिए नहीं बताया है।

यह पेपर इस संबंध को सरल उपमाओं का उपयोग करके कैसे समझाता है, यहाँ दिया गया है:

1. एक ही सिक्के के दो पहलू

आमतौर पर, हम इन्हें दो अलग-अलग कामों के रूप में देखते हैं:

डिलीवरी प्लानर (Optimal Transport): यह गणना करता है कि कुल दूरी को कम करने के लिए कौन क्या और किसे भेजता है, इसका एक आदर्श मानचित्र।
रोबोट वॉकर (GFlowNet): एक शुरुआती बिंदु से अंत तक पहुँचने के लिए नियमों का एक सेट सीखता है, जिसमें वह सबसे छोटा रास्ता खोजने की कोशिश करता है।

लेखक सिद्ध करते हैं कि यदि आप रोबोट को सही ढंग से सेट करते हैं—विशेष रूप से उसे शुरुआत में कितने पैकेज उठाने हैं (प्रारंभिक प्रवाह/initial flow) यह बताकर—तो रोबोट का सबसे छोटा रास्ता खोजने का लक्ष्य, डिलीवरी प्लानर के कुल परिवहन लागत को कम करने के लक्ष्य के गणितीय रूप से समान हो जाता है।

2. "सबसे छोटा रास्ता" का जादू

एक सामान्य भूलभुलैया में, एक रोबोट गोल-गोल घूम सकता है। लेकिन यह पेपर दिखाता है कि जब आप इस विशिष्ट प्रकार के रोबोट को यथासंभव कुशल होने के लिए प्रशिक्षित करते हैं (कुल "प्रवाह" या ट्रैफिक को कम करना), तो यह स्वाभाविक रूप से घूमना बंद कर देता है।

इसके बजाय, यह केवल सबसे छोटे रास्तों पर चलने के लिए सीख जाता है।

उपमा: कल्पना कीजिए कि रोबक एक पानी की बूंद है जो पहाड़ी से नीचे बह रही है। यदि आप चाहते हैं कि पानी जितनी जल्दी हो सके नीचे पहुँच जाए, तो यह स्वाभाविक रूप से सबसे तीव्र, सबसे छोटे मार्ग को खोज लेगा। यह पेपर दिखाता है कि रोबोट के "सीखने के नियम" उसे बिल्कुल उसी पानी की बूंद की तरह व्यवहार करने के लिए मजबूर करते हैं, जो नेटवर्क के बीच किसी भी दो बिंदुओं के लिए सबसे कुशल मार्ग खोजती है।

3. "कपलिंग" (Coupling) का रहस्य

डिलीवरी की दुनिया में, एक "कपलिंग" एक सूची है जो कहती है: "गोदाम A से पैकेज #1 घर #1 जाता है, और पैकेज #2 घर #2 जाता है।"

पेपर दिखाता है कि जब रोबोट सीखना समाप्त कर लेता है, तो उसने गुप्त रूप से यह सूची बना ली होती है। यदि आप रोबोट को एक विशिष्ट शुरुआती बिंदु से यात्रा शुरू करने के लिए कहते हैं और देखते हैं कि वह कहाँ पहुँचता है, तो उसकी यात्राओं का पैटर्न सबसे कुशल डिलीवरी योजना से पूरी तरह मेल खाता है। रोबोट केवल यह नहीं सीखता कि कैसे चलना है; वह यह भी सीखता है कि किसे, कहाँ जाना चाहिए ताकि सभी की यात्रा की कुल दूरी को कम किया जा सके।

4. यह क्यों महत्वपूर्ण है (पेपर के अनुसार)

लेखकों ने दो प्रकार के "शहरों" पर इसका परीक्षण किया:

ग्रिड सिटीज़ (Grid Cities): सरल वर्गाकार ग्रिड। यहाँ, वे रोबोट के उत्तर की तुलना एक आदर्श कंप्यूटर गणना से कर सकते हैं। रोबोट ने बिल्कुल वही उत्तर दिया जो एक आदर्श प्लानर ने दिया था।
परम्यूटेशन सिटीज़ (Permutation Cities): ये बहुत अधिक जटिल हैं, जैसे ताश की गड्डी को फेंटना जहाँ हर कार्ड एक स्थान है। जैसे-जैसे डेक बड़ा होता जाता है, एक कंप्यूटर के लिए आदर्श योजना की गणना करना असंभव हो जाता है। हालाँकि, रोबोट अभी भी एक बहुत अच्छा अनुमान सीख सकता था, जो उस जटिलता को संभाल सकता है जिससे एक मानक कैलकुलेटर क्रैश हो सकता है।

निष्कर्ष

पेपर का दावा है कि GFlowNets गुप्त रूप से ऑप्टिमल ट्रांसपोर्ट सॉल्वर हैं। एक ग्राफ के माध्यम से कुशलतापूर्वक चलने के लिए एक रोबोट को प्रशिक्षित करके, आप स्वचालित रूप से न्यूनतम लागत के साथ संभाव्यता वितरण (probability distributions) को स्थानांतरित करने की जटिल गणितीय समस्या को हल कर रहे हैं।

लेखक एक "नॉब" (एक पैरामीटर जिसे $\lambda$ कहा जाता है) का भी उल्लेख करते हैं जो रोबोट के व्यवहार को नियंत्रित करता है:

नॉब को एक तरफ घुमाएँ, और रोबोट बहुत छोटे रास्ते लेता है लेकिन शायद सही घरों तक नहीं पहुँच पाता।
इसे दूसरी तरफ घुमाएँ, और यह पूरी तरह से डिलीवर करता है लेकिन थोड़ा लंबा, घुमावदार रास्ता ले सकता है।
सही संतुलन खोजने से आप दोनों दुनिया का सर्वश्रेष्ठ प्राप्त कर सकते हैं।

संक्षेप में: आपको दो अलग-अलग उपकरणों की आवश्यकता नहीं है। यदि आप एक रोबोट को सबसे छोटा रास्ता तय करना सिखाते हैं, तो वह गुप्त रूप से दुनिया का सबसे अच्छा डिलीवरी प्लानर बन जाएगा।

तकनीकी सारांश: आपका GFlowNet गुप्त रूप से एक इष्टतम परिवहन योजना (Optimal Transport Plan) सीखता है

समस्या विवरण
जेनरेटिव फ्लो नेटवर्क (GFlowNets) को निर्देशित ग्राफ (directed graph) में स्टोकेस्टिक प्रक्षेपवक्रों (stochastic trajectories) के माध्यम से संरचित असतत वस्तुओं (structured discrete objects) को नमूना लेने (sample) के लिए डिज़ाइन किया गया है। हालांकि इन्हें शुरू में अचक्रीय ग्राफों (acyclic graphs) के लिए विकसित किया गया था, हाल के कार्यों ने इन्हें गैर-अचक्रीय वातावरण तक विस्तारित किया है। इन सेटिंग्स में, नमूनाकरण दक्षता (sampling efficiency) के लिए अपेक्षित प्रक्षेपवक्र लंबाई को कम करना महत्वपूर्ण है, जिससे "मिनिमम-फ्लो" (minimum-flow) GFlowNets का निर्माण होता है। साथ ही, ऑप्टिमल ट्रांसपोर्ट (OT) एक सिद्धांतपूर्ण ढांचा प्रदान करता है जो परिवहन लागत को कम करके संभाव्यता वितरणों की तुलना करता है, जिसे आमतौर पर रैखिक प्रोग्रामिंग (Kantorovich formulation) के माध्यम से हल किया जाता है। हालाँकि, बड़े ग्राफों पर OT को हल करना सटीक सॉल्वर का उपयोग करके अक्सर कम्प्यूटेशनल रूप से कठिन होता है।

यह शोध पत्र इन दोनों क्षेत्रों के बीच के अंतर की जांच करते हुए यह पता लगाता है कि क्या गैर-अचक्रीय GFlowNets का मिनिमम-फ्लो फॉर्मूलेशन स्वाभाविक रूप से एक ऑप्टिमल ट्रांसपोर्ट समस्या को हल करता है।

कार्यप्रणाली
लेखक गैर-अचक्रीय GFlowNets और ग्राफ पर असतत ऑप्टिमल ट्रांसपोर्ट के बीच एक सैद्धांतिक समानता स्थापित करते हैं। मुख्य कार्यप्रणाली में शामिल हैं:

सैद्धांतिक पुनर्गठन (Theoretical Reformulation): लेखक गैर-अचक्य GFlowNets के लिए मिनिमम-फ्लो अनुकूलन समस्या से शुरुआत करते हैं, जो विस्तृत संतुलन (detailed balance) और रिवॉर्ड मैचिंग बाधाओं के अधीन कुल प्रवाह (expected trajectory length के समतुल्य) को कम करता है। एक विशिष्ट स्रोत वितरण $L(u)$ से मेल खाने के लिए प्रारंभिक एज-फ्लो वितरण (स्रोत अवस्था $s_0$ से निकलने वाला प्रवाह) को फिक्स करके, वे GFlowNet उद्देश्य को एक रैखिक प्रोग्रामिंग (LP) समस्या में बदल देते हैं।
समानता प्रमाण (Equivalence Proof): वे प्रदर्शित करते हैं कि यह बाधित LP गणितीय रूप से कांतोरोविच ऑप्टिमल ट्रांसपोर्ट (Kantorovich OT) समस्या के समान है। इस फॉर्मूलेशन में:
- स्रोत वितरण $U$ के प्रारंभिक अवस्थाओं पर परिभाषित $L(u)$ है।
- लक्ष्य वितरण टर्मिनल अवस्थाओं $X$ पर परिभाषित रिवॉर्ड वितरण $R(x)$ है।
- ट्रांसपोर्ट कॉस्ट $d(u, x)$ ग्राफ में $u$ और $x$ के बीच शॉर्टेस्ट पाथ डिस्टेंस द्वारा परिभाषित है।
- इष्टतम GFlowNet पॉलिसी अंतर्निहित रूप से उस इष्टतम कपलिंग $\Pi$ को सीखती है जो कुल ट्रांसपोर्ट कॉस्ट को कम करती है।
लर्निंग एल्गोरिदम: बड़े ग्राफों पर इसे हल करने के लिए जहाँ सटीक LP अव्यवहार्य है, लेखक GFlowNet का न्यूरल पैरामीट्राइजेशन उपयोग करते हैं। वे फ्लो रेगुलराइजेशन के साथ 'ट्रैजेक्टरी बैलेंस' (TB) उद्देश्य का उपयोग करते हैं। एक प्रमुख संशोधन में फिक्स्ड इनिशियल डिस्ट्रीब्यूशन $L(u)$ को लागू करने के लिए लॉस फंक्शन में एक "लेवर्ड" (leward - बायां रिवॉर्ड) टर्म को शामिल करना है, जो लक्ष्य वितरण $R(x)$ के लिए मानक रिवॉर्ड मैचिंग के साथ काम करता है।

मुख्य योगदान

सैद्धांतिक समानता: यह शोध पत्र सिद्ध करता है कि एक मिनिमम-फ्लो GFlowNet में प्रारंभिक फ्लो डिस्ट्रीब्यूशन को फिक्स करने से इसका उद्देश्य ठीक से ग्राफ-प्रेरित शॉर्टेस्ट पाथ कॉस्ट के साथ एक कांतोरोविच OT समस्या में बदल जाता है। फलस्वरूप, इष्टतम GFlowNet फॉरवर्ड पॉलिसी एक इष्टतम ट्रांसपोर्ट प्लान को एनकोड करती है, और इससे प्राप्त प्रक्षेपवक्रों से नमूना लेना इष्टतम कपलिंग को पुनः प्राप्त करता है।
बेकमैन समस्या (Beckmann Problem) से संबंध: लेखक दिखाते हैं कि यह फॉर्मूलेशन क्लासिकल नेटवर्क फ्लो थ्योरी के साथ GFlowNets को जोड़ते हुए, डिस्क्रीट ग्राफ-आधारित बेकमैन समस्या के समकक्ष है।
स्केलेबल OT सॉल्वर: यह कार्य प्रदर्शित करता है कि GFlowNet लर्निंग फ्रेमवर्क को ग्राफ-आधारित OT समस्याओं के सन्निकटन (approximation) के लिए लागू किया जा सकता है। न्यूरल नेटवर्क और स्टोकेस्टिक प्रक्षेपवक्र नमूनाकरण का उपयोग करके, यह विधि उन कॉम्बिनेटोरियल स्पेस में स्केल करती है जहाँ सटीक OT सॉल्वर अव्यवहार्य हो जाते हैं।
शॉर्टेस्ट पाथ थ्योरी की रिकवरी: एक परिणाम के रूप में, यह निर्माण गैर-अचक्य GFlowNets के लिए पहले स्थापित शॉर्टेस्ट-पाथ थ्योरी को पुनः प्राप्त करता है, यह दर्शाता है कि इष्टतम प्रवाह केवल शॉर्टेस्ट पाथ के सबग्राफ पर समर्थित होते हैं।

प्रायोगिक परिणाम
लेखक दो वातावरणों पर अपने सिद्धांत और विधि को मान्य करते हैं:

हाइपरग्रिड वातावरण (Hypergrid Environment): छोटे हाइपरग्रिड्स ( $H=10, 15, 20$ ) पर, सीखा गया GFlowNet पॉलिसी ट्रांसपोर्ट कॉस्ट ( $OT^\star$ ) प्राप्त करता है जो क्लासिकल LP सॉल्वर्स (POT) के माध्यम से प्राप्त सटीक समाधानों से मेल खाता है। विधि बिना सैंपलिंग को बायस किए विभिन्न स्रोत वितरणों (बॉल और मून शेप्स) के माध्यम से इष्टतम कपलिंग को सफलतापूर्वक पुनः प्राप्त करती है।
परम्यूटेशन वातावरण (Permutation Environment): सिमेट्रिक ग्रुप $S_n$ (परम्यूटेशन) के केली ग्राफ (Cayley graph) पर, विधि $n=4$ और $n=8$ के लिए निकट-इष्टतम समाधान प्राप्त करती है, जहाँ सटीक समाधान सुलभ हैं। $n=20$ के लिए, जहाँ सटीक OT कठिन है, विधि फिक्स्ड-पॉइंट प्रोबेबिलिटीज में कम त्रुटि के साथ उचित सन्निकटन उत्पन्न करती है।
एब्लेशन (Ablation): रेगुलराइजेशन गुणांक $\lambda$ पर प्रयोग पुष्टि करते हैं कि प्रक्षेपवक्र लंबाई (नमूनाकरण दक्षता) और नमूनाकरण इष्टतमता (ट्रांसपोर्ट प्लान की सटीकता) के बीच ट्रेड-ऑफ होता है। कम $\lambda$ मान अधिक सटीक ट्रांसपोर्ट प्लान देते हैं लेकिन लंबी प्रक्षेपवक्र लंबाई की ओर ले जाते हैं।

महत्व और दावे
यह शोध पत्र एक "गुप्त" संबंध को उजागर करने का दावा करता है: GFlowNets, जब फ्लो को कम करने के लिए गठित किए जाते हैं, तो वे अंतर्निहित रूप से ऑप्टिमल ट्रांसपोर्ट समस्याओं को हल कर रहे होते हैं। इस कार्य का महत्व यहाँ है:

एकीकरण (Unification): यह GFlowNet लर्निंग और ऑप्टिमल ट्रांसपोर्ट को एकीकृत करने वाला एक नया सैद्धांतिक दृष्टिकोण प्रदान करता है, जो सुझाव देता है कि GFlowNets को ट्रांसपोर्ट मैप्स सीखने के एक तरीके के रूप में देखा जा सकता है।
व्यावहारिक अनुप्रयोग: यह बड़े पैमाने पर ग्राफ OT समस्याओं के लिए GFlowNet लर्निंग एल्गोरिदम (जो न्यूरल नेटवर्क और सैंपलिंग के माध्यम से स्केल करते हैं) के अनुप्रयोग को सक्षम बनाता है जो अन्यथा सटीक सॉल्वर्स के लिए कम्प्यूटेशनल रूप से अत्यधिक महंगी होती हैं।
फ्रेमवर्क विस्तार: यह जनरेशन और सैंपलिंग कार्यों से परे कम्प्यूटेशनल ऑप्टिमल ट्रांसपोर्ट के डोमेन में GFlowNet फ्रेमवर्क की व्यापकता को बढ़ाता है, जो एक स्टोकेस्टिक पॉलिसी प्रदान करता है जो न केवल यह निर्धारित करता है कि द्रव्यमान (mass) कहाँ ले जाया जाना है, बल्कि यह भी कि उसे व्यवहार्य स्थानीय चालों (local moves) के माध्यम से कैसे ले जाया जाना है जो निकट-इष्टतम पथ लागतों के साथ हो।

लेखक भविष्य के निहितार्थों के संबंध में विनम्रता बनाए रखते हैं, यह नोट करते हुए कि हालांकि यह विधि कम्प्यूटेशनल रूप से कुशल है, इष्टतमता और दक्षता के बीच संतुलन बनाने के लिए रेगुलराइजेशन गुणांक $\lambda$ को सावधानीपूर्वक ट्यून करने की आवश्यकता होती है। वे सुझाव देते हैं कि भविष्य के कार्य अननॉर्मलाइज्ड डिस्ट्रीब्यूशन के बीच ट्रांसपोर्ट मैप्स को सीखने के लिए इन विधियों को लागू करने की खोज कर सकते हैं।

1. एक ही सिक्के के दो पहलू

2. "सबसे छोटा रास्ता" का जादू

3. "कपलिंग" (Coupling) का रहस्य

4. यह क्यों महत्वपूर्ण है (पेपर के अनुसार)

निष्कर्ष

इसी तरह के और पेपर