🤖 machine learning

Latent Spherical Flow Policy for Reinforcement Learning with Combinatorial Actions

यह शोध पत्र LSFlow को प्रस्तुत करता है, जो एक नवीन सुदृढीकरण शिक्षण (reinforcement learning) ढांचा है जो जटिल कॉम्बिनेटोरियल स्थानों में व्यवहार्य क्रियाओं को कुशलतापूर्वक उत्पन्न करने के लिए एक स्टोकेस्टिक लेटेंट स्फेरिकल फ्लो पॉलिसी को एक कॉम्बिनेटोरियल ऑप्टिमाइज़ेशन सॉल्वर के साथ जोड़ता है, और एक स्मूथेड बेलमैन ऑपरेटर के माध्यम से विच्छिन्न वैल्यू लैंडस्केप्स पर विजय प्राप्त करता है।

मूल लेखक: Lingkai Kong, Anagha Satish, Hezi Jiang, Akseli Kangaslahti, Andrew Ma, Wenbo Chen, Mingxiao Song, Lily Xu, Milind Tambe

प्रकाशित 2026-06-09

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Lingkai Kong, Anagha Satish, Hezi Jiang, Akseli Kangaslahti, Andrew Ma, Wenbo Chen, Mingxiao Song, Lily Xu, Milind Tambe

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बहुत ही जटिल वीडियो गेम खेल रहे हैं जहाँ आपका लक्ष्य जीतने के लिए सबसे अच्छे संभव कदम उठाना है। अधिकांश खेलों में, आप कोई भी चाल चुन सकते हैं (जैसे किसी पात्र को बाएं, दाएं या कूदने के लिए चुनना)। लेकिन इस विशिष्ट प्रकार के खेल में—जिसे कॉम्बिनेटोरियल रीइन्फोर्समेंट लर्निंग (Combinatorial Reinforcement Learning) कहा जाता है—नियम अविश्वसनीय रूप से सख्त हैं।

आप कोई भी चाल नहीं चुन सकते। आपकी चाल एक आदर्श पहेली के टुकड़े की तरह होनी चाहिए जो एक विशाल, बदलते हुए जिग्सॉ पज़ल (jigsaw puzzle) में फिट बैठती हो। उदाहरण के लिए, आपको एक ऐसा डिलीवरी रूट चुनना पड़ सकता है जिसमें बिना नदी पार किए ठीक पाँच विशिष्ट घरों का दौरा किया गया हो, या बीमारी के परीक्षण के लिए लोगों के एक समूह को चुनना पड़ been सकता है जो एक-दूसरे को जानते हों। यदि आप एक भी गलत व्यक्ति चुनते हैं या एक गलत मोड़ लेते हैं, तो वह चाल अवैध (illegal) होगी, और गेम उसे अस्वीकार कर देगा।

समस्या यह है कि वैध चालों की संख्या इतनी विशाल है (जैसे समुद्र तट पर रेत के कणों की संख्या) कि एक कंप्यूटर मस्तिष्क उन सभी को खोजकर सबसे अच्छी चाल खोजने की कोशिश नहीं कर सकता।

पुराने तरीकों के साथ समस्या

पिछले प्रयासों में दो मुख्य खामियां थीं:

"कठोर रोबोट" (Rigid Robot) दृष्टिकोण: उन्होंने कंप्यूटर को एक सख्त, नियत (deterministic) रोबोट सिखाने की कोशिश की। यह हर बार एक ही "सर्वश्रेष्ठ" चाल की गणना करता था। लेकिन यह बुरा है क्योंकि यह कंप्यूटर को नई, रचनात्मक रणनीतियों को खोजने से रोकता है। यह एक ही ढर्रे में फंस जाता है।
"जादुई बॉक्स" (Magic Box) दृष्टिकोण: उन्होंने सीखने की प्रक्रिया के भीतर सीधे एक जटिल गणितीय सॉल्वर (solver) को शामिल करने की कोशिश की। यह काम तो करता था, लेकिन यह इतना धीमा और गणनात्मक रूप से भारी था कि कंप्यूटर सीखने के बजाय गणित करने में अधिक समय बिता देता था।

नया समाधान: LSFLOW

लेखक एक नया तरीका प्रस्तावित करते हैं जिसे LSFLOW कहा जाता है। वे एक चतुर दो-चरणीय तकनीक का उपयोग करते है जो "रचनात्मक सपनों" (creative dreaming) को "नियम-जांच" (rule-checking) से अलग करती है।

इसे एक शेफ (Chef) और एक सख्त खाद्य निरीक्षक (Food Inspector) के रूप में सोचें।

शेफ (द पॉलिसी): शेफ एक रचनात्मक कलाकार है जो एक "सपनों की दुनिया" (एक निरंतर, सुचारू स्थान) में रहता है। शेफ अभी रसोई के सख्त नियमों की चिंता नहीं करता है। इसके बजाय, शेफ बस एक "स्वाद की दिशा" या एक "मूड" चुनता है। पेपर में, इसे लेटेंट स्फेरिकल फ्लो (latent spherical flow) कहा गया है।
- उपमा: कल्पना कीजिए कि शेफ एक ग्लोब घुमा रहा है। वे किसी विशिष्ट शहर को नहीं चुनते; वे बस अपनी उंगली को एक सामान्य दिशा में रखते हैं (उत्तर, दक्षिण-पूर्व, आदि)। यह दिशा एक "लागत" (cost) या "वरीयता" (preference) का प्रतिनिधित्व करती है। क्योंकि शेफ एक ग्लोब (गोले) पर काम कर रहा है, इसलिए वे किसी भी दिशा में सुचारू रूप से और रचनात्मक रूप से इशारा कर सकते हैं।
खाद्य निरीक्षक (द सॉल्वर): एक बार जब शेफ एक दिशा की ओर इशारा कर देता है, तो वे वह दिशा खाद्य निरीक्षक को सौंप देते हैं। निरीक्षक एक सख्त नियम मानने वाला व्यक्ति है जिसके पास एक विशाल नियम पुस्तिका है। निरीक्षक उस दिशा को देखता है जिसकी ओर शेफ ने इशारा किया था और कहता है, "ठीक है, उस दिशा के आधार पर, यहाँ वह एक आदर्श, कानूनी व्यंजन है जिसे आप बना सकते हैं।"
- जादू: शेफ को कभी भी नियमों की चिंता करने की आवश्यकता नहीं होती। वे स्वतंत्र रूप से अन्वेषण करते हैं। निरीक्षक यह गारंटी देता है कि अंतिम परिणाम हमेशा वैध होता है।

यह क्यों विशेष है

रचनात्मकता और नियमों का मिलन: शेफ बहुत अभिव्यंजक हो सकता है और कई अलग-अलग "मूड" (stochastic policy) आजमा सकता है, जो कंप्यूटर को बेहतर ढंग से अन्वेषण करने और सीखने में मदद करता है। लेकिन क्योंकि निरीक्षक अंतिम चाल की जांच करता है, कंप्यूटर कभी भी अवैध चाल नहीं चलता है।
गोले की ट्रिक (The Sphere Trick): लेखकों ने महसूस किया कि शेफ के लिए, यह मायने नहीं रखता कि वे कितनी ज़ोर से इशारा करते हैं, बल्कि यह मायने रखता है कि वे किस दिशा में इशारा करते हैं। इसलिए, उन्होंने शेफ को एक गोले की सतह पर काम करने के लिए मजबूर किया। इससे उनका गणित बहुत सरल और तेज़ हो जाता है।
"सुचारू" सीखना (The "Smooth" Learning): एक पेच है। क्योंकि निरीक्षक बहुत सख्त है, यदि शेफ थोड़ा सा भी अलग इशारा करता है, तो निरीक्षक अचानक पूरी तरह से अलग कानूनी व्यंजन पर स्विच कर सकता है। यह सीखने की प्रक्रिया को "उछाल भरा" (jumpy) और अस्थिर बनाता है।
- समाधान: लेखकों ने एक "स्मूथिंग फ़िल्टर" (एक सॉफ्ट-फोकस लेंस की तरह) का आविष्कार किया। एक सटीक स्थान की ओर इशारा करने के बजाय, वे एक स्थान की ओर इशारा करते हैं और फिर उसे थोड़ा धुंधला (blur) कर देते हैं, पूछते हुए, "अगर मैं इसके पास इशारा करूँ तो आप क्या करेंगे?" यह उछाल को कम करता है, जिससे सीखने की प्रक्रिया स्थिर और तेज़ हो जाती है।

परिणाम

लेखकों ने इस "शेफ और निरीक्षक" टीम का परीक्षण कई कठिन पहेलियों पर किया:

डायनेमिक शेड्यूलिंग (Dynamic Scheduling): कार्यों को करने का सबसे अच्छा क्रम तय करना।
डायनेमिक रूटिंग (Dynamic Routing): डिलीवरी रूट की योजना बनाना।
STI टेस्टिंग (STI Testing): एक वास्तविक दुनिया की सार्वजनिक स्वास्थ्य समस्या जहाँ कंप्यूटर को यह तय करना था कि बीमारियों (जैसे एचआईवी या सिफलिस) के लिए किन लोगों का परीक्षण किया जाए ताकि कम से कम परीक्षणों के साथ सबसे अधिक मामलों को पाया जा सके।

परिणाम:

बेहतर स्कोर: नए तरीके ने मौजूदा सर्वोत्तम तरीकों को औसतन 20.6% से पछाड़ दिया। इसने मौजूदा तरीकों की तुलना में बेहतर समाधान तेज़ी से खोजे।
तेज़ प्रशिक्षण: यह पिछले सर्वोत्तम तरीके की तुलना में प्रशिक्षित होने में लगभग 3 गुना तेज़ था क्योंकि इसे लर्निंग लूप के भीतर भारी गणित करने की आवश्यकता नहीं थी।
वास्तविक दुनिया की सफलता: बीमारी परीक्षण परिदृश्य में, यह संसाधनों (परीक्षणों) के सीमित होने पर भी संक्रमित लोगों को जल्दी खोजने में बहुत बेहतर था।

सारांश

संक्षेप में, LSFLOW कंप्यूटर को जटिल, नियम-बद्ध निर्णय लेने के लिए सिखाने का एक नया तरीका है। यह एक रचनात्मक एआई को एक सुचारू, गणितीय स्थान में विचार "सपनों" की तरह बुनने देता है, और फिर उन विचारों को एक सख्त नियम-जांचकर्ता को सौंप देता है ताकि उन्हें वास्तविक, कानूनी क्रियाओं में बदला जा सके। यह संयोजन एआई को रचनात्मक (नई रणनीतियों का पता लगाने के लिए) और अनुशासित (नियम कभी न तोड़ने के लिए) दोनों होने की अनुमति देता है, जिसके परिणामस्वरूप स्मार्ट और तेज़ निर्णय लेना संभव होता है।

तकनीकी सारांश: कॉम्बिनेटोरियल एक्शन्स के साथ सुदृढीकरण सीखने (Reinforcement Learning) के लिए लेटेंट स्फेरिकल फ्लो पॉलिसी (Latent Spherical Flow Policy)

1. समस्या की परिभाषा

यह शोध पत्र कॉम्बिनेटोरियल एक्शन स्पेस (combinatorial action spaces) वाले वातावरण में सुदृढीकरण सीखने (RL) को लागू करने की चुनौती को संबोधित करता है। इन सेटिंग्स में, क्रियाएं (actions) संरचित निर्णय होती हैं (जैसे, सबसेट चयन, रूटिंग, शेड्यूलिंग) जो कठोर व्यवहार्यता बाधाओं (hard feasibility constraints) द्वारा नियंत्रित होती हैं। वैध क्रियाओं का सेट, $\mathcal{A}(s)$ , आमतौर पर समस्या के आकार के साथ तेजी से बढ़ता है, जिससे सभी वैध क्रियाओं पर प्रत्यक्ष पॉलिसी पैरामीट्राइजेशन करना कठिन हो जाता है।

मौजूदा दृष्टिकोण एक ट्रेड-ऑफ का सामना करते हैं:

सॉल्वर-आधारित वैल्यू ऑप्टिमाइजेशन: यह ग्रीडी (greedy) क्रियाओं को निकालने के लिए मिक्सड-इंटीजर प्रोग्राम्स (MIPs) में वैल्यू नेटवर्क को एम्बेड करता है। इसके लिए अक्सर विशिष्ट वैल्यू आर्किटेक्चर की आवश्यकता होती है और यह नेटवर्क की जटिलता के साथ खराब स्केल करता है।
ऑप्टिमाइजेशन-इंड्यूस्ड डिसीजन लेयर्स: यह एंड-टू-एंड स्ट्रक्चर्ड पॉलिसियों को सीखता है लेकिन आमतौर पर नियत (deterministic) पॉलिसियाँ प्रदान करता है, जो जटिल परिदृश्यों में अभिव्यक्ति (expressiveness) और अन्वेषण (exploration) को सीमित करती है।

जबकि आधुनिक जनरेटिव मॉडल (डिफ्यूजन और फ्लो-आधारित) निरंतर नियंत्रण (continuous control) में समृद्ध, मल्टीमॉडल स्टोकेस्टिक वितरणों का प्रतिनिधित्व करके सफलता दिखाते हैं, उन्हें कॉम्बिनेटोरियल RL पर सीधे लागू नहीं किया जा सकता क्योंकि वे स्वाभाविक रूप से असतत व्यवहार्यता बाधाओं (discrete feasibility constraints) को लागू नहीं करते हैं। सहज अनुकूलन से अयोग्य (infeasible) क्रियाएं प्राप्त होती हैं।

2. कार्यप्रणाली: LSFLOW

लेखक LSFLOW (लेटेंट स्फेरिकल फ्लो पॉलिसी) का प्रस्ताव करते हैं, जो एक ऐसा ढांचा है जो पॉलिसी की अभिव्यक्ति (expressiveness) को व्यवहार्यता प्रवर्तन (feasibility enforcement) से अलग करता है। मुख्य विचार एक कॉम्पैक्ट निरंतर लेटेंट स्पेस में एक स्टोकेस्टिक पॉलिसी सीखना है और व्यवहार्यता को एक कॉम्बिनेटोरियल ऑप्टिमाइजेशन (CO) सॉल्वर को सौंपना है।

A. सॉल्वर-इंड्यूस्ड स्फेरिकल फ्लो पॉलिसी

लेटेंट प्रतिनिधित्व: क्रियाओं को सीधे आउटपुट करने के बजाय, पॉलिसी लागत वेक्टर (cost vectors) $\mathbf{c} \in \mathbb{R}^m$ पर एक वितरण सीखती है।
सॉल्वर मैपिंग: एक CO सॉल्वर एक सैंपल्ड लागत वेक्टर को एक लीनियर ऑब्जेक्टिव के माध्यम से एक व्यवहार्य क्रिया में मैप करता है: $\mathbf{a}^*(s, \mathbf{c}) = \arg\min_{\mathbf{a} \in \mathcal{A}(s)} \mathbf{c}^\top \mathbf{a}$ ।
स्फेरिकल कंस्ट्रेंट: सॉल्वर की पॉजिटिव स्केल इनवेरिएंस (positive scale invariance) के कारण (अनुकूलतम क्रिया केवल $\mathbf{c}$ की दिशा पर निर्भर करती है, उसके परिमाण पर नहीं), लेटेंट स्पेस को यूनिट स्फीयर $\mathbb{S}^{m-1}$ तक सीमित कर दिया गया है।
जनरेटिव मॉडल: पॉलिसी $\pi_\theta(\mathbf{c} | s)$ को स्फेरिकल फ्लो मैचिंग का उपयोग करके मॉडल किया जाता है। यह बेस डिस्ट्रीब्यूशन को लागत दिशाओं के टार्गेट डिस्ट्रीब्यूशन में ट्रांसपोर्ट करने के लिए स्फीयर पर एक टाइम-डिपेंडेंट वेक्टर फील्ड सीखता है। यह पॉलिसी को वैध क्रियाओं के ऊपर किसी भी स्टोकेस्टिक डिस्ट्रीब्यूशन को स्पष्ट रूप से सूचीबद्ध किए बिना प्रदर्शित करने की अनुमति देता है।

B. कुशल लेटेंट-स्पेस ट्रेनिंग
पॉलिसी अपडेट के दौरान CO सॉल्वर को बार-बार कॉल करने की कम्प्यूटेशनल बाधा से बचने के लिए, LSFLOW एक्टर और क्रिटिक दोनों को सीधे लेटेंट कॉस्ट स्पेस में प्रशिक्षित करता है।

क्रिटिक: एक वैल्यू नेटवर्क $\tilde{Q}_\phi(s, \mathbf{c})$ को $Q(s, \mathbf{a}^*(s, \mathbf{c}))$ को अनुमानित करने के लिए प्रशिक्षित किया जाता है। यह सॉल्वर लागतों को अमोर्टाइज (amortize) करता है, जिसके लिए प्रत्येक पॉलिसी प्रस्ताव के बजाय प्रति एनवायरनमेंट स्टेप केवल एक सॉल्वर कॉल की आवश्यकता होती है।
पॉलिसी अपडेट: पॉलिसी को वेटेड स्फेरिकल फ्लो-मैचिंग ऑब्जेक्टिव का उपयोग करके अपडेट किया जाता है। प्रस्तावों को क्रिटिक द्वारा अनुमानित वैल्यू के आधार पर पुन: भारित (reweight) किया जाता है, जिससे वितरण को उन लागत दिशाओं की ओर स्थानांतरित किया जाता है जो उच्च-मूल्य वाली व्यवहार्य क्रियाएं प्रदान करती हैं।

C. स्मूथड बेलमैन ऑपरेटर (Smoothed Bellman Operator)
एक महत्वपूर्ण चुनौती यह है कि क्रिया से लागत दिशा का मैपिंग पीसवाइज कांस्टेंट और विच्छिन्न (discontinuous) है (सॉल्वर के कारण), जिससे अस्थिर वैल्यू लर्निंग होती है।

vMF स्मूथिंग: लेखक बेलमैन ऑपरेटर को स्मूथ करने के लिए एक वॉन मिसेस-फिशर (vMF) कर्नेल पेश करते हैं। केवल एक दिशा $\mathbf{c}$ पर वैल्यू का मूल्यांकन करने के बजाय, टार्गेट को vMF कर्नेल से सैंपल की गई दिशाओं के एक पड़ोस (neighborhood) पर औसत निकालकर कंप्यूट किया जाता है।
सैद्धांतिक गारंटी: लेखक सिद्ध करते हैं कि यह स्मूथड ऑपरेटर एक कॉन्ट्रैक्शन मैपिंग है जिसका एक अद्वितीय फिक्स्ड पॉइंट है जो लागत दिशा के संबंध में अनंत रूप से अवकलनीय ( $C^\infty$ ) है। यह स्थिर, कम-वेरिएंस वाले लर्निंग टारगेट्स सुनिश्चित करता है। वे आगे दिखाते हैं कि जैसे-जैसे कर्नेल कंसंट्रेशन पैरामीटर $\kappa \to \infty$ होता है, स्मूथड वैल्यू लगभग हर जगह वास्तविक वैल्यू फंक्शन के अभिसरण (converge) होती है।

3. प्रमुख योगदान

कॉम्बिनेटोरियल RL के लिए प्रथम फ्लो/डिफ्यूजन फ्रेमवर्क: LSFLOW पहला पॉलिसी फ्रेमवर्क है जो सॉल्वर के माध्यम से व्यवहार्यता की गारंटी देते हुए कॉम्बिनेटोरियल एक्शन स्पेस के लिए फ्लो-आधारित जनरेटिव मॉडल्स की अभिव्यक्ति को स्थानांतरित करता है।
कुशल लेटेंट-स्पेस ऑप्टिमाइजेशन: यह विधि एक ऐसा प्रशिक्षण प्रतिमान पेश करती है जहाँ एक्टर और क्रिटिक दोनों लेटेंट कॉस्ट स्पेस में काम करते हैं, जिससे ऑप्टिमाइजेशन के दौरान बार-बार सॉल्वर कॉल से बचा जा सकता है।
स्मूथिंग के माध्यम से स्थिर लर्निंग: यह सॉल्वर-प्रेरित विच्छिन्नता (discontinuities) के कारण होने वाली अस्थिरता को कम करने के लिए vMF कर्नेल का उपयोग करके एक स्मूथड बेलमैन ऑपरेटर का प्रस्ताव करता है, जो कॉन्ट्रैक्शन और स्मूथनेस के सैद्धांतिक प्रमाण प्रदान करता है।

4. प्रयोगात्मक परिणाम

लेखक सार्वजनिक बेंचमार्क और एक वास्तविक दुनिया के अनुप्रयोग पर LSFLOW का मूल्यांकन करते हैं:

सार्वजनिक बेंचमार्क: Xu et al. (2025) के चार डायनेमिक कार्यों (शेड्यूलिंग, रूटिंग, असाइनमेंट, इंटरवेंशन) पर परीक्षण किया गया। LSFLOW ने स्टेट-ऑफ-द-आर्ट बेसलाइन्स (SEQUOIA और SRL सहित) को रिवॉर्ड में औसत 20.6% से पछाड़ दिया।
वास्तविक दुनिया का अनुप्रयोग: गोनोरिया, एचआईवी, सिफलिस और क्लैमिडिया के लिए नेटवर्क-आधारित स्क्रीनिंग वाले यौन संचारित संक्रमण (STI) परीक्षण कार्य पर लागू किया गया। LSFLOW ने बेसलाइन्स की तुलना में उच्च डिटेक्शन एफिशिएंसी (मिले हुए पॉजिटिव मामलों का अंश) प्रदर्शित की, विशेष रूप से लो-टू-मिड बजट व्यवस्था में।
दक्षता: LSFLOW प्रशिक्षण समय में स्टेट-ऑफ-द-आर्ट डिटर्मिनिस्टिक स्ट्रक्चर्ड RL (SRL) बेसलाइन की तुलना में लगभग 3.0× तेज़ था, क्योंकि यह प्रशिक्षण के दौरान सॉल्वर के माध्यम से डिफरेंशिएट करने या एम्बेडेड MIPs को हल करने से बचता है।

5. महत्व और दावे

यह शोध पत्र दावा करता है कि LSFLOW कॉम्बिनेटोरियल एक्शन्स के साथ RL के लिए एक सिद्धांतिक और स्केलेबल मार्ग प्रदान करता है। व्यवहार्यता के बोझ को सॉल्वर पर स्थानांतरित करके और एक लेटेंट स्फेरिकल स्पेस में एक अभिव्यंजक स्टोकेस्टिक पॉलिसी सीखकर, यह विधि पिछले दृष्टिकोणों की सीमाओं को पार करती है जो या तो सामान्यता (सॉल्वर-आधारित विधियों) या अभिव्यक्ति (डिटरमिनिस्टिक विधियों) का त्याग करते हैं।

लेखक इस बात पर जोर देते हैं कि उनका दृष्टिकोण आधुनिक जनरेटिव पॉलिसियों (मल्टीमोडलिटी, समृद्ध अन्वेषण) के लाभों को बाधित डोमेन में सफलतापूर्वक स्थानांतरित करता है। वे सीमाओं को स्वीकार करते हैं, यह नोट करते हुए कि स्मूथिंग एक बायस-वेरिएंस ट्रेड-ऑफ पेश करती है और इन्फरेंस के लिए अभी भी सॉल्वर कॉल की आवश्यकता होती है, जो रनटाइम को और कम करने के लिए एडेप्टिव स्मूथिंग और लर्नड गाइडेंस पर भविष्य के कार्य का सुझाव देता है।