🔢 mathematics

Scalable Bi-causal Optimal Transport via KL Relaxation and Policy Gradients

यह शोध पत्र निरंतर पथ स्थानों (continuous path spaces) में कम्प्यूटेशनल बाधाओं को दूर करने और रोबस्ट फाइनेंस एवं अनुक्रमिक अनिश्चितता मात्रा निर्धारण (sequential uncertainty quantification) में अनुप्रयोगों को सक्षम करने के लिए, एक KL-पेनलाइज्ड रिलैक्सेशन और पॉलिसी-ग्रेडिएंट एल्गोरिदम का उपयोग करके द्वि-कारणता (bi-causal) अनुकूल परिवहन कपलिंग्स की गणना करने हेतु एक स्केलेबल स्टोकेस्टिक-ऑप्टिमाइज़ेशन फ्रेमवर्क प्रस्तुत करता है।

मूल लेखक: Haoyang Cao, Jesse Hoekstra, Renyuan Xu, Yumin Xu, Ruixun Zhang

प्रकाशित 2026-05-19

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Haoyang Cao, Jesse Hoekstra, Renyuan Xu, Yumin Xu, Ruixun Zhang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को बिल्कुल इंसान की तरह चलना सिखाने की कोशिश कर रहे हैं। आपके पास एक असली इंसान के चलने का वीडियो है (जो "लक्ष्य" या "टारगेट" है), और आप चाहते हैं कि रोबोट उस हरकत की हुबहू नकल करे।

हालाँकि, एक पेच है: रोबोट भविष्य नहीं देख सकता।

यदि रोबोट इंसान के कदम रखने से पहले ही अपना पैर आगे बढ़ा देता है, सिर्फ इसलिए क्योंकि उसने "अनुमान" लगाया था कि इंसान वहां कदम रखेगा, तो यह एक तरह की धोखाधड़ी होगी। वास्तविक दुनिया में, आप केवल उसी पर प्रतिक्रिया दे सकते हैं जो पहले ही हो चुका है, न कि उस पर जो होने वाला है। इसे ही पेपर में "नॉन-एंटीसिपेटिव" (non-anticipative) बाधा कहा गया है।

यह पेपर एक बहुत कठिन गणितीय समस्या को हल करता है: दो अलग-अलग चीजों (जैसे दो शेयर बाजार, या एक कम गुणवत्ता वाला मौसम पूर्वानुमान और एक उच्च गुणवत्ता वाला पूर्वानुमान) को समय के साथ एक साथ कैसे चलाया जाए, बिना एक-दूसरे के भविष्य में झाँके?

यहाँ उनके समाधान का सरल उपमाओं (analogies) के माध्यम से विवरण दिया गया है:

1. समस्या: "असंभव जिग्सॉ पहेली" (The Impossible Jigsaw Puzzle)

अतीत में, दो जटिल, चलती हुई पैटर्न्स (जैसे 100 दिनों के शेयर बाजार के भाव) को मिलाने की कोशिश करना एक ऐसी जिग्सॉ पहेली को सुलझाने जैसा था जहाँ हर बार छूने पर पहेली के टुकड़े अपना आकार बदल लेते थे।

पुराना तरीका: शोधकर्ताओं ने रोबोट को हर एक कदम पर मानव पथ (human's path) से सटीक रूप से मेल खाने के लिए मजबूर करने की कोशिश की। यह छोटे, सरल पहेलियों के लिए तो काम करता था, लेकिन जैसे ही पहेली बड़ी या जटिल होती, कंप्यूटर क्रैश हो जाता था।
परिणाम: यह बहुत धीमा था और वित्तीय जोखिमों की भविष्यवाणी करने या मौसम के मॉडलों को बेहतर बनाने जैसी वास्तविक दुनिया की समस्याओं के लिए उपयोग करना बहुत कठिन था।

2. समाधान: "सॉफ्ट-कन्स्ट्रेंट" रिलैक्सेशन (The Soft-Constraint Relaxation)

लेखकों ने एक चतुर तरकीब निकाली। रोबोट को हर कदम पर इंसान से पूरी तरह मेल खाने के लिए मजबूर करने के बजाय (जो एक कठोर, अटूट नियम की तरह है), उन्होंने एक "पेनल्टी सिस्टम" (जुर्माना प्रणाली) पेश किया।

उपमा: कल्पना कीजिए कि एक कोच रोबोट को कह रहा है: "तुम्हें अभी इसी वक्त इंसान के कदम से बिल्कुल सटीक मेल खाने की ज़रूरत नहीं है, लेकिन अगर तुम बहुत ज्यादा भटक गए, तो तुम्हें 'जुर्माना' (penalty) देना होगा।"
गणित: उन्होंने KL Divergence नामक एक अवधारणा का उपयोग किया (इसे दो संभाव्यता बादलों के बीच का "दूरी मीटर" समझें)। यदि रोबोट का रास्ता इंसान के रास्ते से अलग दिखने लगता है, तो "जुर्माना" बढ़ता जाता है।
जादू: जुर्माना बहुत अधिक करके, रोबोट को लगभग पूरी तरह से इंसान से मेल खाने के लिए मजबूर किया जाता है, लेकिन क्योंकि नियम अब एक "कठोर दीवार" के बजाय एक "सॉफ्ट पेनल्टी" है, इसलिए कंप्यूटर "पॉलिसी ग्रेडिएंट्स" (Policy Gradients) नामक तकनीक का उपयोग करके इस पहेली को बहुत तेज़ी से हल कर सकता है (जो कि रोबोट द्वारा प्रयास और त्रुटि के माध्यम से सीखने जैसा है, जहाँ वह हर प्रयास के साथ बेहतर होता जाता है)।

3. "डायनामिक" सीखने की प्रक्रिया

यह पेपर सिद्ध करता है कि यह "सॉफ्ट" तरीका वास्तव में उसी परिणाम की ओर ले जाता है जो "हार्ड" तरीके से मिलता है, यदि आप जुर्माने को पर्याप्त रूप से बढ़ा दें।

रिकर्सिव संरचना (Recursive Structure): लेखकों ने दिखाया कि आपको पूरे 100 दिनों की सैर की योजना एक साथ बनाने की आवश्यकता नहीं है। आप बस यह निर्णय ले सकते हैं कि आप अभी कहाँ हैं, उसके आधार पर अगला कदम क्या होगा। यह एक विशाल, असंभव गणना को छोटे, प्रबंधनीय चरणों में बदल देता है (जैसे एक वीडियो गेम जहाँ आपको पूरे लेवल की योजना बनाने के बजाय केवल अगली छलांग की योजना बनानी होती है)।

4. वास्तविक दुनिया के अनुप्रयोगों का परीक्षण

लेखकों ने केवल कागज पर गणित नहीं किया; उन्होंने दो विशिष्ट वास्तविक दुनिया के परिदृश्यों पर इसका परीक्षण किया:

A. रोबस्ट हेजिंग (वित्तीय सुरक्षा)

परिदृश्य: कल्पना कीजिए कि आप एक निवेशक हैं जो बाजार की गिरावट से अपने पैसे को बचाने की कोशिश कर रहे हैं। आपको एक वित्तीय उत्पाद के लिए "सबसे खराब स्थिति वाले परिदृश्य" (worst-case scenario) के मूल्य को जानने की आवश्यकता है।
परीक्षण: उन्होंने इस विधि का उपयोग करके एक वित्तीय अनुबंध के लिए सबसे सुरक्षित मूल्य खोजने के लिए किया।
परिणाम: उनकी विधि ने लगभग आदर्श "परफेक्ट" मूल्य (1% त्रुटि के भीतर) के समान मूल्य खोजा, लेकिन इसने इसे पिछले तरीकों की तुलना में बहुत तेज़ी से किया। इसने सफलतापूर्वक उन बाजार की गिरावटों को सिम्युलेट किया जो इस नियम का सम्मान करती थीं: "आप गिरावट होने से पहले उसके बारे में नहीं जान सकते।"

B. टाइम सीरीज़ सांख्यिकीय डाउनस्केलिंग (मौसम और डेटा)

परिदृश्य: कल्पना कीजिए कि आपके पास एक धुंधला, कम-रिज़ॉल्यूशन वाला मौसम मानचित्र (जैसे एक पिक्सेलेटेड फोटो) है और आप इसे एक स्पष्ट, उच्च-रिज़ॉल्यूशन वाले मानचित्र में बदलना चाहते हैं।
समस्या: यदि आप केवल धुंधली फोटो को "शार्पन" (तेज) करने की कोशिश करते हैं, तो आप ऐसे नकली मौसम पैटर्न बना सकते हैं जो तर्कसंगना नहीं होते (जैसे कि अचानक बारिश का दिखाई देना)।
परीक्षण: उन्होंने अपने तरीके का उपयोग धुंधले डेटा को "डी-बायस" (de-bias) करने के लिए किया, यह सुनिश्चित करते हुए कि कम-रिज़ॉल्यूशन वाला डेटा वास्तविक दुनिया के सांख्यिकीय नियमों से मेल खाता हो, और फिर उच्च-रिज़ॉल्यूशन वाला संस्करण तैयार किया।
परिणाम: उनके तरीके ने उच्च-रिज़ॉल्यूशन वाले मौसम पैटर्न बनाए जो केवल अनुमान लगाने या मानक शार्पनिंग टूल्स का उपयोग करने की तुलना में बहुत अधिक सटीक और यथार्थवादी थे। इसने समय के "प्रवाह" को सही ढंग से संरक्षित किया।

सारांश

यह पेपर एक स्केलेबल, तेज़ और सटीक तरीका प्रदान करता है जिससे दो जटिल, चलती हुई प्रणालियाँ एक-दूसरे की नकल कर सकती हैं, बिना धोखाधड़ी किए (भविष्य में झाँके)।

पुराना तरीका: कठोर, धीमा और बड़े कार्यों पर विफल हो जाता है।
नया तरीका: सीखने के लिए एक "पेनल्टी सिस्टम" का उपयोग करता है, जिससे यह आधुनिक कंप्यूटरों पर चलाने के लिए पर्याप्त तेज़ हो जाता है, जबकि यह गणितीय रूप से पूर्ण रहता है।

यह एक चौकोर खांचे को गोल छेद में फिट करने के लिए हथौड़े से मारने (धीमा और नुकसानदेह) के बजाय एक लचीले सांचे का उपयोग करने जैसा है जो खांचे को स्वाभाविक रूप से फिट होने के लिए आकार देता है (तेज़ और कुशल)।

तकनीकी सारांश: KL रिलैक्सेशन और पॉलिसी ग्रेडिएंट्स के माध्यम से स्केलेबल द्वि-कारण अनुकूलतम परिवहन (Bi-causal Optimal Transport)

समस्या विवरण
द्वि-कारण अनुकूलतम परिवहन (bi-causal optimal transport - OT) गैर-पूर्वानुमानित सूचना बाधाओं (non-anticipative information constraints) के तहत स्टोकेस्टिक प्रक्रियाओं की तुलना करने के लिए एक ढांचा प्रदान करता है। शास्त्रीय OT के विपरीत, द्वि-कारण OT ऐसे स्वीकार्य कपलिंग को प्रतिबंधित करता है जिससे प्रत्येक प्रक्रिया के अगले अवस्था का सशर्त नियम केवल वर्तमान समय तक के संयुक्त इतिहास पर निर्भर करता है, यह सुनिश्चित करते हुए कि न तो प्रक्रिया भविष्य का अनुमान लगाती है और न ही दूसरी प्रक्रिया। यह संरचना मजबूत वित्त (जैसे, अनिश्चितता के तहत हेजिंग) और अनुक्रमिक अनिश्चितता परिमाणीकरण (जैसे, टाइम सीरीज़ डाउनस्केलिंग) के अनुप्रयोगों के लिए महत्वपूर्ण है।

हालाँकि, द्वि-कारण OT का व्यावहारिक अनुप्रयोग कम्प्यूटेशनल जटिलता (computational intractability) से बाधित है। मौजूदा विधियाँ, जैसे कि सिंकहॉर्न इटरेशन (Sinkhorn iterations) के साथ एंट्रोपिक रेगुलराइजेशन या फिटेड वैल्यू इटरेशन, निरंतर वितरणों (continuous distributions), उच्च अवस्था आयामों (high state dimensions) और लंबी समय सीमाओं के साथ संघर्ष करती हैं। प्राथमिक कठिनाई पाथ स्पेस (path space) पर कठोर मार्जिनल बाधाओं को लागू करने में निहित है, जो प्रत्यक्ष अनुकूलन को संयोजी रूप से कठिन और कम्प्यूटेशनल रूप से महंगा बना देता है।

कार्यप्रणाली
लेखक एक स्केलेबल स्टोकेस्टिक-ऑप्टिमाइज़ेशन फ्रेमवर्क का प्रस्ताव करते हैं जो कठोर मार्जिनल बाधाओं को एक विभेदनीय (differentiable) क्लुलबैक-लीब्लर (KL) पेनल्टी से बदल देता है, जिससे पॉलिसी-ग्रेडिएंट विधियों का उपयोग संभव हो जाता है।

KL-पेनलाइज्ड रिलैक्सेशन:
लेखक मूल द्वि-कारण OT समस्या को विस्तृत करके इसे रिलैक्स करते हैं, जिसमें मनमाने संयुक्त ट्रांज़िशन कर्नेल (joint transition kernels) शामिल हैं। वे निर्धारित मार्जिनल ट्रांज़िशन ( $T_n, T'_n$ ) और प्रारंभिक मार्जिनल्स ( $\mu_0, \mu'_0$ ) से विचलन को नियंत्रित करने के लिए एक KL-डाइवर्जेंस पेनल्टी पेश करते हैं। रिलैक्स्ड ऑब्जेक्टिव फंक्शन $W_{rel}$ अपेक्षित संचयी लागत और एक पैरामीटर $\beta$ द्वारा भारित पेनल्टी टर्म के योग को कम करता है:
$W_{rel}(\mu, \mu') = \inf_{\pi \in \Pi_{rel}} \mathbb{E}_\pi \left[ \sum_{n=0}^N c_n(Y_n, Y'_n) + \beta \cdot \text{KL penalties} \right]$
यह सूत्रीकरण समस्या की रिकर्सिव संरचना को संरक्षित करता है, जिससे डायनेमिक प्रोग्रामिंग संभव होती है।
सैद्धांतिक आधार:

डायनेमिक प्रोग्रामिंग: पेपर दोनों मूल बाधित समस्या और रिलैक्स्ड फॉर्मूलेशन के लिए डायनेमिक प्रोग्रामिंग सिद्धांतों को स्थापित करता है। यह वैश्विक पाथ-स्पेस अनुकूलन को प्रारंभिक कपलिंग और ट्रांज़िशन कर्नेल पर एक क्रमबद्ध एक-चरणीय अनुकूलन में बदल देता है।
$\Gamma$ -कन्वर्जेंस: लेखक सिद्ध करते हैं कि जैसे-जैसे पेनल्टी पैरामीटर $\beta \to \infty$ होता है, रिलैक्स्ड ऑब्जेक्टिव और इसके इष्टतम कपलिंग्स, मूल द्वि-कारण OT समस्या और इसके इष्टतम समाधानों की ओर अभिसरित (converge) होते हैं। यह सुनिश्चित करता है कि रिलैक्सेशन एक सिद्धांत-आधारित सरोगेट है न कि केवल एक ह्यूरिस्टिक।

पॉलिसी ग्रेडिएंट एल्गोरिदम:

पैरामीट्राइजेशन: कपलिंग को एक्सप्रेसिव कंडीशनल मॉडल्स, विशेष रूप से नॉर्मलाइजिंग फ्लो (न्यूरल स्प्लाइन लेयर्स) का उपयोग करके पैरामीट्राइज किया गया है, जो सटीक लॉग-घनत्व मूल्यांकन की अनुमति देते हैं।
ग्रेडिएंट प्रतिनिधित्व: लेखक रिलैक्स्ड ऑब्जेक्टिव के लिए एक स्पष्ट पॉलिसी-ग्रेडिएंट प्रतिनिधित्व व्युत्पन्न करते हैं। ग्रेडिएंट दो घटकों में विभाजित होता है:
- एक वैल्यू घटक ( $\nabla J_{val}$ ): शेष संचयी लागत द्वारा भारित, वर्तमान पैरामीटराइज्ड कपलिंग के तहत एक अपेक्षा।
- एक KL घटक ( $\nabla J_{KL}$ ): निर्धारित मार्जिनल डायनेमिक्स (रेफरेंस मेजर) के तहत एक अपेक्षा, जो पेनल्टी टर्म को कैप्चर करता है।
एस्टिमेशन: एल्गोरिदम अनबायस्ड मिनी-बैच ग्रेडिएंट एस्टिमेटर्स का उपयोग करता है। वेरिएंस को कम करने के लिए, यह सहायक प्रक्षेप पथों (auxiliary trajectories) पर फिट किए गए स्टेट-डिपेंडेंट कंट्रोल वेरिएट्स का उपयोग करता है।
अभिसरण (Convergence): पेपर गैर-एसिम्प्टोटिक कन्वर्जेंस गारंटी प्रदान करता है, जो दिखाता है कि पॉलीक-लोजियस्टिक (Polyak–Łojasiewicz) स्थितियों के तहत औसत रिग्रेट $O(1/K)$ के क्रम का है, जहाँ $K$ इटरेशन की संख्या है।

मुख्य योगदान

रिलैक्सेशन थ्योरी: मूल बाधित समस्या के लिए डायनेमिक प्रोग्रामिंग सिद्धांतों की स्थापना और मूल बाधित समस्या की ओर $\Gamma$ -कन्वर्जेंस का प्रमाण।
स्केलेबल एल्गोरिदम: एक पॉलिसी-ग्रेडिएंट एल्गोरिदम का विकास जिसमें अनबायस्ड एस्टिमेटर्स और वेरिएंस रिडक्शन शामिल है, जो बिना अवस्था या क्रिया स्थानों के विवक्तीकरण (discretization) के सामान्य मार्जिनल्स (निरंतर और उच्च-आयामी मामलों सहित) को संभालने में सक्षम है।
कन्वर्जेंस गारंटी: प्रस्तावित स्टोकेस्टिक ऑप्टिमाइज़ेशन विधि के लिए गैर-एसिम्प्टोटिक रिग्रेट बाउंड्स ( $O(1/K)$ ) का व्युत्पन्न।
अनुभवजन्य सत्यापन (Empirical Validation): सिंथेटिक सेटिंग्स और वास्तविक दुनिया के अनुप्रयोगों में दोनों मार्जिनल लॉ और टेम्पोरल डिपेंडेंस को कैप्चर करने की विधि की क्षमता का प्रदर्शन।

परिणाम
पेपर सिंथेटिक प्रयोगों और दो विशिष्ट अनुप्रयोगों के माध्यम से फ्रेमवर्क को मान्य करता है:

सिंथेटिक प्रयोग:
- विधि अनिमोडल और बाइमॉडल सेटिंग्स में दोनों गौसियन और नॉन-गौसियन/बीटा वितरणों और टेम्पोरल डिपेंडेंसी (निकटवर्ती-चरण सहसंबंधों) को सटीक रूप से रिकवर करती है।
- परफॉरमेंस मेट्रिक्स (वॉसरस्टीन डिस्टेंस, KS डिस्टेंस, स्लाइसड वॉसरस्टीन डिस्टेंस) उत्पन्न और ग्राउंड-ट्रुथ वितरणों के बीच कम विसंगति दिखाते हैं।
- विधि उच्च आयामों ( $d=3$ ) और लंबी समय सीमाओं ( $N=10$ ) के लिए प्रभावी ढंग से स्केल करती है।
मजबूत हेजिंग (वित्तीय अनुप्रयोग):
- फ्रेमवर्क का उपयोग गैर-पूर्वानुमानित बाधाओं के तहत वित्तीय डेरिवेटिव के लिए रोबस्ट सबहेजिंग कीमतें कंप्यूट करने के लिए किया जाता है।
- सीखा गया कपलिंग क्लोज्ड-फॉर्म समाधानों की तुलना में 1% से कम सापेक्ष त्रुटि के साथ निकट-इष्टतम प्राइसिंग बाउंड्स को रिकवर करता है।
- विधि मार्टिंगेल डायनेमिक्स को संरक्षित करती है और कम्प्यूटेशनल गति में मौजूदा दृष्टिकोणों (जैसे, फिटेड वैल्यू इटरेशन विधियों) से बेहतर प्रदर्शन करती है।
टाइम सीरीज़ सांख्यिकीय डाउनस्केलिंग:
- विधि का उपयोग लो-फिडेलिटी ऑब्जर्वेशन से हाई-फिडेलिटी टाइम सीरीज़ उत्पन्न करने के लिए किया जाता है, जिसमें पहले द्वि-कारण OT के माध्यम से लो-रेज़ोल्यूशन डेटा को डीबायस (debias) किया जाता है।
- "OT-एडजस्टेड" कंडीशनल डिफ्यूजन मॉडल अनकंडीशनल जनरेशन और सीधे कोर्स डेटा पर कंडीशनिंग की तुलना में काफी बेहतर प्रदर्शन करता है, जिससे कम डिस्ट्रिब्यूशनल विसंगतियां और अधिक सटीक टेम्पोरल सहसंबंध प्राप्त होते हैं।

महत्व और दावे
पेपर दावा करता है कि यह द्वि-कारण OT के लिए एक स्केलेबल कम्प्यूटेशनल दृष्टिकोण प्रदान करता है, जो सैद्धांतिक ढांचे और व्यावहारिक कार्यान्वयन के बीच के अंतर को पाटता है जहाँ गैर-पूर्वानुमानित सूचना बाधाएं आवश्यक हैं।

कम्प्यूटेशनल व्यवहार्यता: पथ-स्पेस समस्या को एक विभेदनीय स्टोकेस्टिक ऑप्टिमाइज़ेशन समस्या में बदलकर, यह विधि निरंतर वितरणों और लंबी समय सीमाओं के लिए द्वि-कारण OT को सुलभ बनाती है, जिससे पिछले तरीकों से जुड़े "डायमेंशनलिटी का अभिशाप" (curse of dimensionality) और मेमोरी लागत से निपटा जा सके।
सामान्यीकरण (Generality): फ्रेमवर्क सामान्य मार्जनल्स के लिए लागू करने योग्य है, जो केवल डिस्क्रीट या एम्पिरिकल सैंपल्स तक सीमित नहीं है।
व्यावहारिक उपयोगिता: परिणाम बताते हैं कि द्वि-कारण OT ऑपरेशंस रिसर्च और क्वांटिटेटिव फाइनेंस में बड़े अनुकूलन और अनिश्चितता-परिमाणीकरण पाइपलाइनों के लिए एक व्यावहारिक कम्प्यूटेशनल प्रिमिटिव के रूप में कार्य कर सकता है, विशेष रूप से रोबस्ट हेजिंग और सांख्यिकीय डाउनस्केलिंग जैसे कार्यों के लिए जहाँ सूचना प्रवाह का सम्मान करना निर्णय की गुणवत्ता के लिए महत्वपूर्ण है।

लेखक भविष्य के कार्य के संबंध में एक मध्यम स्वर बनाए रखते हैं, यह नोट करते हुए कि जबकि वर्तमान विश्लेषण मार्कोव सेटिंग पर केंद्रित है, फ्रेमवर्क को गैर-मार्कोवियन सेटिंग्स और पाथ-डिपेंडेंट कॉस्ट्स तक विस्तारित किया जा सकता है, हालांकि इसके लिए और अधिक सैद्धांतिक विकास की आवश्यकता होगी।

1. समस्या: "असंभव जिग्सॉ पहेली" (The Impossible Jigsaw Puzzle)

2. समाधान: "सॉफ्ट-कन्स्ट्रेंट" रिलैक्सेशन (The Soft-Constraint Relaxation)

3. "डायनामिक" सीखने की प्रक्रिया

4. वास्तविक दुनिया के अनुप्रयोगों का परीक्षण

सारांश

इसी तरह के और पेपर