📊 statistics

Learning sufficient low-dimensional structures through conditional optimal transport

यह शोध पत्र SDR-COT प्रस्तुत करता है, जो एक नवीन पर्याप्त आयामी न्यूनीकरण (sufficient dimension reduction) विधि है जो प्रतिक्रिया के पूर्ण सशर्त नियम (full conditional law) को संरक्षित करने वाले निम्न-आयामी सहचर निरूपणों (low-dimensional covariate representations) को सीखने के लिए सशर्त इष्टतम परिवहन (conditional optimal transport) और प्रवाह मिलान (flow matching) का लाभ उठाता है, जो यूक्लिडियन और कार्यात्मक डेटा दोनों पर सैद्धांतिक निरंतरता और प्रतिस्पर्धी प्रदर्शन प्रदर्शित करता है, विशेष रूप से तब जब सूचना सशर्त माध्य से परे तक विस्तृत होती है।

मूल लेखक: Kaiqiang Alan Zeng, Efstathia Bura

प्रकाशित 2026-07-22

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Kaiqiang Alan Zeng, Efstathia Bura

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक जटिल मशीन को समझने की कोशिश कर रहे हैं, जैसे कि एक विशाल, गूँजता हुआ रोबोट, जिसे आप केवल उसके कंट्रोल पैनल पर लगे डायलों को देखकर समझ रहे हैं। उस रोबोट के पास हज़ारों नॉब्स (covariates) हैं और वह एक एकल, जटिल आउटपुट या फिर एक संपूर्ण वक्र (curve) या तरंग (wave) जैसा एक जटिल, बहु-आयामी आउटपुट भी दे सकता है (response)। दशकों से, वैज्ञानिकों ने "सीक्रेट सॉस" (secret sauce) खोजने की कोशिश की है—नियंत्रणों का एक छोटा, सरल सेट, यदि आप उन्हें जान लें, तो वे आपको सब कुछ बता देंगे कि रोबोट कैसे व्यवहार करता है। इस क्षेत्र को सफिशिएंट डायमेंशन रिडक्शन (Sufficient Dimension Reduction - SDR) कहा जाता है। इसे एक विशाल सूप रेसिपी में उन कुछ आवश्यक सामग्रियों को खोजने के रूप में सोचें जो वास्तव में स्वाद निर्धारित करती हैं, उन नमक के डिब्बे को अनदेखा करते हुए जो बस वहीं रखा हुआ है और कुछ नहीं कर रहा है।

परंपरागत रूप से, वैज्ञानिक रोबोट के "औसत" (average) व्यवहार को देखते थे। यदि रोबक आमतौर पर नॉब A को घुमाने पर C-नोट की ध्वनि निकालता है, तो उन्होंने माना कि नॉब A महत्वपूर्ण है। लेकिन क्या होगा यदि रोबोट अराजक (chaotic) हो? क्या होगा यदि नॉब A को घुमाने से कभी-कभी वह C-नोट बजाता है, कभी-कभी G-नोट, और कभी-कभी वह चिल्लाने लगता है? औसत उबाऊ लग सकता है, लेकिन उस अराजकता का पैटर्न ही असली रहस्य रखता है। यहीं पर ऑप्टिमल ट्रांसपोर्ट (Optimal Transport) काम आता है। कल्पना कीजिए कि आपके पास रेत का एक ढेर है (रोबोट के संभावित आउटपुट) और आप उसे एक नए आकार में बदलना चाहते हैं। ऑप्टिमल ट्रांसपोर्ट उस गणित को कहते हैं जो यह खोजने का तरीका है कि रेत के हर एक कण को उसके नए स्थान तक ले जाने का सबसे ऊर्जा-कुशल तरीका क्या है। यह केवल इस बारे में नहीं है कि रेत औसतन कहाँ पहुँचती है; यह इस बारे में है कि रेत का प्रत्येक कण वास्तव में कौन सा रास्ता लेता है।

अब, यहाँ बड़ा सवाल है। यदि रोबोट का व्यवहार नियंत्रणों के एक गुप्त, सरल सेट पर निर्भर करता है, तो क्या वह गुप्त संकेत रेत के चलने के तरीके में दिखाई देगा? क्या हम उन चुनिसे नियंत्रणों को केवल रेत के सबसे कुशल पथों को देखकर पा सकते हैं?

यह शोध पत्र, जिसका शीर्षक है "लर्निंग सफिशिएंट लो-डायमेंशनल स्ट्रक्चर्स थ्रू कंडिशनल ऑप्टिमल ट्रांसपोर्ट" (Learning sufficient low-dimensional structures through conditional optimal transport), ठीक इसी सवाल का जवाब देने के लिए SDR-COT नामक एक नई विधि पेश करता है। वियना के एक विश्वविद्यालय में काम करने वाले लेखक यह प्रस्तावित करते हैं कि केवल औसत को देखने के बजाय, हमें डेटा के "ट्रैफिक फ्लो" (यातायात प्रवाह) को देखना चाहिए। वे रोबोट के नॉब्स और उसके आउटपुट के बीच के संबंध को एक ट्रैफिक सिस्टम के रूप में देखते हैं जहाँ "कारें" (डेटा पॉइंट्स) एक शुरुआती बिंदु से गंतव्य तक जा रही हैं।

इस पत्र की मुख्य खोज एक गणितीय प्रमाण है कि यदि एक सरलीकृत सेट मौजूद है, तो ट्रैफिक का प्रवाह स्वाभाविक रूप से उसे प्रकट कर देगा। विशेष रूप से, वे दिखाते हैं कि रेत का "वेग" (velocity)—यानी प्रत्येक कण कितनी तेज़ी से और किस दिशा में चलता है—रोबोट के नॉब्स पर केवल उस गुप्त, सरल सेट के माध्यम से निर्भर करता है। यह ऐसा ही है जैसे ट्रैफिक पुलिस को एहसास हो जाए कि सड़क में कितने भी लेन क्यों न हों, स्पीड लिमिट साइन केवल इस बात की परवाह करते हैं कि आप किस एग्जिट रैंप का उपयोग कर रहे हैं, न कि आपकी कार के रंग की।

लेखक "हिल्बर्ट स्पेस" (Hilbert spaces)—जो कि हमारे द्वारा बनाए गए सपाट विमानों के केवल फैंसी, अनंत-आयामी संस्करण हैं—और "कंडिशनल ऑप्टिमल ट्रांसपोर्ट" से जुड़े भारी-भरकम गणित का उपयोग करके इसे सिद्ध करते हैं। वे दिखाते हैं कि रेत को शुरू से अंत तक निर्देशित करने वाले मानचित्र (map) को दो भागों में विभाजित किया जा सकता है: एक भाग जो सरल नियंत्रणों को देखता है, और दूसरा भाग जो रेत के विशिष्ट कण को संभालता है। इसका अर्थ यह है कि हमें रोबोट के पूरे, अस्त-व्यस्त इतिहास को जानने की आवश्यकता नहीं है; हमें बस उन सरल नियंत्रणों को सीखने की आवश्यकता है जो ट्रैफिक को संचालित करते हैं।

इसकी जांच करने के लिए, टीम ने एक कंप्यूटर सिमुलेशन बनाया। उन्होंने ज्ञात रहस्यों वाले नकली रोबोट बनाए और उन्हें अपने नए तरीके में डाला। परिणाम उत्साहजनक थे: SDR-COT उन गुप्त नियंत्रणों को खोजने में सक्षम था, यहाँ तक कि तब भी जब रोबोट का व्यवहार उन तरीकों से अनिश्चित और अप्रत्याशित था जिन्हें पुराने तरीकों ने मिस कर दिया था। यह विशेष रूप से तब प्रभावी रहा जब "रहस्य" केवल औसत व्यवहार के बारे में नहीं था, बल्कि डेटा के उतार-चढ़ाव और पैटर्न के बारे में था।

यह पत्र एक और पेचीदा समस्या को भी हल करता है: क्या होगा यदि रोबोट के नॉब्स केवल संख्याएँ नहीं हैं, बल्कि पूरे वक्र (curves) या तरंगें (waves) हैं (जैसे कि एक ध्वनि तरंग या समय के साथ तापमान का ग्राफ)? क्या होगा यदि रोबोट का आउटपुट भी एक साधारण संख्या या संख्याओं की सरल सूची के बजाय एक जटिल वक्र या तरंग है? लेखक दिखाते हैं कि उनका तरीका अभी भी काम करता है, यह सिद्ध करते हुए कि "ट्रैफिक फ्लो" का तर्क तब भी बना रहता है जब डेटा अनंत रूप से जटिल हो। उन्होंने केवल अनुमान नहीं लगाया; उन्होंने कठोर गणितीय प्रमाण प्रदान किए कि उनकी विधि 'कंसिस्टेंट' (consistent) है, जिसका अर्थ है कि यदि आप इसे पर्याप्त डेटा देते हैं, तो यह अंततः वास्तविक गुप्त नियंत्रणों को खोज लेगी।

संक्षेप में, यह शोध पत्र जटिल डेटा को सरल बनाने का एक नया, ज्यामितीय तरीका प्रदान करता है। यह सुझाव देता है कि डेटा पॉइंट्स के एक अवस्था से दूसरी अवस्था में "प्रवाह" (flow) को देखकर, हम उन छिपे हुए, निम्न-आयामी नियमों को उजागर कर सकते हैं जो उन्हें नियंत्रित करते हैं, भले ही वे नियम औसत के बजाय अराजकता में छिपे हों। यह एक भीड़ भरे डांस फ्लोर को समझने के लिए यह महसूस करने जैसा है कि आपको हर एक डांसर के कदमों को ट्रैक करने की आवश्यकता नहीं है; आपको बस उस लय (rhythm) को खोजने की आवश्यकता है जिसका पालन वे सभी गुप्त रूप से कर रहे हैं।

तकनीकी सारांश: कंडीशनल ऑप्टिमल ट्रांसपोर्ट के माध्यम से पर्याप्त निम्न-आयामी संरचनाओं को सीखना

समस्या विवरण
सफिशिएंट डायमेंशन रिडक्शन (SDR) एक निम्न-आयामी प्रतिनिधित्व खोजने का लक्ष्य रखता है जो कोवेरिएट्स $X$ के संपूर्ण कंडीशनल लॉ (conditional law) को सुरक्षित रखता है, जो $Y \perp\!\!\!\perp X \mid R(X)$ की स्थिति को संतुष्ट करता है। शास्त्रीय रैखिक SDR विधियाँ अक्सर अप्रत्यक्ष लक्ष्यों जैसे कि कंडीशनल मीन या इनवर्स रिग्रेशन मोमेंट्स पर निर्भर करती हैं, जो हेटेरोसेडास्टिसिटी (heteroscedasticity), टेल बिहेवियर (tail behavior), या मल्टीमोडैलिटी (multimodality) में निहित जानकारी को अनदेखा कर सकती हैं। जबकि हालिया जनरेटिव दृष्टिकोण (जैसे, GenSDR, FlowSDR) सीधे कंडीशनल लॉ को मॉडल करते हैं, वे अक्सर यूक्लिडियन सेटिंग्स में कार्य करते हैं या विशिष्ट संरचनात्मक गुणों को मानते हैं। यह शोध पत्र एक सामान्य सेटिंग में पर्याप्त रिडक्शन सीखने की चुनौती को संबोधित करता है जहाँ कोवेरिएट्स और रिस्पॉन्स दोनों सेपरेबल हिल्बर्ट स्पेस (separable Hilbert spaces) में रह सकते हैं, जिसमें कंडीशनल रिस्पॉन्स लॉ के वेरिएशन को वर्णित करने के लिए एक ज्यामितीय ढांचे के रूप में कंडीशनल ऑप्टिमल ट्रांसपोर्ट (COT) का उपयोग किया गया है।

कार्यप्रणाली
प्रस्तावित ढांचा, SDR-COT, कंडीशनल इंडिपेंडेंस स्ट्रक्चर को चरित्रित करने के लिए ऑप्टिमल ट्रांसपोर्ट के ज्यामितीय गुणों का लाभ उठाता है।

कंडीशनल ऑप्टिमल ट्रांसपोर्ट (COT) फॉर्मूलेशन:
यह विधि एक स्वतंत्र रेफरेंस रिस्पॉन्स $Y_0 \sim \rho$ से कोवेरिएट्स $X$ दिए जाने पर देखे गए रिस्पॉन्स $Y_1$ में संक्रमण को मॉडल करती है। इसे एक ट्राइएंगुलर ट्रांसपोर्ट मैप $T^\star(x, y) = (x, T^\star_Y(x, y))$ के रूप में फ्रेम किया गया है जो प्रोडक्ट मेजर $\mu_0 = \eta \otimes \rho$ को जॉइंट लॉ $\mu_1 = P(X, Y_1)$ में पुश करता है, जबकि कोवेरिएट कोऑर्डिनेट को सुरक्षित रखता है।
डायनेमिक COT और वेलोसिटी फील्ड्स:
लेखक बेनामू-ब्रनियर (Benamou–Brenier) डायनेमिक फॉर्मूलेशन का उपयोग करते हैं। वे स्थापित करते हैं कि, एक क्वाड्रेटिक कॉस्ट और प्रोडक्ट-सोर्स सेटिंग के तहत, मोनज इंटरपोलेशन (Monge interpolation) प्रत्येक ट्रंकेटेड टाइम इंटरवल $[0, 1-\tau]$ पर एक बोरेल करंट-स्टेट वेलोसिटी रिप्रेजेंटेटिव को स्वीकार करता है, भले ही टर्मिनल मैप की ग्लोबल इंजेक्टिविटी (global injectivity) का अनुमान न लगाया गया हो। यह वेलोसिटी फील्ड $v^\eral_t$ सोर्स और टारगेट लॉ के बीच डिस्प्लेसमेंट इंटरपोलेशन को संचालित करता है।
फैक्टरइजेशन थ्योरम:
एक मुख्य सैद्धांतिक परिणाम यह प्रदर्शित करता है कि यदि एक पर्याप्त प्रतिनिधित्व $R(X)$ मौजूद है (अर्थात, $Y_1 \perp\!\!\!\perp X \mid R(X)$ ), तो स्टेटिक ऑप्टिमल ट्रांसपोर्ट मैप $T^\star_Y$ और डायनेमिक वेलोसिटी फील्ड $v^\star_t$ दोनों $R$ के माध्यम से फैक्टर होते हैं। विशेष रूप से:
$T^\star_Y(x, y) = G^\star_Y(R(x), y)$
$v^\star_t(x, y) = (0, u^\star_Y(t, R(x), y))$
यह दर्शाता है कि ट्रांसपोर्ट मैकेनिज्म की कोवेरिएट पर निर्भरता पूरी तरह से पर्याप्त रिडक्शन द्वारा मध्यस्थता की जाती है।
फ्लो मैचिंग के माध्यम से अनुमान:
फैक्टरइजेशन से प्रेरित होकर, लेखक एक कंडीशनल फ्लो मैचिंग (CFM) मानदंड प्रस्तावित करते हैं। पूर्ण कंडीशनल मैप का अनुमान लगाने के बजाय, एल्गोरिदम एक रिडक्शन मैप $R_\theta$ और एक वेलोसिटी नेटवर्क $u_\phi$ सीखता है जो रिड्यूस्ड कोवेरिएट द्वारा पैरामीटराइज्ड होता है। उद्देश्य वास्तविक डिस्प्लेसमेंट और प्रेडिक्टेड वेलोसिटी के बीच स्क्वेर्ड एरर को कम करना है:
$L(\theta_u, \theta_R) = \int_0^{T_\tau} \mathbb{E} \left[ \| V - u_{\theta_u}^Y(t, R_{\theta_R}(X), Y_t) \|^2 \right] dt$
जहाँ $V = Y_1 - Y_0$ और $Y_t$ लीनियर इंटरपोलेशन है। अनऑब्जर्व्ड ऑप्टिमल कपलिंग को संभालने के लिए, विधि एक अनिसोट्रोपिक कॉस्ट फंक्शन का उपयोग करके एक रिलैक्स्ड एम्पिरिकल कपलिंग का उपयोग करती है जो कोवेरिएट मिसमैच को भारी दंड (penalize) देता है।

मुख्य योगदान

ग्लोबल इंजेक्टिविटी के बिना डायनेमिक COT ऑप्टिमैलिटी:
यह शोध पत्र क्वाड्रेटिक कॉस्ट के साथ सेपरेबल हिल्बर्ट स्पेस में डायनेमिक COT के लिए बेनामू-ब्रनियर प्रकार का ऑप्टिमैलिटी स्टेटमेंट सिद्ध करता है। वेलोसिटीज को परिभाषित करने के लिए ट्राइएंगुलर मोनज मैप की ग्लोबल इंजेक्टिविटी की पूर्व धारणा वाले पिछले कार्यों के विपरीत, यह कार्य साइक्लिक मोनोटोनिसिटी (cyclic monotonicity) का उपयोग करके ट्रंकेटेड इंटरवल $[0, 1-\tau]$ पर एक बोरेल करंट-स्टेट वेलोसिटी की उपस्थिति स्थापित करता है, जिससे इंजेक्टिविटी की पूर्व धारणा की आवश्यकता समाप्त हो जाती है।
SDR-COT फैक्टरइजेशन थ्योरम:
लेखक सिद्ध करते हैं कि हल्के रेगुलेरिटी कंडीशंस के तहत, ऑप्टिमल ट्राइएंगुलर COT मैप का रिस्पॉन्स कंपोनेंट और प्रेरित वेलोसिटी फील्ड किसी भी पर्याप्त प्रतिनिधित्व (sufficient representation) के माध्यम से फैक्टर होते हैं। यह संरचनात्मक परिणाम SDR की कंडीशनल इंडिपेंडेंस धारणा को ऑप्टिमल ट्रांसपोर्ट के ज्यामितीय गुणों से औपचारिक रूप से जोड़ता है।
एकीकृत अनुमान ढांचा:
शोध पत्र एक पॉपुलेशन-लेवल फ्लो-मैचिंग मानदंड विकसित करता है और फंकशनल डेटा और फंक्शन-ऑन-फंक्शन डेटा के लिए एल्गोरिदम प्रदान करता है।

यूक्लिडियन: रिडक्शन और वेलोसिटी के लिए मानक न्यूरल नेटवर्क का उपयोग करता है।
फंक्शनल: बेसिस प्रोजेक्शन के माध्यम से फंक्शनल कोवेरिएट्स को संभालता है और न्यूरल ऑपरेटर्स (विशेष रूप से फूरियर न्यूरल ऑपरेटर्स) के माध्यम से फंक्शनल रिस्पॉन्स को संभालता है।
रिलैक्स्ड कपलिंग: कंडीशनल ट्रांसपोर्ट मैप को डेटा से अनुमानित करने के लिए एक रिलैक्स्ड एम्पिरिकल कपलिंग रणनीति पेश करता है।

लीनियर SDR के लिए सांख्यिकीय कंसिस्टेंसी:
यह पेपर यूक्लिडियन और हिल्बर्ट दोनों सेटिंग्स में लीनियर SDR के लिए कंसिस्टेंसी स्थापित करता है:

यूक्लिडियन: वेलोसिटी के लिप्सचिट्ज़ कॉन्स्टेंट को बाउंड करने के लिए कैफेलली के कॉन्ट्रैक्शन थ्योरम का उपयोग करके कंसिस्टेंसी सिद्ध की गई है, जिससे ज़ीरो-लॉस कंडीशन के माध्यम से सेंट्रल सबस्पेस की पहचान संभव होती है।
हिल्बर्ट (फंक्शनल): एम्बिएंट लिप्सचिट्ज़ निरंतरता के बिना, कैमरोन-मार्टिन-वैल्यूड सोबोलेव वेलोसिटी और गौसियन निरंतरता समीकरण की विशिष्टता का लाभ उठाकर कंसिस्टेंसी स्थापित की गई है।

परिणाम

सैद्धांतिक: फैक्टरइजेशन थ्योरम पुष्टि करता है कि कंडीशनल इंडिपेंडेंस स्ट्रक्चर को ऑप्टिमल ट्रांसपोर्ट मैप और वेलोसिटी द्वारा विरासत में प्राप्त किया जाता है। कंसिस्टेंसी थ्योरम गारंटी देते हैं कि सही स्पेसिफिकेशन और रेगुलेरिटी के तहत, अनुमानित लीनियर रिडक्शन प्रोजेक्शन डिस्टेंस में वास्तविक सेंट्रल सबस्पेस की ओर अभिसरित (converge) होता है।
अनुभवजन्य: सिंथेटिक नॉनलीन यूक्लिडियन डेटा, लीनियर यूक्लिडियन डेटा, फंक्शनल कोवेरिएट्स, और फंक्शन-ऑन-फंक्शन डेटा पर संख्यात्मक अध्ययन दर्शाते हैं कि SDR-COT स्थापित बेंचमार्क के साथ प्रतिस्पर्धी है। विशेष रूप से, यह विधि तब अच्छा प्रदर्शन करती है जब पर्याप्त जानकारी कंडीशनल मीन से परे वितरण संबंधी विशेषताओं (जैसे वेरिएंस या शेप) में निहित होती है, जहाँ शास्त्रीय मोमेंट-आधारित विधियाँ विफल हो सकती हैं।
वास्तविक डेटा: कैपिटल बाइकशेयर डिमांड (फंक्शनल डेटा) के विश्लेषण में, SDR-COT ने अधिकांश रिडक्शन डायमेंशनों में FPCA और वीक-कंडीशनल-मोमेंट-आधारित प्रतिस्पर्धियों की तुलना में कम टेस्ट एरर प्राप्त किया।

महत्व और दावे
यह शोध पत्र एक ज्यामितीय रूप से आधारित दृष्टिकोण प्रदान करने का दावा करता है जो केवल उनके मोमेंट्स को नहीं, बल्कि सीधे कंडीशनल लॉ को लक्षित करता है। कंडीशनल ऑप्टिमल ट्रांसपोर्ट का उपयोग करके, यह विधि स्वाभाविक रूप से जटिल वितरण संबंधी निर्भरताओं (हेटेरोसेसेडैस्टिसिटी, मल्टीमोडैलिटी) को कैप्चर करती है जिन्हें अक्सर इनवर्स रिग्रेशन या कंडीशनल मीन-आधारित विधियों द्वारा अनदेखा कर दिया जाता है।

लेखक सामान्य नॉनलीन मामले के संबंध में विनम्र हैं: हालांकि पॉपुलेशन मानदंड "व्यापक" (exhaustive) है (कोई भी प्रतिनिधित्व जिसमें केंद्रीय $\sigma$ -बीजगणित शामिल है, इष्टतम मान प्राप्त करता है), केवल मानदंड अतिरिक्त बाधाओं (जैसे आउटपुट डायमेंशन को फिक्स करना) के बिना एक न्यूनतम प्रतिनिधित्व के चयन की गारंटी नहीं देता है। इसलिए, कठोर कंसिस्टेंसी परिणाम स्पष्ट रूप से एक निश्चित संरचनात्मक डायमेंशन के साथ लीनियर सेटिंग तक सीमित हैं। यह कार्य ऑप्टिमल ट्रांसपोर्ट थ्योरी और पर्याप्त डायमेंशन रिडक्शन के बीच के अंतर को पाटता है, जो अनंत-आयामी फंक्शनल डेटा तक विस्तारित एक स्केलेबल, सिम्युलेशन-मुक्त अनुमान प्रक्रिया प्रदान करता है।

इसी तरह के और पेपर