🤖 machine learning

Measure-to-measure Regression with Transformers

यह शोधपत्र नॉनलीनियर मेजर-टू-मेजर रिग्रेशन के एक औपचारिकीकरण को प्रस्तुत करता है और संभाव्यता वितरणों (प्रोबेबिलिटी डिस्ट्रीब्यूशन्स) के बीच रूपांतरणों को सीखने के लिए दो स्केलेबल ट्रांसफॉर्मर-आधारित दृष्टिकोणों—स्टैटिक मैप्स और डायनेमिक वेलोसिटी फील्ड्स—का प्रस्ताव करता है, जो सिंथेटिक, भौतिक और जैविक डेटासेट में जनसंख्या विकास की भविष्यवाणी करने में उनकी प्रभावशीलता को प्रदर्शित करते हैं।

मूल लेखक: Matthew Vandergrift, Martha White, Yury Polyanskiy, Philippe Rigollet, Lazar Atanackovic

प्रकाशित 2026-05-28

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Matthew Vandergrift, Martha White, Yury Polyanskiy, Philippe Rigollet, Lazar Atanackovic

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को यह सिखाने की कोशिश कर रहे हैं कि लोगों की भीड़ के चलने-फिरने का पूर्वानुमान कैसे लगाया जाए।

पुराना तरीका (क्लासिकल रिग्रेशन):
आमतौर पर, यदि आप गति का पूर्वानुमान लगाना चाहते हैं, तो आप एक समय में एक व्यक्ति को देखते हैं। आप कहते हैं, "यदि एलिस बाईं ओर चलती है, तो वह यहाँ पहुंचेगी। यदि बॉब दाईं ओर चलता है, तो वह वहाँ पहुंचेगा।" आप हर किसी को एक स्वतंत्र यात्री के रूप में देखते हैं।

नई समस्या (मेज़र-टू-मेज़र रिग्रेशन):
लेकिन कई वास्तविक दुनिया की स्थितियों में—जैसे मछलियों का झुंड, मधुमक्खियों का समूह, या शरीर में कोशिकाओं का बादल—लोग अकेले नहीं चलते। वे एक सामूहिक इकाई के रूप में चलते हैं। यदि पूरी भीड़ हिलती है, तो वह इसलिए होती है क्योंकि वे एक-दूसरे के साथ कैसे परस्पर क्रिया करते हैं। आप केवल एक व्यक्ति को देखकर काम नहीं चला सकते; आपको पूरी "भीड़" (डिस्ट्रीब्यूशन) को देखना होगा और यह अनुमान लगाना होगा कि वह पूरी भीड़ खुद को कैसे नया आकार देगी।

यह पेपर इसे मेज़र-टू-मेज़र (M2M) रिग्रेशन कहता है। एक बिंदु के स्थान पर कहाँ जाएगा, इसका पूर्वानुमान लगाने के बजाय, आप यह अनुमान लगा रहे हैं कि एक पूरा आकार या बिंदुओं का बादल एक नए आकार में कैसे बदलता है।

समाधान: "ट्रांसफॉर्मर" एक क्राउड मैनेजर के रूप में

लेखक एक विशिष्ट प्रकार के AI का उपयोग करने का प्रस्ताव देते हैं जिसे ट्रांसफॉर्मर (वही तकनीक जो आधुनिक चैटबॉट्स के पीछे है) कहा जाता है। लेकिन वे इसका उपयोग एक विशेष तरीके से करते हैं।

एक मानक ट्रांसफॉर्मर को एक अत्यंत व्यवस्थित मैनेजर के रूप में सोचें जो वस्तुओं की एक सूची को देखता है और दूसरों के आधार पर प्रत्येक वस्तु के साथ क्या करना है, यह तय करता है।

जादू: इस पेपर में, ट्रांसफॉर्मर केवल एक सूची को नहीं देखता; यह पूरी भीड़ को एक एकल इकाई के रूप में देखता है। यह पूछता है, "इस भीड़ के वर्तमान आकार को देखते हुए, हर एक व्यक्ति को इस तरह कैसे हिलना चाहिए कि यह आकार उस नए आकार में बदल जाए?"

लेखक इसे करने के दो मुख्य तरीके पेश करते हैं:

1. "स्नैप" विधि (स्टैटिक ट्रांसफॉर्मर्स)

कल्पना कीजिए कि आपके पास भीड़ की शुरुआती स्थिति की एक फोटो है और उनकी अंतिम स्थिति की एक फोटो है।

यह कैसे काम करता है: AI शुरुआती फोटो को देखता है और तुरंत एक "जादुई मानचित्र" (मैजिक मैप) की गणना करता है जो हर एक व्यक्ति को बताता है कि उसे गंतव्य तक पहुँचने के लिए एक ही बड़ी छलांग में कहाँ कूदना है।
उपमा: यह एक निर्देशक द्वारा चिल्लाने जैसा है, "सब लोग, अभी अपनी अंतिम जगह पर कूदो!" और भीड़ तुरंत नए फॉर्मेशन में टेलीपोर्ट हो जाती है।
पक्ष/विपक्ष: यह तेज़ है, लेकिन एक साथ सभी के लिए उस परफेक्ट "जंप" की गणना करना गणितीय रूप से बहुत कठिन और अव्यवस्थित हो सकता है।

2. "फ्लो" विधि (डायनामिक ट्रांसफॉर्मर्स / M2M-TFM)

यह विधि इस पेपर का असली सितारा है। एक बड़ी छलांग के बजाय, कल्पना करें कि भीड़ एक तरल पदार्थ या नदी की तरह चलती है।

यह कैसे काम करता है: AI लोगों को कहाँ कूदना है, यह नहीं बताता। इसके बजाय, यह एक हवा या धारा की तरह कार्य करता है। यह एक "वेलोसिटी फील्ड" (वेग क्षेत्र) की गणना करता है—एक हल्की हवा जो भीड़ को एक विशिष्ट दिशा में धकेलती है।
- समय 0 पर, हवा कमजोर होती है।
- समय 0.5 पर, हवा एक विशिष्ट दिशा में अधिक जोर से धकेलती है।
- समय 1 पर, भीड़ सुचारू रूप से नए आकार में बहकर पहुँच जाती है।
उपमा: एक जग से गिलास में पानी डालने के बारे में सोचें। आप हर पानी के अणु को यह नहीं बताते कि उसे कहाँ जाना है; आप बस प्रवाह को नियंत्रित करते हैं, और पानी स्वाभाविक रूप से गिलास को भरने के लिए अपना रास्ता खोज लेता है।
यह बेहतर क्यों है: पेपर दिखाता है कि यह "फ्लो" विधि बहुत अधिक लचीली और सटीक है। यह केवल शुरुआत और अंत के बिंदुओं को याद करने के बजाय, "गति के नियमों" को सीखती है।

उन्होंने इसका परीक्षण कहाँ किया?

लेखकों ने केवल सिद्धांत की बात नहीं की; उन्होंने अपने "क्राउड मैनेजर" का तीन विशिष्ट चुनौतियों पर परीक्षण किया:

आकार बदलने वाले अक्षर (Shapeshifting Letters): उन्होंने बिंदुओं के बादलों को लिया जो अक्षरों (जैसे "A" या "B") का निर्माण करते थे और उन्हें खराब (बिंदुओं को बिखेर दिया) कर दिया। AI को उन बिखरे हुए बिंदुओं को वापस सही अक्षर के आकार में धकेलना था। उनका "फ्लो" तरीका सबसे अच्छा रहा।
सिमुलेटेड फिजिक्स: उन्होंने जटिल प्रणालियों का अनुकरण किया जहाँ कण आपस में क्रिया करते हैं (जैसे "कुरामोतो मॉडल", जो एक साथ झूलते पेंडुलमों के समूह जैसा है)। AI को यह अनुमान लगाना था कि समूह समय के साथ कैसे विकसित होगा। यहाँ भी, "फ्लो" विधि विजेता रही।
वास्तविक दुनिया का जीव विज्ञान (कोलोरेक्टल कैंसर): यह सबसे महत्वपूर्ण है। उन्होंने पेशेंट-डिराइव्ड ऑर्गेनॉइड्स (एक मरीज के ट्यूमर से विकसित की गई कोशिकाओं के छोटे, 3D क्लस्टर) के डेटा का उपयोग किया।
- सेटअप: उनके पास डेटा था जो दिखा रहा था कि उपचार से पहले और उपचार के बाद एक मरीज की कोशिकाएं कैसी दिखती हैं।
- लक्ष्य: उन्होंने 9 मरीजों पर AI को प्रशिक्षित किया और उससे एक 10वें मरीज के लिए उपचार प्रतिक्रिया का पूर्वानुमान लगाने के लिए कहा जिसे उसने पहले कभी नहीं देखा था।
- परिणाम: AI ने सफलतापूर्वक यह सीख लिया कि ये विशिष्ट कैंसर कोशिकाएं दवाओं के प्रति कैसे प्रतिक्रिया करती हैं और वह नए मरीज के परिणाम का बेहतर ढंग से पूर्वानुमान लगाने में पिछले तरीकों से बेहतर रहा।

निष्कर्ष

यह पेपर तर्क देता है कि जब आप उन समूहों के साथ काम कर रहे हों जो एक साथ चलते हैं (जैसे कोशिकाएं, कण, या भीड़), तो आपको उन्हें व्यक्तियों के रूप में नहीं देखना चाहिए। इसके बजाय, आपको उन्हें एक एकल, बदलते हुए बादल के रूप में देखना चाहिए।

ट्रांसफॉर्मर्स का उपयोग करके—चाहे वे "स्नाप" मैप के रूप में हों या "फ्लो" करंट के रूप में—उन्होंने इन बादलों को नया आकार देने का एक उपकरण बनाया है। उनका "फ्लो" दृष्टिकोण (M2M-TFM) विशेष रूप से शक्तिशाली है क्योंकि यह एक पूरी भीड़ को हिलाने की जटिल समस्या को एक सहज, चरण-दर-चरण यात्रा में तोड़ देता है, जिससे इसे सीखना आसान हो जाता है और पूरी तरह से नई स्थितियों के लिए भी यह अधिक सटीक भविष्यवाणी करता है।

तकनीकी सारांश: ट्रांसफॉर्मर्स के साथ मेजर-टू-मेजर (Measure-to-Measure) रिग्रेशन

समस्या की परिभाषा

यह शोध पत्र मेजर-टू-मेजर (M2M) रिग्रेशन समस्या को संबोधित करता है, जो व्यक्तिगत डेटा बिंदुओं के बजाय प्रायिकता मापों (probability measures) के बीच मैपिंग सीखने का प्रयास करती है। कई वैज्ञानिक क्षेत्रों में, जैसे कि सेलुलर और आणविक जीव विज्ञान, जनसंख्या सामूहिक रूप से विकसित होती है न कि स्वतंत्र संस्थाओं के रूप में। फलस्वरूप, डेटा स्वाभाविक रूप से पॉइंट क्लाउड्स या वितरणों (measures) $\mu$ और $\nu$ के रूप में प्रस्तुत किया जाता है। लक्ष्य एक ऑपरेटर $T^*: \mathcal{P}(\mathbb{R}^d) \to \mathcal{P}(\mathbb{R}^d)$ सीखना है ताकि $\nu = T^*(\mu)$ हो सके, जो देखे गए इनपुट-आउटपुट युग्मों $\{(\mu_i, \nu_i)\}_{i=1}^n$ पर आधारित हो।

शास्त्रीय रिग्रेशन के विपरीत, जहाँ नमूनों को स्वतंत्र रूप से रूपांतरित किया जाता है, M2M रिग्रेशन संपूर्ण वितरणों को मौलिक डेटा बिंदुओं के रूप में मानता है। एक महत्वपूर्ण चुनौती यह है कि सीखा गया ऑपरेटर अनदेखे मापों (unseen measures) तक सामान्यीकरण (generalize) करने में सक्षम होना चाहिए, जिसमें अलग-अलग सपोर्ट साइज या स्मूथ लिमिट वाले माप शामिल हैं, न कि केवल प्रशिक्षण के दौरान देखे गए एम्पिरिकल सपोर्ट के बीच इंटरपोलेशन करना। मौजूदा दृष्टिकोण अक्सर सीमित फंक्शन क्लासेस (जैसे कि लीनियर ट्रांसपोर्ट मैप्स या कर्नल मेथड्स) पर निर्भर करते हैं जिनमें जटिल, नॉनलीनियर डायनेमिक्स के लिए पर्याप्त अभिव्यंजना (expressivity) या स्केलेबिलिटी का अभाव होता है।

कार्यप्रणाली (Methodology)

लेखक ट्रांसफॉर्मर्स को प्रायिकता मापों पर ऑपरेटर के रूप में उपयोग करने का प्रस्ताव देते हैं, जो उनकी अंतर्निहित मेजर-डिपेंडेंट और मीन-फील्ड संरचना का लाभ उठाते हैं। सेल्फ-अटेंशन मैकेनिज्म एक ट्रांसफॉर्मर को टोकन (पार्टिकल्स) के एक सेट को एक सामूहिक इकाई के रूप में संसाधित करने की अनुमति देता है, जिससे इसका आउटपुट प्रभावी रूप से इनपुट के एम्पिरिकल डिस्ट्रीब्यूशन पर निर्भर हो जाता है।

यह शोध पत्र नॉनलीनियर M2M ऑपरेटर्स को पुशफॉरवर्ड मैप्स के रूप में औपचारिक रूप देता है जो $T(\mu) = (f_\mu)^\sharp \mu$ के रूप में होते हैं, जहाँ ट्रांसपोर्ट मैप $f_\mu$ स्पष्ट रूप से स्रोत मेजर $\mu$ पर निर्भर करता है। दो अलग-अलग ट्रांसफॉर्मर-आधारित प्रतिमान (paradigms) पेश किए गए हैं:

1. स्टैटिक M2M रिग्रेशन (वन-स्टेप पुशफॉरवर्ड)

यह दृष्टिकोण रूपांतरण को एक सीधे, सिंगल-स्टेप मैप $F_\mu: \mathbb{R}^d \to \mathbb{R}^d$ के रूप में मॉडल करता है जो एक ट्रांसफॉर्मर द्वारा पैरामीट्राइज किया गया है।

मैकेनिज्म: ट्रांसफॉर्मर इनपुट मेजर $\mu$ को परिभाषित करने वाले पार्टिकल्स का एक सेट लेता है और रूपांतरित पार्टिकल्स का एक सेट आउटपुट के रूप में देता है जो टारगेट मेजर $\nu$ का प्रतिनिधित्व करता है।
प्रशिक्षण: मॉडल को इनपुट और आउटपुट मापों के बीच कपलिंग $\gamma_i$ पर डिस्ट्रीब्यूशनल लॉस $D(F_\mu(x), y)$ को मिनिमाइज करके प्रशिक्षित किया जाता है। लेखक विभिन्न लॉस फंक्शन का उपयोग करते हैं, जिनमें मैक्सिमम मीन डिसक्रीपेंसी (MMD), एनर्जी डिस्टेंस (ED), और सिंकहॉर्न एल्गोरिदम के माध्यम से गणना की गई वासरस्टीन दूरियां ( $W_1, W_2$ ) शामिल हैं।
सीमा: उच्च आयामों (high dimensions) में डिस्ट्रीब्यूशनल दूरियों को ऑप्टिमाइज़ करना सांख्यिकीय और कम्प्यूटेशनल रूप से चुनौतीपूर्ण है।

2. डायनेमिक M2M रिग्रेशन (ट्रांसफॉर्मर फ्लो मैचिंग - M2M-TFM)

डायरेक्ट डिस्ट्रीब्यूशनल ऑप्टिमाइजेशन की कठिनाइयों को दूर करने के लिए, लेखक एक डायनेमिक दृष्टिकोण पेश करते हैं जो रूपांतरण को एक निरंतर-समय प्रवाह (continuous-time flow) के रूप में मॉडल करता है।

मैकेनिज्म: एक एकल मैप के बजाय, रूपांतरण को एक समय-निर्भर वेलोसिटी फील्ड $\chi_t[\mu(t)]$ द्वारा परिभाषित किया जाता है जो मेजर की वर्तमान स्थिति पर निर्भर करता है। मेजर का विकास निरंतरता समीकरण (continuity equation) द्वारा नियंत्रित होता है: $\partial_t \mu(t) + \nabla \cdot (\mu(t) \chi_t[\mu(t)]) = 0$ । अंतिम आउटपुट प्राप्त करने के लिए $t=0$ से $t=1$ तक इस ऑर्डिनरी डिफरेंशियल इक्वेशन (ODE) को इंटीग्रेट किया जाता है।
आर्किटेक्चर: एक टाइम-डिपेंडेंट ट्रांसफॉर्मर वेलोसिटी फील्ड $\chi_t$ को पैरामीट्राइज करता है। ट्रांसफॉर्मर वर्तमान पार्टिकल्स के सेट और टाइम स्टेप $t$ को प्रोसेस करता है ताकि प्रत्येक पार्टिकल के लिए वेलोसिटी वेक्टर की भविष्यवाणी की जा सके।
प्रशिक्षण (M2M-TFM): यह विधि कंडीशनल फ्लो मैचिंग (CFM) का उपयोग करती है। यह वेलोसिटी फील्ड को सोर्स और टारगेट पार्टिकल्स के बीच एक लीनियर इंटरपोलेशन पाथ $\phi_t(x, y) = (1-t)x + ty$ के टारगेट वेलोसिटी के साथ मेल खाने के लिए प्रशिक्षित करती है। लॉस फंक्शन प्रेडिक्टेड वेलोसिटी और टारगेट वेलोसिटी $(y-x)$ के बीच स्क्वेयर्ड एरर को मिनिमाइज करता है, जिसे मेजर पेयर्स के डेटासेट पर मार्जिनलाइज किया गया है। यह कठिन डिस्ट्रीब्यूशनल ऑप्टिमाइजेशन समस्या को एक सुलभ पॉइंटवाइज रिग्रेशन टास्क में बदल देता है।
इन्फरेंस: एक नए इनपुट मेजर को दिए जाने पर, मॉडल प्रेडिक्टेड आउटपुट मेजर जेनरेट करने के लिए स्टेप-बाय-स्टेप ODE ट्रजेक्टरी को सिम्युलेट करता है।

मुख्य योगदान

औपचारिकीकरण (Formalization): यह शोध पत्र प्रायिकता मापों $\mathcal{P}(\mathbb{R}^d)$ के स्पेस पर नॉनलीनियर M2M रिग्रेशन के एक कठोर औपचारिकीकरण प्रदान करता है, जो डायरेक्ट मैपिंग और निरंतर-समय डायनेमिक्स के बीच अंतर करता है।
नवीन फ्रेमवर्क्स: यह दो स्केलेबल और एक्सप्रेसिव दृष्टिकोण पेश करता है:
- स्टैटिक ट्रांसफॉर्मर्स: M2M मैप को सीधे एप्रोक्सिमेट करने के लिए स्टैंडर्ड ट्रांसफॉर्मर्स का उपयोग करना।
- M2M-TFM: एक डायनेमिक फ्रेमवर्क जो फ्लो मैचिंग को ट्रांसफॉर्मर्स की मेजर-डिपेंडेंट प्रकृति के साथ एकीकृत करता है, जिससे प्रशिक्षण के दौरान स्पष्ट डिस्ट्रीब्यूशनल लॉस ऑप्टिमाइजेशन की आवश्यकता समाप्त हो जाती है।
अनुभवजन्य सत्यापन (Empirical Validation): लेखक तीन अलग-अलग सेटिंग्स में इन विधियों की प्रभावशीलता प्रदर्शित करते हैं:
- सिंथेटिक मल्टी-मेजर ऑब्जेक्ट्स: लेटर शेप्स और मल्टी-ऑब्जेक्ट कंपोजिशन पर डिफ्यूजन और कर्नल इंटरेक्शन प्रक्रियाओं के रिवर्स को प्रेडिक्ट करना।
- मैकेअन-व्लॉसोर सिस्टम (McKean-Vlasov Systems): 2D, 50D, और 100D सिस्टम (कुराटो, फिट्ज़ह्यू-नागमौ, मीन-फील्ड एटलस) में जनसंख्या डायनेमिक्स के विकास की भविष्यवाणी करना।
- वास्तविक दुनिया का अनुप्रयोग: कोलोरेक्टल कैंसर के उपचार के जवाब (treatment response) की भविष्यवाणी करने के लिए एक बड़े पैमाने के पेशेंट-डिराइव्ड ऑर्गेनॉइड (PDO) डेटासेट का उपयोग करना, जहाँ मॉडल को अनदेखे रोगियों तक सामान्यीकरण करना होता है।

परिणाम

प्रस्तावित विधियाँ, विशेष रूप से डायनेमिक M2M-TFM, सभी प्रयोगात्मक सेटिंग्स में मौजूदा बेसलाइन्स को लगातार पछाड़ती हैं:

सिंथेटिक ऑब्जेक्ट्स: M2M-TFM ने सबसे कम वासरस्टीन ( $W_1$ ) और एनर्जी डिस्टेंस (ED) एरर प्राप्त किया, जो CFM, मेटा-फ्लो मैचिंग (Meta-FM), और वासरस्टीन फ्लो मैचिंग (WFM) से काफी बेहतर रहा।
मैकेअन-व्लॉसोर सिस्टम: उच्च-आयामी (100D) सेटिंग्स में, M2M-TFM ने न्यूरल मैकेअन-व्लॉसोर (NMKV) और मीन-फील्ड ट्रांसफॉर्मर (MF-Transformer) की तुलना में बेहतर जनरलाइजेशन और एक्सप्रेसिविटी दिखाई, जिससे अक्सर एरर में काफी कमी आई।
जैविक अनुप्रयोग: कोलोरेक्टल कैंसर डेटासेट पर, M2M-TFM ने सभी मेट्रिक्स ( $W_1$ , ED, और $r^2$ ) में संतुलित प्रदर्शन प्रदान किया, जबकि स्टैटिक विधियाँ केवल अपने विशिष्ट लॉस फंक्शन से संबंधित मेट्रिक में ही बेहतर प्रदर्शन करती थीं। M2M-TFM ने उच्चतम $r^2$ (0.9029) और प्रतिस्पर्धी $W_1$ स्कोर प्राप्त किया, जो अनदेखे रोगियों के प्रति मजबूत जनरलाइजेशन को दर्शाता है।

महत्व और दावे

यह शोध पत्र दावा करता है कि ट्रांसफॉर्मर्स M2M रिग्रेशन के लिए एक स्वाभाविक और शक्तिशाली आर्किटेक्चर हैं क्योंकि उनमें मेजर-डिपेंडेंट डायनेमिक्स को मॉडल करने की अंतर्निहित क्षमता है। $\mathcal{P}(\mathbb{R}^d)$ पर ऑपरेटर्स के माध्यम से समस्या को औपचारिक रूप देकर, लेखक ट्रांसफॉर्मर्स के मीन-फील्ड लिमिट और व्यावहारिक अनुप्रयोगों के बीच के अंतर को पाटते हैं।

प्राथमिक महत्व M2M-TFM फ्रेमवर्क का है, जो M2M रिग्रेशन समस्या के लिए एक स्केलेबल और एक्सप्रेसिव समाधान प्रदान करता है। जटिल डिस्ट्रीब्यूशनल ऑपरेटर्स को वेलोसिटी फील्ड्स पर पॉइंटवाइज रिग्रेशन में बदलकर, यह विधि सीधे डिस्ट्रीब्यूशनल दूरियों को ऑप्टिमाइज़ करने से जुड़े "कर्स ऑफ डायमेंशनलिटी" (curse of dimensionality) से बचती है। लेखक इस कार्य को सामूहिक डायनेमिक्स को मॉडल करने के लिए एक बहुमुखी आधार के रूप में देखते हैं, विशेष रूप से सेलुलर इवोल्यूशन और उपचार प्रतिक्रियाओं की भविष्यवाणी करने में इसकी सफलता को रेखांकित करते हैं जहाँ डेटा स्वाभाविक रूप से वितरित होता है।

यह शोध पत्र सैद्धांतिक गारंटियों के संबंध में विनम्र रहता है, यह नोट करते हुए कि हालांकि डीप ट्रांसफॉर्मर्स को M2M मैप्स के लिए यूनिवर्सल एप्रोक्सिमेटर के रूप में जाना जाता है, फ्लो मैचिंग फ्रेमवर्क के तहत वेक्टर फील्ड मॉडल्स के माध्यम से नॉनलीनियर ऑपरेटर्स को सीखने के लिए औपचारिक गारंटी भविष्य के कार्य के लिए एक खुला विषय है। इसी तरह, वर्तमान कार्यान्वयन लीनियर इंटरपोलेशन पाथ और डिटरमिनिस्टिक डायनेमिक्स को मानता है, जो भविष्य के अनुसंधान के लिए नॉनलीनियर, स्टोकेस्टिक और अनबैलेंस्ड सेटिंग्स के विस्तार की संभावना छोड़ता है।