💻 computer science

Demo-JEPA: Joint-Embedding Predictive Architecture for One-shot Cross-Embodiment Imitation

डेमो-जेपा (Demo-JEPA) एक नवीन क्रॉस-एम्बॉडमेंट इमिटेशन लर्निंग फ्रेमवर्क है जो साझा एक्शन स्पेस की आवश्यकता को दरकिनार करते हुए प्रदर्शनों (demonstrations) को एक जॉइंट-एम्बेडिंग प्रेडिक्टिव आर्किटेक्चर के भीतर निहित भविष्य के लक्ष्यों के रूप में व्याख्यायित करता है, जिससे लक्षित एजेंट केवल विजुअल ऑब्जर्वेशन और अपने स्वयं के इंटरेक्शन अनुभव का उपयोग करके वांछित अवस्थाओं का अनुमान लगाने और योजना बनाने में सक्षम होते हैं।

मूल लेखक: Jingyang He, Guangrun Li, Jieyu Zhang, Chengkai Hou, Zhengping Che, Shanghang Zhang

प्रकाशित 2026-05-21

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Jingyang He, Guangrun Li, Jieyu Zhang, Chengkai Hou, Zhengping Che, Shanghang Zhang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ Demo-JEPA पेपर का सरल, रोज़मर्रा की भाषा और रचनात्मक उपमाओं (analogies) के साथ अनुवाद दिया गया है।

बड़ी समस्या: "बॉडी लैंग्वेज" की बाधा

कल्पना कीजिए कि आप एक रोबोट को सैंडविच बनाना सिखाने की कोशिश कर रहे हैं। आप उसे एक इंसान को यह करते हुए देखते हुए एक वीडियो दिखाते हैं।

इंसान अपनी उंगलियों, मुड़ने वाली कलाई और पकड़ने के तरीके का उपयोग करता है।
रोबोट के पास एक कठोर धातु का हाथ, अलग संख्या में जोड़ (joints), और एक पंजा (claw) है जो खुलता और बंद होता है।

यदि आप रोबोट को यह कहकर सिखाने की कोशिश करते हैं कि, "ठीक वैसे ही अपने हाथ को हिलाओ जैसे इंसान ने हिलाया," तो रोबोट असफल हो जाएगा। यह एक पेंगुइन को बंदर के नाच की नकल करने के लिए कहने जैसा है; बंदर के मूव्स पेंगुइन के शरीर के लिए समझ में नहीं आएंगे।

वर्तमान में अधिकांश रोबोट इस समस्या को मानव गतिविधियों को एक "अनुवाद शब्दकोश" (मानव जोड़ों को रोबोट के जोड़ों से मैप करने के गणितीय नियम) में जबरदस्ती फिट करके हल करने की कोशिश करते हैं। यह नाजुक है, महंगा है, और अक्सर तब टूट जाता है जब रोबोट या कार्य थोड़ा सा बदल जाता है।

समाधान: Demo-JEPA (द "ड्रीमर" या सपने देखने वाला)

लेखक एक नया तरीका प्रस्तावित करते हैं जिसे Demo-JEPA कहा जाता है। रोबोट को यह सिखाने के बजाय कि कैसे हिलना है, वे उसे यह सिखाते हैं कि क्या हासिल करना है।

इसे इस तरह सोचें:

पुराना तरीका: "अपना हाथ 5 इंच बाईं ओर ले जाओ, फिर 30 डिग्री घुमाओ।" (इंसानी शरीर के लिए बहुत विशिष्ट)।
Demo-JEPA तरीका: "लक्ष्य यह है कि सैंडविच प्लेट पर होना चाहिए।" (लक्ष्य वही रहता है, चाहे कोई भी इसे कर रहा हो)।

यह सिस्टम वीडियो प्रदर्शन को निर्देशों के सेट के रूप में नहीं, बल्कि भविष्य के बारे में एक संकेत के रूप में देखता है। यह पूछता है: "अगर मैं इस इंसान को देखूँ, तो कुछ सेकंड बाद दुनिया कैसी दिखेगी?"

यह कैसे काम करता है: तीन-चरणीय "सपना" प्रक्रिया

पेपर एक फ्रेमवर्क का वर्णन करता है जो तीन चरणों में काम करता है, जिसे हम एक सपना देखने वाले (Dreamer), एक अनुवादक (Translator), और एक योजनाकार (Planner) के रूप में कल्पना कर सकते हैं।

1. अनुवादक (The "Dreamer Predictor")

यह ऑपरेशन का मस्तिष्क है। यह मानव का वीडियो (स्रोत) और रोबोट का वर्तमान दृश्य (लक्ष्य) देखता है।

उपमा: कल्पना कीजिए कि एक अनुवादक है जो न तो मानव की भाषा जानता है और न ही रोबोट की। शब्दों का अनुवाद करने के बजाय, वह इरादे (intent) का अनुवाद करता है।
यह क्या करता है: यह विवरणों (जैसे इंसान के शर्ट का रंग, रोशनी, या उसकी उंगलियों का विशिष्ट आकार) को अनदेखा कर देता है। यह उन्हें हटा देता है और क्रिया के "सार" (soul) को खोज लेता है। फिर यह एक भविष्य का लक्ष्य प्रोजेक्ट करता है जो रोबोट के शरीर के लिए समझ में आए।
जादू: यह एक "लेटेंट गोल" (latent goal) बनाता है। इसे भविष्य की मानसिक स्थिति के रूप में सोचें (जैसे, "कप हवा में है") जिसे रोबोट समझ सकता है, भले ही रोबोट ने इंसान को ऐसा करते हुए कभी नहीं देखा हो।

2. योजनाकार (The "Action-Conditioned World Model")

एक बार जब रोबोट के पास लक्ष्य की यह मानसिक तस्वीर आ जाती है, तो उसे यह समझना होता है कि वहां तक कैसे पहुँचना है।

उपमा: कल्पना कीजिए कि एक शतरंज का खिलाड़ी बोर्ड को देख रहा है। वे केवल चालें नहीं चलते; वे अपने दिमाग में भविष्य का अनुकरण (simulate) करते हैं। "अगर मैं यहाँ चलता हूँ, तो क्या होगा? अगर मैं वहाँ जाता हूँ, तो क्या होगा?"
यह क्या करता है: रोबोट भौतिकी (physics) के अपने आंतरिक मॉडल (कि उसका अपना हाथ कैसे हिलता है) का उपयोग करके विभिन्न क्रियाओं का अनुकरण करता है। वह उस "मानसिक चित्र" (लक्ष्य) को बदलने के लिए कई हज़ार मानसिक सिमुलेशन चलाता है, जो उसे अनुवादक से मिला था।

3. एडेप्टिव लूप (The "Pacing" या तालमेल)

कभी-कभी रोबोट अटक जाता है या वीडियो में इंसान की तुलना में धीमा चलता है।

उपमा: एक टूर गाइड का पीछा करने की कल्पना करें। यदि आप पीछे रह जाते हैं, तो आप सीधे गाइड के अगले स्थान पर नहीं कूदते; आप वहीं रहते हैं जब तक कि आप बराबरी न कर लें, फिर अगले स्थान पर बढ़ते हैं।
यह क्या करता है: सिस्टम जाँच करता है: "क्या मैंने उस लक्ष्य को प्राप्त कर लिया जो ड्रीमर ने मेरे लिए निर्धारित किया था?" यदि हाँ, तो यह वीडियो से अगला लक्ष्य लेता है। यदि नहीं, तो यह वर्तमान लक्ष्य को प्राप्त करने की कोशिश जारी रखता है। यह रोबोट को भ्रमित होने से रोकता है यदि वह प्रदर्शन में पीछे रह जाता है।

यह क्यों एक बड़ी बात है (परिणाम)

पेपर ने इसका परीक्षण दो तरीकों से किया:

सिमुलेशन: एक कंप्यूटर की दुनिया जिसमें अलग-अलग रोबोटिक हाथ हैं।
वास्तविक दुनिया: एक भौतिक लैब जिसमें एक UR5 रोबोट आर्म (स्रोत) और एक फ्रैंका (Franka) रोबोट आर्म (लक्ष्य) है।

निष्कर्ष:

"वन-शॉट" लर्निंग में बेहतर: रोबोट को सीखने के लिए कार्य को केवल एक बार देखने की आवश्यकता थी।
"अजीब" रोबोट्स को संभालना: यह तब भी काम कर गया जब स्रोत और लक्ष्य रोबोट एक-दूसरे से बिल्कुल अलग थे (अलग आकार, अलग बनावट)।
ज़ीरो-शॉट जनरलाइजेशन (Zero-Shot Generalization): यह सबसे शानदार हिस्सा है। रोबोट उन कार्यों को भी कर सका जो उसने पहले कभी नहीं देखे थे (जैसे कोई नई वस्तु उठाना या किसी नई जगह पर जाना) सिर्फ एक समान कार्य को करते हुए इंसान को देखकर।
तुलना: पिछले तरीके (जैसे सटीक गतिविधियों की नकल करने की कोशिश करना) पूरी तरह विफल रहे जब रोबोट अलग थे या कार्य बदल गया था। Demo-JEPA काम करता रहा।

सीमाएँ (जो पेपर स्वीकार करता है)

लेखक इसके नुकसानों के बारे में ईमानदार हैं:

जटिलता: इन मानसिक सिमुलेशन को चलाने के लिए बहुत अधिक कंप्यूटिंग शक्ति की आवश्यकता होती है।
सटीकता: हालांकि यह सामान्य कार्यों के लिए बहुत अच्छा है, लेकिन यह अत्यंत उच्च-परिशुद्धता (high-precision), नाजुक कार्यों (जैसे सुई में धागा डालना) के लिए संघर्ष कर सकता है क्योंकि "मानसिक मॉडल" अभी भी पूर्ण नहीं है।
प्रशिक्षण: इसे यह सीखने के लिए कि उसका अपना शरीर कैसे हिलता है, अभी भी कुछ प्रशिक्षण डेटा की आवश्यकता होती है, हालांकि इसे मानव की गतिविधियों को रोबोट की गतिविधियों से जोड़ने वाले डेटा की आवश्यकता नहीं है।

सारांश

Demo-JEPA एक रोबोट सीखने की प्रणाली है जो गति (movements) की नकल करने के बजाय इरादे (intent) को समझने पर ध्यान केंद्रित करती है। यह एक ऐसे सपने देखने वाले की तरह काम करता है जो एक इंसान को देखता है, भविष्य के परिणाम की कल्पना करता है, और फिर यह पता लगाता है कि उसका अपना अनूठा शरीर उस परिणाम को कैसे प्राप्त कर सकता है। यह रोबोट को इंसानों (या अन्य रोबोटों) से पहले की तुलना में बहुत तेज़ी से और अधिक लचीले ढंग से सीखने की अनुमति देता है।

तकनीकी सारांश: Demo-JEPA

समस्या विवरण (Problem Statement)

रोबोटिक इमिटेशन लर्निंग (Imitation Learning) एक मौलिक बाधा का सामना करती है जिसे एम्बॉडमेंट गैप (Embodiment Gap) कहा जाता है: एक प्रदर्शनकर्ता (जैसे, मानव या एक अलग रोबोट) और सीखने वाले के बीच भौतिक और किनेमैटिक विसंगति। पारंपरिक दृष्टिकोण एक्शन-लेवल अलाइनमेंट (Action-level Alignment) के माध्यम से इस अंतर को पाटने का प्रयास करते हैं, जो साझा एक्शन स्पेस, स्पष्ट एक्शन पत्राचार (correspondences), ह्यूरिस्टिक रिटारगेटिंग, या बड़े पैमाने पर मल्टी-एम्बॉडमेंट को-ट्रेनिंग पर निर्भर करते हैं। हालाँकि, विषम एजेंटों (heterogeneous agents) के लिए ये विधियाँ मौलिक रूप से सीमित हैं क्योंकि समान सिमेंटिक इरादे (जैसे, "वस्तु को पकड़ना") अलग-अलग मोर्फोलॉजी के आधार पर रेडिकल रूप से भिन्न मोटर कमांड, टॉर्क प्रोफाइल और जॉइंट कॉन्फ़िगरेशन की मांग करते हैं। फलस्वरूप, लो-लेवल एक्शन अलाइनमेंट के माध्यम से क्रॉस-एम्बॉडमेंट कौशल सीखना, विशाल मात्रा में अलाइन्ड डेटा के बिना, विसंगत मोर्फोलॉजी में सामान्यीकरण करने में संघर्ष करता है।

कार्यप्रणाली: Demo-JEPA (Methodology: Demo-JEPA)

लेखक Demo-JEPA (जॉइंट-एम्बेडिंग प्रेडिक्टिव आर्किटेक्चर) प्रस्तावित करते हैं, जो एक फ्रेमवर्क है जो क्रॉस-एम्बॉडमेंट इमिटेशन को एक्शन रिप्रोडक्शन के रूप में नहीं, बल्कि लेटेंट गोल-कंडीशन्ड प्लानिंग (Latent Goal-conditioned Planning) के रूप में पुनर्गठित करता है। मुख्य परिकल्पना यह है कि प्रदर्शनों (demonstrations) को मोटर प्रिमिटिव्स के अनुक्रम (कि वे इसे कैसे निष्पादित करते हैं) के बजाय भविष्य के लक्ष्यों के निहित विनिर्देश (क्या स्थिति प्रदर्शनकर्ता को साकार करने की कोशिश कर रहा है) के रूप में देखा जाना चाहिए।

यह फ्रेमवर्क एक साझा प्रेडिक्टिव रिप्रेजेंटेशन स्पेस के भीतर तीन मुख्य चरणों में कार्य करता है:

1. एक्शन-कंडीशन्ड वर्ल्ड मॉडल (Action-Conditioned World Model)

लक्ष्य एजेंट अपने स्वयं के एम्बॉडमेंट की डायनेमिक्स सीखने के लिए एक JEPA-आधारित वर्ल्ड मॉडल (विशेष रूप से V-JEPA 2.1) का उपयोग करता है।

एनकोडर ( $E$ ): विजुअल ऑब्जर्वेशन ( $o_t$ ) को लेटेंट स्टेट्स ( $z_t$ ) में मैप करता है।
डायनेमिक्स प्रेडिक्टर ( $F_{wm}$ ): वर्तमान लेटेंट स्टेट, रोबोट स्टेट ( $s_t$ ), और एक्शन ( $a_t$ ) की स्थिति में ट्रांजिशन को मॉडल करता है: $\hat{z}_{t+1} = F_{wm}(z_t, s_t, a_t)$ ।
प्लानिंग: एक लक्ष्य लेटेंट गोल को देखते हुए, एजेंट एक एक्शन सीक्वेंस को अनुकूलित करने के लिए क्रॉस-एंट्रॉपी मेथड (CEM) का उपयोग करता है जो भविष्य के प्रेडिक्टेड लेटेंट स्टेट और लक्ष्य के बीच की दूरी को कम करता है।

2. ड्रीमर प्रेडिक्टर (Dreamer Predictor - एम्बॉडमेंट-अवेयर गोल इन्फरेंस)

यह वह नवीन घटक है जो सोर्स प्रदर्शनों को टारगेट-अनुकूल लक्ष्यों में अनुवादित करने के लिए जिम्मेदार है।

इनपुट: वर्तमान टारगेट ऑब्जर्वेशन ( $o^t_k$ ) और सोर्स फ्रेम्स का एक जोड़ा ( $o^s_k, o^s_{k+n}$ ) जो प्रदर्शन में एक टेम्पोरल ऑफसेट को दर्शाता है।
तंत्र:
- एक साझा JEPA एनकोडर ऑब्जर्वेशन को लेटेंट रिप्रेजेंटेशन ( $z^t_k, z^s_k, z^s_{k+n}$ ) में मैप करता है।
- क्रॉस-अटेंशन मॉड्यूल्स: दो मॉड्यूल (1) क्रॉस-एम्बॉडमेंट पत्राचार ( $f_{emb}$ ) और (2) व्यवहार के टेम्पोरल इवोल्यूशन ( $f_{mot}$ ) को कैप्चर करते हैं।
- 3D कनवोल्यूशनल फ्यूजन: फीचर्स को स्पैटियोटेम्पोरल स्ट्रक्चर को बनाए रखने के लिए एक 3D कनवोल्यूशन ( $\phi$ ) के माध्यम से एकत्रित किया जाता है, जिसके बाद एक ट्रांसफार्मर प्रेडिक्टर ( $T$ ) फ्यूज्ड फीचर्स को टारगेट-अनुकूल लेटेंट गोल ( $\hat{z}^t_{goal}$ ) में डिकोड करता है।
ट्रेनिंग: प्रेडिक्टर को स्टेज 1 में एक्शन-फ्री क्रॉस-एम्बॉडमेंट प्रदर्शनों का उपयोग करके लेटेंट रिकंस्ट्रक्शन लॉस ( $L_{pred} = \|\hat{z}^t_{goal} - z^t_{k+n}\|^2_2$ ) को कम करने के लिए प्रशिक्षित किया जाता है। सोर्स फ्रेम्स पर टेम्पोरल परटर्बेशन (temporal perturbation) मजबूती बढ़ाने के लिए लागू किया जाता है।

3. एक्शन को-ट्रेनिंग (Action Co-Training - स्टेज 2)

एक बार जब ड्रीमर प्रेडिक्टर फ्रीज हो जाता है, तो वर्ल्ड मॉडल के डायनेमिक्स प्रेडिक्टर ( $F_{wm}$ ) को फाइन-ट्यून किया जाता है। उद्देश्य वर्ल्ड मॉडल के लेटेंट रोलआउट्स को ड्रीमर प्रेडिक्टर द्वारा प्रदान किए गए गोल डिस्ट्रीब्यूशन के साथ संरेखित करना है, जिससे एक प्लानिंग लॉस ( $L_{plan}$ ) को ऑप्टिमाइज़ किया जा सके।

एडैप्टिव गोल अपडेटिंग के साथ इन्फरेंस (Inference with Adaptive Goal Updating)

निष्पादन (execution) के दौरान, सिस्टम सोर्स रेफरेंस फ्रेम को एक निश्चित फ्रीक्वेंसी पर आगे नहीं बढ़ाता है। इसके बजाय, यह नए देखे गए टारगेट स्टेट और वर्तमान लक्ष्य के बीच लेटेंट विसंगति ( $D_k$ ) की गणना करता है। सिस्टम अगले सोर्स रेफरेंस पेयर पर तभी आगे बढ़ता है यदि $D_k < \epsilon$ (लक्ष्य प्राप्त हो गया है)। यह एडैप्टिव मैकेनिज्म किनेमैटिक मिसमैच के कारण होने वाली कंपाउंडिंग एरर्स को रोकता है।

प्रमुख योगदान (Key Contributions)

नवीन फॉर्मूलेशन: पेपर प्रस्ताव देता है कि क्रॉस-एम्बॉडमेंट इमिटेशन को लेटेंट गोल-कंडीशन्ड प्लानिंग के रूप में पुनर्गठित किया जाए, जो स्पष्ट एक्शन अलाइनमेंट की बाधा को प्रभावी ढंग से दरकिनार करता है।
Demo-JEPA फ्रेमवर्क: एक विशुद्ध रूप से विजन-ड्रिवन फ्रेमवर्क का परिचय जो एक एम्बॉडमेंट-अवेयर ड्रीमर प्रेडिक्टर पेश करता है। यह घटक सोर्स प्रदर्शनों से टारगेट-अनुकूल भविष्य के लेटेंट स्टेट्स को इन्फर करके मोर्फोलॉजिकल गैप को पाटता है, जिसमें एक्शन-लेवल पत्राचार या साझा एक्शन स्पेस की आवश्यकता नहीं होती है।
अनुभवजन्य सत्यापन (Empirical Validation): सिम्युलेटेड (RLBench) और वास्तविक दुनिया के रोबोटिक मैनिपुलेशन कार्यों में व्यापक मूल्यांकन यह प्रदर्शित करता है कि Demo-JEPA अनसीन टास्क और रेडिकली अलग एम्बॉडमेंट कॉन्फ़िगरेशन के प्रति बेहतर सामान्यीकरण प्राप्त करता है।

प्रयोगात्मक परिणाम (Experimental Results)

फ्रेमवर्क का मूल्यांकन तीन सूट्स में किया गया जिनमें वितरण शिफ्ट (distribution shifts) बढ़ती जाती है: बिहेवियर ग्राउंडिंग (देखे गए कार्य), क्रॉस-एम्बॉडमेंट ब्रिजिंग (अनसीन एक्शन), और जीरो-शॉट जनरलाइजेशन (अनसीन कॉन्फ़िगरेशन)।

सिमुलेशन (RLBench): व्यवहार ग्राउंडिंग में Demo-JEPA ने स्पेशलाइज्ड इन-डोमेन प्लानर्स के बराबर प्रदर्शन किया, लेकिन जैसे-जैसे डिस्ट्रीब्यूशन शिफ्ट बढ़ा, इसने VPP और XSkill जैसे बेसलाइन्स को काफी पीछे छोड़ दिया। जीरो-शॉट जनरलाइजेशन में, Demo-JEPA ने 0.36 का औसत सफलता दर प्राप्त किया, जबकि VPP और XSkill ने क्रमशः केवल 0.04 और 0.03 प्राप्त किया।
वास्तविक दुनिया: भौतिक प्रयोगों (UR5e सोर्स $\to$ Franka टारगेट) में, Demo-लेवल ब्रिजिंग में Demo-JEPA ने 0.55 का औसत सफलता दर और जीरो-शॉट जनरलाइजेशन में 0.25 प्राप्त किया, जो VPP और XSkill से बेहतर था जो जीरो-शॉट परिदृश्यों में विफल रहे।
एब्लेशन स्टडीज (Ablation Studies):
- 3D कनवोल्यूशनल फ्यूजन मॉड्यूल को हटाने से जटिल, आर्टिकुलेटेड कार्यों (जैसे, "चैनल बदलना") पर प्रदर्शन गिर गया, जो स्पष्ट स्पैटियोटेम्पोरल मॉडलिंग के महत्व को उजागर करता है।
- "नेइव" (डायरेक्ट लेटेंट ट्रांसफर) और "ओरेकल" (ग्राउंड-ट्रुथ टारगेट फ्यूचर) बेसलाइन्स के साथ तुलना ने पुष्टि की कि ड्रीमर प्रेडिक्टर विषम प्रदर्शनों को टारगेट-अनुकूल लक्ष्यों में सफलतापूर्वक परिवर्तित करता है, जो प्रिविलेज्ड इंफॉर्मेशन के बिना भी ओरेकल प्रदर्शन के करीब पहुँचता है।
स्केलिंग: अध्ययन में पाया गया कि प्रति-कार्य ट्राजेक्टरीज की मात्रा की तुलना में टास्क डाइवर्सिटी (विविध टास्क सेमेंटिक्स का एक्सपोजर) ट्रांसफर करने योग्य लेटेंट मैपिंग्स का अधिक महत्वपूर्ण चालक है।

महत्व और दावे (Significance and Claims)

पेपर दावा करता है कि Demo-JEPA सतह के स्तर के सांख्यिकी (surface-level statistics) को याद करने के बजाय प्रदर्शन की अंतर्निहित प्रेडिक्टिव डायनेमिक्स को कैप्चर करके एक एम्बॉडमेंट-अनुकूल गोल स्पेस में एब्स्ट्रैक्ट टास्क प्रोग्रेशन को सफलतापूर्वक अनुवादित करता है।

मजबूती (Robustness): विधि यह प्रदर्शित करती है कि प्रदर्शनों को फिक्स्ड एक्शन सीक्वेंस या स्किल प्रोटोटाइप के रूप में उपयोग करने के बजाय लेटेंट गोल्स को इन्फर करना अधिक प्रभावी है, विशेष रूप से तब जब डिस्ट्रीब्यूशन शिफ्ट गंभीर हो।
लचीलापन (Flexibility): एक्शन-लेवल पत्राचार से बचकर, यह फ्रेमवर्क केवल विजुअल प्रदर्शनों और टारगेट एजेंट के अपने इंटरैक्शन अनुभव का उपयोग करके विषम एम्बॉडमेंट्स के बीच लचीला इमिटेशन का समर्थन करता है।
सीमाएं (Limitations): लेखक विनम्रतापूर्वक स्वीकार करते हैं कि प्रदर्शन वर्तमान में मौजूदा एक्शन-कंडीशन्ड वर्ल्ड मॉडल्स की मॉडलिंग बाधाओं से सीमित है, जो अत्यधिक जटिल, उच्च-परिशुद्धता वाले कार्यों में प्रभावकारिता को सीमित करता है। इसके अतिरिक्त, वर्तमान पाइपलाइन को अभी भी ट्रेनिंग के दौरान टेम्पोरल या प्रोग्रेस-अवेयर अलाइनमेंट की आवश्यकता होती है, और भविष्य के कार्य पूर्णतः अन-अलाइन्ड लर्निंग रणनीतियों को विकसित करने का लक्ष्य रखते हैं।