💻 computer science

Latent Actions from Factorized Transition Effects under Agent Ambiguity

यह शोध पत्र ऑब्ज़र्व्ड ट्रांज़िशन फैक्टराइज़ेशन (OTF) और इसके वेरिएंट्स, OTF-LAM और OTF-LAM-Dino को प्रस्तुत करता है, जो अस्पष्ट अवलोकन संक्रमणों (observation transitions) को पुन: प्रयोज्य प्रिमिटिव्स में विघटित करते हैं ताकि बिना पर्यवेक्षण के जटिल, विचलित करने वाले वातावरण में बेसलाइन से बेहतर प्रदर्शन करने वाले सुदृढ़, एक्शन-जैसे लेटेंट रिप्रेजेंटेशन सीखे जा सकें।

मूल लेखक: Heejeong Nam, Chandradithya S Jonnalagadda, Harshit Aggarwal, Eric Xu, Randall Balestriero

प्रकाशित 2026-06-30

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Heejeong Nam, Chandradithya S Jonnalagadda, Harshit Aggarwal, Eric Xu, Randall Balestriero

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "Latent Actions from Factorized Transition Effects under Agent Ambiguity" पेपर का सरल भाषा और रोज़मर्रा के उदाहरणों के साथ विवरण दिया गया है।

बड़ी समस्या: "शोर भरी रसोई" (The Noisy Kitchen)

कल्पना कीजिए कि आप एक शेफ को वीडियो देखकर खाना बनाना सीखने की कोशिश कर रहे हैं। हालाँकि, वह वीडियो बहुत अस्त-व्यस्त है। जब शेफ प्याज काट रहा होता है (वह क्रिया जिसे आप सीखना चाहते हैं), तभी कैमरा हिल रहा होता है, फर्श पर एक कुत्ता दौड़ रहा होता है, और हवा से पर्दे लहरा रहे होते हैं।

AI की दुनिया में, इसे एजेंट एम्बिग्युटी (Agent Ambiguity) कहा जाता है।

एजेंट (The Agent): शेफ (वह चीज़ जिसे आप नियंत्रित करना चाहते हैं)।
क्रिया (The Action): प्याज काटना।
एम्बिग्युटी (The Ambiguity): वीडियो में सभी बदलाव एक साथ दिखाई देते हैं (प्याज का हिलना, कुत्ते का दौड़ना, पर्दों का लहराना)।

पुराने AI मॉडल पूरे अस्त-व्यस्त वीडियो को देखकर "प्याज काटने" की क्रिया का अनुमान लगाने की कोशिश करते थे। वे अक्सर भ्रमित हो जाते थे, यह सोचकर कि कुत्ते का दौड़ना भी खाना बनाने की रेसिपी का हिस्सा है, या वे शेफ के हिलने और कैमरा हिलने के बीच अंतर नहीं कर पाते थे।

समाधान: वीडियो को "लेगो ब्रिक्स" (Lego Bricks) में तोड़ना

लेखकों ने एक नई विधि प्रस्तावित की है जिसे OTF-LAM कहा जाता है। पूरे एक्शन का एक साथ अनुमान लगाने के बजाय, वे वीडियो के बदलावों को छोटे, पुन: उपयोग करने योग्य टुकड़ों में तोड़ देते हैं, जैसे कि मिले-जुले लेगो ब्रिक्स के ढेर को छाँटना।

वे इन टुकड़ों को ऑब्जर्व्ड ट्रांज़िशन प्रिमिटिव्स (Observed Transition Primitives) कहते हैं।

"शेफ प्याज काट रहा है" देखने के बजाय, AI देखता है: "पिक्सेल का एक छोटा हिस्सा बाईं ओर हिल रहा है," "एक किनारा नीचे की ओर खिसक रहा है," और "बैकग्राउंड धुंधला हो रहा है।"
ये लेगो ब्रिक्स हैं। ये गति के सरल, पुन: उपयोग करने योग्य पैटर्न हैं जो कहीं भी हो सकते हैं, चाहे वह शेफ हो, कोई रोबोट हो, या कोई कार्टून कैरेक्टर।

यह कैसे काम करता है: दो-चरणीय प्रक्रिया

चरण 1: "ब्रिक सॉर्टर" (The Brick Sorter - OTF)
सबसे पहले, AI हज़ारों वीडियो देखता है और चित्र में होने वाले हर छोटे बदलाव को अपनी शब्दावली के एक विशिष्ट "ब्रिक" (ईंट) में छाँटना सीखता है।

उपमा (Analogy): एक लाइब्रेरियन की कल्पना करें जिसे इस बात से कोई फर्क नहीं पड़ता कि किताब किस बारे में है, बल्कि उसे केवल इस बात से मतलब है कि पन्ने कैसे पलट रहे हैं। वे हर पन्ना पलटने की क्रिया को श्रेणियों में बाँटते हैं: "तेज़ पलटना," "धीरे से खिसकना," या "फटना।"
AI सीखता है कि एक "तेज़ पलटना" वैसा ही दिखता है चाहे वह इंसान का हाथ हो जो पन्ना पलट रहा है या एक रोबोट का हाथ जो किसी डायल को घुमा रहा है। यह इन "ब्रिक्स" को पुन: उपयोग योग्य (reusable) बनाता है।

चरण 2: "शेफ का सहायक" (The Chef's Assistant - OTF-LAM)
एक बार जब ब्रिक्स छाँट लिए जाते हैं, तो AI को यह पता लगाना होता है कि कौन से ब्रिक्स शेफ (एजेंट) के कारण थे और कौन से कुत्ते या हवा के कारण थे।

उपमा: AI वर्तमान दृश्य (रसोई) को देखता है और पूछता है, "यह देखते हुए कि शेफ ने चाकू पकड़ा हुआ है, इनमें से कौन से 'चलते हुए ब्रिक्स' शेफ की वजह से होने की संभावना है?"
यह प्रासंगिक ब्रिक्स को चुनता है, शोर (कुत्ते) को नज़रअंदाज़ करता है, और उन्हें एक एकल "एक्शन सिग्नल" में जोड़ देता है। यह सिग्नल AI को बताता है: "शेफ प्याज काट रहा है।"

"फ्रोजन डिनो" ट्रिक (The "Frozen DINO" Trick - OTF-LAM-Dino)

पेपर में एक स्मार्ट वर्ज़न भी पेश किया गया है जिसे OTF-LAM-Dino कहा जाता है।

उपमा: कल्पना कीजिए कि आप किसी वीडियो का अगला फ्रेम प्रेडिक्ट (अनुमान लगाना) करने की कोशिश कर रहे हैं। आमतौर पर, AI हर एक पिक्सेल (प्याज का रंग, मेज की बनावट) को फिर से बनाने की कोशिश करता है। यह कठिन है क्योंकि रोशनी बदल सकती है या मेज अलग दिख सकती है।
ट्रिक: पिक्सल्स को फिर से बनाने के बजाय, यह वर्ज़न एक "फ्रोजन" एक्सपर्ट (DINOv2) का उपयोग करता है जो पहले से ही चीजों के आकार और संरचना को समझता है। AI को केवल संरचना (structure) के बदलने की भविष्यवाणी करने की आवश्यकता होती है, न कि सटीक रंगों की।
यह शतरंज के खेल की अगली चाल को बोर्ड की स्थिति (संरचना) देखकर प्रेडिक्ट करने जैसा है, न कि लकड़ी के मोहरों को फिर से पेंट करने की कोशिश करने जैसा। यह AI को विकर्षणों (distractions) को नज़रअज़ करने में बहुत बेहतर बनाता है।

उन्होंने क्या साबित किया?

लेखकों ने मुख्य रूप से दो चीजों पर परीक्षण किया:

मूविंग MNIST (The "Digit" Test): उन्होंने AI को चलते हुए नंबरों के वीडियो दिखाए। उन्होंने इसे 0–4 तक के नंबरों पर प्रशिक्षित किया और फिर इसे उन नंबरों (5–9) पर टेस्ट किया जिन्हें इसने पहले कभी नहीं देखा था।
- परिणाम: क्योंकि AI ने नंबरों के विशिष्ट लुक के बजाय गति के पैटर्न (ब्रिक्स) को सीखा था, इसलिए यह नए नंबरों पर भी पूरी तरह से काम कर गया। इसने साबित किया कि "ब्रिक्स" पुन: उपयोग योग्य हैं।
DCS (The "Robot" Test): उन्होंने एक जटिल रोबोट सिमुलेशन का उपयोग किया जहाँ रोबोट को दौड़ना या चलना होता है जबकि बैकग्राउंड में कुछ हलचल हो रही होती है।
- परिणाम: नया तरीका (OTF-LAM) पुराने तरीकों की तुलना में रोबोट को नियंत्रित करने के तरीके को सीखने में बेहतर था। इसने सफलतापूर्वक विचलित करने वाले बैकग्राउंड को नज़रअंदाज़ किया और रोबोट की गति पर ध्यान केंद्रित किया।

निष्कर्ष (The Bottom Line)

यह पेपर कहता है: "एक अस्त-व्यस्त वीडियो से पूरे एक्शन का अनुमान लगाने की कोशिश न करें। इसके बजाय, वीडियो के बदलावों को छोटे, पुन: उपयोग करने योग्य 'मूवमेंट ब्रिक्स' में तोड़ दें। पहले इन ब्रिक्स को छाँटें, फिर यह पता लगाएँ कि कौन से ब्रिक्स उस एजेंट के हैं जिसे आप नियंत्रित करना चाहते हैं।"

ऐसा करके, AI वास्तविक दुनिया के वातावरण में बेहतर ढंग से काम करने में सक्षम होता है जहाँ बहुत सारे विकर्षण (distractions) होते हैं।

तकनीकी सारांश: एजेंट अस्पष्टता के तहत फैक्टराइज्ड ट्रांज़िशन इफेक्ट्स से लेटेंट एक्शन्स (Latent Actions)

1. समस्या विवरण (Problem Statement)

लेटेंट एक्शन मॉडल्स (LAMs) का लक्ष्य बिना किसी स्पष्ट एक्शन लेबल के, सीधे ऑब्जर्वेशन ट्रांज़िशन (जैसे, वीडियो फ्रेम्स $x_t$ से $x_{t+1}$ ) से एक्शन जैसे प्रॉक्सी को सीखना है। नियंत्रित सेटिंग्स में जहाँ एजेंट परिवर्तन का मुख्य स्रोत होता है, वहाँ LAMs प्रभावी होते हैं, लेकिन जटिल दृश्यों में उन्हें महत्वपूर्ण एजेंट अस्पष्टता (agent ambiguity) का सामना करना पड़ता है। डिस्ट्रैक्टर्स (distractors), चलते हुए बैकग्राउंड, कैमरा डायनेमिक्स, या आर्टिकुलेटेड ऑब्जेक्ट्स वाले वातावरण में, विजुअल ट्रांज़िशन $\Delta x_t$ एजेंट के नियंत्रित मोशन और अनियंत्रित एक्सोजेनस (exogenous) कारकों का एक मिश्रण होता है।

मानक LAMs इस पूरे ट्रांज़िशन को एक मोनोलिथिक (monolithic) लेटेंट वेक्टर में संकुचित (compress) कर देते हैं। बिना पर्यवेक्षण (supervision) के, मॉडल के पास यह भेद करने का कोई आधार नहीं होता कि कौन से देखे गए परिवर्तन एजेंट के कारण हैं और कौन से डिस्ट्रैक्टर्स के कारण। यह अस्पष्टता लेटेंट स्पेस को नियंत्रणीय मोशन और पर्यावरण-विशिष्ट शोर (noise) के बीच उलझा देती है, जिससे ट्रांसफ़रेबिलिटी और डाउनस्ट्रीम पॉलिसी लर्निंग बाधित होती है। मौजूदा दृष्टिकोण अक्सर ऑब्जेक्ट-सेंट्रिक प्रायर्स (priors) या सेगमेंटेशन पर निर्भर करते हैं, जो कठोर धारणाएं थोपते हैं और स्केलेबिलिटी को सीमित करते हैं।

2. कार्यप्रणाली (Methodology)

लेखक ऑब्जर्व्ड ट्रांज़िशन फैक्टराइजेशन (OTF) का प्रस्ताव करते हैं, जो एक बॉटम-अप दृष्टिकोण है जो विजुअल ट्रांज़िशन को केवल एक एकल घटना के रूप में संकुचित करने के बजाय, पुन: प्रयोज्य (reusable) ऑब्जर्व्ड-ट्रांज़िशन प्रिमिटिव्स (observed-transition primitives) के एक स्पार्स कंपोजिशन के रूप में मानता है। यह फ्रेमवर्क दो मुख्य चरणों से बना है:

2.1. ऑब्जर्व्ड ट्रांज़िशन फैक्टराइजेशन (OTF)

पहला चरण स्थानीय मोशन इफेक्ट्स की एक साझा शब्दावली (vocabulary) सीखता है।

इनपुट कंस्ट्रक्शन: एक मोशन ऑब्जर्वेशन $o_t$ को क्रमिक फ्रेम्स पर ग्रेडिएंट ट्रांसफॉर्म (या सोबेल) लागू करके और अंतर की गणना करके बनाया जाता है। यह स्टेटिक अपीयरेंस और ऑब्जेक्ट आइडेंटिटी पर निर्भरता को कम करते हुए दृश्य परिवर्तनों पर जोर देता है।
पैचवाइज वेक्टर क्वांटाइजेशन: मोशन इनपुट को स्थानिक पैच (spatial patches) में विभाजित किया जाता है। प्रत्येक पैच को एक VQ-VAE शैली के ऑब्जेक्टिव का उपयोग करके $K$ आकार के डिस्क्रीट कोडबुक में एनकोड और क्वांटाइज किया जाता है।
प्रिमिटिव्स (Primitives): कोडबुक पुन: प्रयोज्य ऑब्जर्व्ड-ट्रांज़िशन प्रिमिटिव्स (जैसे, स्थानीय विस्थापन, एज शिफ्ट्स, रोटेशन-जैसे रेसिडुअल्स, कॉन्टैक्ट डीफॉर्मेशन) सीखती है। महत्वपूर्ण बात यह है कि ये प्रिमिटिव्स शुद्ध भौतिक गति या ऑब्जेक्ट आइडेंटिटी के बजाय विजुअल इफेक्ट्स का प्रतिनिधित्व करते हैं।
फैक्टर रिप्रेजेंटेशन: प्रत्येक ट्रांज़िशन के लिए, मॉडल फैक्टर्स का एक स्ट्रक्चर्ड सेट $E_t = \{e_{t,k}\}_{k=1}^K$ आउटपुट करता है, जहाँ प्रत्येक फैक्टर $e_{t,k}$ कोडबुक एंट्री, एक ऑक्यूपेंसी मैप (स्थानिक समर्थन), और एक एक्टिवेशन स्ट्रेंथ से बना होता है।
ट्रेनिंग ऑब्जेक्टिव: फैक्टरइज़र को मोशन ऑब्जर्वेशन $o_t$ को चुने गए प्रिमिटिव्स और अपीयरेंस के संदर्भ के रूप में वर्तमान फ्रेम $x_t$ का उपयोग करके पुनर्गठित (reconstruct) करने के लिए प्रशिक्षित किया जाता है, जो मानक VQ लॉस के साथ-साथ कोडबुक विविधता सुनिश्चित करने के लिए एक ऑर्थोगोनैलिटी रेगुलराइज़र को कम करता है।

2.2. OTF-LAM: एक्शन एब्स्ट्रैक्शन

एक बार जब OTF मॉड्यूल प्री-ट्रेन हो जाता है, तो इसे फ्रीज कर दिया जाता है, और इसके द्वारा निकाले गए फैक्टर्स पर एक लेटेंट एक्शन मॉडल को प्रशिक्षित किया जाता है।

स्टेट-अवेयर एब्स्ट्रैक्शन: मॉडल फैक्टर्स $E_t$ और वर्तमान स्टेट $x_t$ को लेकर एक कॉम्पैक्ट लेटेंट एक्शन $z_t^{act}$ बनाता है।
गेटिंग मैकेनिज्म: एक "एक्शन एब्स्ट्रैक्शन मॉड्यूल" प्रत्येक फैक्टर को स्टेट-अवेयर टोकन में बदल देता है। एक गेटिंग नेटवर्क वर्तमान संदर्भ के आधार पर प्रत्येक फैक्टर को एक प्रासंगिकता भार (relevance weight) $\alpha_{t,k}$ असाइन करता है, जो प्रभावी रूप से यह चुनता है कि कौन से ऑब्जर्व्ड-ट्रांज़िशन प्रिमिटिव्स एजेंट के एक्शन के लिए प्रासंगिक हैं।
प्रेडिक्शन: एग्रीगेटेड लेटेंट $z_t^{act}$ का उपयोग अगले ऑब्जर्वेशन (या एक रेसिडुअल अपडेट) की भविष्यवाणी करने के लिए एक मानक इनवर्स-फॉरवर्ड डायनेमिक्स फ्रेमवर्क में किया जाता है।

2.3. OTF-LAM-Dino

पुन: प्रयोज्य घटकों को पर्यावरण-विशिष्ट विवरणों से और अधिक अलग करने के लिए एक डिकोडर-फ्री वेरिएंट पेश किया गया है।

फ्रोज़न रिप्रेजेंटेशन: पिक्सेल स्पेस की भविष्यवाणी करने के बजाय, मॉडल भविष्य के स्टेट्स को एक फ्रोजन DINOv2 रिप्रेजेंटेशन स्पेस में प्रेडिक्ट करता है।
आर्किटेक्चर: विजुअल एनकोडर (DINOv2) और OTF मोशन प्रिमिटिव एक्सट्रैक्टर दोनों फ्रीज किए गए हैं। सीखने योग्य घटक केवल एक्शन एग्रीगेटर और DINO फीचर स्पेस के भीतर फॉरवर्ड डायनेमिक्स प्रेडिक्टर तक सीमित हैं। यह मॉडल को पिक्सेल-लेवल टेक्सचर को पुनर्गठित करने के बजाय कंट्रोल के लिए प्रासंगिक ट्रांज़िशन स्ट्रक्चर को एब्स्ट्रैक्ट करने पर ध्यान केंद्रित करने के लिए मजबूर करता है।

2.4. पॉलिसी लर्निंग

सीखे गए लेटेंट स्पेस को वास्तविक दुनिया के कंट्रोल से जोड़ने के लिए, एक्शन सुपरविजन की एक छोटी मात्रा का उपयोग किया जाता है। एक बिहेवियरल क्लोनिंग पॉलिसी लेटेंट एक्शन $z_t^{act}$ को वास्तविक एक्शन्स में मैप करती है, और एक एक्शन डिकोडर को प्रेडिक्टेड लेटेंट को ग्राउंड-ट्रुथ एक्शन्स में मैप करने के लिए प्रशिक्षित किया जाता है, जो यह हल करने के लिए वर्तमान ऑब्जर्वेशन का उपयोग करता है कि कौन सा मोशन किस ऑब्जेक्ट पर लागू होता है।

3. मुख्य योगदान (Key Contributions)

ऑब्जर्व्ड ट्रांज़िशन फैक्टराइजेशन (OTF): एक नया तरीका जो जटिल विजुअल ट्रांज़िशन्स को एक स्पार्स सेट के पुन: प्रयोज्य, स्थानीयकृत प्रिमिटिव्स में विभाजित करता है, इससे पहले कि लेटेंट एक्शन्स को इन्फर (infer) करने का प्रयास किया जाए। यह सीखने के लक्ष्य को "वास्तविक एक्शन को रिकवर करने" से बदलकर "ऑब्जर्व्ड ट्रांज़िशन इफेक्ट्स को स्ट्रक्चर करने" में स्थानांतरित करता है।
OTF-LAM और OTF-LAM-Dino: दो आर्किटेक्चर जो फैक्टराइज्ड ट्रांज़िशन इंटरफेस का उपयोग करते हैं। OTF-LAM-Dino विशेष रूप से यह प्रदर्शित करता है कि फ्रोजन विजुअल स्टेट रिप्रेजेंटेशन (DINOv2) के साथ पुन: प्रयोज्य ट्रांज़िशन शब्दावली को मिलाने से पिक्सेल-लेवल नज़ेंस (nuisance) कारकों के खिलाफ एक रेगुलराइज़र के रूप में बेहतर डाउनस्ट्रीम प्रदर्शन प्राप्त किया जा सकता है।
ज़ीरो-शॉट ट्रांसफ़रेबिलिटी (Zero-Shot Transferability): प्रयोगात्मक प्रमाण जो दिखाते हैं कि सीखा गया मोशन प्रिमिटिव विभिन्न विजुअल कैरियर्स (जैसे, Moving MNIST में अलग-अलग डिजिट क्लासेस) और एम्बोडीड मॉर्फोलॉजी (जैसे, Walker से Cheetah में Distracting Control Suite में) के बीच ज़ीरो-शॉट ट्रांसफर करता है, जो यह दर्शाता है कि कोडबुक पर्यावरण-विशिष्ट टेम्पलेट्स के बजाय सामान्य ट्रांज़िशन स्ट्रक्चर को कैप्चर करता है।
अस्पष्टता के प्रति मजबूती (Robustness to Ambiguity): विधि यह प्रदर्शित करती है कि ट्रांज़िशन्स को फैक्टराइज करने से जटिल सेटिंग्स में अधिक मजबूत लेटेंट एक्शन लर्निंग संभव होती है, जो मोनोलिथिक LAM बेसलाइन्स को पीछे छोड़ देती है या उनके बराबर प्रदर्शन करती है।

4. प्रयोगात्मक परिणाम (Experimental Results)

पेपर का मूल्यांकन डिस्ट्रैक्टिंग कंट्रोल सूट (DCS) (Cheetah-Run और Walker-Run) और मूविंग MNIST पर किया गया है।

पुन: प्रयोज्यता (Reusability): क्रॉस-मॉर्फोलॉजी और क्रॉस-कैरियर ट्रांसफर प्रयोगों में, OTF शब्दावली ने मोनोलिथिक VQ-VAE बेसलाइन्स की तुलना में काफी कम प्रदर्शन गिरावट दिखाई। उदाहरण के लिए, DCS में, Walker-Run पर प्रशिक्षित OTF शब्दावली ने Cheetah-Run पर ज़ीरो-शॉट लागू होने पर उच्च रिकंस्ट्रक्शन क्वालिटी बनाए रखी, जबकि मोनोलिथिक बेसलाइन्स ने बड़ी त्रुटि वृद्धि (OTF के ~20% बनाम मोनोलिथिक के 71% गिरावट) का अनुभव किया।
डाउनस्ट्रीम पॉलिसी लर्निंग:
- DCS पर, OTF-LAM और OTF-LAM-Dino ने LAPO, FLAM और HiLAM जैसे बेसलाइन्स की तुलना में प्रतिस्पर्धी या बेहतर रिटर्न प्राप्त किया।
- OTF-LAM-Dino ने डिकोडर-आधारित OTF-LAM की तुलना में लगातार बेहतर प्रदर्शन किया, जो यह सुझाव देता है कि कंट्रोल कार्यों के लिए पिक्सेल रिकंस्ट्रक्शन की तुलना में फ्रोजन रिप्रेजेंटेशन स्पेस में प्रेडिक्ट करना अधिक प्रभावी है।
- विधि ने सफलतापूर्वक लेटेंट एक्शन्स को ऐसी पॉलिसियों में डिस्टिल किया जो जटिल सेटिंग्स में भी बेसलाइन्स के बराबर या उनसे बेहतर थीं, भले ही विजुअल ट्रांज़िशन में महत्वपूर्ण डिस्ट्रैक्टर शोर मौजूद हो।
एब्लेशन (Ablation): कोडबुक साइज ( $K$ ) पर अध्ययन ने संकेत दिया कि हालांकि जटिल वातावरण (Cheetah-Run) में बड़े वोकैबुलरी ने आम तौर पर मदद की, लेकिन यह पूरी तरह से मोनोटोनिक नहीं था, जो बताता है कि एक अनुकूलतम क्षमता (optimal capacity) वातावरण और आर्किटेक्चर पर निर्भर करती है।

5. महत्व और दावे (Significance and Claims)

पेपर दावा करता है कि फैक्टराइज्ड ऑब्जर्व्ड इफेक्ट्स एजेंट अस्पष्टता के तहत ऑब्जर्वेशन-ओनली लेटेंट एक्शन लर्निंग के लिए एक बेहतर इंटरमीडिएट रिप्रेजेंटेशन के रूप में कार्य करते हैं।

परिप्रेक्ष्य में बदलाव: लेखक तर्क देते हैं कि ऑब्जर्वेशन-ओनली लर्निंग के तहत, सबसे विश्वसनीय लक्ष्य वास्तविक एक्शन स्वयं नहीं है, बल्कि देखे गए ट्रांज़िशन इफेक्ट्स का स्ट्रक्चर है। ट्रांज़िशन को पुन: प्रयोज्य प्रिमिटिव्स के कंपोजिशन के रूप में मानकर, मॉडल कठोर ऑब्जेक्ट-सेंट्रिक प्रायर्स पर निर्भर किए बिना कंट्रोल करने योग्य मोशन को डिस्ट्रैक्टर्स से अलग कर सकता है।
सामान्यीकरण (Generalization): परिणाम बताते हैं कि विजुअल ट्रांज़िशन इफेक्ट्स की एक "शब्दावली" सीखने से, एक सिंगल मोनोलिथिक लेटेंट एक्शन सीखने की तुलना में विभिन्न एजेंटों और विजुअल डोमेन में बेहतर सामान्यीकरण मिलता है।
सीमित दायरा: लेखक स्पष्ट रूप से कहते हैं कि उनका काम नियंत्रित सेटिंग्स और DCS डिस्ट्रैक्टर वातावरण पर इन दृष्टिकोणों का मूल्यांकन करता है। वे स्वीकार करते हैं कि समृद्ध, विविध वीडियो-गेम डोमेन (जैसे, स्क्रॉलिंग कैमरा, विविध नॉन-एजेंट डायनेमिक्स) में इसे विस्तारित करना भविष्य का कार्य है। वे बिना किसी सुपरविजन के एक्शन रिकवरी की सामान्य समस्या को हल करने का दावा नहीं करते हैं, बल्कि यह प्रदर्शित करते हैं कि एक फैक्टराइज्ड इंटरमीडिएट रिप्रेजेंटेशन सीखा गया लेटेंट एक्शन इंटरफेस की मजबूती और ट्रांसफ़रेबिलिटी में सुधार करता है।