🤖 machine learning

Sensorimotor World Models: Perception for Action via Inverse Dynamics

यह शोधपत्र सेंसरिमोटर वर्ल्ड मॉडल (SMWM) को प्रस्तुत करता है, जो एक लेटेंट वर्ल्ड मॉडल है जिसे रिप्रेजेंटेशन कोलैप्स को रोकने और एक्शन-अलाइन्ड रिप्रेजेंटेशन को प्रेरित करने के लिए इनवर्स डायनेमिक्स रेगुलराइजेशन के साथ एंड-टू-एंड प्रशिक्षित किया गया है, जो जटिल आर्किटेक्चरल बाधाओं के बिना प्रतिस्पर्धी प्लानिंग के लिए कॉम्पैक्ट लेटेंट स्पेस के रिवॉर्ड-फ्री लर्निंग को सक्षम बनाता है।

मूल लेखक: Petr Ivashkov, Randall Balestriero, Bernhard Schölkopf

प्रकाशित 2026-06-19

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Petr Ivashkov, Randall Balestriero, Bernhard Schölkopf

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को कमरे में नेविगेट करना सिखाने की कोशिश कर रहे हैं। आप उसे कमरे की लाखों तस्वीरें दिखा सकते हैं और उससे कमरे के हर एक विवरण को याद रखने के लिए कह सकते हैं: कालीन का रंग, शेल्फ पर जमी धूल, या वॉलपेपर का पैटर्न। लेकिन यहाँ एक समस्या है: यदि रोबोट अपना सारा मानसिक बल धूल को याद करने में लगा देता है, तो वह चीजों से टकराए बिना चलने का तरीका भूल सकता है।

यह पेपर रोबोट्स को दुनिया को "देखने" का एक नया तरीका सिखाता है, जिसे सेंसरिमोटर वर्ल्ड मॉडल्स (SMWM) कहा जाता है। एक परफेक्ट फोटोग्राफर बनने के बजाय, रोबोट एक परफेक्ट डांसर बनना सीखता है।

यह कैसे काम करता है, इसका विवरण सरल उपमाओं (analogies) के माध्यम से यहाँ दिया गया है:

1. समस्या: "परफेक्ट फोटोग्राफर" का जाल

अतीत में, AI मॉडल यह सीखने की कोशिश करते थे कि अगली तस्वीर कैसी दिखेगी। इसे अच्छी तरह से करने के लिए, वे अक्सर आलसी हो जाते थे। उन्होंने महसूस किया, "हे, अगर मैं अपना दिमाग बंद कर दूँ और हर बार एक ही उबाऊ ग्रे तस्वीर का अनुमान लगा लूँ, तो मैं गलत नहीं हो सकता!" इसे रिप्रेजेंटेशन कोलैप्स (representation collapse) कहा जाता है। मॉडल दुनिया के बारे में कुछ भी उपयोगी सीखना बंद कर देता है क्योंकि उसने अच्छे स्कोर पाने के लिए एक शॉर्टकट ढूंढ लिया होता है।

अन्य तरीकों ने रोबोट के दिमाग के कुछ हिस्सों को फ्रीज करके या जटिल गणितीय नियम जोड़कर इसे ठीक करने की कोशिश की। ये तरीके काम तो करते थे, लेकिन वे जटिल थे और उनके लिए अतिरिक्त उपकरणों की आवश्यकता होती थी।

2. समाधान: "एक्शन डिटेक्टिव" (क्रिया का जासूस)

इस पेपर के लेखकों ने एक बहुत ही सरल तरकीब निकाली। उन्होंने भविष्य की भविष्यवाणी करने के साथ-साथ रोबोट को एक दूसरा कार्य सीखने के लिए जोड़ा।

कार्य A (फॉरवर्ड मॉडल): "अगर मैं यहाँ हूँ और मैं बाईं ओर जाता हूँ, तो अगली बार मैं कहाँ होऊँगा?"
कार्य B (इनवर्स मॉडल): "अगर मैं यहाँ था और फिर मैं वहाँ पहुँच गया, तो मैंने अभी कौन सी क्रिया (move) की थी?"

इसे एक जासूस की तरह समझें। यदि आप देखते हैं कि एक व्यक्ति रसोई में खड़ा है, और फिर अचानक लिविंग रूम में खड़ा है, तो आप अनुमान लगा सकते हैं कि वह गलियारे से होकर गुजरा है। लेकिन यदि आप देखते हैं कि एक व्यक्ति रसोई में खड़ा है और फिर अचानक रसोई में ही वापस आ जाता है, तो आप जानते हैं कि वह चला नहीं था।

पेपर का असली मंत्र (secret sauce) कार्य B है। रोबोट को मजबूर करके कि वह अपनी "पहले" और "बाद" की तस्वीरों को देखे और ठीक से पता लगाए कि किस क्रिया के कारण बदलाव आया, रोबोट आलसी नहीं हो सकता। उसे वास्तव में उन हिस्सों पर ध्यान देना ही होगा जो उसकी अपनी गति के कारण बदले हैं।

3. रोबोट क्या सीखता है?

चूंकि रोबोट से लगातार पूछा जा रहा है, "तुमने इस बदलाव का कारण क्या किया?", इसलिए वह उन चीजों को अनदेखा करना सीख जाता है जिन्हें वह नियंत्रित नहीं कर सकता।

"डिस्ट्रैक्टर" (भटकाव) की उपमा: कल्पना कीजिए कि रोबोट सड़क पर चल रहा है। एक पक्षी उड़कर निकलता है, और एक बादल का आकार बदलता है। ये चीजें चलती हैं, लेकिन रोबोट ने उन्हें नहीं हिलाया।
- पुराने मॉडल पक्षी और बादल को याद रखने की कोशिश कर सकते हैं।
- SMWM रोबोट समझ जाता है, "मैंने पक्षी को नहीं हिलाया, इसलिए मुझे अपने अगले कदम की योजना बनाने के लिए पक्षी कहाँ था, यह याद रखने की ज़रूरत नहीं है।" वह पक्षी और बादल को फिल्टर कर देता है।
- वह फुटपाथ और दरवाजे को याद रखता है, क्योंकि वे वे चीजें हैं जिनके साथ वह वास्तव में इंटरैक्ट कर सकता है।

परिणामस्वरूप, एक "मानसिक मानचित्र" (mental map) बनता है जो बहुत छोटा, बहुत साफ है, और इसमें केवल वही चीजें शामिल हैं जिन्हें रोबोट नियंत्रित कर सकता है। यह दुनिया के "शोर" को हटा देता है।

4. परिणाम: एक बेहतर नेविगेटर

शोधकर्ताओं ने सरल 2D गेम्स से लेकर क्यूब्स को हिलाने वाले जटिल 3D रोबोट आर्म्स तक, कई कार्यों पर इसका परीक्षण किया।

दक्षता (Efficiency): रोबोट ने अपने दिमाग के कुछ हिस्सों को फ्रीज किए बिना या जटिल अतिरिक्त नियमों का उपयोग किए बिना इन साफ मानसिक मानचित्रों को बनाना सीख लिया।
योजना (Planning): क्योंकि उसका मानसिक मानचित्र इतना स्पष्ट था (उसे पता था कि वह किन दिशाओं में जा सकता है), रोबोट लक्ष्य तक पहुँचने के लिए अपने रास्ते की योजना बनाने में बेहतर था। एक 3D कार्य में, जिसमें एक रोबोट आर्म एक क्यूब को हिला रहा था, यह नई विधि पिछले सबसे अच्छे तरीकों की तुलना में काफी बेहतर थी।
समझ (Understanding): रोबोट का आंतरिक "मानचित्र" वास्तविक दुनिया जैसा दिखता था। यदि रोबोट बाएं/दाएं चल सकता था, तो मानचित्र में एक बाएं/दाएं अक्ष (axis) था। यदि वह घूम (rotate) सकता था, तो उसमें एक रोटेशन अक्ष था। उसने केवल अपनी क्रियाओं को समझने की कोशिश करके दुनिया के "आकार" को सीख लिया।

सारांश

संक्षेप में, यह पेपर कहता है: रोबोट को पूरी दुनिया को याद रखना न सिखाएं; उसे यह सिखाएं कि वह क्या करता है।

एक साधारण "क्रिया का अनुमान लगाने वाला" खेल जोड़कर, रोबोट स्वाभाविक रूप से भटकाव को अनदेखा करना और केवल उन हिस्सों पर ध्यान केंद्रित करना सीख जाता है जिन्हें वह नियंत्रित कर सकता है। यह उसे स्मार्ट, तेज़ और अपने अगले कदम की योजना बनाने में बेहतर बनाता है, और वह भी बिना किसी जटिल अतिरिक्त टूल के। यह "स्मृति के लिए धारणा" (Perception for Memory) से "क्रिया के लिए धारणा" (Perception for Action) की ओर एक बदलाव है।

तकनीकी सारांश: सेंसरिमोटर वर्ल्ड मॉडल्स (SMWM)

समस्या विवरण (Problem Statement)

यह शोध पत्र उच्च-आयामी अवलोकनों (जैसे पिक्सेल) से बिना किसी रिवॉर्ड सिग्नल या टास्क लेबल के लेटेंट वर्ल्ड मॉडल्स (latent world models) सीखने की चुनौती को संबोधित करता है। जबकि जॉइंट एम्बेडिंग प्रेडिक्टिव आर्किटेक्चर (JEPAs) एक आशाजनक ढांचा प्रदान करते हैं क्योंकि वे पिक्सेल पुनर्निर्माण (reconstruction) के बजाय सीधे एम्बेडिंग स्पेस में भविष्य की अवस्थाओं की भविष्यवाणी करते हैं, वे रिप्रेजेंटेशन कोलैप्स (representation collapse) से ग्रस्त होते हैं। जब एक एनकोडर और एक फॉरवर्ड डायनेमिक्स मॉडल को भविष्य के प्रेडिक्शन एरर को कम करने के लिए संयुक्त रूप से प्रशिक्षित किया जाता है, तो एनकोडर सभी अवलोकनों को एक स्थिर एम्बेडिंग (constant embedding) में मैप करना सीख सकता है। यह एक तुच्छ समाधान (trivial solution) है जो फॉरवर्ड लॉस को तो कम कर देता है, लेकिन मॉडल को डाउनस्ट्रीम कंट्रोल या प्लानिंग के लिए बेकार बना देता है।

कोलैप्स को रोकने के मौजूदा समाधान अक्सर जटिल तंत्रों पर निर्भर करते हैं जैसे:

प्रीट्रेंड एनकोडर्स को फ्रीज करना (जैसे, DINO-WM)।
वितरणल रेगुलराइजर्स जोड़ना (जैसे, SIGReg के माध्यम से एम्बेडिंग्स को आइसोट्रोपिक गौसियन से मिलाना)।
स्टॉप-ग्रेडिएंट्स के साथ एक्सपोनेंशियल मूविंग एवरेज (EMA) टारगेट नेटवर्क का उपयोग करना।
वेरिएंस-कोवेरिएंस बाधाओं वाले मल्टी-टर्म लॉस फंक्शन्स का उपयोग करना।

लेखक तर्क देते हैं कि ये दृष्टिकोण इस मूल प्रश्न को पूरी तरह से संबोधित नहीं कर सकते हैं कि एक उपयोगी वर्ल्ड मॉडल रिप्रेजेंटेशन को क्या बनाए रखना चाहिए। "एक्शन के लिए धारणा" (perception for action) और एनेक्टिव परसेप्शन (enactive perception) की अवधारणा पर आधारित, यह शोध पत्र तर्क देता है कि रिप्रेजेंटेशन को क्रियाओं (actions) की प्रासंगिकता द्वारा आकार दिया जाना चाहिए, जिससे उन अंतरों को सुरक्षित रखा जा सके जो नियंत्रणीय डायनेमिक्स (controllable dynamics) के लिए महत्वपूर्ण हैं, जबकि अनियंत्रित विकर्षणों (uncontrollable distractors) को त्याग दिया जाए।

कार्यप्रणाली: सेंसरिमोटर वर्ल्ड मॉडल (SMWM)

लेखक SMWM का प्रस्ताव करते हैं, जो ऑफलाइन, रिवॉर्ड-फ्री ट्राजेक्टरीज $(o_t, a_t, o_{t+1})$ से एंड-टू-एंड प्रशिक्षित एक लेटेंट वर्ल्ड मॉडल है। मुख्य नवाचार इनवर्स डायनेमिक्स रेगुलराइजेशन (inverse dynamics regularization) का उपयोग है, जो रिप्रेजेंटेशन कोलैप्स को रोकने के एकमात्र तंत्र के रूप में कार्य करता है।

आर्किटेक्चर (Architecture)

मॉडल में तीन घटक शामिल हैं जिन्हें संयुक्त रूप से प्रशिक्षित किया जाता है:

एनकोडर ( $f_\theta$ ): अवलोकनों $o_t$ को एक कॉम्पैक्ट लेटेंट एम्बेडिंग $z_t$ में मैप करता है।
फॉरवर्ड डायनेमिक्स मॉडल ( $g_\phi$ ): वर्तमान अवस्था $z_t$ और एक्शन $a_t$ दिए जाने पर अगली लेटेंट अवस्था $\hat{z}_{t+1}$ की भविष्यवाणी करता है।
इनवर्स डायनेमिक्स मॉडल ( $h_\psi$ ): दो क्रमिक एम्बेडिंग्स $z_t$ और $z_{t+1}$ के बीच लिए गए एक्शन $\hat{a}_t$ की भविष्यवाणी करता है।

प्रशिक्षण उद्देश्य (Training Objective)

मॉडल को एक संयुक्त लॉस फंक्शन को कम करके अनुकूलित किया जाता है:
$\mathcal{L} = \mathcal{L}_{fwd} + \lambda \mathcal{L}_{inv}$

फॉरवर्ड लॉस ( $\mathcal{L}_{fwd}$ ): अनुमानित अगली एम्बेडिंग $\hat{z}_{t+1} = g_\phi(z_t, a_t)$ और वास्तविक एनकोडेड अगली अवस्था $z_{t+1} = f_\theta(o_{t+1})$ के बीच का मीन स्क्वेर्ड एरर (MSE) है।
इनवर्स लॉस ( $\mathcal{L}_{inv}$ ): अनुमानित एक्शन $\hat{a}_t = h_\psi(z_t, z_{t+1})$ और ग्राउंड-ट्रुथ एक्शन $a_t$ के बीच का MSE है।
रेगुलराइजेशन वेट ( $\lambda$ ): एक सिंगल हाइपरपैरामीटर जो इनवर्स डायनेमिक्स सिग्नल की शक्ति को नियंत्रित करता है।

कार्य करने की प्रक्रिया (Mechanism of Action)

इनवर्स लॉस एक एंटी-कोलैप्स मैकेनिज्म (anti-collapse mechanism) के रूप में कार्य करता है। यदि एनकोडर एक स्थिर एम्बेडिंग में कोलैप्स हो जाता है, तो इनवर्स मॉडल सभी ट्रांजिशन के लिए समान इनपुट प्राप्त करेगा और केवल एक स्थिर एक्शन (एक्शन डिस्ट्रीब्यूशन का माध्य) ही प्रेडिक्ट कर पाएगा। इस निरंतर-प्रेडिक्टर जोखिम से नीचे इनवर्स लॉस को कम करने के लिए, एनकोडर को ट्रांजिशन $(o_t, o_{t+1})$ में निहित एक्शन $a_t$ के बारे में जानकारी को सुरक्षित रखना अनिवार्य है। यह रिप्रेजेंटेशन को एक्शन-प्रासंगिक जानकारी (नियंत्रणीय डिग्री ऑफ फ्रीडम) को बनाए रखने के लिए मजबूर करता है, जबकि उन अनियंत्रित विकर्षणों (एक्सोजेनस नॉइज़) को स्वाभाविक रूप से फ़िल्टर करता है जो एक्शन रिकवरी को प्रभावित नहीं करते हैं।

डिस्ट्रिब्यूशनल रेगुलराइजर्स के विपरीत जो एम्बेडिंग स्पेस की ज्यामिति निर्धारित करते हैं (जैसे, इसे गौसियन बनाने के लिए मजबूर करना), इनवर्स डायनेमिक्स रिप्रेजेंटेशन को एक टास्क-ग्राउंडेड मात्रा (एक्शन) से बांधता है, बिना किसी विशिष्ट ज्यामितीय पूर्वधारणा (geometric priors) को थोपे।

मुख्य योगदान (Key Contributions)

SMWM आर्किटेक्चर: एक सरल, एंड-टू-एंड ट्रेन करने योग्य सेंसरिमोटर वर्ल्ड मॉडल जो कोलैप्स को रोकने के एकमात्र तंत्र के रूप में इनवर्स डायनेमिक्स का उपयोग करता है, जिसमें केवल एक अतिरिक्त हाइपरपैरामीटर ( $\lambda$ ) की आवश्यकता होती है।
रिप्रेजेंटेशन गुण: इस बात का अनुभवजन्य प्रमाण कि सीखे गए रिप्रेजेंटेशन न केवल नॉन-कोलेप्स्ड हैं, बल्कि विशेष रूप से नियंत्रणीय डिग्री ऑफ फ्रीडम को ट्रैक करते हैं, स्थानिक ज्यामिति (कार्टेशियन और आवधिक/periodic दोनों) को सुरक्षित रखते हैं, और अनियंत्रित विकर्षणों को फ़िल्टर करते हैं।
डाउनस्ट्रीम प्रदर्शन: 2D और 3D कंट्रोल टास्क में प्रतिस्पर्धी प्लानिंग प्रदर्शन का प्रदर्शन, जो दिखाता है कि रिप्रेजेंटेशन के संरचनात्मक लाभ प्रभावी गोल-कंडीशन्ड प्लानिंग में अनुवादित होते हैं।

प्रयोगात्मक परिणाम (Experimental Results)

नियंत्रित टेस्टबेड्स (Dot World & Sprite World)

इंट्रिन्सिक डायमेंशन रिकवरी: एक "डॉट वर्ल्ड" वातावरण में, मॉडल ने पिक्सेल से ही स्टेट स्पेस के वास्तविक 2D इंट्रिन्सिक डायमेंशन को सफलतापूर्वक रिकवर किया, भले ही वह 64-डायमेंशनल लेटेंट स्पेस में एम्बेड था।
विकर्षण फ़िल्टरिंग (Distractor Filtering): जब अनियंत्रित "विकर्षण" ऑब्जेक्ट्स (रैंडमली मूविंग) पेश किए गए, तो एनकोडर ने उन्हें अनदेखा कर दिया। प्रभावी लेटेंट डायमेंशन कुल ऑब्जर्वेशन डायमेंशन के बजाय नियंत्रणीय डिग्री ऑफ फ्रीडम के बराबर था।
कंट्रोल-डिपेंडेंट परसेप्शन: एक स्प्राइट वर्ल्ड प्रयोग में, मॉडल ने पोज़ वेरिएबल्स (पोजीशन, ओरिएंटेशन) को केवल तभी सुरक्षित रखा जब वे नियंत्रणीय थे। जब ओरिएंटेशन अनकंट्रोलेबल था, तो रिप्रेजेंटेशन ने उसे औसत (average) कर दिया, जिसके परिणामस्वरूप ओरिएंटेशन का एक ब्लर पुनर्निर्माण प्राप्त हुआ।

प्लानिंग बेंचमार्क्स (Planning Benchmarks)

लेखकों ने चार ऑफलाइन कंट्रोल टास्क पर SMWM का मूल्यांकन किया: TwoRoom (2D नेविगेशन), Reacher (कंटीन्यूअस कंट्रोल), Push-T (2D मैनिपुलेशन), और OGBench-Cube (3D मैनिपुलेशन)।

बेसलाइन्स: SIGReg (गौसियन रेगुलराइजर्स का उपयोग करने वाला एक मजबूत JEPA बेसलाइन), Forward-only (कोई इनवर्स लॉस नहीं), और Random एक्शन सैंपलिंग के विरुद्ध तुलना की गई।
प्रदर्शन:
- SMWM ने तीनों 2D कार्यों पर SIGReg प्रदर्शन के बराबर प्रदर्शन किया।
- SMWM ने 3D OGBench-Cube कार्य पर SIGReg को पछाड़ दिया (84% सफलता बनाम 59%)।
- दोनों रेगुलराइज्ड मेथड्स ने Forward-only एब्लेशन की तुलना में काफी बेहतर प्रदर्शन किया, जो एंटी-कोलैप्स मैकेनिज्म की आवश्यकता की पुष्टि करता है।
लेटेंट ज्योमेट्री: प्रोबिंग प्रयोगों ने खुलासा किया कि SMWM एम्बेडिंग्स भौतिक अवस्था ज्यामिति (जैसे, Reacher में आवधिक जॉइंट एंगल्स के लिए बेलनाकार संरचनाएं, नेविगेशन के लिए कार्टेशियन मैप्स) को दर्शाने वाले लो-डायमेंशनल सबस्पेस बनाते हैं।

महत्व और दावे (Significance and Claims)

शोध पत्र का दावा है कि SMWM लेटेंट वर्ल्ड मॉडल लर्निंग में "एक्शन के लिए धारणा" का एक सिद्धांतपूर्ण और सरल इंस्टेंशिएशन प्रदान करता है। अवस्थाओं को पर्याप्त जानकारी सुरक्षित रखने के लिए मजबूर करके जो एजेंट के एक्शन को रिकवर कर सके, मॉडल स्वाभाविक रूप से रिप्रेजेंटेशन को पर्यावरण के नियंत्रणीय डिग्री ऑफ फ्रीडम की ओर बायस करता है।

मुख्य निष्कर्षों में शामिल हैं:

सरलता: एंड-टू-एंड JEPA ट्रेनिंग को स्थिर करने के लिए केवल इनवर्स डायनेमिक्स ही पर्याप्त है, जिसमें पुनर्निर्माण, रिवॉर्ड सिग्नल, फ्रोजन एनकोडर, या जटिल डिस्ट्रिब्यूशनल प्रायर की आवश्यकता नहीं है।
संरचनात्मक पूर्वाग्रह (Structural Bias): यह विधि ऐसे रिप्रेजेंटेशन को प्रेरित करती है जो व्याख्या योग्य (interpretable) हैं और पर्यावरण की कारण संरचना (actions और उनके प्रभाव) के साथ संरेखित हैं, न कि केवल प्रेडिक्टिव सहसंबंधों के साथ।
व्यावहारिक उपयोगिता: सीखे गए रिप्रेजेंटेशन प्रभावी लेटेंट प्लानिंग का समर्थन करते हैं, विशेष रूप से जटिल 3D वातावरण में जहाँ अन्य रेगुलराइज्ड बेसलाइन संघर्ष करती हैं।

लेखक सीमाओं को स्वीकार करते हैं, जैसे कि यह धारणा कि एक्शन को क्रमिक अवलोकनों से रिकवर किया जा सकता है और सिंगल फ्रेम से पहचाने जाने योग्य मात्राओं (जैसे, वेलोसिटी) को कैप्चर करने में वर्तमान अक्षमता। हालांकि, वे SMWM को ऑफलाइन डेटा से एक्शन योग्य वर्ल्ड मॉडल्स सीखने के लिए एक मजबूत, रिवॉर्ड-फ्री दृष्टिकोण के रूप में प्रस्तुत करते हैं।