← नवीनतम पेपर
🤖 AI

Learning Visual Feature-Based World Models via Residual Latent Action

यह शोध पत्र RLA वर्ल्ड मॉडल को प्रस्तुत करता है, जो कुशल, उच्च-निष्ठा वाले विज़ुअल फीचर प्रेडिक्शन प्राप्त करने और बिना ऑनलाइन इंटरेक्शन या हस्तनिर्मित रिवार्ड्स के ऑफलाइन वीडियो से उन्नत रोबोट लर्निंग को सक्षम करने के लिए DINO रेसिडुअल्स से सीखे गए और फ्लो मैचिंग के माध्यम से प्रेडिक्ट किए गए एक नवीन रेसिडुअल लेटेंट एक्शन रिप्रेजेंटेशन का लाभ उठाता है।

मूल लेखक: Xinyu Zhang, Zhengtong Xu, Yutian Tao, Yeping Wang, Yu She, Abdeslam Boularias

प्रकाशित 2026-05-11
📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें
CC BY 4.0

मूल लेखक: Xinyu Zhang, Zhengtong Xu, Yutian Tao, Yeping Wang, Yu She, Abdeslam Boularias

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को कप, गेंद या किसी उपकरण को हिलाना सिखाने की कोशिश कर रहे हैं। ऐसा करने के लिए, रोबोट को एक "वर्ल्ड मॉडल" (world model) की आवश्यकता होगी—एक मानसिक सिमुलेशन जो उसे यह अनुमान लगाने में मदद करे कि यदि वह अपने हाथ को एक निश्चित तरीके से हिलाता है, तो आगे क्या होगा।

लंबे समय तक, वैज्ञानिकों ने इन मानसिक सिमुलेशन को अगले वीडियो फ्रेम के सटीक पिक्सेल (exact pixels) का अनुमान लगाकर बनाने की कोशिश की (जैसे कि एक रेत का महल बनने से पहले उसके हर एक कण का अनुमान लगाना)। यह गणनात्मक रूप से भारी, धीमा है, और अक्सर इससे रोबोट ऐसी चीजें "हैलुसिनेट" (hallucinate) करने लगता है जो मौजूद ही नहीं हैं, जैसे कि एक कप अचानक बिल्ली में बदल जाना।

अन्य शोधकर्ताओं ने कच्चे पिक्सेल के बजाय विजुअल फीचर्स (visual features) (जैसे कि वस्तुओं का सामान्य आकार और रंग) का अनुमान लगाने की कोशिश की। यह तेज़ है, लेकिन इसके परिणामस्वरूप भविष्यवाणियां "धुंधली" (blery) हो जाती हैं, जैसे कि धुंधली खिड़की से फोटो देखना। जटिल 3D कार्यों में, ये भविष्यवाणियां पूरी तरह से विफल हो सकती हैं, जिससे रोबोट चीजों की स्थिति को ट्रैक करने में असमर्थ हो जाता है।

यह पेपर एक नया समाधान पेश करता है जिसे RLA-WM (रेसिड्यूअल लेटेंट एक्शन वर्ल्ड मॉडल) कहा जाता है। यह कैसे काम करता है, इसके लिए सरल उपमाओं का उपयोग किया गया है:

1. "डेल्टा" ट्रिक (रेसिड्यूअल लेटेंट एक्शन)

पूरी अगली तस्वीर की भविष्यवाणी करने के बजाय, लेखकों ने महसूस किया कि रोबोट को केवल "अभी" और "बाद में" के बीच के अंतर को सीखने की आवश्यकता है।

  • उपमा: कल्पना कीजिए कि आप एक फिल्म देख रहे हैं। अगले दृश्य के हर फ्रेम को शून्य से याद करने के बजाय, आपको बस यह याद रखने की आवश्यकता है कि क्या बदला। क्या गेंद बाईं ओर मुड़ी? क्या कप झुक गया?
  • नवाचार: लेखकों ने एक संक्षिप्त "चेंज कोड" बनाया जिसे रेसिड्यूअल लेटेंट एक्शन (RLA) कहा जाता है। वे वर्तमान छवि और भविष्य की छवि के बीच के अंतर को लेते हैं, उसे एक छोटे, कुशल वेक्टर (संख्याओं की एक छोटी सूची) में संकुचित करते हैं, और इसे "एक्शन" कहते हैं।
  • यह कैसे मदद करता है: यह एक पूरी नई किताब देने के बजाय रोबोट को एक "चेंज लॉग" (बदलाव का विवरण) देने जैसा है। यह बहुत छोटा है, प्रोसेस करने में तेज़ है, और "धुंधलेपन" की समस्या से बचता है क्योंकि यह केवल गति पर ध्यान केंद्रित करता है।

2. "फ्लो" मशीन

एक बार जब रोबोट के पास यह "चेंज कोड" आ जाता है, तो उसे यह अनुमान लगाने की आवश्यकता होती है कि भविष्य में वह कोड कैसा दिखेगा।

  • उपमा: एक नदी के बारे में सोचें। आपको यह जानने के लिए कि नदी कहाँ बहती है, पानी के हर अणु का सिमुलेशन करने की आवश्यकता नहीं है। आपको बस नदी की धारा और दिशा जानने की आवश्यकता है।
  • नवाचार: वे फ्लो मैचिंग (Flow Matching) नामक तकनीक का उपयोग करते हैं। यह एक GPS की तरह है जो रोबोट के कार्यों के आधार पर "अभी" से "भविष्य" तक के सबसे सुगम पथ की गणना करता है। चूंकि वे इस पथ की गणना छोटे "चेंज कोड" स्पेस में कर रहे हैं (विशाल वीडियो स्पेस में नहीं), इसलिए यह अविश्वसनीय रूप से तेज़ और सटीक है।

3. रोबोटों के लिए दो महाशक्तियाँ

A. "साइलेंट" वीडियो से सीखना (एक्शन लेबल की आवश्यकता नहीं)

  • समस्या: आमतौर पर, रोबोट को सिखाने के लिए, आपको ऐसे वीडियो की आवश्यकता होती है जहाँ आपको पता हो कि कौन से बटन दबाए गए थे (एक्शन लेबल)। लेकिन इंटरनेट पर अधिकांश वीडियो (जैसे YouTube) केवल यह दिखाते हैं कि रोबक कैसे चल रहा है, बिना यह बताए कि वह कैसे चला।
  • समाधान: RLA मॉडल एक साइलेंट वीडियो को देख सकता है, केवल हलचल को देखकर "चेंज कोड" (RLA) का पता लगा सकता है, और फिर रोबोट को उस गति की नकल करना सिखा सकता है। यह किसी दूसरे को नाचते हुए देखकर नृत्य सीखने जैसा है, बिना किसी कोरियोग्राफर के यह बताए कि कदम क्या हैं।

B. एक "सपने" के भीतर प्रशिक्षण (विजुअल रीइन्फोर्समेंट लर्निंग)

  • समस्या: वास्तविक दुनिया में रोबोट को प्रशिक्षित करना धीमा और जोखिम भरा है। यदि रोबोट एक कप गिरा देता है, तो आपको उसे उठाना पड़ता है और फिर से प्रयास करना पड़ता है।
  • समाधान: लेखकों ने एक ऐसी प्रणाली बनाई है जहाँ रोबोट पूरी तरह से सिमुलेशन के भीतर (वर्ल्ड मॉडल) अभ्यास करता है।
    • रोबोट एक कार्य का "सपना" देखता है।
    • वह सपने में एक चाल चलता है।
    • RLA-WM तुरंत परिणाम की भविष्यवाणी करता है।
    • यदि सपने का परिणाम पहले देखे गए सफल वीडियो जैसा दिखता है, तो रोबोट को एक "रिवॉर्ड" (पुरस्कार) मिलता है।
    • वह अपने दिमाग में लाखों बार इसे दोहराता है, जिससे वह बिना किसी वास्तविक वस्तु को छुए या किसी मानव द्वारा मैन्युअल रूप से ग्रेडिंग की आवश्यकता के बिना, एकदम सही रणनीति सीख जाता है।

परिणाम

पेपर का दावा है कि यह विधि:

  1. अधिक सटीक है: यह उन पिछले तरीकों की तुलना में भविष्य की स्थितियों की बेहतर भविष्यवाणी करती है जो पूर्ण वीडियो या धुंधले फीचर्स बनाने की कोशिश करते थे।
  2. बहुत तेज़ है: यह वीडियो-जेनरेशन मॉडल्स की तुलना में कई गुना तेज़ है क्योंकि यह विशाल वीडियो फाइलों के बजाय छोटे "चेंज कोड्स" के साथ काम करता है।
  3. अधिक विश्वसनीय है: यह अजीब चीजें "हैलुसिनेट" नहीं करता; यह दृश्य के भौतिक विज्ञान (physics) का पालन करता है।

संक्षेप में, यह पेपर रोबोट को भविष्य को "पेंट" करने के बजाय वहां तक पहुँचने के लिए आवश्यक "कदमों" की गणना करना सिखाता है, जिससे उन्हें अधिक तेज़ी से, अधिक समझदारी से और विभिन्न प्रकार के वीडियो से सीखने में मदद मिलती है।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →

इसी तरह के और पेपर

इस विषय के सभी पेपर देखें 🤖 cs.AI →