रोबोट जो करके सीखते हैं, वे वास्तविकता बन रहे हैं, लेकिन उन्हें साधारण कार्यों में महारत हासिल करने के लिए भी अक्सर थका देने वाले अभ्यास की आवश्यकता होती है। एक कप को मेज से शेल्फ पर रखने के लिए, एक रोबोट को उस गति को हजारों बार आजमाना पड़ सकता है, और अंततः सफल होने से पहले बार-बार विफल होना पड़ सकता है। यह प्रयास-और-त्रुटि (trial-and-error) की प्रक्रिया सुदृढीकरण शिक्षण (reinforcement learning) नामक एक क्षेत्र का केंद्र है, जहाँ एक एजेंट अपने वातावरण के साथ अंतःक्रिया करके और अपने कार्यों पर प्रतिक्रिया प्राप्त करके सीखता है। जबकि हालिया प्रगति ने इस सीखने की प्रक्रिया को तेज़ बना दिया है, सबसे जटिल कार्य, जैसे कि किसी उपकरण को जोड़ना या अव्यवस्थित कमरे में नेविगेट करना, अभी भी भारी मात्रा में डेटा की मांग करते हैं। शोधकर्ता लगातार इन रोबोटों को अधिक कुशल बनाने के तरीके खोज रहे हैं, इस उम्मीद में कि उन्हें प्रशिक्षित करने के लिए आवश्यक समय और ऊर्जा को कम किया जा सके। एक आशाजनक विचार उन्हें एक "वर्ल्ड मॉडल" (world model) देना रहा है, जो एक मानसिक सिमुलेशन है जो उन्हें यह कल्पना करने की अनुमति देता है कि यदि वे एक निश्चित कार्य करते हैं तो क्या होगा, बजाय इसके कि वे केवल अंधे होकर अनुमान लगाएं। हालाँकि, इन मानसिक सिमुलेशन का उपयोग करके रोबोट को सीधे प्रशिक्षित करना ऐतिहासिक रूप से जोखिम भरा रहा है; यदि रोबोट की कल्पना थोड़ी भी गलत है, तो वे त्रुटियाँ जमा हो सकती हैं, जिससे रोबोट वास्तविकता के एक विकृत संस्करण को सीख लेता है जो वास्तविक दुनिया में विफल हो जाता है।

स्टैनफोर्ड यूनिवर्सिटी और पेकिंग यूनिवर्सिटी के शोधकर्ताओं की एक टीम ने एक नया दृष्टिकोण विकसित किया है जो रोबोट के अपनी कल्पना का उपयोग करने के समय को बदलकर इस खतरे से बचता है। रोबोट को यह सिखाने के लिए कि कैसे हिलना-डुलना है, वर्ल्ड मॉडल पर निर्भर रहने के बजाय, वे इसका उपयोग केवल निर्णय के क्षण में करते हैं। उनकी विधि, जिसे QWM कहा जाता है, एक रोबोट को वास्तविक दुनिया की अंतःक्रियाओं से अपने मुख्य कौशल सीखने की अनुमति देती है, यह सुनिश्चित करती है कि भौतिकी और कार्य-कारण संबंध की उसकी समझ वास्तविकता में जमी हुई रहे। लेकिन जब रोबोट एक नई स्थिति का सामना करता है और उसे अगला कदम क्या उठाना है यह चुनना होता है, तो वह एक त्वरित मानसिक सिमुलेशन चलाने के लिए रुक जाता है। वह प्रत्येक संभावित क्रिया के लिए कई संभावित भविष्यों की कल्पना करता है, यह भविष्यवाणी करता है कि दुनिया कैसे बदलेगी, और फिर उस क्रिया को चुनता है जो सर्वोत्तम परिणाम की ओर ले जाती है। यह प्रक्रिया वैसी ही है जैसे एक शतरंज खिलाड़ी किसी चाल को प्रतिबद्ध करने से पहले कुछ चालें आगे देख सकता है, लेकिन यहाँ, रोबोट यह देखने के लिए आगे देख रहा है कि कौन सी भौतिक क्रिया उच्चतम पुरस्कार देगी।

शोधकर्ताओं ने इस प्रणाली का परीक्षण चुनौतीपूर्ण रोबोटिक हेरफेर कार्यों पर किया, जैसे कि वस्तुओं को उठाना, कैन रखना और उपकरणों को जोड़ना। उन्होंने अपनी विधि की तुलना अन्य शीर्ष प्रदर्शन करने वाले एल्गोरिदम के विरुद्ध की जो या तो बिना किसी मानसिक मॉडल के सीखते हैं या पूरी तरह से एक सिम्युलेटेड दुनिया के भीतर सीखते हैं। परिणामों ने दिखाया कि QWM ने इन अन्य विधियों को काफी बेहतर प्रदर्शन किया। इसने तेजी से सीखा, उच्च सफलता के स्तर तक पहुँचने के लिए वास्तविक दुनिया के प्रयासों की कम आवश्यकता पड़ी, और इसने विभिन्न कार्यों में अधिक विश्वसनीय रूप से प्रदर्शन किया। महत्वपूर्ण रूप से, सिस्टम ने उस सामान्य खामी से परहेज किया जहाँ एक रोबोट का आंतरिक मॉडल इतना दोषपूर्ण हो जाता है कि वह रोबोट को बुरी आदतें सिखाने लगता है। सीखने की प्रक्रिया को वास्तविक डेटा से जुड़े रखकर और कल्पना का उपयोग केवल अंतिम क्षण में विकल्पों को परिष्कृत करने के लिए करके, रोबोट ने दोनों दुनियाओं का सर्वश्रेष्ठ प्राप्त किया: वास्तविक दुनिया के सीखने की सुरक्षा और एक भविष्य कहनेवाला मॉडल की दूरदर्शिता।

इस दृष्टिकोण की सफलता इस बात पर निर्भर करती है कि रोबोट अपना मानसिक खोज (mental search) कैसे बनाता है। जब रोबोट को कार्य करने की आवश्यकता होती है, तो वह केवल एक यादृच्छिक अनुमान नहीं लगाता या एक एकल भविष्यवाणी पर निर्भर नहीं रहता। इसके बजाय, वह संभावनाओं का एक वृक्ष (tree) बनाता है। अपनी वर्तमान स्थिति से, वह कई अलग-अलग क्रियाओं पर विचार करता है। प्रत्येक क्रिया के लिए, वह दुनिया की अगली स्थिति की भविष्यवाणी करने के लिए अपने वर्ल्ड मॉडल का उपयोग करता है। फिर वह इस प्रक्रिया को दोहराता है, कल्पना करता है कि यदि वह उस नई स्थिति से एक और क्रिया करता है तो क्या होगा, और इसी तरह, संभावित भविष्य का एक शाखित पथ (branching path) बनाता है। रोबोट इन पथों का मूल्यांकन केवल तत्काल परिणाम को देखकर नहीं, बल्कि पूरी काल्पनिक श्रृंखला के मूल्य को एकत्रित करके करता है। वह एक क्रिया के मूल्य के बारे में अपने प्रत्यक्ष ज्ञान को भविष्य के चरणों से अनुमानित पुरस्कारों के साथ जोड़ता है। यह रोबोट को तत्काल क्षण से परे देखने की अनुमति देता है और उन कार्यों को चुनने में मदद करता है जो अभी कठिन लग सकते हैं लेकिन बाद में बहुत बेहतर परिणाम की ओर ले जाते हैं।

सबसे महत्वपूर्ण निष्कर्षों में से एक यह है कि यह विधि तब भी काम करती है जब रोबोट दुनिया को एक कैमरे के माध्यम से देख रहा होता है, सरल संख्याओं के बजाय उच्च-आयामी दृश्य जानकारी (high-dimensional visual information) के साथ काम कर रहा होता है। इन पिक्सेल-आधारित सेटिंग्स में, एक पूर्ण वर्ल्ड मॉडल सीखना अविश्वसनीय रूप से कठिन है, फिर भी शोधकर्ताओं ने पाया कि इस प्रकार की 'टेस्ट-टाइम सर्च' के लिए उपयोग किए जाने पर एक थोड़ा अपूर्ण मॉडल भी प्रदर्शन में भारी वृद्धि प्रदान कर सकता है। रोबमान को एक सटीक भविष्यवक्ता होने की आवश्यकता नहीं थी; उसे केवल एक अच्छे और बुरे कार्य के बीच अंतर करने के लिए पर्याप्त अच्छा होने की आवश्यकता थी। अध्ययन ने यह भी पता लगाया कि रोबोट को भविष्य में कितनी गहराई तक देखना चाहिए। बहुत आगे देखने से अनिश्चितता बढ़ जाती है क्योंकि भविष्यवाणियां कम विश्वसनीय हो जाती हैं, जबकि बहुत कम आगे देखने से किसी क्रिया के दीर्घकालिक परिणामों को पकड़ने में विफलता होती है। शोधकर्ताओं ने एक 'स्वीट स्पॉट' पाया जहाँ रोबोट ने कुछ कदमों आगे देखा, जो प्रभावी ढंग से योजना बनाने के लिए पर्याप्त था ताकि वह भविष्यवाणी की त्रुटियों के शोर में न खो जाए।

शोधकर्ताओं ने वर्ल्ड मॉडल के उपयोग के अन्य तरीकों की भी तुलना की, जैसे कि रोबोट को पूरी तरह से सिमुलेशन के भीतर प्रशिक्षित करना। उन्होंने पाया कि वे तरीके अक्सर संघर्ष करते हैं, विशेष रूप से उन कार्यों में जहाँ पुरस्कार विरल (sparse rewards) होते हैं जहाँ रोबोट को तभी संकेत मिलता है जब वह अंत में सफल होता है। उन मामलों में, सिमुलेशन में त्रुटियाँ तेजी से बढ़ती हैं, जिससे रोबोट के लिए कुछ भी उपयोगी सीखना कठिन हो जाता है। इसके विपरीत, QWM दृष्टिकोण ने प्रशिक्षण को वास्तविकता में बनाए रखा। रोबोट की मूल नीति और उसके मूल्य की समझ केवल वास्तविक दुनिया के डेटा के साथ अपडेट की गई थी। वर्ल्ड मॉडल केवल चयन के लिए एक उपकरण था, निर्णय लेने की प्रक्रिया को तेज करने का एक तरीका, बिना उसके मौलिक शिक्षण को दूषित किए। यह अंतर महत्वपूर्ण साबित हुआ, जिससे सिस्टम जटिल, वास्तविक दुनिया की रोबोटिक्स समस्याओं तक स्केल करने में सक्षम हुआ जहाँ पिछले मॉडल-आधारित तरीके विफल रहे थे।

अंत में, यह कार्य प्रदर्शित करता है कि वर्ल्ड मॉडल की शक्ति आवश्यक रूप से वास्तविक दुनिया को बदलने में नहीं, बल्कि इसमें नेविगेट करने की हमारी क्षमता को बढ़ाने में निहित है। कल्पना को अनुभव के विकल्प के रूप में नहीं, बल्कि चुनाव के फिल्टर के रूप में उपयोग करके, शोधकर्ताओं ने एक ऐसा सिस्टम बनाया है जो नमूना-कुशल (sample-efficient) और मजबूत है। रोबोट वास्तविकता के कठिन सबक सीखता है लेकिन भविष्य में गलतियाँ दोहराने से बचने के लिए अपने मन का उपयोग करता है। यह दृष्टिकोण असंरचित वातावरण में रोबोट को तैनात करने के लिए एक व्यावहारिक मार्ग प्रदान करता है, जहाँ योजना बनाने और अनुकूलन करने की क्षमता, सीखने की क्षमता जितनी ही महत्वपूर्ण है। निष्कर्ष बताते हैं कि रोबोटिक लर्निंग का भविष्य शायद पूर्ण सिमुलेशन बनाने के बारे में नहीं है, बल्कि ऐसे रोबोट बनाने के बारे में है जो जानते हैं कि उन्हें अपने अनुभव पर कब भरोसा करना है और अपनी कल्पना पर कब भरोसा करना है।