आर्टिफिशियल इंटेलिजेंस की दुनिया में, मशीनें चीजों को आजमाकर और यह याद रखकर कि क्या काम आया, निर्णय लेना सीखती हैं। कल्पना कीजिए कि एक छात्र एक परीक्षा के लिए पढ़ाई कर रहा है जो हर उस प्रश्न की एक नोटबुक रखता है जो उसे गलत हुआ था। तेजी से सीखने के लिए, वह केवल उन प्रश्नों पर ध्यान केंद्रित करने का निर्णय ले सकता है जिन्होंने उसे सबसे अधिक भ्रमित किया, उन कठिन समस्याओं की बार-बार समीक्षा करता है। यह बुद्धिमान एजेंटों को प्रशिक्षित करने के लिए उपयोग की जाने वाली एक सामान्य विधि के पीछे का मूल विचार है: वे पिछले अनुभवों को फिर से दोहराते हैं (रीप्ले करते हैं), लेकिन वे उन अनुभवों को प्राथमिकता देते हैं जहाँ उनके अनुमान सबसे अधिक गलत थे, इस उम्मीद में कि इन त्रुटियों को जल्दी से सुधारा जा सके। यह दृष्टिकोण कंप्यूटर को जटिल कार्यों को नेविगेट करने के लिए सिखाने के लिए एक मानक उपकरण बन गया है, जैसे वीडियो गेम खेलना या रोबोट को नियंत्रित करना। हालाँकि, यह रणनीति एक महत्वपूर्ण धारणा पर टिकी है: कि भ्रम का अर्थ है कि सीखने के लिए कुछ मूल्यवान है। यदि भ्रम अनियंत्रित, अपरिवर्तनीय शोर (नॉइज़) के कारण है न कि समझ की कमी के कारण, तो उस पर ध्यान केंद्रित करना एक जाल बन जाता है। मशीन उन चीजों के प्रति जुनूनी हो जाती है जिन्हें वह कभी नहीं समझ सकती, अपना समय बर्बाद करती है और दुनिया के वास्तविक नियमों को सीखने में विफल रहती है।

शोधकर्ताओं की एक टीम ने यह जांचने के लिए एक अध्ययन किया कि वास्तव में क्या होता है जब यह सीखने की रणनीति ऐसे वातावरण से टकराती है जो अनलर्नेबल (न सीख पाने वाले) रैंडमनेस से भरा हो। उन्होंने एक नया सिस्टम बनाया जिसे एक फिल्टर की तरह कार्य करने के लिए डिज़ाइन किया गया था, जो एजेंट के अपने कौशल की कमी के कारण होने वाली त्रुटियों और शुद्ध संयोग के कारण होने वाली त्रुटियों के बीच अंतर कर सके। तीन बहुत ही अलग परिदृश्यों में अपने सिस्टम का परीक्षण करके, उन्होंने एक आश्चर्यजनक सत्य की खोज की कि मशीनों को कैसे सीखना चाहिए। कुछ मामलों में, उनकी नई फ़िल्टरिंग विधि पूरी तरह से काम कर गई, जिससे एजेंट को खतरे से बचने और तेजी से सीखने में मदद मिली। अन्य मामलों में, गलतियों पर ध्यान केंद्रित करने की पुरानी, सरल विधि वास्तव में बेहतर थी। लेकिन सबसे अराजक वातावरण में, उन्होंने पाया कि सबसे समझदारी भरा काम यह था कि मशीन प्राथमिकता देना ही छोड़ दे और बस रैंडम नमूनों (सैंपल्स) से सीखे। यह निष्कर्ष इस लंबे समय से चली आ रही धारणा को चुनौती देता है कि कठिन समस्याओं पर ध्यान केंद्रित करना हमेशा सीखने का सबसे अच्छा तरीका होता है, और यह प्रकट करता है कि कभी-कभी, सबसे प्रभावी रणनीति शोर को पूरी तरह से अनदेखा करना और रैंडमनेस पर भरोसा करना होती है।

शोधकर्ताओं ने एक समस्या से जांच शुरू की जिसे वे "टीडी-पॉइजनिंग" (TD-Poisoning) कहते हैं। मानक शिक्षण प्रणालियों में, कंप्यूटर हर बार एक भविष्यवाणी करने पर एक "सरप्राइज स्कोर" (आश्चर्य स्कोर) की गणना करता है। यदि परिणाम उसकी अपेक्षा से बहुत अलग है, तो स्कोर उच्च होता है, और कंप्यूटर उस क्षण को बाद में अध्ययन करने के लिए सहेज लेता है। यह तब अच्छी तरह काम करता है जब आश्चर्य किसी कठिन पहेली से आता जिसे कंप्यूटर ने अभी तक हल नहीं किया है। लेकिन वास्तविक दुनिया में, या सिम्युलेटेड दुनिया में, अक्सर स्टैटिक नॉइज़ होता है—जैसे कि टीवी स्क्रीन पर दिखने वाला रैंडम 'स्नो'—जिसका एजेंट के कार्यों से कोई लेना-देना नहीं होता। क्योंकि यह शोर वास्तव में रैंडम है, कंप्यूटर इसकी भविष्यवाणी कभी नहीं कर सकता। चाहे वह कितनी भी पढ़ाई क्यों न कर ले, इन शोर वाले क्षणों के लिए सरप्राइज स्कोर स्थायी रूप से उच्च रहता है। शोधकर्ताओं ने पाया कि मानक शिक्षण प्रणालियाँ इस शोर द्वारा हाईजैक हो जाती हैं। वे इन अनलर्नेबल क्षणों के प्रति जुनूनी हो जाती हैं, उन्हें लगातार दोहराती रहती हैं जबकि पर्यावरण के महत्वपूर्ण, नियंत्रणीय हिस्सों को अनदेखा कर देती हैं। यह वैसा ही है जैसे कोई छात्र एक टूटी हुई घड़ी को घूरने में अपना सारा समय बिता दे, यह समझने की कोशिश में कि वह बेतरतीब ढंग से क्यों टिक-टिक कर रही है, जबकि वह वास्तव में उन गणित के सवालों को अनदेखा कर रहा है जिन्हें उसे हल करने की आवश्यकता है।

इसे ठीक करने के लिए, टीम ने 'फीचर-वेटेड प्रायोरिटाइज्ड एक्सपीरियंस रिप्ले' (Feature-Weighted Prioritized Experience Replay) नामक एक नई विधि विकसित की। "सरप्राइज स्कोर" का उपयोग यह तय करने के लिए करने के बजाय कि क्या पढ़ना है, उन्होंने एक विशेष फिल्टर बनाया जो कुछ और खोजता है: दुनिया की वह अनूठी संरचना जिसे एजेंट वास्तव में नियंत्रित कर सकता है। उन्होंने एक ऐसी तकनीक का उपयोग किया जो कंप्यूटर को उसके कार्यों और परिणामों के बीच कारण-और-प्रभाव (cause-and-effect) के संबंध को समझने के लिए मजबूर करती है। यदि पर्यावरण में परिवर्तन एजेंट के बिना भी होता है, तो सिस्टम इसे अनदेखा करना सीख जाता है। रैंडम शोर को हटाकर, सिस्टम दुनिया का एक साफ, लो-डायमेंशनल मैप बनाता है। फिर यह इस मैप का उपयोग उन दुर्लभ और दिलचस्प क्षणों को खोजने के लिए करता है जो वास्तव में सीखने लायक हैं। यह नई प्रणाली एक द्वारपाल (गेटकीपर) के रूप में कार्य करती है, यह सुनिश्चित करती है कि कंप्यूटर केवल उन अनुभवों को प्राथमिकता दे जो सुधार का वास्तविक अवसर प्रदान करते हैं, न कि उन्हें जो केवल सांख्यिकीय रूप से शोर भरे हैं।

टीम ने अपने नए दृष्टिकोण का पुराने तरीके और एक सरल तरीके (जो पूरी तरह से रैंडम अनुभव चुनता है) के विरुद्ध परीक्षण किया। उन्होंने यह देखने के लिए तीन अलग-अलग वातावरणों में अपने प्रयोग चलाए कि प्रत्येक सिस्टम ने विभिन्न स्तर की कठिनाई को कैसे संभाला। पहला परीक्षण एक हाई-स्पीड ड्राइविंग सिमुलेशन था जहाँ एक कार को ट्रैफिक के बीच से गुजरना था। यहाँ, लक्ष्य यह देखना था कि क्या सिस्टम बिना दुर्घटना के सुरक्षित रूप से गाड़ी चलाना सीख सकता है। मानक विधि, जो सबसे बड़ी गलतियों पर ध्यान केंद्रित करती थी, अक्सर ट्रैफिक की अराजक प्रकृति से भ्रमित हो जाती थी और किसी भी जोखिम से बचने के लिए बहुत सावधानी बरतते हुए धीमी गति से चलने लगती थी। हालाँकि, नई फ़िल्टर्ड प्रणाली ने एक नियमित लेन परिवर्तन और वास्तविक खतरे के बीच अंतर करना सीख लिया। इसने दुर्घटना की दर को कम रखते हुए उच्च गति पर गाड़ी चलाने में सफलता प्राप्त की, जिससे सिद्ध हुआ कि यह सुरक्षा के लिए एक स्मार्ट गेटकीपर के रूप में कार्य कर सकता है।

दूसरा परीक्षण एक बहुत ही सरल, पूरी तरह से अनुमानित भौतिकी (फिजिक्स) की समस्या थी जहाँ एक कार को एक पहाड़ी पर चढ़ना था। क्योंकि इस दुनिया में कोई रैंडम शोर नहीं था, इसलिए "सरप्राइज स्कोर" एक आदर्श मार्गदर्शक था। इस साफ वातावरण में, नया फ़िल्टरिंग सिस्टम वास्तव में मानक विधि की तुलना में खराब प्रदर्शन कर गया। शोधकर्ताओं ने पाया कि जटिल फ़िल्टर जोड़ना अनावश्यक था और इसने सीखने की प्रक्रिया को धीमा कर दिया। यह परिणाम महत्वपूर्ण था क्योंकि इसने दिखाया कि नई विधि एक सार्वभौमिक समाधान नहीं है। यह एक विशेष उपकरण है जिसे अस्त-व्यस्त, शोर वाले संसारों के लिए बनाया गया है। जब दुनिया स्पष्ट और अनुमानित होती है, तो गलतियों पर ध्यान केंद्रित करने का पुराना तरीका सबसे कुशल पथ बना रहता है।

अंतिम और सबसे नाटकीय परीक्षण में एक स्पेसक्राफ्ट लैंडिंग सिमुलेशन शामिल था जिसे जानबूझकर अत्यधिक रैंडम शोर के साथ दूषित किया गया था। शोधकर्ताओं ने विजुअल डेटा में शुद्ध स्टैटिक की एक परत जोड़ी, जिससे एक ऐसा परिदृश्य बना जहाँ कंप्यूटर अगले क्षण की भविष्यवाणी कभी नहीं कर सकता था। इस अराजक वातावरण में, मानक विधि पूरी तरह से विफल रही। कंप्यूटर रैंडम शोर पर इतना केंद्रित हो गया कि उसने कुछ भी उपयोगी सीखना बंद कर दिया और बार-बार क्रैश हो गया। नया फ़िल्टर्ड सिस्टम रिकवर करने में सफल रहा, शोर को सफलतापूर्वक अनदेखा किया और स्पेसक्राफ्ट को लैंड करना सीख गया। हालाँकि, सबसे आश्चर्यजनक खोज सबसे सरल पद्धति से आई: वह जिसने अनुभवों को पूरी तरह से रैंडम तरीके से चुना था। इस अत्यधिक दूषित दुनिया में, रैंडम विधि वास्तव में सबसे अच्छा प्रदर्शन कर रही थी। क्योंकि इसने किसी भी चीज़ को प्राथमिकता देने की कोशिश नहीं की, इसलिए यह शोर से मुक्त थी। इसने दुनिया का समान रूप से नमूना लिया, और उस जुनून के जाल से बच गई जिसमें अन्य प्रणालियाँ फँस गई थीं।

इस परिणाम ने शोधकर्ताओं को एक ऐसी स्थिति की पहचान करने के लिए प्रेरित किया जिसे वे "यूनिफॉर्म ईआर पैराडॉक्स" (Uniform ER Paradox) कहते हैं। उन्होंने पाया कि जब कोई वातावरण अनलर्नेबल शोर से अभिभूत होता है, तो सबसे गणितीय रूप से मजबूत रणनीति सभी प्रकार के प्राथमिकता निर्धारण प्रयासों को त्याग देना है। रैंडम सैंपलिंग की जन्मजात प्रतिरक्षा (immunity) किसी भी जटिल एल्गोरिदम फ़िल्टर से बेहतर साबित हुई। जबकि नया फ़िल्टर्ड सिस्टम शोर से होने वाले नुकसान को ठीक कर सकता था, वह रैंडमता की कच्ची दक्षता को मात नहीं दे सका। यह सुझाव देता है कि एक अराजक वातावरण से कितनी भी बुद्धिमत्ता निकाली जा सकती है, उसकी एक कठोर सीमा है। यदि शोर बहुत अधिक है, तो सबसे अच्छी रणनीति उसे फ़िल्टर करने की कोशिश करना नहीं है, बल्कि रैंडमनेस को स्वीकार करना और बिना किसी पूर्वाग्रह के उससे सीखना है।

अध्ययन यह निष्कर्ष निकालता है कि मशीन को सिखाने का कोई एक सबसे अच्छा तरीका नहीं है। सही रणनीति पूरी तरह से वातावरण की प्रकृति पर निर्भर करती है। ड्राइविंग जैसे जटिल, उच्च-जोखिम वाले स्थितियों में, एक स्मार्ट फ़िल्टर जो शोर को अनदेखा करता है, सुरक्षा और सक्षमता के लिए आवश्यक है। साफ, अनुमानित दुनिया में, गलतियों पर ध्यान केंद्रित करने का पारंपरिक तरीका सबसे कुशल पथ है। लेकिन अत्यधिक, अनलर्नेबल अराजकता के सामने, सबसे शक्तिशाली कदम यह है कि क्या सीखना है इसके बारे में स्मार्ट बनने की कोशिश छोड़ दी जाए और बस हर चीज़ से समान रूप से सीखा जाए। यह कार्य एक स्पष्ट मानचित्र प्रदान करता है कि कब प्राथमिकता देनी है, कब फ़िल्टर करना है, और कब रैंडमनेस को नियंत्रण लेने देना है, जो यह समझने में गहरी अंतर्दृष्टि देता है कि आर्टिफिशियल इंटेलिजेंस दुनिया की अव्यवस्थित वास्तविकता के अनुकूल कैसे हो सकता है।