कल्पना कीजिए कि एक कंप्यूटर नियमों को जाने बिना, केवल चीज़ों को आज़माकर, गलतियाँ करके और धीरे-धीरे यह पता लगाकर कि कौन सी चालें अंक दिलाती हैं और कौन सी विफलता की ओर ले जाती हैं, एक वीडियो गेम खेलना सीख रहा है। यह 'डीप रीइन्फोर्समेंट लर्निंग' नामक एक क्षेत्र का मूल है, जहाँ आर्टिफिशियल इंटेलिजेंस एजेंट प्रयास और त्रुटि (ट्रायल एंड एरर) के माध्यम से सीखते हैं। इन एजेंटों के सीखने का सबसे सामान्य तरीका "वैल्यू" (मूल्य) का एक मानसिक मानचित्र बनाना है—यह एक अनुमान है कि कोई विशिष्ट स्थिति कितनी अच्छी है और भविष्य में उससे कितना पुरस्कार मिल सकता है। कंप्यूटर इस मानचित्र को बार-बार अपडेट करता है, अपने वर्तमान अनुमानों का उपयोग करके अगले कदम की भविष्यवाणी करता है, जिसे 'बूटस्ट्रैपिंग' कहा जाता है। हालाँकि इस पद्धति ने मशीनों को जटिल खेल मास्टर करने में सक्षम बनाया है, लेकिन इसमें एक कुख्यात दोष है: सीखने की प्रक्रिया अक्सर अस्थिर होती है। एजेंट के अनुमान नियंत्रण से बाहर हो सकते हैं, जिससे वह जो सीखा है उसे भूल सकता है या अजीब निर्णय ले सकता है, ठीक वैसे ही जैसे एक छात्र जो किसी नए विचार को लेकर इतना उत्साहित हो जाता है कि वह शिक्षक की बात सुनना बंद कर देता है।

वर्षों तक, वैज्ञानिकों ने इस अस्थिरता के लिए विशिष्ट कारणों को दोषी ठहराकर इसे ठीक करने की कोशिश की है, जैसे कि कंप्यूटर के जीतने की संभावनाओं के बारे में बहुत अधिक आशावादी होना। हालाँकि, एक नया अध्ययन बताता है कि समस्या केवल एक बुरा पात्र नहीं है, बल्कि तीन अलग-अलग हिस्सों के बीच एक जटिल, स्वयं-सुदृढ़ चक्र (सेल्फ-रीइन्फोर्सिंग लूप) है जो एक-दूसरे के विरुद्ध काम कर रहे हैं। पेकिंग यूनिवर्सिटी की एक टीम के नेतृत्व में शोधकर्ताओं ने पाया कि अस्थिरता इस बात से उत्पन्न होती है कि कंप्यूटर अपने भविष्य के अनुमान कैसे बनाता है, निर्णय लेते समय शोर वाले डेटा (नॉइज़ी डेटा) की व्याख्या कैसे करता है, और समय के साथ इसकी आंतरिक स्मृति संरचना कैसे बदलती है। इन तीन परस्पर क्रिया करने वाले बलों को समझकर, उन्होंने सीखने की प्रक्रिया को स्थिर करने की एक नई विधि विकसित की, जिससे AI कम डेटा वाले वातावरण में तेज़ी से और अधिक विश्वसनीय रूप से सीख सकता है।

शोधकर्ताओं ने बारीकी से यह देखना शुरू किया कि कंप्यूटर अपने अनुमान कैसे बनाता है। एक मानक सेटअप में, AI एक स्थिति को देखता है, उस सर्वोत्तम चाल को चुनता है जो वह चल सकता है, और उस चाल से प्राप्त पुरस्कार का उपयोग अपने मानचित्र को अपडेट करने के लिए करता है। टीम ने पाया कि जब AI को सकारात्मक पुरस्कार मिलता है, तो एक अजीब फीडबैक लूप हो सकता है। क्योंकि दुनिया का कंप्यूटर का आंतरिक प्रतिनिधित्व विभिन्न कार्यों के लिए साझा किया जाता है, इसलिए एक विशिष्ट चाल के लिए पुरस्कार अनजाने में अगली स्थिति में उसी चाल के मूल्य को बढ़ा सकता है। जब कंप्यूटर फिर से आगे देखने के लिए निर्णय लेता है, तो वह इस बढ़े हुए मूल्य को देखता है और उसी चाल को फिर से चुनता है। यह एक चक्र बनाता है जहाँ कंप्यूटर बार-बार एक ही क्रिया को चुनता रहता है, इस विश्वास के साथ कि यही सबसे अच्छा विकल्प है, भले ही वह न हो। शोधकर्ता इसे "स्वयं-सुदृढ़ जाल" (सेल्फ-रीइन्फोर्सिंग ट्रैप) कहते हैं, एक ऐसी प्रक्रिया जहाँ AI अपने ही बनाए लूप में फंस जाता है, अपने पूर्वाग्रहों को बढ़ाता रहता है जब तक कि सीखने की प्रक्रिया टूट न जाए।

समस्या का दूसरा स्रोत यह है कि कंप्यूटर कैसे निर्णय लेता है जब उसका डेटा अपूर्ण होता है। सीखना एक शोर वाली प्रक्रिया है; कंप्यूटर के मूल्य के अनुमान कभी भी पूरी तरह से सटीक नहीं होते। जब सबसे अच्छी चाल और दूसरी सबसे अच्छी चाल के बीच का अंतर बहुत कम होता है, तो थोड़ा सा शोर भी कंप्यूटर को अपना चुनाव बदलने के लिए मजबूर कर सकता है। चूंकि कंप्यूटर के चुनाव ही यह निर्धारित करते हैं कि अगला डेटा क्या एकत्र किया जाएगा, इसलिए शोर के आधार पर लिया गया एक गलत निर्णय उसे खराब अनुभवों की राह पर ले जा सकता है। यह डेटा में एक विचलन (ड्रिफ्ट) पैदा करता है, जिससे कार्यों के वास्तविक मूल्य को सीखना कठिन हो जाता है। शोधकर्ताओं ने महसूस किया कि शोर के प्रति यह संवेदनशीलता बताती है कि कंप्यूटर को अपने अनुमानों में अधिक आश्वस्त होने की आवश्यकता है, यह सुनिश्चित करते हुए कि डेटा में छोटे उतार-चढ़ाव उसे अलग-अलग रणनीतियों के बीच झूलने के लिए मजबूर न करें।

तीसरा मुद्दा अधिक सूक्ष्म है और कंप्यूटर के मस्तिष्क के भीतर गहराई से होता है, जो गणितीय कनेक्शनों की परतों से बना है जिन्हें 'पैरामीटर्स' कहा जाता है। जैसे-जैसे कंप्यूटर प्रशिक्षित होता है, विशेष रूप से जब उसे कुशलतापूर्वक सीखने के लिए एक ही पुराने डेटा का बार-बार उपयोग करने के लिए मजबूर किया जाता है, ये कनेक्शन असंतुलित तरीके से बदलने लगते हैं। कुछ कनेक्शन अत्यधिक बड़े और प्रभावशाली हो जाते हैं, जबकि बाकी नेटवर्क अपेक्षाकृत छोटा और निष्क्रिय रहता है। शोधकर्ताओं ने इस असंतुलन को मापने का एक तरीका पेश किया, जिसे वे "स्पाइक रेश्यो" (Spike Ratio) कहते हैं, और पाया कि जैसे-जैसे कंप्यूटर अधिक आक्रामक रूप से डेटा का पुन: उपयोग करता है, ये स्पाइक्स अधिक स्पष्ट होते जाते हैं। यह असंतुलन खतरनाक है क्योंकि यह नेटवर्क को कठोर बना देता है; यह नई स्थितियों के अनुकूल होने की क्षमता खो देता है क्योंकि इसकी आंतरिक संरचना उस पुराने डेटा के लिए बहुत अधिक विशिष्ट हो जाती है जिसे इसने बहुत अधिक बार देखा है।

इन समस्याओं को हल करने के लिए, टीम ने एक नया लर्निंग फ्रेमवर्क डिज़ाइन किया जो AI के लिए ब्रेक और स्टेबलाइज़र के रूप la कार्य करता है। सबसे पहले, स्वयं-सुदृढ़ जाल को तोड़ने के लिए, उन्होंने कंप्यूटर के अगले कदम चुनने के तरीके को बदला। नेटवर्क के एक ही हिस्से को चाल तय करने और उसके मूल्य का मूल्यांकन करने देने के बजाय, उन्होंने इन कार्यों को नेटवर्क के विभिन्न संस्करणों के बीच विभाजित कर दिया। इसके अलावा, उन्होंने एक नियम जोड़ा जो कंप्यूटर को तुरंत उसी क्रिया को चुनने से रोकता है जिसने अभी उसे पुरस्कार दिया था, जिससे वह अन्य संभावनाओं की खोज करने के लिए मजबूर होता है और प्रवर्धन (एम्प्लीफिकेशन) के चक्र को तोड़ देता है।

दूसरा, निर्णय लेने में शोर को संभालने के लिए, टीम ने 'एन्सेम्बल लर्निंग' (Ensemble Learning) नामक तकनीक का उपयोग किया। एक एकल कंप्यूटर मस्तिष्क पर अनुमान लगाने के लिए निर्भर रहने के बजाय, उन्होंने थोड़े अलग नेटवर्कों के एक समूह को प्रशिक्षित किया और उनसे प्रत्येक क्रिया के मूल्य पर मतदान करने को कहा। कई अलग-अलग नेटवर्कों की राय को औसत निकालकर, किसी भी एकल नेटवर्क में मौजूद रैंडम शोर को समाप्त किया जा सकता है, जिससे अधिक स्थिर और विश्वसनीय निर्णय प्राप्त होता है। यह दृष्टिकोण 'क्वांटाइल रिग्रेशन' (Quantile Regression) नामक एक विधि का भी उपयोग करता है, जो कंप्यूटर को केवल एक औसत संख्या के बजाय संभावित परिणामों की पूरी श्रृंखला को समझने की अनुमति देता है, जिससे आउटलेयर्स (Outliers) द्वारा गुमराह होने का जोखिम और कम हो जाता है।

अंत में, नेटवर्क को कठोर होने से रोकने के लिए, शोधकर्ताओं ने एक निगरानी प्रणाली जोड़ी जो कनेक्शनों के "स्पाइक रेश्यो" पर नज़र रखती है। यदि वे पता लगाते हैं कि कनेक्शनों का एक छोटा समूह बहुत बड़ा हो रहा है और नेटवर्क पर हावी हो रहा है, तो वे उन विशिष्ट कनेक्शनों को एक तटस्थ अवस्था में धीरे से रीसेट कर देते हैं। यह एक आवधिक रिफ्रेश की तरह कार्य करता है, जो नेटवर्क की स्मृति की बढ़ी हुई शाखाओं को साफ करता है ताकि यह लचीला और नए पैटर्न सीखने के लिए तैयार रह सके। यह सुनिश्चित करता है कि भले ही कंप्यूटर को भारी मात्रा में डेटा का पुन: उपयोग करने के लिए मजबूर किया जाए, वह अनुकूलन करने की अपनी क्षमता न खोए।

टीम ने इस नए दृष्टिकोण का परीक्षण दो चुनौतीपूर्ण वातावरणों में किया। पहला क्लासिक वीडियो गेम्स का एक सेट था जहाँ कंप्यूटर को केवल 100,000 स्टेप्स खेलने की अनुमति दी गई थी, जो अन्य तरीकों की तुलना में बहुत सीमित डेटा है। इन परीक्षणों में, उनकी विधि मौजूदा तकनीकों में से कई से बेहतर प्रदर्शन करती है, उच्च स्कोर प्राप्त करती है और परीक्षण किए गए किसी भी अन्य तरीके की तुलना में अधिक खेलों में मानव-स्तर का प्रदर्शन प्राप्त करती है। दूसरा परीक्षण प्रक्रियात्मक रूप से उत्पन्न (Procedurally Generated) खेलों का एक समूह था, जहाँ स्तर बेतरतीब ढंग से बनाए जाते हैं और हर बार बदलते हैं। यहाँ लक्ष्य यह देखना था कि क्या कंप्यूटर ने जो सीखा है उसे पूरी तरह से नए स्तरों पर लागू कर सकता है। नई विधि ने अनदेखे चुनौतियों के प्रति अनुकूलन करने की बेहतर क्षमता दिखाई, जिससे पता चलता है कि स्थिरता प्रदान करने वाला यह तरीका कंप्यूटर को दुनिया की अधिक मजबूत समझ बनाने में मदद करता है।

शोधकर्ताओं ने यह साबित करने के लिए विशिष्ट प्रयोग भी चलाए कि उनके विचार वास्तव में काम कर रहे हैं। उन्होंने दिखाया कि जब उन्होंने कंप्यूटर को पुरस्कृत क्रिया को फिर से चुनने से रोकने वाले नियम को हटा दिया, तो बार-बार पुरस्कार मिलने वाले खेलों में सीखना अस्थिर हो गया। उन्होंने प्रदर्शित किया कि नेटवर्कों के एक बड़े समूह का उपयोग करने से प्रदर्शन में लगातार सुधार हुआ, जिससे पुष्टि हुई कि मतदान के माध्यम से शोर को कम करना महत्वपूर्ण है। उन्होंने प्रशिक्षण के दौरान "स्पाइक रेश्यो" को भी ट्रैक किया और दिखाया कि उनके रीसेट तंत्र के बिना, नेटवर्क का आंतरिक संतुलन बिगड़ जाता है, विशेष रूप से जब डेटा का भारी मात्रा में पुन: उपयोग किया जाता है। ये निष्कर्ष पुष्टि करते हैं कि डीप लर्निंग में अस्थिरता केवल एक समस्या नहीं है जिसे एक ट्रिक से ठीक किया जा सके, बल्कि यह एक व्यवस्थित मुद्दा है जिसके लिए भविष्यवाणियाँ करने, निर्णयों को तौलने और नेटवर्क की संरचना को बनाए रखने के लिए एक समन्वित दृष्टिकोण की आवश्यकता होती है।

यह कार्य एक स्पष्ट तस्वीर पेश करता है कि डीप लर्निंग एजेंट कभी-कभी क्यों विफल होते हैं और उन्हें सही रास्ते पर रखने के लिए एक व्यावहारिक टूलकिट प्रदान करता है। यह पहचानकर कि अस्थिरता भविष्यवाणी पूर्वाग्रह (Prediction Bias), निर्णय शोर (Decision Noise) और संरचनात्मक कठोरता (Structural Rigidity) की परस्पर क्रिया से आती है, शोधकर्ताओं ने सरल सुधारों से आगे बढ़कर एक समग्र समाधान विकसित किया है। उनकी विधि न केवल AI को स्मार्ट बनाती है; यह सीखने की प्रक्रिया को अधिक विश्वसनीय बनाती है, यह सुनिश्चित करती है कि एजेंट प्रभावी ढंग से सीख सके, भले ही डेटा कम हो या वातावरण अराजक हो। जैसे-जैसे आर्टिफिशियल इंटेलिजेंस वीडियो गेम खेलने से रोबोटिक्स और उससे आगे वास्तविक दुनिया की समस्याओं को हल करने की ओर बढ़ रहा है, इन लर्निंग डायनेमिक्स को स्थिर करने की क्षमता ऐसे सिस्टम बनाने के लिए आवश्यक होगी जो न केवल शक्तिशाली हों बल्कि भरोसेमंद और सुसंगत भी हों।