डिजिटल दिमागों का खेल का मैदान

एक ऐसी दुनिया की कल्पना करें जहाँ कंप्यूटर केवल कठोर निर्देशों का पालन नहीं करते, बल्कि देखकर सीखते हैं, ठीक वैसे ही जैसे एक बच्चा अपने बड़े भाई-बहन को देखते हुए साइकिल चलाना सीखता है। यह मशीन लर्निंग का क्षेत्र है, विशेष रूप से बिहेवियरल क्लोनिंग (behavioral cloning) नामक एक शाखा। इस विज्ञान के कोने में, शोधकर्ता एक AI को हजारों घंटों का मानव गेमप्ले खिलाते हैं, इस उम्मीद में कि कंप्यूटर बिना यह बताए कि कैसे खेलना है, एक प्रो प्लेयर की चालों, समय (timing) और सहज ज्ञान (instincts) की नकल कर सके।

इस क्षेत्र को चलाने वाला बड़ा सवाल यह है: एक साधारण, संक्षिप्त AI केवल नकल करके कितना सीख सकता है, इससे पहले कि हमें इसमें मेमोरी, लक्ष्य-निर्धारण या प्रयास-और-त्रुटि (trial-and-error) सीखने जैसे जटिल "मस्तिष्क" फीचर्स जोड़ने की आवश्यकता पड़े? इसे ऐसे सोचें जैसे कि एक तोता केवल एक बाज के उड़ने के मार्ग को याद करके कितनी दूर तक उड़ सकता है, बिना एयरोडायनामिक्स को समझे। यदि हम एक छोटा, कुशल AI बना सकते हैं जो केवल नकल करके अच्छा खेलता है, तो यह भारी मात्रा में कंप्यूटिंग शक्ति और ऊर्जा बचाता है। लेकिन यदि AI उस क्षण फंस जाता है जब वह प्रशिक्षण के दौरान देखी गई चीज़ों से थोड़ा अलग कुछ देखता है, तो हमें पता चल जाता है कि हमें उसे गलतियों से उबरना सिखाने की आवश्यकता है। यह "सरल नकल" और "स्मार्ट अनुकूलन" के बीच का नाजुक संतुलन है जिसे वैज्ञानिक लगातार टेस्ट कर रहे हैं।

---

कॉर्टेक्स: द टिनी क्वेक कोपीयर (Cortex: The Tiny Quake Copier)

"Cortex: Compact Behavior Cloning for Quake with Frozen Visual Features" नामक शोध पत्र में, ड्ज़िमित्री मालिशौ (Dzmitry Malyshau) नामक एक शोधकर्ता ने इस "सरल नकल" के विचार की सीमाओं का परीक्षण करने का निर्णय लिया। उन्होंने कॉर्टेक्स (Cortex) नामक एक AI एजेंट बनाया और उसे क्लासिक 1996 के वीडियो गेम क्वेक (Quake) की अराजक, तेज़ दुनिया में डाल दिया। विशेष रूप से, उन्होंने इसे पहले लेवल, E1M1 को नेविगेट करने का कार्य सौंपा, जो गलियारों, दरवाजों, बटनों और राक्षसों का एक भूलभुलैया है जिसमें दौड़ने, कूदने, शूटिंग करने और सरल पहेलियों को सुलझाने के मिश्रण की आवश्यकता होती है।

कॉर्टेक्स को अविश्वसनीय रूप से हल्का (lean) डिज़ाइन किया गया है। इसके पास शुरुआत से बना कोई विशाल मस्तिष्क नहीं है। इसके बजाय, यह एक "फ्रोजन" विजुअल ब्रेन का उपयोग करता है—एक प्री-ट्रेन्ड कंप्यूटर विजन मॉडल जिसे DINOv3 कहा जाता है—जो अत्यधिक प्रशिक्षित आँखों की एक जोड़ी के रूप में कार्य करता है। ये आँखें "फ्रोजन" हैं, जिसका अर्थ है कि वे आकृतियों और बनावट को देखने में पहले से ही अच्छी हैं और प्रशिक्षण के दौरान उन्हें कभी बदला नहीं जाता है। कॉर्टेक्स का वास्तविक "मस्तिष्क" केवल 10.98 मिलियन ट्रेन करने योग्य पैरामीटर्स वाला एक छोटा, छह-परत वाला ट्रांसफार्मर है। इसे समझने के लिए, इस क्षेत्र के अन्य प्रसिद्ध गेमिंग AI में सैकड़ों मिलियन पैरामीटर्स होते हैं। कॉर्टेक्स भारी वजन वाले चैंपियनों की तुलना में एक हल्का स्प्रिंटर है।

प्रशिक्षण प्रक्रिया आश्चर्यजनक रूप से छोटी और कुशल थी। AI ने मानव खिलाड़ियों की 6,849 रिकॉर्डिंग देखीं, जो लगभग 474.7 घंटों का गेमप्ले है। हालाँकि, कॉर्टेक्स ने हर एक सेकंड नहीं देखा। शोधकर्ताओं ने एक विशिष्ट "सैंपलड एपोक" (sampled epoch) चुना, जो डेटा के माध्यम से एक सावधानीपूर्वक क्यूरेट किए गए एकल पास की तरह है। इसमें 517,048 छोटी क्लिप्स (प्रत्येक चार फ्रेम लंबी) शामिल थीं और इसमें एक उच्च-स्तरीय ग्राफिक्स कार्ड (RTX 5080) पर ऑप्टिमाइज़ करने में AI को केवल 3.3 मिनट लगे। लक्ष्य यह देखना था कि क्या यह छोटा, तेज़-प्रशिक्षित मॉडल बहुत बड़े, अधिक जटिल AI के साथ तालमेल बिठा सकता है।

परिणाम: जीत और लड़खड़ाहट का मिश्रण

जब शोधकर्ताओं ने कॉर्टेक्स को क्वेक में आज़माया, तो परिणाम प्रभावशाली कौशल और अनुमानित विफलता का एक दिलचस्प मिश्रण थे।

अच्छी खबर:
कॉर्टेक्स बुनियादी बातों में आश्चर्यजनक रूप से अच्छा था। 20 एपिसोड के दो अलग-अलग बैचों में (प्रत्येक 120 सेकंड का), कॉर्टेक्स दोनों बैचों के सभी 20 एपिसोड में "ओपनिंग डोर", "बटन रूम" और "गेट डिसेंट" तक पहुँचने में सफल रहा। इसने 20 में से 19 एपिसोड में एक किल (kill) भी किया। यह सुझाव देता है कि लेवल के शुरुआती, सीधे हिस्सों के लिए, केवल मानव गतिविधियों की नकल करना बहुत अच्छी तरह काम करता है। यह शुरुआती गलियारों को नेविगेट करने और प्रभावी ढंग से युद्ध में शामिल होने में सक्षम था।

बुरी खबर:
इन शुरुआती जीत के बावजूद, कॉर्टेक्स किसी भी 40 एपिसोड को पूरा करने में विफल रहा (दोनों बैचों में 0/20)। AI फंस जाता था, आमतौर पर दीवारों या पानी के पास, और वह कैसे बाहर निकले यह समझ नहीं पाता था। शोधकर्ताओं ने नोट किया कि यह बिहेवियरल क्लोनिंग की एक क्लासिक समस्या है जिसे कोवेरिएट शिफ्ट (covariate shift) कहा जाता है: जब AI एक छोटी सी गलती करता है, तो वह ऐसी स्थिति में पहुँच जाता है जो उसने प्रशिक्षण वीडियो में कभी नहीं देखी होती है, और चूंकि वह केवल वही करने को जानता है जो उसने देखा है, वह फ्रीज़ हो जाता है या घबरा जाता है।

तुलना:
शोधकर्ताओं ने समान परिस्थितियों में दो अन्य, बहुत बड़े AI मॉडल (P2P-150M और NitroGen) का भी परीक्षण किया। हजारों अलग-अलग खेलों के हजारों घंटों पर प्रशिक्षित ये दिग्गज, इस विशिष्ट परीक्षण में और भी खराब प्रदर्शन करते हैं। उन्होंने प्रत्येक के 5 में से 0 एपिसोड पूरे किए और लगभग तुरंत ही फंस गए। यह सुझाव देता है कि इस विशिष्ट, संकीर्ण कार्य के लिए, कॉर्टेक्स जैसा एक विशेष, संक्षिप्त मॉडल वास्तव में एक विशाल, सामान्य-उद्देश्य वाले मॉडल से बेहतर प्रदर्शन कर सकता है, कम से कम गेमप्ले के पहले मिनट के लिए।

प्रयोगों ने क्या खुलासा किया

पेपर केवल गेम खेलने तक ही सीमित नहीं रहा; इसने यह देखने के लिए कि कॉर्टेक्स कैसे काम करता है और क्या इसे तोड़ता है, कई "एब्लेशन" (ablation) प्रयोग चलाए।

• अधिक विवरण लड़ाई में मदद करता है, नेविगेशन में नहीं: जब शोधकर्ताओं ने कॉर्टेक्स को स्क्रीन का अधिक घना, विस्तृत दृश्य दिया (अधिक "टोकन" या विजुअल पैच का उपयोग करके), तो AI लड़ने और जीवित रहने में बेहतर हो गया। उसने अधिक किल्स किए और कम बार मरा। हालाँकि, इस अतिरिक्त विवरण ने उसे रूट (मार्ग) को बेहतर ढंग से नेविगेट करने में मदद नहीं की। वास्तव में, इसने कभी-कभी रूट की विश्वसनीयता को थोड़ा खराब कर दिया। यह सुझाव देता है कि अधिक विवरण देखना AI को दुश्मनों के प्रति प्रतिक्रिया करने में मदद करता है, लेकिन यह आवश्यक रूप से यह समझने में मदद नहीं करता कि आगे कहाँ जाना है।

• मेमोरी कोई जादुई समाधान नहीं है: टीम ने कॉर्टेक्स को उसके पिछले कार्यों की "मेमोरी" देने की कोशिश की, इस उम्मीद में कि वह अपनी गलतियों से सीखेगा। आश्चर्यजनक रूप से, इसने इसके प्रदर्शन में लगातार सुधार नहीं किया। AI केवल इसलिए बेहतर नहीं हुआ क्योंकि उसे याद था कि उसने पाँच सेकंड पहले क्या किया था।

• ऑफलाइन मेट्रिक्स झूठ बोलते हैं: शोधकर्ताओं ने पाया कि मानक कंप्यूटर टेस्ट (जैसे कि टेस्ट सेट पर AI अगले मूव की कितनी अच्छी तरह भविष्यवाणी करता है) यह बताने के लिए खराब संकेतक (poor predictors) थे कि AI वास्तव में गेम कितनी अच्छी तरह खेलेगा। एक AI कागज़ पर एकदम सही दिख सकता है लेकिन वास्तविक गेम में बुरी तरह विफल हो सकता है। यह भविष्य के शोधकर्ताओं के लिए एक महत्वपूर्ण चेतावनी है: केवल नंबरों पर भरोसा न करें; गेम को देखें।

निष्कर्ष

पेपर यह निष्कर्ष निकालता है कि जबकि एक संक्षिप्त, सरल AI केवल मनुष्यों की नकल करके एक जटिल गेम के शुरुआती हिस्सों को बहुत अच्छी तरह से सीख सकता है, लेकिन वह एक कठिन सीमा (ceiling) से टकरा जाता है। वह अपनी गलतियों से उबर नहीं सकता या उन नई स्थितियों को नेविगेट नहीं कर सकता जो उसने पहले नहीं देखी हैं।

लेखक सुझाव देते हैं कि अगला कदम AI को बड़ा बनाना नहीं है, बल्कि उसे कैसे उबरना है यह सिखाना है। वे DAgger नामक एक विधि का प्रस्ताव करते हैं, जहाँ एक इंसान हस्तक्षेप करेगा जब भी AI फंस जाएगा, उसे सही मूव दिखाएगा, और AI विशेष रूप से उन "रेस्क्यू" (बचाव) क्षणों से सीखेगा।

संक्षेप में, कॉर्टेक्स यह साबित करता है कि आपको कुछ समय के लिए एक वीडियो गेम अच्छी तरह से खेलने के लिए सुपरकंप्यूटर की आवश्यकता नहीं है। एक छोटा, कुशल मॉडल मानव के पहले कुछ मिनटों के खेल की प्रभावशाली कुशलता के साथ नकल कर सकता है। लेकिन अपनी गलतियों से सीखने या चीजें गलत होने पर क्या करना है इसकी मेमोरी के बिना, वह अंततः एक ऐसी दीवार से टकरा जाएगा जिसे वह पार नहीं कर पाएगा। पेपर यह दावा नहीं करता है कि उसने गेम को हल कर लिया है; इसके बजाय, यह एक स्पष्ट, ईमानदार मानचित्र प्रदान करता है कि सरल नकल कहाँ काम करती है और कहाँ टूट जाती है, जो भविष्य के शोधकर्ताओं को ऐसे एजेंट बनाने के लिए मार्गदर्शन करता है जो वास्तव में अनुकूलित (adapt) हो सकें।