COMBAT: Conditional World Models for Behavioral Agent Training
यह शोध पत्र COMBAT को प्रस्तुत करता है, जो टेकेन 3 (Tekken 3) पर प्रशिक्षित एक रियल-टाइम डिफ्यूजन-आधारित वर्ल्ड मॉडल है, जो स्पष्ट पॉलिसी सुपरविजन की आवश्यकता के बिना सिंगल-प्लेयर डेटा से परिष्कृत, रिएक्टिव प्रतिद्वंद्वी व्यवहार उत्पन्न करने के लिए कॉज़ल डिस्टिलेशन (causal distillation) और डिफ्यूजन फोर्सिंग (diffusion forcing) का लाभ उठाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक व्यक्ति को फाइटिंग वीडियो गेम खेलते हुए देख रहे हैं, जैसे कि Tekken। वीडियो में, आप प्लेयर 1 (इंसान) को अपने कंट्रोलर के बटन दबाते हुए देखते हैं। आप यह भी देखते हैं कि प्लेयर 2 (कंप्यूटर प्रतिद्वंद्वी) पलटवार कर रहा है, ब्लॉक कर रहा है और पंच मार रहा है।
आमतौर पर, कंप्यूटर को एक अच्छा प्रतिद्वंद्वी बनाने के लिए सिखाने हेतु, आपको उसे हजारों उदाहरण दिखाने होंगे कि हर स्थिति में कंप्यूटर को कौन से मूव्स करने चाहिए। यह एक छात्र को उत्तर कुंजी (answer key) देने जैसा है।
COMBAT एक नया AI है जो अलग तरह से सीखता है। यह एक ऐसे छात्र की तरह है जो केवल वीडियो देखता है, देखता है कि प्लेयर 1 क्या कर रहा है, और फिर बिना किसी उत्तर कुंजी के यह अनुमान लगाता है कि प्लेयर 2 क्या कर रहा है।
यह कैसे काम करता है, इसे सरल अवधारणाओं में यहाँ दिया गया है:
1. "जादुई क्रिस्टल बॉल" (द वर्ल्ड मॉडल)
क्रिस्टल बॉल के रूप में AI के बारे में सोचें जो भविष्य की भविष्यवाणी करती है।
- इनपुट: आप क्रिस्टल बॉल को वर्तमान दृश्य (वीडियो फ्रेम) दिखाते हैं और कहते हैं, "प्लेयर 1 ने अभी हवा में मुक्का मारा।"
- भविष्यवाणी: क्रिस्टल बॉल कहता है, "ठीक है, उस मुक्के के आधार पर, अगले एक सेकंड का वीडियो कैसा दिखेगा।"
- जादू: भले ही AI को कभी यह नहीं बताया गया कि प्लेयर 2 को क्या करना चाहिए था, फिर भी वह इसे खुद समझ लेता है। वह महसूस करता है, "यदि प्लेयर 1 मुक्का मारता है, तो प्लेयर 2 आमतौर पर ब्लॉक करता है या काउंटर करता है।" वह लड़ाई के प्रवाह को देखकर ही लड़ाई के तर्क (logic) को समझ जाता है।
2. "मशीन में भूत" (इमर्जेंट बिहेवियर)
यह सबसे शानदार हिस्सा है। AI के पास कोई प्रोग्राम किया हुआ "दिमाग" नहीं था जिसमें लड़ने की रणनीतियाँ हों। इसके बजाय, रणनीति स्वाभाविक रूप से उभरी (emerged)।
- कल्पना करें कि आप एक नृत्य देख रहे हैं। आप दूसरे नर्तक को यह नहीं बताते कि उसे क्या करना है; आप बस पहले नर्तक को संगीत बताते हैं। यदि दूसरा नर्तक पर्याप्त समझदार है, तो वह स्वाभाविक रूप से पहले नर्तक के ताल के साथ कदम मिला लेगा।
- COMBAT में, AI ने एक "घोस्ट अपोनेंट" (भूतिया प्रतिद्वंद्वी) बनना सीखा। इसने ब्लॉक करना, चकमा देना और कॉम्बो-अटैक करना इसलिए सीखा क्योंकि वह वीडियो को वास्तविक और सुसंगत दिखाना चाहता था। यदि वह ब्लॉक नहीं करता, तो वीडियो अजीब दिखता (जैसे प्लेयर 1 का मुक्का प्लेयर 2 के सिर के आर-पार निकल जाता)। इसलिए, वीडियो को सार्थक बनाने के लिए AI ने अच्छी फाइटिंग स्किल्स का "आविष्कार" किया।
3. "तेज कलाकार" (रियल-टाइम जनरेशन)
आमतौर पर, ये AI मॉडल धीमे चित्रकारों की तरह होते हैं। उन्हें एक वीडियो फ्रेम बनाने में मिनटों लग जाते है। एक वीडियो गेम के लिए जहाँ आपको 60 फ्रेम प्रति सेकंड की आवश्यकता होती है, यह बहुत धीमा है।
- शोधकर्ताओं ने डिस्टिलेशन (Distillation) नामक एक ट्रिक का उपयोग किया। कल्पना करें कि एक मास्टर पेंटर (बड़ा, धीमा AI) एक छात्र (छोटा, तेज़ AI) को घंटों के बजाय केवल कुछ ब्रशस्ट्रोक में वही चित्र बनाना सिखाता है।
- उन्होंने एक "छात्र" AI को प्रशिक्षित किया जो एक सिंगल कंप्यूटर चिप पर रियल-टाइम (85 फ्रेम प्रति सेकंड) में फाइटिंग गेम जेनरेट कर सकता है। अब, आप वास्तव में इस AI के खिलाफ तुरंत खेल सकते हैं।
4. "बॉडी लैंग्वेज" का सुराग (पोज़ इंफॉर्मेशन)
शोधकर्ताओं ने पाया कि केवल AI को वीडियो दिखाना पर्याप्त नहीं था; उसे पात्रों का कंकाल (उनके पोज़) देखने की भी आवश्यकता थी।
- यह एक मूक फिल्म (silent movie) को समझने जैसा है। यदि आप केवल अभिनेताओं के चेहरे देखते हैं, तो आप संदर्भ (context) को मिस कर सकते हैं। लेकिन यदि आप उनकी बॉडी लैंग्वेज देखते हैं (क्या वे पीछे झुक रहे हैं? क्या उनके हाथ उठे हुए हैं?), तो आप लड़ाई को बहुत बेहतर समझते हैं।
- AI को वीडियो के साथ "कंकाल" डेटा फीड करने से, प्रतिद्वंद्वी बहुत अधिक स्मार्ट और वास्तविक बन गया।
यह क्यों मायने रखता है?
यह केवल बेहतर वीडियो गेम बनाने के बारे में नहीं है।
- सेल्फ-ड्राइविंग कारों के लिए: एक ऐसे AI की कल्पना करें जो ट्रैफिक वीडियो देखकर यह सीखता है कि पैदल चलने वाले कारों के प्रति कैसे प्रतिक्रिया करते हैं, बिना किसी इंसान द्वारा हर एक "रुकने" या "चलने" के निर्णय को लेबल किए जाने की आवश्यकता के।
- रोबोटिक्स के लिए: रोबोट केवल अवलोकन करके यह सीख सकते हैं कि मनुष्यों या अन्य रोबोटों के साथ कैसे बातचीत करनी है, बजाय इसके कि उन्हें कठोर नियमों के साथ प्रोग्राम किया जाए।
निष्कर्ष
COMBAT एक ऐसा सिस्टम है जो केवल लड़ाई के वीडियो को देखकर एक स्मार्ट, रिएक्टिव प्रतिद्वंद्वी बनना सीखता है। इसे लड़ने के लिए किसी शिक्षक की आवश्यकता नहीं थी; इसने भविष्य की सटीक भविष्यवाणी करने की कोशिश करके इसे खुद समझ लिया। यह ऐसे AI बनाने की दिशा में एक बड़ी छलांग है जो केवल अवलोकन करके दुनिया को समझने और प्रतिक्रिया देने में सक्षम हो।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।