AceAction-5M: Hierarchical Goals for Generalist Action Learning Across 3D Game Worlds
यह शोध पत्र AceAction को प्रस्तुत करता है, जो कई 3D खेलों में मानव गेमप्ले का एक बड़े पैमाने का डेटासेट है, जो सामान्यज्ञ एजेंटों (generalist agents) को गतिशील वातावरण में कौशल संयोजन (skill composition) और उप-लक्ष्य संक्रमण (subgoal transitions) सीखने में सक्षम बनाने के लिए पदानुक्रमित, सामयिक रूप से संरेखित विजन-लैंग्वेज-एक्शन एनोटेशन प्रदान करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक मशीन को दुनिया में व्यवहार करना सिखाने के लिए, शोधकर्ताओं को उदाहरणों के एक विशाल पुस्तकालय की आवश्यकता होती है जो यह दिखा सके कि एक एजेंट क्या देखता है, वह क्या हासिल करना चाहता है, और वहां तक पहुँचने के लिए वह कौन से विशिष्ट कदम उठाता है। भौतिक दुनिया में, इस तरह का डेटा एकत्र करना धीमा, महंगा और खतरनाक है; इसके लिए रोबोट, मानव पर्यवेक्षक और बार-बार सेटअप की आवश्यकता होती है जिसे संचित करने में वर्षों लग सकते हैं। वीडियो गेम एक व्यावहारिक विकल्प प्रदान करते हैं। वे समृद्ध, त्रि-आयामी वातावरण प्रदान करते हैं जहाँ मानव खिलाड़ी हर दिन जटिल कार्य करते हैं, और जहाँ प्रत्येक दृश्य को उन सटीक कीबोर्ड और माउस कमांड के साथ पूरी तरह से जोड़ा जा सकता है जिनका उपयोग उसे बनाने के लिए किया गया था। वैज्ञानिकों के लिए चुनौती यह रही है कि जबकि गेम अनंत डेटा उत्पन्न करते हैं, कच्चे गेमप्ले को आर्टिफिशियल इंटेलिजेंस के लिए एक उपयोगी सबक में बदलना केवल वीडियो रिकॉर्ड करने से कहीं अधिक है। इसके लिए न केवल अंतिम परिणाम को समझने की आवश्यकता है, बल्कि उस चरण-दर-चरण सोच को समझने की भी आवश्यकता है जो वहां तक ले गई: कैसे एक खिलाड़ी तय करता है कि उसे कब आगे बढ़ना है, वे कब अन्वेषण (exploring) से लड़ाई (fighting) की ओर स्विच करते हैं, और वे एक बड़े लक्ष्य को छोटे, प्रबंधनीय कार्यों में कैसे तोड़ते हैं।
शोधकर्ताओं ने 'AceAction-5M' नामक एक नया डेटा संग्रह बनाकर इस समस्या का समाधान किया है, जिसे कंप्यूटर को कई अलग-अलग 3D वीडियो गेम में जटिल निर्देशों का पालन करना सिखाने के लिए डिज़ाइन किया गया है। केवल यह रिकॉर्ड करने के बजाय कि क्या हुआ, शोधकर्ताओं ने हजारों घंटों के मानव गेमप्ले को एक संरचित पदानुक्रम (hierarchy) में व्यवस्थित किया। उन्होंने लंबे, निरंतर खेल सत्रों को एक स्पष्ट कमांड श्रृंखला में विभाजित किया: एक मुख्य मिशन, मध्यवर्ती उप-लक्ष्यों (sub-goals) की एक श्रृंखला, और प्रत्येक को प्राप्त करने के लिए आवश्यक विशिष्ट, क्षण-दर-क्षण क्रियाएं। उदाहरण के लिए, एक एकल कार्य हो सकता है "गलियारे को पार करना और लाल ईंट वाले घर तक सीढ़ियाँ चढ़ना।" सिस्टम इसे और अधिक विस्तार से तोड़ता है: पहले खिलाड़ी को दाईं ओर के दरवाजे तक पहुँचना होगा; फिर, उन्हें सीढ़ियाँ चढ़नी होंगी; अंत में, वे घर के पास पहुँचते हैं। इन प्रत्येक चरणों को उस सटीक दृश्य दृश्य (visual scene) से जोड़ा गया है जो खिलाड़ी ने देखा था और उन सटीक की-प्रेस और माउस मूवमेंट के साथ जो उन्होंने चरण को निष्पादित करने के लिए उपयोग किए थे।
यह डेटासेट लोकप्रिय शीर्षकों जैसे Fortnite, Minecraft, Counter-Strike, और Euro Truck Simulator 2 सहित विभिन्न आभासी दुनियाओं को कवर करता है। कुल मिलाकर, इस संग्रह में 42 अलग-अलग खेलों से 5,000 घंटों से अधिक का गेमप्ले शामिल है, जो 5.4 मिलियन से अधिक विशिष्ट कार्य निर्देशों और लगभग 116 मिलियन व्यक्तिगत कीबोर्ड और माउस क्रियाओं का प्रतिनिधित्व करता है। इसे बनाने के लिए, शोधकर्ताओं ने अपने स्वयं के स्टूडियो में पेशेवर खिलाड़ियों की रिकॉर्डिंग को ऑनलाइन समुदायों से उपलब्ध मैच डेटा के साथ जोड़ा। फिर उन्होंने गेमप्ले को देखने और स्वचालित रूप से यह पहचानने के लिए उन्नत कंप्यूटर विज़न टूल का उपयोग किया कि खिलाड़ी का उद्देश्य कब बदला। यदि कोई खिलाड़ी गलियारे में चल रहा था और फिर दुश्मन को मारने के लिए रुका, तो सिस्टम ने पहचान लिया कि "चलने" का चरण समाप्त हो गया है और "लड़ाई" का चरण शुरू हो गया है। उन्होंने इन बदलावों को विशिष्ट चरणों के रूप में लेबल किया, और प्रत्येक उप-लक्ष्य के लिए एक स्पष्ट प्रारंभ और समाप्ति समय निर्धारित किया।
इस कार्य का एक महत्वपूर्ण हिस्सा इन चरणों को विशिष्ट दृश्य स्थलों (visual landmarks) से जोड़ने की क्षमता है। जब कोई खिलाड़ी किसी गंतव्य की ओर जाता है, तो सिस्टम उस क्षण की पहचान करता है जब वे एक पहचानने योग्य स्थान, जैसे कि गेट, रैंप, या एक विशिष्ट कमरे पर पहुँचते हैं, और इसे एक वेपॉइंट (waypoint) के रूप में चिह्नित करता है। यह डेटा को यह दिखाने की अनुमति देता है कि खिलाड़ी केवल चला नहीं, बल्कि एक विशिष्ट गंतव्य को ध्यान में रखकर चला। शोधकर्ताओं ने फिर पूर्ण कार्य विवरण बनाने के लिए इन वेपॉइंट्स को लंबे अनुक्रमों में समूहित किया। डेटा सटीक रहे, यह सुनिश्चित करने के लिए, उन्होंने एक कठोर दो-चरणीय जाँच प्रक्रिया का उपयोग किया। पहले, आर्टिफिशियल इंटेलिजेंस मॉडल ने लिखित विवरण के वीडियो और रिकॉर्ड किए गए नियंत्रणों से मेल खाने की पुष्टि करने के लिए प्रत्येक एनोटेशन की समीक्षा की। फिर, आठ मानव समीक्षकों की एक टीम ने सैकड़ों गेमप्ले प्रक्षेप पथों (trajectories) का मैन्युअल निरीक्षण किया। इस मानव ऑडिट ने पुष्टि की कि विवरण 95.8 प्रतिशत बार सही थे, जिससे यह सुनिश्चित हुआ कि भाषा, दृष्टि और क्रिया के बीच का लिंक मजबूत है।
परिणामस्वरूप एक ऐसा डेटासेट प्राप्त हुआ है जो स्पष्ट रूप से एक कृत्रिम एजेंट को यह सिखाता है कि स्थिति बदलने पर विभिन्न कौशलों के बीच कैसे स्विच किया जाए। पिछले संग्रहों के विपरीत जो केवल अंतिम परिणाम का वर्णन कर सकते थे या अस्पष्ट निर्देश दे सकते थे, AceAction-5M मशीन को ठीक से दिखाता है कि कब एक गतिविधि को रोकना है और दूसरी कब शुरू करनी है। यह एक गतिशील वातावरण में आवश्यक व्यवहारों की पूरी श्रृंखला को कैप्चर करता है, जैसे कि मानचित्र का नेविगेशन करना और दुश्मनों की खोज करना, युद्ध में शामिल होना और एक झटके के बाद उबरना। इस स्तर का विवरण प्रदान करके, शोधकर्ताओं ने एजेंटों को प्रशिक्षित करने के लिए एक आधार तैयार किया है जो जटिल, बहु-चरणीय निर्देशों को समझ सकते हैं और उन्हें एक मानव खिलाड़ी की तरह लचीलेपन के साथ निष्पादित कर सकते हैं। यह कार्य प्रदर्शित करता है कि गेमप्ले को स्पष्ट, पदानुक्रमित लक्ष्यों में व्यवस्थित करके, यह सिखाना संभव है कि मशीनें न केवल कैसे चलें, बल्कि एक जटिल उद्देश्य को प्राप्त करने के लिए क्रियाओं के अनुक्रम के माध्यम से कैसे सोचें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।