💻 computer science

Using Gameplay Videos for Detecting Issues in Video Games

यह शोध पत्र GELID का प्रस्ताव और अनुभवजन्य मूल्यांकन करता है, जो गेमप्ले वीडियो से गेम संबंधी समस्याओं को स्वचालित रूप से पहचानने और वर्गीकृत करने का एक दृष्टिकोण है, जो विशिष्ट समस्याओं को खंडित करने और क्लस्टर करने में संतोषजनक परिणाम प्राप्त करता है लेकिन समस्या के प्रकारों को वर्गीकृत करने और गेम संदर्भ द्वारा क्लस्टर करने में सीमाएं प्रदर्शित करता है।

मूल लेखक: Emanuela Guglielmi, Simone Scalabrino, Gabriele Bavota, Rocco Oliveto

प्रकाशित 2026-06-10

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Emanuela Guglielmi, Simone Scalabrino, Gabriele Bavota, Rocco Oliveto

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

वीडियो गेम्स की कल्पना विशाल, जटिल थीम पार्कों के रूप में करें। डेवलपर्स राइड्स और आकर्षण बनाने में वर्षों बिताते हैं, लेकिन वे कितनी भी कोशिश कर लें, कुछ राइड्स में कोई ढीला बोल्ट, टूटा हुआ ट्रैक या ग्लिच वाला एनिमेट्रोनिक हो सकता है। आमतौर पर, इन समस्याओं को खोजने का एकमात्र तरीका पार्क के आगंतुकों (खिलाड़ियों) की शिकायत का इंतज़ार करना होता है।

लेकिन आज, यहाँ आगंतुकों का एक नया समूह है: स्ट्रीमर्स। ये वे लोग हैं जो इंटरनेट पर लाइव गेम खेलते हैं और खेलते समय अपने दर्शकों से बात करते हैं। वे टूर गाइड की तरह काम करते हैं, लेकिन केवल दृश्य दिखाने के बजाय, वे अक्सर खेलते समय चिल्लाते हैं, "ओह, फर्श गायब हो गया!" या "मेरा कैरेक्टर फ्रीज हो गया!"

समस्या यह है कि इन टूर गाइडों की संख्या बहुत अधिक है, और वे हजारों घंटों की फुटेज रिकॉर्ड कर रहे हैं। थीम पार्क मैनेजरों (गेम डेवलपर्स) के लिए हर एक वीडियो देखना असंभव है ताकि टूटी हुई राइड्स को ढूंढा जा सके।

प्रवेश होता है GELID का।

इस शोध पत्र के लेखकों ने एक रोबोटिक जासूस बनाया है जिसे GELID (GamEplay Issue Detector) कहा जाता है। GELID को एक अत्यंत कुशल संपादक और लाइब्रेरियन के रूप में समझें जो इन हजारों घंटों के वीडियो के लिए है। इसका काम स्ट्रीमर की फुटेज को देखना, यह पता लगाना कि ठीक किस क्षण में कुछ गलत हुआ, और उन क्लिप्स को एक व्यवस्थित फाइलिंग सिस्टम में व्यवस्थित करना है ताकि डेवलपर्स समस्याओं को जल्दी ठीक कर सकें।

GELID कैसे काम करता है, इसे चार सरल चरणों में यहाँ दिया गया है:

1. कैंची (वीडियो सेगमेंटेशन - Video Segmentation)

कल्पना कीजिए कि एक स्ट्रीमर 2 घंटे का वीडियो रिकॉर्ड कर रहा है। GELID पूरा वीडियो नहीं देखना चाहता। इसे वीडियो को छोटे, आसान टुकड़ों में काटने की आवश्यकता है।

यह कैसे काम करता है: यह स्ट्रीमर की आवाज़ (सबटाइटल) को सुनता है। जब स्ट्रीमर किसी समस्या के बारे में बात करना शुरू करता है, तो GELID वीडियो को उनके बोलने के कुछ सेकंड पहले से शुरू करता है और रुकने के कुछ सेकंड बाद तक काट देता है।
उपमा: यह एक फिल्म संपादक की तरह है जो केवल उन्हीं दृश्यों को रखता है जहाँ अभिनेता कुछ महत्वपूर्ण कहता है, और उन उबाऊ हिस्सों को हटा देता है जहाँ वे बस चुपचाप घूम रहे होते हैं।

2. सॉर्टर (सेगमेंट वर्गीकरण - Segment Categorization)

अब GELID के पास सैकड़ों छोटे क्लिप्स हैं। इसे यह समझने की आवश्यकता है कि प्रत्येक क्लिप में किस प्रकार की समस्या है।

यह कैसे काम करता है: यह स्ट्रीमर के शब्दों को पढ़ने और वीडियो फ्रेमों को देखने के लिए एक कंप्यूटर मस्तिष्क (मशीन लर्निंग) का उपयोग करता है। यह क्लिप्स को चार फोल्डरों में वर्गीकृत करने की कोशिश करता है:
- लॉजिक (Logic): गेम के नियम टूट गए हैं (जैसे, एक दरवाज़ा तब खुलता है जब उसे नहीं खुलना चाहिए)।
- प्रेजेंटेशन (Presentation): ग्राफिक्स या साउंड अजीब हैं (जैसे, किसी पात्र का चेहरा खिंचा हुआ है)।
- परफॉरमेंस (Performance): गेम लैग कर रहा है या क्रैश हो रहा है (जैसे, "मेरा फ्रेम रेट गिर गया!")।
- बैलेंस (Balance): गेम बहुत कठिन या बहुत आसान है।
परिणाम: GELID उन "उबाऊ" क्लिप्स को हटाने की कोशिश करता है जहाँ स्ट्रीमर बस लंच के बारे में बातें कर रहा होता है।
चुनौती: यह चरण रोबोट के लिए सबसे कठिन था। यह अक्सर भ्रमित हो जाता था। यह कभी-कभी एक "अजीब दिखने वाले पात्र" के बारे में की गई टिप्पणी को "टूटे हुए गेम नियम" के रूप में समझ लेता था। इसे विजुअल ग्लिच और लॉजिक एरर के बीच अंतर करने में संघर्ष करना पड़ा।

3. मैप मेकर (कॉन्टेक्स्ट क्लस्टरिंग - Context Clustering)

एक बार जब GELID को खराब क्लिप मिल जाते हैं, तो इसे जानने की आवश्यकता है कि वे गेम में कहाँ हुए थे।

यह कैसे काम करता है: यह वीडियो में चित्रों को देखता है। यदि दो क्लिप ऐसे दिखते हैं कि वे एक ही जंगल में या एक ही महल के कमरे में हैं, तो यह उन्हें एक ही ढेर में डाल देता है।
उपमा: कल्पना कीजिए कि आपके पास टूटी हुई राइड्स की 50 तस्वीरें हैं। GELID यह कहकर उन्हें समूहों में बांटने की कोशिश करता है, "ये 10 तस्वीरें सभी 'हॉन्टेड हाउस' क्षेत्र से हैं, और ये 5 तस्वीरें 'स्पेस स्टेशन' से हैं।"
चुनौती: यह भी कठिन था। कुछ गेम्स में क्षेत्र लगभग एक जैसे दिखते हैं (जैसे दो अलग-अलग जंगल जो एक जैसे लगते हैं)। GELID भ्रमित हो गया और स्थानों को मिला दिया, एक जंगल A में टूटी हुई राइड को जंगल B में टूटी हुई राइड के साथ मिला दिया।

4. ग्रुपिंग (इश्यू क्लस्टरिंग - Issue Clustering)

अंत में, GELID उन क्लिप्स को देखता है जिन्हें उसने स्थान के आधार पर समूहित किया है और पूछता है: "क्या ये सभी एक ही विशिष्ट समस्या हैं?"

यह कैसे काम करता है: यदि 20 अलग-अलग स्ट्रीमर ने एक क्लिप दिखाया जहाँ एक तलवार गायब हो गई थी, तो GELID उन्हें एक साथ समूहबद्ध करता है।
परिणाम: यह चरण बहुत अच्छी तरह से काम किया! रोबोट यह पहचानने में उत्कृष्ट था कि, "हे, ये सभी लोग बिल्कुल एक ही बग दिखा रहे हैं।" इसने सफलतापूर्वक अराजकता को विशिष्ट, कार्रवाई योग्य समूहों में व्यवस्थित किया।

निर्णय: क्या रोबोट सफल रहा?

शोध पत्र मिश्रित परिणाम रिपोर्ट करता है, जैसे कोई छात्र जिसने गणित के टेस्ट में तो टॉप किया लेकिन कला की कक्षा में फेल हो गया:

अच्छी खबर: रोबोट वीडियो को उपयोगी टुकड़ों में काटने और समान बग्स को एक साथ समूहित करने में बहुत अच्छा है। इसने सफलतापूर्वक विशिष्ट बग्स के "क्या" और "कहाँ" को व्यवस्थित किया।
बुरी खबर: रोबोट समस्या के विशिष्ट प्रकार को समझने में संघर्ष करता है। इसे यह बताने में कठिनाई होती है कि स्ट्रीमर एक विजुअल ग्लिच के बारे में बात कर रहा है, गेम नियम की त्रुटि के बारे में, या परफॉरमेंस लैग के बारे में। इसे यह समझने में भी भ्रम होता है कि वीडियो वास्तव में गेम के किस हिस्से में फिल्माया गया था, खासकर यदि गेम में कई समान दिखने वाले क्षेत्र हों।

संक्षेप में: GELID एक शक्तिशाली उपकरण है जो वीडियो फुटेज के पहाड़ में से "सुइयों" (बग्स) को खोजने और उन्हें ढेर लगाने में सक्षम है। हालाँकि, इसे अभी भी अपने काम की दोबारा जाँच के लिए एक इंसान की आवश्यकता है क्योंकि यह कभी-कभी सुई के प्रकार को गलत लेबल कर देता है या घास के ढेर में खो जाता है। लेखक भविष्य में रोबोट को बेहतर तरीके से सुनने और देखने के तरीके सिखाने की योजना बना रहे हैं, लेकिन फिलहाल, यह एक सहायक है जो अकेले काम करने के लिए पूरी तरह तैयार नहीं है।

तकनीकी सारांश: वीडियो गेम में समस्याओं का पता लगाने के लिए गेमप्ले वीडियो का उपयोग करना

समस्या विवरण
वीडियो गेम उद्योग जटिल गेम अवस्थाओं (game states), गैर-नियत व्यवहारों (non-deterministic behaviors) और स्वचालित परीक्षण लिखने की कठिनाई के कारण गुणवत्ता आश्वासन (quality assurance) में महत्वपूर्ण चुनौतियों का सामना कर रहा है। इसके परिणामस्वरूप, कई बग्स, ग्लिच और प्रदर्शन संबंधी समस्याएं रिलीज के बाद तब पता चलती हैं जब खिलाड़ी उनका सामना करते हैं। हालांकि ट्विच (Twitch) और यूट्यूब (YouTube) जैसे प्लेटफार्मों पर स्ट्रीमर्स अक्सर लाइव गेमप्ले के दौरान इन समस्याओं का सामना करते हैं और उन पर टिप्पणी करते हैं, वे शायद ही कभी उन्हें डेवलपर्स को औपचारिक रूप से रिपोर्ट करते हैं। हालांकि गेमप्ले वीडियो के रूप में बड़ी मात्रा में डेटा एक "स्वर्ण भंडार" (goldmine) के रूप में मौजूद है, मौजूदा स्वचालित दृष्टिकोण (जैसे, लिन एट अल., 2019) मेटाडेटा पर निर्भर करते हुए वीडियो स्तर पर काम करते हैं ताकि बग-रिपोर्टिंग वीडियो की पहचान की जा सके। ये विधियाँ लंबे वीडियो के भीतर उन विशिष्ट खंडों (segments) की पहचान करने में विफल रहती हैं जहाँ समस्या होती है, न ही वे समस्या के प्रकार या उस संदर्भ को वर्गीकृत करती हैं जिसमें वह दिखाई दी थी, जिससे वे सीधे डेवलपर के उपयोग के लिए अव्यावहारिक हो जाते हैं।

कार्यप्रणाली: GELID दृष्टिकोण
लेखक GELID (GamEpLay Issue Detector) का प्रस्ताव करते हैं, जो एक स्वचालित दृष्टिकोण है जिसे गेमप्ले वीडियो से प्रासंगिक जानकारी निकालने, वर्गीकृत करने और क्लस्टर करने के लिए डिज़ाइन किया गया है। GELID इनपुट वीडियो को चार क्रमिक चरणों के माध्यम से संसाधित करता है:

वीडियो सेगमेंटेशन (Video Segmentation): सिस्टम विजुअल शॉट ट्रांजिशन के बजाय बोले गए कंटेंट के आधार पर वीडियो को सार्थक खंडों में विभाजित करता है। यह सबटाइटल प्रविष्टियों (स्क्रीन पर दिखने वाले टेक्स्ट) को एंकर के रूप में उपयोग करता है। स्ट्रीमर के रिएक्शन टाइम को ध्यान में रखते हुए, सिस्टम सबटाइटल शुरू होने से $t$ सेकंड पहले और समाप्त होने के $t$ सेकंड बाद तक के वीडियो सेगमेंट निकालता है। उपयोगी जानकारी होने की संभावना वाले खंडों को हटाने के लिए एक कीवर्ड-मैचिंग फ़िल्टर (गेम चेंज नोट्स और मौजूदा डेटासेट से प्राप्त 257 समस्या-संबंधित शब्दों का शब्दकोश) लागू किया जाता है।
सेगमेंट वर्गीकरण (Segment Categorization): यह चरण खंडों को पांच श्रेणियों में वर्गीकृत करता है: लॉजिक (Logic), प्रेजेंटेशन (Presentation), बैलेंस (Balance), परफॉरमेंस (Performance), और गैर-सूचनात्मक (Non-informative)। लेखक एक मशीन लर्निंग पाइपलाइन का उपयोग करते हैं जो निम्नलिखित को जोड़ती है:
- टेक्स्टुअल फीचर्स (Textual Features): सबटाइटल से प्राप्त बैग ऑफ वर्ड्स (BoW), word2vec, और doc2vec।
- वीडियो-आधारित फीचर्स (Video-based Features): क्रमिक फ्रेमों के बीच विजुअल विसंगतियों (जैसे क्रैश या ग्लिच) का पता लगाने के लिए स्ट्रक्चरल सिमिलैरिटी (SSIM) और HSV हिस्टोग्राम कोरिलेशन।
- एल्गोरिदम (Algorithms): अध्ययन रैंडम फॉरेस्ट (Random Forest), लॉजिस्टिक रिग्रेशन (Logistic Regression), SMO, मल्टीलेयर परसेप्ट्रॉन (Multilayer Perceptron), और IBk का मूल्यांकन करता है।
संदर्भ-आधारित सेगमेंट ग्रुपिंग (Context-based Segment Grouping): सूचनात्मक खंडों को उस गेम एरिया या लेवल द्वारा समूहीकृत किया जाता है जहाँ समस्या हुई थी। यह की फ्रेम एक्सट्रैक्शन और पिक्सेल-दर-पिक्सेल एवरेजिंग का उपयोग करके सारांश फ्रेम बनाता है। क्लस्टरिंग के लिए नॉन-पैरामीट्रिक एल्गोरिदम (DBSCAN, OPTICS) का उपयोग किया जाता है, जिसमें SSIM और HSV हिस्टोग्राम कोरिलेशन पर आधारित डिस्टेंस मेट्रिक्स का उपयोग किया जाता है।
इश्यू-आधारित सेगमेंट क्लस्टरिंग (Issue-based Segment Clustering): एक ही विशिष्ट समस्या (जैसे, एक विशिष्ट क्रैश ट्रिगर) की रिपोर्ट करने वाले खंडों को एक साथ क्लस्टर किया जाता है ताकि डेवलपर विश्लेषण के प्रयास को कम किया जा सके। यह चरण टेक्स्टुअल और इमेज-आधारित फीचर्स को जोड़ता है और DBSCAN, OPTICS, और मीन शिफ्ट (Mean Shift) एल्गोरिदम का उपयोग करता है।

अनुभवजन्य अध्ययन और परिणाम
लेखकों ने प्रशिक्षण के लिए 170 मैन्युअल रूप से एनोटेट किए गए वीडियो (1,255 खंड प्राप्त हुए) और तीन विशिष्ट खेलों (Conan Exiles, DayZ, New World) से 80 गेमप्ले वीडियो (604 खंड प्राप्त हुए) का उपयोग करके एक अनुभवजन्य अध्ययन आयोजित किया।

सेगमेंटेशन (RQ1): दृष्टिकोण ने संतोषजनक परिणाम प्राप्त किए। एक रिएक्शन टाइम पैरामीटर ( $t$ ) के रूप में 0 सेकंड ने परमाणुता (atomicity) को अनुकूल बनाया (खंडों को और अधिक नहीं बांटा जा सकता था), जबकि $t=5$ सेकंड ने व्याख्यात्मकता (interpretability) को अनुकूल बनाया। सबसे अच्छा संतुलन $t=5$ पर पाया गया।
वर्गीकरण (RQ2): परिणाम असंतोषजनक थे। जबकि बाइनरी क्लासिफिकेशन (इंफॉर्मेटिव बनाम नॉन-इंफॉर्मेटिव) ने टेस्ट सेट पर 0.61 का AUC प्राप्त किया, मल्टी-क्लास क्लासिफिकेशन खराब रहा, विशेष रूप से परफॉरमेंस और बैलेंस संबंधी समस्याओं के लिए, जिन्हें मॉडल पहचानने में विफल रहा (0% रिकॉल)। लेखक इसके लिए स्ट्रीमर की कमेंट्री में शोर (अधूरी वाक्य संरचना, सामान्य उद्गार) और बोले गए शब्दों तथा विजुअल इवेंट्स के बीच तालमेल की कमी को जिम्मेदार ठहराते हैं।
कॉन्टेक्स्ट क्लस्टरिंग (RQ3): परिणाम मिश्रित थे। MoJoFM स्कोर (मैन्युअल क्लस्टरिंग के साथ समानता मापने के लिए) गेम के आधार पर 21.9% से 46.0% के बीच रहा। प्रदर्शन गेम क्षेत्रों की दृश्य विशिष्टता (visual distinctiveness) पर अत्यधिक निर्भर था; विजुअली समान स्तरों वाले गेम (जैसे, Conan Exiles) सटीक क्लस्टरिंग करने में कठिन सिद्ध हुए।
इश्यू-आधारित क्लस्टरिंग (RQ4): परिणाम संतोषजनक थे। DBSCAN ने 72.7% का औसत MoJoFM प्राप्त किया, जो यह दर्शाता है कि सिस्टम एक ही विशिष्ट समस्या की रिपोर्ट करने वाले खंडों को प्रभावी ढंग से समूहीकृत कर सकता है, क्योंकि इस कार्य में कॉन्टेक्स्ट क्लस्टरिंग की तुलना में कम, अधिक विशिष्ट उदाहरण शामिल थे।

प्रमुख योगदान और महत्व
पेपर का प्राथमिक योगदान GELID को परिभाषित करना और उसका मूल्यांकन करना है, जो एक ऐसा पाइपलाइन है जो वीडियो-स्तरीय विश्लेषण से आगे बढ़कर गेम इश्यूज के सेगमेंट-स्तरीय डिटेक्शन और पदानुक्रमित संगठन (hierarchical organization) की ओर बढ़ता है। लेखक 604 मैन्युअल रूप से सेगमेंट किए गए, लेबल किए गए और क्लस्टर किए गए वीडियो सेगमेंट के साथ-साथ दृष्टिकोण के कार्यान्वयन के साथ अपना डेटासेट सार्वजनिक रूप से जारी करते हैं।

इस कार्य का महत्व स्वचालित गेमप्ले विश्लेषण में विशिष्ट बाधाओं की पहचान करने में निहित है। लेखक विनम्रतापूर्वक निष्कर्ष निकालते हैं कि हालांकि विशिष्ट इश्यूज को निकालना और क्लस्टर करना संभव है, लेकिन स्वचालित वर्गीकरण और संदर्भ-आधारित क्लस्टरिंग में वर्तमान में व्यावहारिक तैनाती के लिए आवश्यक सटीकता की कमी है। वे इस बात पर जोर देते हैं कि स्ट्रीमर की कमेंट्री अक्सर बहुत शोर भरी और विजुअल इवेंट्स के साथ असिंक्रोनाइज्ड होती है, जिससे वर्तमान NLP और कंप्यूटर विजन तकनीकें गेम-विशिष्ट अनुकूलन के बिना इश्यू के प्रकार या गेम कॉन्टेक्स्ट को विश्वसनीय रूप से अलग नहीं कर पाती हैं। यह पेपर भविष्य के अनुसंधान के लिए एक बेसलाइन के रूप में कार्य करता है, यह सुझाव देते हुए कि इन चरणों में सुधार के लिए टेक्स्ट विश्लेषण के लिए बड़े कॉन्टेक्स्टुअल विंडोज़, गेम-विशिष्ट विजुअल फीचर्स, या स्पीच से स्वतंत्र विजुअल विसंगतियों का पता लगाने के लिए विशेष दृष्टिकोणों की आवश्यकता हो सकती है।

1. कैंची (वीडियो सेगमेंटेशन - Video Segmentation)

2. सॉर्टर (सेगमेंट वर्गीकरण - Segment Categorization)

3. मैप मेकर (कॉन्टेक्स्ट क्लस्टरिंग - Context Clustering)

4. ग्रुपिंग (इश्यू क्लस्टरिंग - Issue Clustering)

निर्णय: क्या रोबोट सफल रहा?

इसी तरह के और पेपर