💻 computer science

Hierarchical GRU with Input-Conditioned Slot Queries for Ball Action Anticipation

यह शोध पत्र SoccerNet बेंचमार्क पर अत्याधुनिक बॉल एक्शन एंटिसिपेशन प्राप्त करने के लिए इनपुट-कंडीशन्ड स्लॉट क्वेरीज़ और फ्रीक्वेंसी-रीवेटेड हंगेरियन मैचिंग से उन्नत एक पदानुक्रमित (hierarchical) GRU मॉडल प्रस्तावित करता है, जो 30 सेकंड की अवलोकन विंडो से भविष्य की क्रियाओं को प्रभावी ढंग से भविष्यवाणी करके 17.91% mAP प्राप्त करता है।

मूल लेखक: Parthsarthi Rawat

प्रकाशित 2026-06-16

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Parthsarthi Rawat

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप टीवी पर एक फुटबॉल मैच देख रहे हैं। यह शोध पत्र एक स्मार्ट कंप्यूटर सिस्टम का वर्णन करता है जिसे एक अत्यंत सूक्ष्मदर्शी खेल विश्लेषक (sports analyst) की तरह काम करने के लिए डिज़ाइन किया गया है। इसका काम खेल के पिछले 30 सेकंड को देखना और यह अनुमान लगाना है कि अगले 5 सेकंड में गेंद से जुड़ी कौन सी रोमांचक घटना होने वाली है।

यह सिस्टम कैसे काम करता है, इसे सरल उदाहरणों और उपमाओं (analogies) का उपयोग करके नीचे समझाया गया है:

1. "आंखें" (फीचर एक्सट्रैक्शन - Feature Extraction)

सबसे पहले, सिस्टम को खेल को देखने की आवश्यकता है। यह एक पूर्व-प्रशिक्षित "आंख" (एक फ्रोजन वीडियो बैकबोन) का उपयोग करता है जिसने पहले ही सीख लिया है कि फुटबॉल कैसा दिखता है।

उपमा: इसे एक ऐसे कैमरे के रूप में सोचें जो केवल पिक्सेल रिकॉर्ड नहीं करता, बल्कि तुरंत "एक खिलाड़ी दौड़ रहा है," "गेंद हवा में है," या "गोल पोस्ट" जैसी आकृतियों को पहचान लेता है। यह 30 सेकंड के वीडियो को छह 5-सेकंड के टुकड़ों में तोड़ देता है और प्रत्येक टुकड़े को संख्याओं की एक सूची में बदल देता है जो वह देखता है।

2. "मस्तिष्क" (हायरार्किकल टेम्पोरल एनकोडर - Hierarchical Temporal Encoder)

सिस्टम इस जानकारी को दो परतों में प्रोसेस करता है, जैसे कि प्रबंधकों (managers) और एक सीईओ (CEO) की एक टीम।

लोकल मैनेजर (Local Transformer): प्रत्येक 5-सेकंड के टुकड़े के भीतर, एक छोटी टीम उस विशिष्ट क्रिया का विश्लेषण करती है जो अभी हो रही है (जैसे, "एक खिलाड़ी किक मारने के लिए तैयारी कर रहा है")।
सीईओ (GRU Aggregator): इसके बाद एक "मुख्य कार्यकारी अधिकारी" (CEO) सभी छह टुकड़ों की रिपोर्ट देखता है। यह केवल पिछले एक सेकंड को नहीं देखता; यह पूरे 30 सेकंड के प्रवाह को याद रखता है।
उपमा: एक न्यूज़रूम की कल्पना करें। "लोकल मैनेजर्स" प्रत्येक 5-मिनट के खंड में क्या हुआ, इसके संक्षिप्त विवरण लिखते हैं। "सीओ" पूरी कहानी को समझने के लिए उन सभी सारांशों को क्रमवार पढ़ता है जो वर्तमान क्षण तक की कहानी बताते हैं। सीईओ के पास एक विशेष तरकीब भी है: वह उबाऊ हिस्सों (जैसे शुरुआती, बिना किसी हलचल वाले सेकंड) को अनदेखा करने और रोमांचक हिस्सों पर अधिक ध्यान केंद्रित करने का निर्णय ले सकता है।

3. "अनुमान लगाने वाले" (इनपुट-कंडीशन्ड स्लॉट क्वेरीज़ - Input-Conditioned Slot Queries)

यही इस शोध पत्र का सबसे अनूठा हिस्सा है। सिस्टम के पास भविष्यवाणी करने के लिए 4 विशेष "स्लॉट्स" (या अनुमान लगाने वाले) तैयार हैं।

उपमा: आमतौर पर, ये अनुमान लगाने वाले एक खाली स्लेट के साथ शुरू करेंगे, जैसे कि निर्देश पढ़े बिना परीक्षा देने वाला कोई छात्र। लेकिन यह सिस्टम अधिक स्मार्ट है। अनुमान लगाने वालों के शुरू करने से पहले, उन्हें पिछले 30 सेकंड के सीईओ सारांश के आधार पर एक "संकेत" (hint) मिलता है।
यह क्यों महत्वपूर्ण है: यदि पिछले 30 सेकंड में एक खिलाड़ी तेजी से गोल की ओर दौड़ता हुआ दिखा, तो अनुमान लगाने वालों को एक संकेत मिलता है कि "हे, एक गोल आने वाला हो सकता है!" यह उन्हें बिना किसी आधार के अनुमान लगाने के बजाय, यह समझने में मदद करता है कि उन्हें क्या देखना चाहिए।

4. "तीन प्रश्न" (डिकपल्ड हेड्स - Decoupled Heads)

प्रत्येक 4 अनुमान लगाने वाले हर संभावित क्रिया के लिए तीन विशिष्ट प्रश्नों के उत्तर देते हैं:

क्या कोई घटना हो रही है? (ऑब्जेक्टनेस - Objectness): "क्या वास्तव में कुछ हो रहा है, या यह केवल शोर है?"
वह क्या है? (क्लास - Class): "क्या यह टैकल है, शॉट है, थ्रो-इन है, या गोल है?"
यह कब होगा? (टेम्पोरल ऑफसेट - Temporal Offset): "यह 1 सेकंड में, 2 सेकंड में, या 3 सेकंड में होगा?"

5. "निष्पक्ष न्यायाधीश" (ट्रेनिंग ट्रिक्स - Training Tricks)

सिस्टम वास्तविक उत्तरों (ग्राउंड ट्रुथ) के साथ अपने अनुमानों की तुलना करके सीखता है। लेखकों ने सीखने की प्रक्रिया को अधिक निष्पक्ष बनाने के लिए दो विशेष नियम जोड़े हैं:

दुर्लभ घटनाओं का बोनस (फ्रीक्वेंसी-रीवेटेड मैचिंग - Frequency-Reweighted Matching): फुटबॉल में, कुछ क्रियाएं (जैसे "टैकल") बार-बार होती हैं, जबकि अन्य (जैसे "ब्लॉक") दुर्लभ होती हैं। मानक सिस्टम अक्सर दुर्लभ घटनाओं को अनदेखा कर देते हैं क्योंकि उन्हें ढूंढना कठिन होता है। यह सिस्टम दुर्लभ क्रियाओं को प्रशिक्षण के दौरान "बोनस अंक" देता है, जिससे सिस्टम उन्हें अतिरिक्त ध्यान देने के लिए मजबूर होता है ताकि वह उन्हें भूल न जाए।
"सॉफ्ट" लक्ष्य (गौसियन सॉफ्ट टारगेट्स - Gaussian Soft Targets): यह सिस्टम यह मानकर नहीं चलता कि कोई घटना बिल्कुल 2.0 सेकंड पर होती है, बल्कि इसे सिखाया जाता है कि 2.1 सेकंड "लगभग सही" है और 3.0 सेकंड "बहुत गलत" है। यह एक टेस्ट को ग्रेड करने जैसा है जहाँ "करीब" होने पर भी आंशिक क्रेडिट मिलता है, न कि केवल "सही या गलत"। यह सिस्टम को समय के सटीक अनुमान लगाने में मदद करता है।

6. परिणाम

इस सिस्टम का परीक्षण SoccerNet नामक एक प्रसिद्ध फुटबॉल डेटासेट पर किया गया था।

स्कोर: इसने 17.91% का स्कोर प्राप्त किया (mAP द्वारा मापा गया, जो एक "सटीकता" स्कोर है)।
तुलना: यह वर्तमान सर्वश्रेष्ठ विधि (जिसने 18.05% स्कोर किया) के बहुत करीब है, लेकिन यह नया सिस्टम इसे अपनी "आंखों" को शून्य से पुन: प्रशिक्षित किए बिना कुशलतापूर्वक करता है।
मुख्य निष्कर्ष: लेखकों ने पाया कि यदि वे कॉन्फिडेंस थ्रेशोल्ड (विश्वास सीमा) को कम करते हैं (सिस्टम को अधिक अनुमान लगाने की अनुमति देते हैं), तो गुणवत्ता काफी गिर जाती है। गलत होने की संभावना वाले अनुमान लगाने के बजाय शांत रहना और सुनिश्चित होना बेहतर है।

सारांश में:
यह शोध पत्र एक फुटबॉल भविष्यवाणी प्रणाली प्रस्तुत करता है जो 30 सेकंड के वीडियो को देखती है, कहानी का सारांश बनाती है, उस सारांश का उपयोग अपने भविष्यवाणी स्लॉट्स को "प्राइम" करने के लिए करती है, और फिर अनुमान लगाती है कि अगली दुर्लभ या सामान्य गेंद संबंधी क्रियाएं कब और ठीक कब होंगी। यह सुनिश्चित करने के लिए कि यह दुर्लभ खेल को अनदेखा न करे और समय के बारे में सटीक होना सीखे, यह विशेष गणितीय युक्तियों का उपयोग करता है।

तकनीकी सारांश: बॉल एक्शन प्रत्याशा (Ball Action Anticipation) के लिए इनपुट-कंडीशनड स्लॉट क्वेरीज़ के साथ पदानुक्रमित GRU

समस्या की परिभाषा

यह शोध पत्र फुटबॉल ब्रॉडकास्ट वीडियो में बॉल एक्शन प्रत्याशा (Ball Action Anticipation) कार्य को संबोधित करता है, विशेष रूप से SoccerNet Ball Action Anticipation (BAA) बेंचमार्क के संदर्भ में। मुख्य चुनौती एक पूर्ववर्ती 30-सेकंड के अवलोकन विंडो (observation window) के आधार पर भविष्य के 5-सेकंड के प्रत्याशा विंडो (anticipation window) में होने वाली विशिष्ट बॉल-संबंधित क्रियाओं की भविष्यवाणी करना है। सिस्टम को इन क्रियाओं को 10 अलग-अलग वर्गों (classes) में वर्गीकृत करना होगा और भविष्य के विंडो के भीतर उनके सटीक समय का निर्धारण करना होगा। मूल्यांकन मीट्रिक छह टेम्पोरल टॉलरेंस (1 सेकंड से अनंत तक) पर गणना किया गया मीन एवरेज प्रिसिजन (mAP) है।

कार्यप्रणाली (Methodology)

प्रस्तावित दृष्टिकोण एक पदानुक्रमित आर्किटेक्चर का उपयोग करता है जो स्थानीय फीचर एनकोडिंग, वैश्विक टेम्पोरल एग्रीगेशन और एक क्वेरी-आधारित डिकोडिंग तंत्र को जोड़ता है।

1. फीचर एक्सट्रैक्शन (Feature Extraction)

सिस्टम एक फ्रोजन वीडियो बैकबोन (InvertedResidual3d ब्लॉक्स और GeM पूलिंग के साथ EfficientNetV2-B0) का उपयोग करता है, जिसे SoccerNet Ball Action Spotting कार्य पर प्री-ट्रेन किया गया है।

इनपुट संरचना: 30-सेकंड के अवलोकन को छह 5-सेकंड के विंडोज़ ( $W=6$ ) में विभाजित किया गया है।
क्लिप प्रतिनिधित्व: प्रत्येक 5-सेकंड के विंडो को (25 fps पर) आगे $N_c=33$ क्लिप्स में विभाजित किया जाता है, जिससे 1280-आयामी फीचर वेक्टर्स ( $F_w \in \mathbb{R}^{33 \times 1280}$ ) का एक अनुक्रम उत्पन्न होता है।

2. पदानुक्रमित टेम्पोरल एनकोडर (Hierarchical Temporal Encoder)

एनकोडिंग प्रक्रिया दो स्तरों पर कार्य करती है:

लोकल ट्रांसफार्मर (Local Transformer): एक साझा 2-लेयर प्री-LN सेल्फ-अटेंशन ट्रांसफार्मर प्रत्येक 5-सेकंड के विंडो को स्वतंत्र रूप से प्रोसेस करता है। यह फीचर्स को $d=256$ आयामों में प्रोजेक्ट करके और लर्नेबल क्लिप पोजीशन एम्बेडिंग्स जोड़कर इंट्रा-विंडो टेम्पोरल पैटर्न को कैप्चर करता है। रेगुलराइजेशन के लिए स्टोकेस्टिक डेप्थ (DropPath) का उपयोग किया जाता है।
GRU एग्रीगेटर (GRU Aggregator): पूरे 30-सेकंड के अवलोकन में लॉन्ग-रेंज डिपेंडेंसी को मॉडल करने के लिए, एनकोडेड विंडोज़ को एडेप्टिव एवरेज पूलिंग के माध्यम से 8 समरी वेक्टर्स में कम किया जाता है, जिससे 48 स्टेप्स ( $T=48$ ) का एक अनुक्रम बनता है। एक सिंगल-लेयर GRU इस अनुक्रम को प्रोसेस करता है ताकि एक मेमोरी स्टेट $H$ उत्पन्न किया जा सके। महत्वपूर्ण रूप से, प्रति विंडो एक लर्नेबल पैरामीटर मॉडल को यूनिफॉर्म इम्पोर्टेंस वेट्स ( $\alpha_w$ ) लागू करने की अनुमति देता है, जिससे यह अवलोकन के गैर-सूचनात्मक शुरुआती खंडों को कम महत्व दे पाता है।

3. इनपुट-कंडीशनड स्लॉट डिकोडर (Input-Conditioned Slot Decoder)

स्थिर, फिक्स्ड क्वेरीज के बजाय, डिकोडर K=4 लर्नेबल स्लॉट एम्बेडिंग्स का उपयोग करता है जो अवलोकन के संदर्भ (context) के आधार पर गतिशील रूप से इनिशियलाइज़ होते हैं।

कॉन्टेक्स्टुअल सीडिंग (Contextual Seeding): प्रत्येक स्लॉट क्वेरी $q_k$ को एक लर्नेबल एम्बेडिंग $e_k$ को GRU मेमोरी $H$ के माध्य से प्राप्त कॉन्टेक्स्ट वेक्टर में जोड़कर बनाया जाता है। यह स्लॉट्स को अपने प्रारंभिक अवस्था को विशिष्ट इनपुट सीक्वेंस के अनुकूल बनाने की अनुमति देता है।
डिकोडिंग: एक 4-लेयर ट्रांसफार्मर डिकोडर (क्रॉस-अटेंशन और सेल्फ-अटेंशन के साथ) इन क्वेरीज को GRU मेमोरी के विरुद्ध प्रोसेस करता है।
डिकपल्ड हेड्स (Decoupled Heads): प्रत्येक स्लॉट तीन स्वतंत्र भविष्यवाणियाँ करता है:
1. ऑब्जेक्टनेस (Objectness): एक बाइनरी प्रोबेबिलिटी ( $p_{obj}$ ) जो दर्शाती है कि क्या स्लॉट एक वास्तविक घटना से संबंधित है।
2. क्लास (Class): 10 एक्शन क्लासेस पर एक सॉफ्टमैक्स डिस्ट्रीब्यूशन।
3. टेम्पोरल ऑफसेट (Temporal Offset): 5-सेकंड के विंडो के भीतर सटीक समय की भविष्यवाणी करने के लिए 32 बिन्स पर एक सॉफ्टमैक्स डिस्ट्रीब्यूशन।
  नोट: ऑब्जेक्टनेस को क्लास प्रेडिक्शन से अलग करने से बैकग्राउंड-क्लास कोलैप्स को रोका जाता है।

4. ट्रेनिंग स्ट्रैटेजी (Training Strategy)

ट्रेनिंग पाइपलाइन क्लास इम्बैलेंस और टेम्पोरल प्रिसिजन को संभालने के लिए कई तंत्रों को शामिल करती है:

फ्रीक्वेंसी-रीवेटेड हंगेरियन मैचिंग (Frequency-Reweighted Hungarian Matching): इस समस्या को संबोधित करने के लिए कि दुर्लभ एक्शन क्लासेस उच्च वर्गीकरण लागत के कारण व्यवस्थित रूप से अनमैच हो जाती हैं, मैचिंग कॉस्ट को एक इनवर्स-फ्रीक्वेंसी वेट ( $w_{cm}$ ) से विभाजित किया जाता है। यह व्यवस्थित रूप से दुर्लभ ग्राउंड-ट्रुथ इवेंट्स को स्लॉट्स असाइन करने का पक्ष लेता है।
गौसियन सॉफ्ट टारगेट्स (Gaussian Soft Targets): टेम्पोरल ऑफसेट्स के लिए हार्ड वन-हॉट बिन सुपरविजन के बजाय, मॉडल ग्राउंड-ट्रुथ बिन पर केंद्रित गौसियन सॉफ्ट टारगेट्स का उपयोग करता है। यह टेम्पोरली दूर की त्रुटियों को आसन्न त्रुटियों की तुलना में अधिक दंडित करता है, जिससे ग्रेडिएंट्स स्मूथ होते हैं।
क्लास-इम्बैलेंस हैंडलिंग: एक वेटेड रैंडम सैंपलर दुर्लभ क्लासेस (जैसे, TACKLE को 40 गुना अधिक सैंपल किया जाता है) की फ्रीक्वेंसी को काफी बढ़ा देता है।
डेटा ऑग्मेंटेशन: फीचर मिक्सअप (Feature MixUp) को इनपुट फीचर्स को मिलाने और सोर्स सैंपल्स से लॉस को संयोजित करने के लिए लागू किया जाता है।
ऑक्सिलरी हेड (Auxiliary Head): एक 1D-CNN हेड अंतिम विंडो पर प्रति-फ्रेम एक्शन प्रेजेंस की भविष्यवाणी करने के लिए ऑक्सिलरी सुपरविजन प्रदान करता है।

मुख्य योगदान (Key Contributions)

पदानुक्रमित आर्किटेक्चर (Hierarchical Architecture): क्लिप-लेवल फीचर्स के लिए लोकल ट्रांसफार्मर और ग्लोबल टेम्पोरल एग्रीगेशन के लिए GRU का एकीकरण मॉडल को कुशलतापूर्वक फाइन-ग्रेन्ड इंटरैक्शन और लॉन्ग-रेंज कॉन्टेक्स्ट दोनों को कैप्चर करने की अनुमति देता है।
इनपुट-कंडीशनड क्वेरीज (Input-Conditioned Queries): GRU समरी द्वारा सीड किए गए स्लॉट क्वेरीज का उपयोग स्थिर क्वेरीज को कॉन्टेक्स्ट-अवेयर इनिशियलाइजेशन से बदल देता है, जो स्टैटिक एम्बेडिंग्स की तुलना में वैलिडेशन परफॉरमेंस को लगभग 0.8 mAP पॉइंट्स सुधारता है।
विशेष लॉस और मैचिंग (Specialized Loss and Matching): प्रस्तावित फ्रीक्वेंसी-रीवेटेड हंगेरियन मैचिंग विशेष रूप से एक्शन प्रत्याशा में क्लास इम्बैलेंस की समस्या को लक्षित करता है, यह सुनिश्चित करता है कि दुर्लभ क्लासेस को ऑप्टिमाइजेशन के दौरान अनदेखा न किया जाए। इसके अतिरिक्त, टेम्पोरल बिनिंग के लिए गौसियन सॉफ्ट टारगेट्स टेम्पोरल प्रेडिक्शंस की स्मूथनेस में सुधार करते हैं।

परिणाम (Results)

इस पद्धति का मूल्यांकन SoccerNet Ball Action Anticipation बेंचमार्क पर किया गया था:

परफॉरमेंस: मॉडल ने टेस्ट सर्वर पर 17.91% mAP (सभी टॉलरेंस के औसत) प्राप्त किया।
तुलना: यह परिणाम ऑर्गनाइज़र द्वारा प्रदान किए गए FAANTRA बेसलाइन (18.05% mAP) के प्रतिस्पर्धी है, बावजूद इसके कि प्रस्तावित विधि एंड-टू-एंड बैकबोन फाइन-ट्यूनिंग का उपयोग नहीं करती है।
एब्लेशन इनसाइट्स (Ablation Insights):
- ऑब्जेक्टनेस थ्रेशोल्ड ( $\tau$ ) को 0.3 से घटाकर 0.05 करने से प्रति क्लिप भविष्यवाणियों की संख्या पांच गुना बढ़ गई लेकिन mAP गिरकर 13.96% हो गया, जो पुष्टि करता है कि लो-कॉन्फिडेंस स्लॉट्स शोर युक्त आउटपुट उत्पन्न करते हैं।
- इनपुट-कंडीशनड क्वेरी मैकेनिज्म को हटाने (स्टैटिक स्लॉट्स पर वापस जाने) से वैलिडेशन mAP ~0.8 अंक कम हो गया।

महत्व और दावे (Significance and Claims)

यह शोध पत्र खुद को बॉल एक्शन प्रत्याशा के लिए एक मजबूत, मॉड्यूलर आर्किटेक्चर प्रदान करने के रूप में स्थापित करता है जो स्वाभाविक क्लास इम्बैलेंस और टेम्पोरल प्रिसिजन आवश्यकताओं को प्रभावी ढंग से संभालता है। लेखक दावा करते हैं कि उनकी विधि पूरे वीडियो बैकबोन को फाइन-ट्यून करने की कम्प्यूटेशनल लागत के बिना ब्लाइंड चैलेंज स्प्लिट पर प्रतिस्पर्धी प्रदर्शन प्राप्त करती है। यह कार्य प्रदर्शित करता है कि इनपुट-कंडीशनड स्लॉट क्वेरीज और फ्रीक्वेंसी-अवेयर मैचिंग एक्शन प्रत्याशा की सटीकता में सुधार के लिए, विशेष रूप से कम प्रतिनिधित्व वाली एक्शन क्लासेस के लिए, महत्वपूर्ण घटक हैं। परिणाम बताते हैं कि एक सावधानीपूर्वक डिज़ाइन किया गया पदानुक्रमित एनकोडर-डिकोडर स्ट्रक्चर, विशिष्ट इम्बैलेंस के लिए संशोधित लॉस के साथ मिलकर, इस डोमेन में स्टेट-ऑफ-द-आर्ट प्रदर्शन के करीब पहुँचने के लिए पर्याप्त है।