Velocity and stroke rate reconstruction of canoe sprint team boats based on panned and zoomed video recordings
यह शोध पत्र एक स्वचालित वीडियो-आधारित ढांचे को प्रस्तुत करता है जो पैन किए गए और ज़ूम किए गए रिकॉर्डिंग से कैनो स्प्रिंट टीम बोट्स के वेग और स्ट्रोक दर को सटीक रूप से पुनर्गठित करने के लिए YOLOv8, U-net कैलिब्रेशन और ऑप्टिकल फ्लो का लाभ उठाता है, जिससे ऑन-बोट सेंसर की आवश्यकता के बिना GPS डेटा के साथ उच्च सहमति प्राप्त होती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप टीवी पर एक हाई-स्पीड कैनो रेस (कश्ती की दौड़) देख रहे हैं। नावें अविश्वसनीय रूप से तेज़ चल रही हैं, पानी उछल रहा है, और कैमरा एक्शन का पीछा करने के लिए ज़ूम और पैन कर रहा है। एक कोच या प्रशंसक के रूप में, आप दो चीजें जानना चाहते हैं: वे कितनी तेज़ जा रहे हैं? और वे कितनी ज़ोर से चप्पू चला रहे हैं?
आमतौर पर, इस डेटा को प्राप्त करने के लिए, आपको हर एक नाव पर जीपीएस ट्रैकर और मोशन सेंसर लगाना होगा। लेकिन यह महंगा है, लॉजिस्टिक रूप से एक बुरा सपना है, और कभी-कभी नियमों के विरुद्ध भी है।
यह पेपर एक "जादुई ट्रिक" पेश करता है जो आपको वीडियो फुटेज देखकर ही वही सुपर-एक्यूरेट डेटा प्राप्त करने देती है। यह एक सुपर-पावर्ड कंप्यूटर विज़न सिस्टम की तरह है जो एक हिलते हुए, ज़ूम किए गए वीडियो को देख सकता है और कह सकता है, "आह, वह नाव ठीक 4.2 मीटर प्रति सेकंड की गति से चल रही है, और वे एक मिनट में 110 बार चप्पू चला रहे हैं।"
यहाँ बताया गया है कि उन्होंने इसे कैसे किया, सरल अवधारणाओं में विभाजित है:
1. समस्या: "फिश-आई" (Fish-Eye) विरूपण
जब किनारे पर लगा कैमरा रेस को फिल्माता है, तो वह एक सपाट मानचित्र जैसा नहीं दिखता। यह एक विकृत, कोण वाला दृश्य होता है। यदि आप केवल वीडियो में नाव के पिक्सेल (pixels) की गति को मापते हैं, तो आपको गलत गति मिलेगी क्योंकि कैमरा ज़ूम इन और ज़ूम आउट हो रहा है और इधर-उधर घूम रहा है।
उपमा: कल्पना कीजिए कि आप एक फेरिस व्हील (झूले) से रेस देख रहे हैं। जैसे-जैसे पहिया घूमता है, धावक आपके कोण के कारण तेज़ या धीमे दिखाई देते हैं, भले ही वे एक स्थिर गति से दौड़ रहे हों। शोधकर्ताओं को उस फेरिस व्हील वाले दृश्य को एक पूर्ण, सपाट मानचित्र में बदलने का एक तरीका ढूंढना था।
2. समाधान: "वर्चुअल ग्रिड" (Virtual Grid)
रेस कोर्स में बुय (buoys - तैरते हुए मार्कर) होते हैं जो हर 25 मीटर पर बिल्कुल सटीक दूरी पर रखे जाते हैं। शोधकर्ताओं ने अपने कंप्यूटर को इन बुय और एथलीटों को पहचानने के लिए प्रशिक्षित किया।
- ट्रिक: क्योंकि कंप्यूटर जानता है कि वास्तविक जीवन में बुय कहाँ होने चाहिए, इसलिए वह वीडियो के हर फ्रेम के लिए कैमरा के कोण और विरूपण (distortion) की गणना कर सकता है। यह अनिवार्य रूप से वीडियो पर एक "वर्चुअल ग्रिड" खींच देता है, जिससे अव्यवस्थित फुटेज एक सटीक 3D मैप में बदल जाता है।
3. नई चुनौती: टीम वाली नावें (द "टेट्रिस" प्रॉब्लम)
पिछले संस्करणों में यह तकनीक केवल एकल-व्यक्ति वाली नावों के लिए काम करती थी। लेकिन 2 या 4 लोगों वाली नावों का क्या?
- समस्या: 4-व्यक्ति वाली नाव में, एथलीट एक पंक्ति में बैठे होते हैं। कभी-कभी कैमरा एंगल पीछे बैठे व्यक्ति को छिपा देता है, या वे एक-दूसरे के ऊपर आ जाते हैं। यदि कंप्यूटर ट्रैक खो देता है कि कौन कौन है, तो वह यह पता नहीं लगा पाता कि नाव का अगला हिस्सा कहाँ है।
- समाधान: उन्होंने एक विशेष "AI डिटेक्टिव" (जिसे U-Net कहा जाता है) बनाया है जो एक सुपर-प्रिसिजन रूलर की तरह काम करता है। नाव के हिस्से का अनुमान लगाने के लिए एक औसत का उपयोग करने के बजाय, यह AI वीडियो के एक छोटे से हिस्से को देखता है और कहता है, "मुझे नाव का बिल्कुल सिरा यहाँ दिख रहा है।" यह हर एक रेस के लिए नाव के सिरे के विशिष्ट आकार को सीख लेता है।
4. टीम को साथ रखना: "ऑप्टिकल फ्लो" की रस्सी
क्या होगा यदि कंप्यूटर एक ऐसा फ्रेम मिस कर दे जहाँ कोई एथलीट पानी की बौछार से छिप गया हो?
- समाधान: उन्होंने "ऑप्टिकल फ्लो" नामक तकनीक का उपयोग किया। कल्पना कीजिए कि एथलीट एक अदृश्य रस्सी से बंधे हुए हैं। यदि कंप्यूटर सामने वाले व्यक्ति को देखता है, तो उसे पता होता है कि पीछे वाला व्यक्ति कहाँ होना चाहिए, भले ही वह अस्थायी रूप से छिपा हुआ हो। वे एक डांस पार्टनर की तरह उनके मूवमेंट को ट्रैक करते हैं, जिससे यह सुनिश्चित होता कि टीम का क्रम कभी भी आपस में मिक्स न हो जाए।
5. स्ट्रोक गिनना: रेस की "धड़कन"
अंत में, उन्हें यह गिनने की आवश्यकता थी कि कितनी बार चप्पू पानी से टकराते हैं (स्ट्रोक रेट)।
- विधि A (सरल तरीका): उन्होंने एथलीट के चारों ओर बने बॉक्स के भीतर चमक (brightness) में बदलाव को देखा। जब चप्पू चलता है, तो पिक्सेल की चमक बदल जाती है। यह ड्रम की त्वचा के कंपन को देखकर ड्रम की आवाज़ सुनने जैसा है।
- विधि B (स्मार्ट तरीका): उन्होंने कंधे और कलाई को खोजने के लिए एक पोज़-एस्टिमेशन AI (ViTPose) का उपयोग किया। यह उनके बीच की दूरी की गणना करता है। जैसे-जैसे एथलीट चप्पू चलाता है, यह दूरी लयबद्ध रूप से घटती और बढ़ती है।
- परिणाम: "स्मार्ट तरीका" (विधि B) बहुत अधिक सटीक था, जो लगभग उतना ही सटीक था जितना कि एथलीट की कलाई पर लगा एक सेंसर।
यह क्यों मायने रखता है
यह सिस्टम कोचों और एथलीटों के लिए गेम-चेंजर है क्योंकि:
- सेंसर की आवश्यकता नहीं: आपको महंगे उपकरण खरीदने या नियमों की चिंता करने की आवश्यकता नहीं है। बस रेस को फिल्माएं।
- तत्काल फीडबैक: कोच ठीक से देख सकते हैं कि रेस की गति कैसी थी (तेज़ शुरुआत? धीमी समाप्ति?) और टीम ने अपने चप्पू चलाने में कितना तालमेल बिठाया।
- सार्वभौमिक (Universal): यह सिंगल बोट, डबल बोट और फोर-पर्सन बोट, चाहे वह 200 मीटर की स्प्रिंट हो या 500 मीटर की रेस, सभी के लिए काम करता है।
संक्षेप में: शोधकर्ताओं ने एक मानक वीडियो कैमरे को एक हाई-टेक मोशन लैब में बदल दिया है। उन्होंने कंप्यूटर को रेस की ज्यामिति (geometry) को समझने, टीम के सदस्यों को तब भी ट्रैक करने के लिए प्रशिक्षित किया जब वे कैमरे से छिप जाते हैं, और केवल पिक्सेल के नृत्य को देखकर उनके स्ट्रोक गिनने के लिए तैयार किया। यह एक कोच को एक्स-रे विज़न देने जैसा है, लेकिन केवल एक स्मार्टफोन और कुछ स्मार्ट गणित का उपयोग करके।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।