FitAQA: A Benchmark of Fitness Action Quality Assessment for Multimodal Large Language Models
यह शोध पत्र FitAQA को प्रस्तुत करता है, जो एक एकीकृत त्रुटि वर्गीकरण (form error taxonomy) के साथ 30 अभ्यासों में 2,219 वीडियो और 5,512 QA उदाहरणों से युक्त एक व्यापक बेंचमार्क है, जिसे फिटनेस एक्शन क्वालिटी असेसमेंट में मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स की क्षमताओं का मूल्यांकन करने के लिए डिज़ाइन किया गया है और यह प्रकट करता है कि वर्तमान मॉडल मुख्य रूप से विजुअल परसेप्शन (दृश्य धारणा) में संघर्ष करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक दोस्त को वीडियो से एक नया डांस मूव सीखने की कोशिश करते हुए देख रहे हैं। आप आसानी से बता सकते हैं कि वह इसे सही कर रहा है या गलत, लेकिन यह समझाने के लिए कि उसका घुटना गलत तरीके से क्यों मुड़ा हुआ है या उसकी लय (rhythm) क्यों बिगड़ी हुई है, आपको तीखी नज़र और विशिष्ट ज्ञान के मिश्रण की आवश्यकता होगी। यही एक्शन क्वालिटी असेसमेंट (AQA) का सार है। कंप्यूटर इस बात को पहचानने में बहुत अच्छे हो गए हैं कि क्या क्रिया हो रही है (जैसे "जंपिंग जैक!" चिल्लाना), लेकिन वे ऐतिहासिक रूप से इस बात को आंकने में संघर्ष करते रहे हैं कि इसे कितनी अच्छी तरह किया जा रहा है। हाल ही में, एक नए प्रकार के सुपर-स्मार्ट कंप्यूटर दिमाग, जिसे मल्टीमॉडल लार्ज लैंग्वेज मॉडल (MLLM) कहा जाता है, का आगमन हुआ है। ये मॉडल वीडियो देख सकते हैं और टेक्स्ट पढ़ सकते हैं, जो एक व्यक्तिगत कोच की तरह काम करने का वादा करते हैं जो केवल "अच्छा काम किया" नहीं कहता, बल्कि आपके फॉर्म की आलोचना भी कर सकता है। लेकिन यहाँ बड़ा सवाल यह है: क्या ये AI कोच वास्तव में हमारी मदद करने के लिए तैयार हैं, या वे केवल अनुमान लगा रहे हैं?
यही वह बात है जिसे पेपर FitAQA खोजने का प्रयास करता है। शोधकर्ताओं ने, स्पोर्ट्स साइंस विशेषज्ञों के साथ मिलकर, AI के कोचिंग कौशल का परीक्षण करने के लिए एक विशाल "जिम क्लास" बनाई। उन्होंने केवल AI को स्कोर देने के लिए नहीं कहा; उन्होंने 30 अलग-अलग बॉडीवेट व्यायामों (जैसे पुश-अप्स और स्क्वाट्स) की एक विस्तृत चेकलिस्ट बनाई और "अच्छे फॉर्म" को छह विशिष्ट श्रेणियों में विभाजित किया: अलाइनमेंट (alignment), सिमेट्री (symmetry), स्टेबिलिटी (stability), कोऑर्डिनेशन (coordination), टेम्पो (tempo), और कम्पलीटनेस (completeness)। इसके बाद उन्होंने AI को 2,219 वीडियो और 5,500 से अधिक प्रश्न दिए जिनका उत्तर देना था। परिणाम एक वास्तविकता की जाँच (reality check) की तरह थे: हालांकि ये AI मॉडल प्रभावशाली हैं, लेकिन वे वर्तमान में उन सूक्ष्म, महत्वपूर्ण विवरणों को पकड़ने में बहुत खराब हैं जो एक व्यायाम को सुरक्षित और प्रभावी बनाते हैं। वे अक्सर गलतियों को पूरी तरह से मिस कर देते हैं या यह नहीं बता पाते कि वीडियो में कब गलती हुई। अध्ययन बताता है कि मुख्य समस्या यह नहीं है कि AI को फिटनेस के नियम नहीं पता; समस्या यह है कि वह उन नियमों को लागू करने के लिए विजुअल साक्ष्य (visual evidence) को स्पष्ट रूप से देखने में संघर्ष कर रहा है।
द ग्रेट AI जिम टेस्ट
AI वीडियो समझ की वर्तमान स्थिति को एक ऐसे छात्र के रूप में सोचें जिसने भौतिकी (physics) की हर किताब पढ़ ली है लेकिन कभी वास्तव में एक गेंद को उछलते हुए नहीं देखा है। वह सिद्धांत जानता है, लेकिन वह भविष्यवाणी नहीं कर सकता कि गेंद कहाँ गिरेगी। इस पेपर के लेखकों ने महसूस किया कि यदि वे वास्तव में यह परीक्षण करना चाहते हैं कि क्या AI एक फिटनेस कोच बन सकता है, तो उन्हें एक ऐसा परीक्षण चाहिए था जो केवल अंतिम स्कोर का अनुमान लगाने के बारे में न हो। उन्हें एक ऐसा परीक्षण चाहिए था जो पूछे: "क्या आपने त्रुटि देखी?" "क्या आप जानते हैं कि यह एक त्रुटि है?" और "यह ठीक कब हुई?"
इसे करने के लिए, उन्होंने FitAQA बनाया, एक बेंचमार्क (एक मानक परीक्षण) जो एक विशाल, डिजिटल जिम फ्लोर की तरह है। केवल एक प्रकार के व्यायाम को देखने के बजाय, उन्होंने 30 अलग-अलग मूव्स को कवर किया, जिसमें जंपिंग जैक जैसे फुल-बॉडी कार्डियो से लेकर रिवर्स क्रंचेस जैसे कोर स्ट्रेंथ मूव्स तक शामिल हैं। लेकिन असली जादू यह है कि उन्होंने गलतियों को कैसे व्यवस्थित किया। हर व्यायाम के लिए अलग से गलतियों की सूची बनाने के बजाय (जो अराजक होता), उन्होंने मानव विशेषज्ञों के साथ मिलकर एक एकीकृत "एरर टैक्सोनॉमी" (Error Taxonomy) बनाई।
गलतियों के एक शब्दकोश की कल्पना करें जो लगभग हर चीज़ पर लागू होता है। चाहे आप स्क्वाट कर रहे हों या पुश-अप, गलतियाँ छह श्रेणियों में आती हैं:
- अलाइनमेंट (Alignment): क्या आपके जोड़ सही ढंग से संरेखित हैं?
- सिमेट्री (Symmetry): क्या आपका बायां हिस्सा वही कर रहा है जो दायां हिस्सा कर रहा है?
- स्टेबिलिटी (Stability): क्या आप अनियंत्रित रूप से डगमगा रहे हैं या हिल रहे हैं?
- कोऑर्डिनेशन (Coordination): क्या आपके हाथ और पैर तालमेल में चल रहे हैं?
- टेम्पो (Tempo): क्या लय बहुत तेज़ या बहुत धीमी है?
- कम्पलीटनेस (Completeness): क्या आपने गति की पूरी रेंज पूरी की, या आपने इसे बीच में ही छोड़ दिया?
उन्होंने इन श्रेणियों में 38 विशिष्ट प्रकार की आवर्ती त्रुटियों (recurring errors) को पाया। उदाहरण के लिए, "फॉरवर्ड हेड पोस्चर" या "अपर्याप्त रेंज ऑफ मोशन"। इसने उन्हें विभिन्न व्यायामों में इन विशिष्ट पैटर्न को पहचानने की AI की क्षमता का परीक्षण करने की अनुमति दी, न कि केवल यह याद रखने की कि "घुटनों के साथ गलत स्क्वाट बुरा है।"
परीक्षण के तीन स्तर
शोधकर्ताओं ने केवल AI से अंतिम ग्रेड नहीं मांगा। उन्होंने कार्य को तीन स्तरों में विभाजित किया, जैसे कि बढ़ते कठिनाई स्तर वाला एक वीडियो गेम:
- परसेप्शन (आंखें): AI को एक वीडियो दिखाया जाता है और पूछा जाता है, "आप कूल्हों (hips) के साथ क्या होते देख रहे हैं?" इसे न्यूट्रल विवरणों के बीच चुनना होता है जैसे "कूल्हे रेखा से नीचे रहते हैं" या "कूल्हे रेखा से ऊपर उठते हैं।" यह परीक्षण करता है कि क्या AI वास्तव में शरीर के अंगों को सही ढंग से चलते हुए देख सकता है।
- जजमेंट (दिमाग): एक बार जब AI मूवमेंट को "देख" लेता है, तो उससे पूछा जाता है, "क्या यह हिप मूवमेंट सही है?" इसके लिए देखे गए मूवमेंट को फिटनेस नियमों के अपने ज्ञान के साथ जोड़ने की आवश्यकता होती है।
- टेम्पोरल ग्राउंडिंग (स्टॉपवॉच): यह सबसे कठिन स्तर है। AI से पूछा जाता है, "इस 30 सेकंड के वीडियो में ठीक कब व्यक्ति कूल्हों को पर्याप्त ऊँचा उठाने में विफल रहा?" इसे उस विशिष्ट सेकंड की ओर इशारा करना होता है जहाँ त्रुटि हुई थी।
परिणाम: AI एक बुरा कोच है (अभी के लिए)
जब उन्होंने उपलब्ध सबसे उन्नत AI मॉडल्स (GPT-5.5, Gemini और विभिन्न ओपन-सोर्स मॉडल्स सहित बड़े नामों के साथ) के साथ परीक्षण चलाया, तो परिणाम आश्चर्यजनक थे। AI मॉडल आम तौर पर एक रैंडम गेसर (random guesser) से केवल थोड़ा बेहतर प्रदर्शन करते हैं।
- आंखें कमजोर हैं: मॉडल परसेप्शन (Perception) कार्य के साथ काफी संघर्ष करते हैं। सबसे अच्छे मॉडल भी केवल लगभग 54% विजुअल विवरण सही पकड़ पाते हैं। इसका मतलब है कि AI अक्सर यह नहीं बता पाता कि घुटना बहुत अधिक मुड़ा हुआ था या पीठ सीधी थी।
- दिमाग भ्रमित है: क्योंकि AI विवरणों को अच्छी तरह से नहीं देख पाता, इसलिए इसका जजमेंट (Judgement) भी खराब रहा। यह अत्यधिक आशावादी होने की प्रवृत्ति रखता था, अक्सर व्यायाम को "सही" बताता था भले ही वह गलत हो।
- स्टॉपवॉच खराब है: टेम्पोरल ग्राउंडिंग (Temporal Grounding) कार्य के लिए, मॉडल यह बताने में बहुत खराब थे कि त्रुटि कब हुई। वे अक्सर पूरे वीडियो को ही त्रुटि मान लेते थे, या त्रुटि को पूरी तरह से मिस कर देते थे।
सबसे दिलचस्प खोज एक "कंट्रोल एक्सपेरिमेंट" से मिली। शोधकर्ताओं ने पूछा: क्या होगा अगर हम AI को ठीक वही बता दें जो उसने देखा, और फिर उससे जज करने को कहें?
जब उन्होंने AI को सही विजुअल विवरण (Perception का उत्तर) दिया और फिर उससे "जजमेंट" करने को कहा, तो AI का प्रदर्शन आसमान छू गया। उदाहरण के लिए, एक मॉडल की त्रुटियों को पहचानने की क्षमता कम स्कोर से बढ़कर 94% से अधिक सटीकता तक पहुँच गई। यह सुझाव देता है कि AI वास्तव में फिटनेस के नियमों को जानता है और अच्छी तरह से तर्क कर सकता है, लेकिन यह इसलिए विफल हो रहा है क्योंकि यह विजुअल साक्ष्य को स्पष्ट रूप से देख नहीं पा रहा है जिससे उन नियमों को लागू किया जा सके। यह एक ऐसे शानदार कोच की तरह है जिसने बहुत गहरे रंग का चश्मा पहना हुआ है जिससे वह एथलीट के फॉर्म को देख नहीं पा रहा है।
निष्कर्ष
पेपर यह निष्कर्ष निकालता है कि हालांकि मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स सामान्य वीडियो सामग्री को समझने के लिए शक्तिशाली उपकरण हैं, वे अभी तक विश्वसनीय फिटनेस कोच बनने के लिए तैयार नहीं हैं। वे मानव गति के सूक्ष्म, गुणवत्ता-संबंधित विवरणों का पता लगाने में संघर्ष करते हैं और यह सटीक रूप से नहीं बता पाते कि गलतियाँ कब हुईं। लेखक सुझाव देते हैं कि इससे पहले कि हम अपने वर्कआउट फॉर्म को सुधारने के लिए AI पर भरोसा कर सकें, हमें विजुअल परसेप्शन (visual perception) की समस्या को हल करने की आवश्यकता है—AI को शरीर की मुद्रा (posture) और गति के सूक्ष्म विवरणों को उतनी ही स्पष्टता से देखना सिखाना होगा जितनी स्पष्टता से एक मानव विशेषज्ञ देखता है। तब तक, एक वास्तविक मानव ट्रेनर को साथ रखना ही बेहतर है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।