Learning human joint torques from pixels

कल्पना कीजिए कि आप एक बास्केटबॉल खिलाड़ी के डंक मारने के स्लो-मोशन वीडियो को देख रहे हैं। नग्न आंखों के लिए, यह शुद्ध एथलेटिक भव्यता जैसा दिखता है। लेकिन एक बायोमैकेनिस्ट (biomechanist) के लिए, वह एक क्षण अदृश्य बलों का एक अराजक तूफान है। खिलाड़ी के शरीर के भीतर, मांसपेशियां छोटे इंजनों की तरह काम कर रही हैं, और उनके जोड़ अत्यधिक दबाव में हिंज (hinges) की तरह कार्य कर रहे हैं। वैज्ञानिक उस घुमावदार बल को, जो इन जोड़ों को गति देता है, "टॉर्क" (torque) कहते हैं। दशकों से, यह पता लगाना कि वास्तव में कितना टॉर्क काम कर रहा है, एक कार के साइलेंसर को देखकर उसके इंजन की हॉर्सपावर का अनुमान लगाने जैसा रहा है। आप चलते हुए गियर नहीं देख सकते, इसलिए आपको व्यक्ति की त्वचा पर सेंसर चिपकाने पड़ते हैं, उन्हें विशाल कैमरों के साथ एक लैब में बांधना पड़ता है, या उनके जैसा दिखने वाले एक रोबोट को बनाना पड़ता है। ये विधियाँ सटीक तो हैं, लेकिन वे बोझिल, महंगी और पार्क में फुटबॉल खेलने या अपने लिविंग रूम में नाचने वाले व्यक्ति के लिए असंभव हैं। बड़ा सवाल हमेशा से यही रहा है: क्या हम एक साधारण वीडियो को देखकर तुरंत गति के छिपे हुए भौतिक विज्ञान को जान सकते हैं?

यह शोध पत्र कहता है, "हाँ, हम कर सकते हैं," और उन्होंने इसे साबित करने के लिए उपकरण बनाए हैं। शोधकर्ताओं ने एक विशाल नया डेटासेट बनाया जिसे VID कहा जाता है, जो वास्तविक लोगों के हिलने-डुलने के 63,369 सिंक्रोनाइज़्ड वीडियो फ्रेम का एक विशाल पुस्तकालय है। लेकिन यह केवल फिल्मों का संग्रह नहीं है; यह एक "सुपर-लाइब्रेरी" है जहाँ प्रत्येक फ्रेम के साथ एक गुप्त 'चीट शीट' भी आती है। वीडियो के साथ, उनके पास सटीक गणितीय डेटा है कि जोड़ कितनी तेजी से चल रहे थे और वे कितना टॉर्क उत्पन्न कर रहे थे, जिसकी गणना उन्नत भौतिकी सॉफ्टवेयर का उपयोग करके की गई थी। फिर उन्होंने एक विशेष AI को प्रशिक्षित किया, जिसे उन्होंने VID-Network नाम दिया, ताकि वह वीडियो फ्रेम को देख सके और यह सीख सके कि व्यक्ति के रूप और उनके भीतर के अदृश्य बलों के बीच क्या संबंध है। परिणाम प्रभावशाली हैं: AI ने मानक कैमरे के पिक्सेल से सीधे इन जॉइंट टॉर्क की भविष्यवाणी करना सीख लिया, और पिछले सर्वोत्तम तरीकों को लगभग 40% से पीछे छोड़ दिया। यह ऐसा है जैसे AI ने बिना किसी सेंसर या रोबोट की मदद के, केवल नृत्य को देखकर "मसल मैथ" (muscle math) को पढ़ना सीख लिया हो।

अदृश्य इंजन रूम

यह समझने के लिए कि यह इतनी बड़ी बात क्यों है, आइए इस समस्या को विस्तार से समझें। मानव गति हड्डियों, मांसपेशियों और गुरुत्वाकर्षण के बीच एक जटिल नृत्य है। जब आप गेंद को किक मारते हैं, तो आपका घुटना केवल मुड़ता नहीं है; उसे गुरुत्वाकर्षण और आपके अपने शरीर के वजन को दूर करने के लिए एक विशिष्ट मात्रा में घुमावदार बल, यानी टॉर्क, उत्पन्न करना होता है। अतीत में, यदि कोई वैज्ञानिक उस संख्या को जानना चाहता था, तो उसे व्यक्ति को एक "लैब पिंजरे" में रखना पड़ता था। वे मांसपेशियों से विद्युत संकेतों को पढ़ने के लिए त्वचा पर सेंसर टेप करते थे, व्यक्ति को एक विशेष फर्श पर रखते थे जो यह मापता था कि वे कितनी जोर से धक्का देते हैं, और उनके जोड़ों पर लगे छोटे मार्करों को ट्रैक करने के लिए उन्हें कैमरों से घेर देते थे। यह एक कार के इंजन को समझने के लिए इंजन को खोलने, हर बोल्ट को मापने और उसे एक टेस्ट ट्रैक पर चलाने जैसा है। यह काम करता है, लेकिन आप इसे हाईवे पर गाड़ी चलाते समय नहीं कर सकते।

अन्य वैज्ञानिकों ने वीडियो गेम और सिमुलेशन का उपयोग करके एक वैकल्पिक दृष्टिकोण अपनाया। उन्होंने कंप्यूटर को एक डिजिटल रोबोट को चलते हुए देखने और बलों का अनुमान लगाने के लिए सिखाया। लेकिन इसमें एक पेंच है: वीडियो गेम के रोबोट वास्तविक मनुष्यों की तरह बिल्कुल नहीं चलते। वे बहुत अधिक पूर्ण, बहुत सुचारू होते हैं और उनमें वास्तविक मांस और हड्डी की छोटी-छोटी खामियों और लड़खड़ाहट की कमी होती है। यह केवल एक रेसिंग गेम खेलकर वास्तविक कार चलाना सीखने जैसा है; आप नियम तो जान सकते हैं, लेकिन आपको यह नहीं पता होगा कि सड़क ऊबड़-खाबड़ होने पर स्टीयरिंग व्हील कैसा महसूस होता है।

नया "सुपर-व्यूअर"

इस शोध पत्र के लेखकों ने लैब पिंजरों और वीडियो गेम रोबोटों को छोड़ने का फैसला किया। इसके बजाय, उन्होंने वास्तविक दुनिया और भौतिकी की सटीक दुनिया के बीच एक सेतु बनाया। उनका पहला कदम VID डेटासेट बनाना था। उन्होंने वास्तविक लोगों के हिलने-डुलने के मौजूदा ओपन-सोर्स डेटा को लिया और उसे सिंक्रनाइज़ करने का कठिन कार्य किया। कल्पना कीजिए कि आप एक व्यक्ति के कूदने का वीडियो ले रहे हैं और भौतिकी गणनाओं का एक अलग स्प्रेडशीट है, और फिर आप उन्हें सावधानीपूर्वक इस तरह संरेखित करते हैं कि वीडियो का प्रत्येक फ्रेम गणना के सटीक क्षण से मेल खाता है। उनके पास वास्तविक मनुष्यों के 63,000 से अधिक फ्रेम थे, जिसमें उनकी ऊंचाई, वजन और उनके जोड़ों के सटीक टॉर्क मान शामिल थे। यह डेटासेट वह "पाठ्यपुस्तक" है जिसका अध्ययन AI करेगा।

इसके बाद, उन्होंने VID-Network बनाया, जो एक स्मार्ट कंप्यूटर प्रोग्राम है जिसे एक "सुपर-व्यूअर" के रूप में डिज़ाइन किया गया है। इस नेटवर्क के तीन मुख्य भाग हैं जो एक टीम के जासूसों की तरह मिलकर काम करते हैं:

1. द पोज डिटेक्टिव (The Pose Detective): सबसे पहले, यह छवि को देखता है और यह पता लगाता है कि व्यक्ति के जोड़ 3D स्पेस में कहाँ हैं। यह ऐसा है जैसे AI वीडियो के ऊपर मानसिक रूप से एक स्टिक-फिगर कंकाल बना रहा हो।
2. द मार्कर ट्रैकर (The Marker Tracker): फिर यह भविष्यवाणी करता है कि शरीर के विशिष्ट बिंदु (जैसे कि जहाँ मांसपेशी जुड़ती है) कहाँ होंगे, भले ही वे दिखाई न दे रहे हों। यह AI को शरीर की संरचना को बेहतर ढंग से समझने में मदद करता है।
3. द टाइम ट्रैवलर (The Time Traveler): अंत में, यह केवल एक स्थिर चित्र को नहीं देखता। यह फ्रेम के एक क्रम को देखता है, जैसे कॉमिक बुक के पन्ने पलटना, ताकि यह समझ सके कि समय के साथ शरीर कैसे हिल रहा है। यह बलों का अनुमान लगाने के लिए गति के अतीत, वर्तमान और भविष्य को जोड़ने के लिए एक विशेष "ट्रांसफॉर्मर" मस्तिष्क (वही तकनीक जो स्मार्ट चैटबॉट्स को शक्ति देती है) का उपयोग करता है।

परिणाम: अनदेखे को देखना

जब उन्होंने इस नए AI का परीक्षण किया, तो परिणाम क्रांतिकारी रहे। उन्होंने VID-Network की तुलना वर्तमान में उपलब्ध दो सर्वोत्तम तरीकों से की: एक जो भौतिकी और सेंसरों के मिश्रण का उपयोग करता है, और दूसरा जो रोबट सिमुलेशन पर निर्भर करता है। पुराने तरीकों ने गलतियाँ कीं, जिनका औसत त्रुटि लगभग 2.93 और 2.92 यूनिट (न्यूटन-मीटर प्रति किलोग्राम में मापा गया) था। हालाँकि, नए VID-Network ने उस त्रुटि को घटाकर 1.7612 N·m/kg कर दिया। यह 39.81% का सुधार है।

यह शोध पत्र दिखाता है कि यह नया तरीका लगभग हर चीज़ में बेहतर है। चाहे व्यक्ति चल रहा हो, स्क्वाट (squat) कर रहा हो, या नीचे कूद रहा हो, AI ने पुराने तरीकों की तुलना में बलों का अधिक सटीक अनुमान लगाया। यह "लंबर एक्सटेंशन" (कमर के निचले हिस्से का झुकना) जैसी कठिन गतिविधियों में विशेष रूप से अच्छा था, जहाँ इसने सटीकता में भारी सुधार किया। एकमात्र समय जब यह थोड़ा लड़खड़ाया, वह चलने के कुछ विशिष्ट पैटर्न थे जहाँ सिमुलेशन-आधारित पद्धति को थोड़ी बढ़त मिली, संभवतः इसलिए क्योंकि प्रशिक्षण डेटा में चलने के बहुत सारे उदाहरण थे, जिससे सिमुलेशन उस एक विशिष्ट चीज़ में बहुत अच्छा हो गया। लेकिन कुल मिलाकर, रियल-इमेज अप्रोच जीत गया।

यह क्यों मायने रखता है

इस शोध पत्र का सबसे रोमांचक हिस्सा केवल यह नहीं है कि नंबर बेहतर हैं; बल्कि यह है कि AI ने यह सब केवल वास्तविक छवियों का उपयोग करके सीखा। इसे सेंसर, फोर्स प्लेट या रोबोट सिमुलेशन की आवश्यकता नहीं थी। इसने एक साधारण वीडियो में अदृश्य भौतिकी को देखना सीख लिया। लेखक सुझाव देते हैं कि यह पहली बार है जब किसी ने वास्तविक मानव डेटा का उपयोग करके इस प्रकार के "विज़न-बेस्ड इनवर्स डायनेमिक्स" के लिए सफलतापूर्वक बेंचमार्क बनाया है।

यह एक ऐसे भविष्य का द्वार खोलता है जहाँ हम केवल किसी कैमरे को उनकी ओर करके एथलीटों के चलने के तरीके, रोगियों के ठीक होने या लोगों के चलने के तरीके का विश्लेषण कर सकते हैं। जबकि यह शोध पत्र नोट करता है कि अभी भी बहुत कुछ किया जाना बाकी है—जैसे यह सुनिश्चित करना कि AI उन लोगों पर काम करे जिन्हें उसने पहले नहीं देखा है या अराजक "इन-द-वाइल्ड" वातावरण को संभालना—लेकिन इसने यह सिद्ध कर दिया है कि एक साधारण वीडियो से मानव गति को पढ़ने का सपना अब केवल एक कल्पना नहीं है। यह एक वास्तविकता है जो अब वास्तविक दुनिया में परीक्षण के लिए तैयार है।