Real-Time Human-Centric World Modeling for Upper-Body Human-Object Interaction
यह शोध पत्र एक वास्तविक समय का मानव-केंद्रित विश्व मॉडल प्रस्तुत करता है जो निरंतर मानव गति के लिए एक एकीकृत बहु-स्तरीय निहित प्रतिनिधित्व को सटीक वस्तु संपर्क नियंत्रण के लिए भाषा-एन्कोडेड असतत अवस्थाओं के साथ जोड़कर सुसंगत ऊपरी-शरीर की अंतःक्रियाओं को संश्लेषित करता है, जो H100 GPU पर 25 FPS अनुमान (inference) प्राप्त करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक फिल्म देख रहे हैं जहाँ मुख्य पात्र हाथ बढ़ाकर, कॉफी का कप पकड़ सकता है, एक घूँट ले सकता है, और आपसे बात करते हुए उसे नीचे रख सकता है। लंबे समय से, कंप्यूटर वैज्ञानिक पात्र के शरीर को वास्तविक रूप से चलाने में तो माहिर रहे हैं, लेकिन वे अक्सर "पकड़ने" वाले हिस्से में संघर्ष करते रहे हैं। कभी-कभी हाथ कप के आर-पार किसी भूत की तरह तैर जाता था, या कप को छूते ही वह जादुई रूप से अपना आकार बदल लेता था। यह "मानव-वस्तु संपर्क" (human-object interaction) की चुनौती है: कंप्यूटर को यह सिखाना कि न केवल यह समझ सके कि एक व्यक्ति कैसे हिलता-डुलता है, बल्कि यह भी कि वह वस्तुओं को कैसे छूता है और उनके साथ कैसे व्यवहार करता है।
इसे करने के लिए, शोधकर्ता आमतौर पर दो मुख्य उपकरणों पर भरोसा करते हैं। पहला है वीडियो जनरेशन (video generation), जो एक डिजिटल कलाकार की तरह है जो विवरण के आधार पर चलते-फिरते चित्र बना सकता है। दूसरा है वर्ल्ड मॉडलिंग (world modeling), जो एक फैंसी तरीका है यह कहने का कि कंप्यूटर यह अनुमान लगाने की कोशिश करता है कि एक दृश्य समय के साथ कैसे बदलेगा। बड़ा सवाल यह रहा है: क्या हम इन दोनों को मिला सकते हैं ताकि एक ऐसा पात्र बनाया जा सके जो केवल अपनी जगह पर नाच न रहा हो, बल्कि वास्तविक समय में वस्तुओं के साथ बातचीत कर सके, जैसे कि एक वीडियो गेम का पात्र जो छूने में इतना वास्तविक लगे कि असली महसूस हो?
यही वह काम है जिस पर 'तोंगी लैब' (Tongyi Lab) के शोधकर्ताओं की एक टीम काम कर रही है। उन्होंने एक नया सिस्टम बनाया है जो एक "रियल-टाइम ह्यूमन-सेंट्रिक वर्ल्ड मॉडल" की तरह काम करता है। इसे एक डिजिटल कठपुतली संचालक (puppet master) के रूप में सोचें जो न केवल कठपुतली के अंगों को नियंत्रित करता है, बल्कि यह भी तय करता है कि कठपुतली ने हथौड़ा पकड़ा है या वह केवल हवा में हाथ लहरा रहा है। उनका लक्ष्य एक ऐसा सिस्टम बनाना था जो किसी व्यक्ति का लाइव वीडियो, किसी वस्तु (जैसे कप) की तस्वीर और एक सरल कमांड (जैसे "पकड़ना" या "कोई संपर्क नहीं") ले सके, और तुरंत एक ऐसा वीडियो बना सके जहाँ व्यक्ति उस वस्तु के साथ पूरी तरह से इंटरैक्ट करता हो।
टीम ने पाया कि नियंत्रण को दो अलग-अलग हिस्सों में बांटकर, वे पिछले तरीकों की तुलना में इस समस्या को बहुत बेहतर तरीके से हल कर सकते हैं। पहला हिस्सा है निरंतर मानव अवस्था (continuous human state), जो शरीर, हाथों और चेहरे की सहज, प्रवाहमयी गतिविधियों को संभालता है। कल्पना कीजिए कि यह कठपुतली के मांसपेशियों को निर्देशित करने वाले कठपुतली संचालक का हाथ है। दूसरा हिस्सा है विच्छिन्न इंटरैक्शन अवस्था (discrete interaction state), जो एक साधारण स्विच की तरह है जो सिस्टम को बताता है, "क्या हाथ अभी वस्तु को छू रहा है?" या "क्या उसने इसे पकड़ा हुआ है?" इस स्विच के लिए एक विशिष्ट, छोटे कमांड (जैसे "grasp" या "no contact") का उपयोग करके, कंप्यूटर तुरंत और सटीक रूप से इन अवस्थाओं के बीच स्विच कर सकता है।
परिणामस्वरूप, यह सिस्टम 25 फ्रेम प्रति सेकंड की गति से और केवल लगभग 1000 मिलीसेकंड के विलंब (delay) के साथ इंटरैक्शन उत्पन्न कर सकता है। इसका अर्थ है कि यह एक लाइव बातचीत या वास्तविक समय के वीडियो गेम की तरह महसूस होने के लिए पर्याप्त तेज़ है। शोधकर्ताओं ने दिखाया कि उनका तरीका पुराने सिस्टमों की तुलना में अधिक यथार्थवादी हाथ की हरकतें और वस्तुओं के साथ बेहतर संपर्क बनाता है, जो अक्सर तैरती हुई वस्तुओं या ऐसे हाथों जैसे अजीबोगरीब ग्लिच पैदा करते थे जो उन चीजों के चारों ओर बंद नहीं हो पाते थे जिन्हें उन्हें पकड़ना चाहिए था। उन्होंने अपने सिस्टम को यह सिखाने के लिए कि ये इंटरैक्शन कैसे दिखने चाहिए, 30,000 से अधिक उदाहरणों का एक विशेष डेटासेट भी बनाया। हालांकि उन्होंने यह दावा नहीं किया है कि उन्होंने ब्रह्मांड की हर समस्या को हल कर दिया है, लेकिन उनके प्रयोग बताते हैं कि यह "निरंतर-विच्छिन्न" (continuous-discrete) दृष्टिकोण डिजिटल मनुष्यों को वास्तविक समय में उनकी दुनिया के साथ वास्तव में बातचीत करने में सक्षम बनाने की दिशा में एक महत्वपूर्ण कदम है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।