InterPet4D: A Multimodal 4D Human-Pet Interaction Dataset for Pet Motion Generation
यह शोध पत्र InterPet4D प्रस्तुत करता है, जो व्यापक एनोटेशन के साथ सिंक्रोनाइज़्ड मानव-कुत्ता अंतःक्रियाओं को कैप्चर करने वाला पहला बड़े पैमाने का मल्टीमॉडल डेटासेट है, और InterPetMoGen फ्रेमवर्क का प्रस्ताव करता है जो यथार्थवादी मानव-पालतू गति उत्पन्न करने में मौजूदा बेसलाइन से काफी बेहतर प्रदर्शन करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को 'फेच' (गेंद लाना) खेलना सिखाने की कोशिश कर रहे हैं, लेकिन केवल गेंद फेंकने के बजाय, आपको अपने हाथ की हर हरकत, आपके द्वारा बोले गए हर शब्द और इस बात को समझाना होगा कि आपके कुत्ते की पूंछ उसके जवाब में कैसे हिलनी चाहिए। अब तक, कंप्यूटर को इस तरह के "क्रॉस-स्पीशीज" (दो प्रजातियों के बीच का) नृत्य सिखाना लगभग असंभव था क्योंकि हमारे पास उदाहरणों का कोई अच्छा पुस्तकालय नहीं था। यहीं से InterPet4D की शुरुआत होती है। यह मानव-कुत्ते के मेल-जोल के एक विशाल, हाई-डेफिनिशन पुस्तकालय की तरह है, जो 6.8 मिलियन फ्रेम के वीडियो, ऑडियो और 3D मूवमेंट डेटा से भरा हुआ है।
द अल्टीमेट डॉग-ट्रेनिंग स्टूडियो
इस लाइब्रेरी को बनाने के लिए, शोधकर्ताओं ने एक विशेष स्टूडियो स्थापित किया जो थोड़ा साइंस-फिक्शन फिल्म के सेट जैसा दिखता है। उन्होंने केवल एक कैमरा का उपयोग नहीं किया; उन्होंने एक्शन के हर कोण को पकड़ने के लिए एक वर्गाकार क्रम में 12 सिंक्रोनाइज़्ड कैमरे तैनात किए। लेकिन सबसे दिलचस्प बात यह है कि अध्ययन में शामिल इंसानों ने रे-बैन मेटा (Ray-Ban Meta) चश्मा भी पहना था। इसने डेटासेट को एक "फर्स्ट-पर्सन" (प्रथम-व्यक्ति) दृश्य दिया, जिससे कंप्यूटर ठीक वही देख सका जो इंसान तब देखता है जब वह अपने कुत्ते की ओर नीचे देखता है या उसे सहलाने के लिए हाथ बढ़ाता है।
उन्होंने 23 मानव प्रतिभागियों (जिसमें 11 पेशेवर ट्रेनर भी शामिल थे) और 11 अलग-अलग नस्लों का प्रतिनिधित्व करने वाले 13 कुत्तों को इकट्ठा किया। ये केवल साधारण कुत्ते नहीं थे; उन्हें "सिट" (बैठो), "स्टे" (रुको), और "शेक" (हाथ मिलाओ) जैसे आदेशों का पालन करने के लिए प्रशिक्षित किया गया था, लेकिन डेटासेट ने फ्री-फॉर्म खेल को भी कैप्चर किया, जैसे कि खींचतान (tug-of-war) और पीछा करना। परिणाम? एक खजाना जिसमें न केवल वीडियो, बल्कि ऑडियो कमांड ("रूबी, बैठ जाओ!") और मानव के शरीर और कुत्ते के पंजों की सटीक 3D मूवमेंट भी शामिल है।
कंप्यूटर को "डॉग लैंग्वेज" सिखाना
डेटा होना अच्छी बात है, लेकिन आप कंप्यूटर को इसका उपयोग करना कैसे सिखाते हैं? लेखकों ने एक नया AI फ्रेमवर्क बनाया जिसे InterPetMoGen (या संक्षेप में IPMG) कहा जाता है। इस मॉडल को एक सुपर-स्मार्ट अनुवादक के रूप में समझें जो न केवल शब्दों का अनुवाद करता है, बल्कि मूवमेंट्स (हरकतों) का भी अनुवाद करता है।
जब आप मॉडल को मानव हाथों के इशारों का एक क्रम और एक ऑडियो कमांड देते हैं, तो यह अनुमान लगाने की कोशिश करता है कि कुत्ता कैसे प्रतिक्रिया देगा। लेकिन पेचीदा बात यह है कि कुत्ते की प्रतिक्रिया एक एकल, निश्चित उत्तर नहीं होती है। यदि आप "सिट" कहते हैं, तो एक कुत्ता तुरंत बैठ सकता है, जबकि दूसरा रुककर पहले आपकी ओर देख सकता है। मॉडल को इस वन-टू-मेनी (एक-से-अनेक) संबंध को समझने के लिए डिज़ाइन किया गया है। यह केवल एक उत्तर नहीं चुनता; यह संभावित, यथार्थवादी प्रतिक्रियाओं की रेंज को सीखता है।
ऐसा करने के लिए, मॉडल कुत्ते की गति को PetVAE नामक एक विशेष टूल का उपयोग करके छोटे "टोकन" (जैसे शब्द में अक्षर) में तोड़ देता है। यह टूल सुनिश्चित करता है कि कुत्ते की हरकतें शारीरिक रूप से वास्तविक दिखें, जिससे हड्डियाँ और जोड़ सही ढंग से जुड़े रहें, न कि जेलीफ़िश की तरह डगमगाते रहें। मॉडल फिर एक "कोर्स-टू-फाइन" (मोटे से सूक्ष्म) दृष्टिकोण का उपयोग करता है: यह पहले यह पता लगाता है कि कुत्ता किस दिशा में जा रहा है, और फिर पंजों के प्लेसमेंट और पूंछ के हिलने जैसे विशिष्ट विवरणों को भरता है।
क्या यह काम आया?
शोधकर्ताओं ने अपने नए मॉडल का परीक्षण पुराने, मानक तरीकों (जैसे Seq2Seq और Diffusion मॉडल) के विरुद्ध किया। परिणाम स्पष्ट थे: नया मॉडल असली सितारा था।
- स्कोर: एक परीक्षण जिसे FID स्कोर कहा जाता है (जो यह मापता है कि नकली हरकतें वास्तविक कितनी करीब हैं), में उनके मॉडल ने 11.21 स्कोर किया। यह अगले सबसे अच्छे तरीके से एक बड़ा सुधार था, जिसने 13.83 स्कोर किया था, और पुराने डिफ्यूजन मॉडल से कहीं बेहतर था जिन्होंने 64.37 का भारी स्कोर किया था। AI की दुनिया में, यहाँ कम स्कोर का मतलब है कि नकली हरकतें वास्तविक जीवन के बहुत करीब दिखती हैं।
- मानवीय परीक्षण: उन्होंने 12 लोगों से उत्पन्न वीडियो देखने और उन्हें रेटिंग देने के लिए भी कहा। नए मॉडल ने "नेचुरलनेस" (स्वाभाविकता) के लिए 7 में से 6.58 का औसत स्कोर प्राप्त किया, जबकि अगले सबसे अच्छे तरीके को केवल 4.04 मिला। मानव जजों ने कहा कि AI-जनरेटेड कुत्ते वास्तव में सुनते और प्रतिक्रिया करते हुए लग रहे थे, जबकि पुराने मॉडल अक्सर ऐसे कुत्ते पैदा करते थे जो बस वहीं खड़े रहते थे या अजीब, सख्त तरीके से चलते थे।
यह क्या नहीं है (अभी तक)
यह जानना महत्वपूर्ण है कि यह पेपर क्या दावा नहीं करता है। लेखक बहुत सावधानी से कहते हैं कि उनका वर्तमान डेटासेट केवल कुत्तों को कवर करता है। उन्होंने स्पष्ट रूप से उल्लेख किया है कि उन्होंने अभी तक बिल्लियों या अन्य पालतू जानवरों को शामिल नहीं किया है, क्योंकि अलग-अलग जानवर पूरी तरह से अलग तरह से चलते हैं। इसके अलावा, मॉडल वर्तमान में गले लगने या सहलाने के बल (force) को नहीं समझता है; यह केवल गति को देखता है, भौतिक दबाव को नहीं। अंत में, मॉडल एक बार में लगभग 10 सेकंड के छोटे क्लिप बनाता है; यह अभी एक बार में पूरे एक घंटे के खेल सत्र की भविष्यवाणी नहीं कर सकता है।
निष्कर्ष
यह पेपर सुझाव देता है कि AI को मानव-कुत्ते की बातचीत के एक विशाल, सिंक्रोनाइज़्ड लाइब्रेरी देकर और इसे यथार्थवादी "टोकन" में तोड़ने के लिए प्रशिक्षित करके, हम अंततः कंप्यूटरों को ऐसे डॉग एनिमेशन बनाने के काबिल बना सकते हैं जो वास्तव में वास्तविक दिखते और महसूस होते हैं। यह वर्चुअल पेट्स बनाने के लिए एक बड़ा कदम है जो केवल खिलौने की तरह नहीं दिखते, बल्कि हमारे उन प्यारे दोस्तों की तरह व्यवहार करते हैं जिन्हें हम जानते और प्यार करते हैं। लेखकों को उम्मीद है कि यह डेटासेट उन सभी के लिए एक मानक मैदान बनेगा जो बेहतर सोशल रोबोट या एनिमेटेड पात्र बनाना चाहते हैं जो जानवरों के साथ बातचीत कर सकें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।