DyaDiT: A Multi-Modal Diffusion Transformer for Socially Favorable Dyadic Gesture Generation
DyaDiT एक मल्टी-मोडल डिफ्यूजन ट्रांसफार्मर है जो पारस्परिक ऑडियो डायनेमिक्स और वैकल्पिक सामाजिक संदर्भ टोकन का लाभ उठाकर सामाजिक रूप से अनुकूल और संदर्भ-जागरूक द्वैतवादी हाव-भाव (dyadic gestures) उत्पन्न करता है, जिससे यह वस्तुनिष्ठ मेट्रिक्स और उपयोगकर्ता प्राथमिकता दोनों में मौजूदा विधियों से बेहतर प्रदर्शन करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक पार्टी में हैं। आप अपने किसी दोस्त, एक अजनबी, या शायद अपने साथी से बात कर रहे हैं। जैसे-जैसे आप बोलते हैं, आपके हाथ हिलते हैं, आप करीब झुकते हैं, पीछे हटते हैं, और दूसरे व्यक्ति की बातों पर प्रतिक्रिया देते हैं। ये कोई रैंडम हरकतें नहीं हैं; ये एक जटिल नृत्य है जो इस बात पर निर्भर करता है कि आप कौन हैं, आप किससे बात कर रहे हैं, और क्या कहा जा रहा है।
लंबे समय तक, कंप्यूटर डिजिटल पात्रों को बात तो करवा सकते थे, लेकिन उनके हाथ सख्त, रोबोटिक, या मूड के साथ मेल नहीं खाते थे। यदि आप कंप्यूटर से किसी अजनबी से बात करने वाले पात्र को बनाने के लिए कहते, तो वह उसे ऐसे दिखा सकता था जैसे वह अपने सबसे अच्छे दोस्त से बात कर रहा हो। यह हम इंसानों को "अजीब" लगता है।
यहाँ आता है DyaDiT। इसे एक सुपर-स्मार्ट डिजिटल कोरियोग्राफर के रूप में समझें जो न केवल संगीत (ऑडियो) को सुनता है, बल्कि कमरे के माहौल (सामाजिक संदर्भ) को भी पढ़ता है और डांसर की पर्सनैलिटी को भी जानता है।
यह कैसे काम करता है, इसे सरल अवधारणाओं में यहाँ दिया गया है:
1. समस्या: "दो सिर वाला राक्षस"
जेस्चर जनरेशन (इशारों को उत्पन्न करने) के अधिकांश पुराने कंप्यूटर प्रोग्राम एक ऐसे व्यक्ति की तरह हैं जो शोर कम करने वाले हेडफ़ोन पहनकर एक साथ दो लोगों को बोलने की कोशिश कर रहा है। वे भ्रमित हो जाते हैं।
- समस्या: एक वास्तविक बातचीत में, लोग बीच में टोकते हैं, एक-दूसरे की बात काटते हैं, और तुरंत प्रतिक्रिया देते हैं। पुराने मॉडल इन दोनों आवाजों को आपस में मिला देते थे, जिससे कंप्यूटर को पता ही नहीं चलता था कि कौन क्या कह रहा है।
- DyaDiT का समाधान (ORCA): शोधकर्ताओं ने ORCA (ऑर्थोगोनलाइज़ेशन क्रॉस अटेंशन) नामक एक टूल बनाया है। कल्पना कीजिए कि ORCA एक जादुई साउंड मिक्सर है। यह दोनों आवाजों को पूरी तरह से अलग कर देता है, जैसे एक डीजे ड्रम से बेस (bass) को अलग करता है। यह कंप्यूटर को बताता है: "यह हिस्सा वह है जो व्यक्ति A कह रहा है, और यह हिस्सा वह है कि व्यक्ति B कैसे प्रतिक्रिया दे रहा है।" यह स्पष्टता डिजिटल पात्र को स्वाभाविक रूप से प्रतिक्रिया करने की अनुमति देती है, भले ही लोग एक-दूसरे को बीच में टोक रहे हों।
2. सामाजिक संदर्भ: "रिलेशनशिप टोकन"
कल्पना कीजिए कि आप एक चुटकुला सुना रहे हैं।
- यदि आप अपने सबसे अच्छे दोस्त के साथ हैं, तो आप शायद उनके घुटने पर थपकी दे सकते हैं और जोर से हंस सकते हैं।
- यदि आप अपने बॉस के साथ हैं, तो आप शायद सिर्फ एक विनम्र मुस्कान और हाथ के छोटे से इशारे से काम चला लेंगे।
- यदि आप एक अजनबी के साथ हैं, तो आप अपने हाथ जेब में रख सकते हैं।
पुराने कंप्यूटरों को यह अंतर नहीं पता था। वे बस "जेनेरिक" हाथ हिलाने वाले इशारे बना देते थे।
- DyaDiT का समाधान: DyaDiT के पास एक सोशल GPS है। इससे पहले कि यह पात्र को हिलाना शुरू करे, आप इसे बताते हैं: "हे, ये दोनों डेटिंग कर रहे हैं," या "ये दोनों अजनबी हैं।" यह उनकी पर्सनैलिटी (जैसे, क्या व्यक्ति शर्मीला है? क्या वे बहुत ऊर्जावान हैं?) को भी जानता है।
- परिणाम: कंप्यूटर ऐसे जेस्चर बनाता है जो उस रिश्ते के अनुकूल हों। "डेटिंग पार्टनर" वाला संस्करण अधिक आत्मीय होगा; "अजनबी" वाला संस्करण अधिक संयमित होगा।
3. मोशन डिक्शनरी: "स्टाइल लाइब्रेरी"
मान लीजिए कि मानव गति एक भाषा की तरह है। हर कोई अंग्रेजी बोलता है, लेकिन कुछ लोग ब्रिटिश लहजे के साथ बोलते हैं, कुछ दक्षिणी लहजे के साथ, और कुछ तेज न्यूयॉर्क की लय के साथ।
- DyaDiT का समाधान: शोधकर्ताओं ने एक मोशन डिक्शनरी बनाई है। यह "जेस्चर लहजों" की एक लाइब्रेरी की तरह है। इसमें हजारों सूक्ष्म, पहले से सीखे गए मूवमेंट पैटर्न (जैसे एक त्वरित कंधे उचकाना, एक धीमा हाथ हिलाना, या एक जोरदार इशारा करना) शामिल हैं।
- यह कैसे मदद करता है: जब कंप्यूटर को कोई मूवमेंट जनरेट करने की आवश्यकता होती है, तो वह केवल अनुमान नहीं लगाता। वह व्यक्तित्व और स्थिति के आधार पर डिक्शनरी से सही "लहजा" चुनता है। यह मूवमेंट को रोबोटिक और दोहराव वाला बनाने के बजाय अनूठा और मानवीय बनाता है।
4. मैजिक इंजन: "डिफ्यूजन ट्रांसफॉर्मर"
आपने शायद ऐसी AI के बारे में सुना होगा जो इमेज जनरेट करने के लिए स्टैटिक नॉइज़ (static noise) से शुरू करती है और धीरे-धीरे उसे साफ करती है जब तक कि एक तस्वीर उभर न आए (जैसे अंधेरे कमरे में फोटो डेवलप होती है)।
- DyaDiT का समाधान: DyaDiT बिल्कुल यही काम मूवमेंट के साथ करता है। यह रैंडम पोज़ के एक उलझे हुए ढेर से शुरू होता है और धीरे-धीरे उन्हें फ्रेम-दर-फ्रेम "डिनोइज़" (denoise) करता है, जब तक कि एक सुचारू, प्राकृतिक बातचीत वाला नृत्य सामने न आ जाए। क्योंकि यह इस "डिफ्यूजन" पद्धति का उपयोग करता है, इसलिए मूवमेंट्स अविश्वसनीय रूप से सहज और विविध होते हैं, जिससे "लूप में फंसने" वाली भावना से बचा जा सकता है।
बड़ी तस्वीर: यह क्यों मायने रखता है?
शोधकर्ताओं ने DyaDiT का परीक्षण अन्य तरीकों और यहां तक कि वास्तविक मानव रिकॉर्डिंग के विरुद्ध किया।
- परीक्षण: उन्होंने लोगों को वीडियो दिखाए और पूछा, "कौन सा अधिक वास्तविक दिखता है?" और "कौन सा रिश्ते के लिए बेहतर फिट बैठता है?"
- परिणाम: लोगों ने भारी रूप से DyaDiT को पसंद किया। वास्तव में, कुछ मामलों में, लोगों को AI-जनरेटेड जेस्चर वास्तविक मानव जेस्चर से भी बेहतर लगे! क्यों? क्योंकि AI अजीब ठहराव को दूर करने और सामाजिक संकेतों को पूरी तरह से सुसंगत बनाने में इतना अच्छा था।
सारांश उपमा
यदि पुराना जेस्चर AI एक धागे से बंधा कठपुतली था जो केवल तभी हिलता था जब आप "बात करने" वाला लीवर खींचते थे, तो DyaDiT एक मेथड एक्टर की तरह है।
- यह स्क्रिप्ट को सुनता है (ऑडियो)।
- यह जानता है कि इसका सीन पार्टनर कौन है (रिश्ता)।
- यह अपने चरित्र की बैकस्टोरी जानता है (पर्सनैलिटी)।
- और यह एक जादुई साउंड मिक्सर (ORCA) का उपयोग करता है ताकि यह सुनिश्चित हो सके कि यह दूसरे अभिनेता को स्पष्ट रूप से सुन सके, भले ही वे चिल्ला रहे हों।
परिणामस्वरूप, एक ऐसा डिजिटल इंसान सामने आता है जो केवल बात नहीं करता; वह जुड़ाव महसूस कराता है। यह हमें ऐसा महसूस कराता है जैसे हम किसी दूसरे व्यक्ति से बात कर रहे हैं, न कि किसी मशीन से।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।