UniLS: End-to-End Audio-Driven Avatars for Unified Listening and Speaking
UniLS पहला एंड-टू-एंड फ्रेमवर्क है जो केवल ड्यूल-ट्रैक ऑडियो द्वारा संचालित एकीकृत बोलने और सुनने वाले अवतार एक्सप्रेशंस को उत्पन्न करता है, जो एक नवीन टू-स्टेज ट्रेनिंग प्रतिमान के माध्यम से स्पीच क्यूज़ के साथ मॉड्यूलेट करने से पहले एक इंटरनल मोशन प्रायर सीखने के जरिए पिछले लिसनर मॉडल्स की जड़ता (stiffness) पर विजय प्राप्त करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक जीवंत रात्रिभोज (डिनर पार्टी) में हैं। आपके दो लक्ष्य हैं: आप एक बेहतरीन कहानी सुनाना चाहते हैं (बोलना), लेकिन आप अपने दोस्तों को यह भी दिखाना चाहते हैं कि जब वे बात करते हैं तो आप उन्हें सुन रहे हैं (सुनना)।
लंबे समय तक, कंप्यूटर वैज्ञानिकों के पास ऐसे डिजिटल अवतार बनाने में महारत हासिल थी जो कहानियाँ सुनाने में बेहतरीन थे। लेकिन जब बात सुनने की आई, तो वे अवतार बहुत खराब थे। वे बस मूर्तियों की तरह बैठे रहते थे, खाली आँखों से देखते रहते थे, और दस मिनट में एक बार पलक झपकाते थे, और पूरी तरह से ऊबे हुए लगते थे। वे "जड़" (stiff) थे।
यह शोध पत्र UniLS पेश करता है, एक नया सिस्टम जो अंततः डिजिटल अवतारों को एक अच्छा वार्तालापकर्ता—दोनों बोलने वाले और सुनने वाले—बनना सिखाता है।
उन्होंने इसे कैसे किया, इसे सरल रूप में यहाँ समझाया गया है:
समस्या: "जड़ श्रोता" (The "Stiff Listener")
शोधकर्ताओं ने महसूस किया कि कंप्यूटर को बोलना सिखाना आसान है क्योंकि आवाज़ सीधे मुँह को नियंत्रित करती है। यदि आप "नमस्ते" कहते हैं, तो आपके होंठ हिलते हैं। यह एक सीधा संबंध है।
लेकिन सुनना अलग है। जब कोई दूसरा व्यक्ति बोल रहा होता है, तो आपका चेहरा केवल उनके शब्दों की नकल नहीं करता। आप सिर हिलाते हैं, पलकें झपकाते हैं, अपनी भौंहें ऊपर उठाते हैं, या मुस्कुराते हैं। ये प्रतिक्रियाएँ आपके अंदर से आती हैं, न कि केवल उनकी आवाज़ से।
जब पिछले AI ने केवल ऑडियो सुनकर इसे सीखने की कोशिश की, तो वे भ्रमित हो गए। उन्होंने सोचा, "यदि मेरी ओर से कोई आवाज़ नहीं आ रही है, तो मुझे कुछ नहीं करना चाहिए।" इसलिए, अवतार स्थिर हो गया।
समाधान: एक दो-चरणीय नृत्य पाठ (A Two-Step Dance Lesson)
इसे ठीक करने के लिए, टीम ने एक दो-चरणीय प्रशिक्षण प्रक्रिया बनाई, जैसे किसी नर्तक को दो अलग-अलग चरणों में सिखाना।
चरण 1: "मौन पूर्वाभ्यास" (आंतरिक लय सीखना)
सबसे पहले, उन्होंने AI को बिना किसी ऑडियो के हिलना-डुलना सिखाया।
- उपमा: कल्पना कीजिए कि एक नर्तक बिना संगीत के एक कमरे में अकेले अभ्यास कर रहा है। वह ताल से मेल बिठाने की कोशिश नहीं कर रहा है; वह बस यह अभ्यास कर रहा है कि कैसे सांस लेना है, कैसे अपना वजन बदलना है, कैसे स्वाभाविक रूप से पलकें झपकानी हैं, और सोचते समय कैसे सिर हिलाना है।
- AI ने क्या सीखा: AI ने स्वाभाविक, सहज मानवीय गतिविधियों का एक "मोशन लाइब्रेरी" सीखा। उसने सीखा कि मनुष्य अक्सर पलकें झपकाते हैं, सिर झुकाते हैं, और बात न करते समय भी थोड़ा हिलते-डुलते रहते हैं। इसे इंटरनल मोशन प्रायर (Internal Motion Prior) कहा जाता है।
चरण 2: "जुगलबंदी" (संगीत जोड़ना)
एक बार जब AI खुद स्वाभाविक रूप से हिलना सीख गया, तो उन्होंने ऑडियो पेश किया।
- उपमा: अब, नर्तक मंच पर अपने साथी के साथ है। साथी बोल रहा है (संगीत)। नर्तक अपने "मौन पूर्वाभ्यास" कौशल (स्वाभाविक पलकें झपकाना और सिर हिलाना) का उपयोग करता है लेकिन अपने साथी की आवाज़ के आधार पर उन्हें समायोजित (adjust) करता है। यदि साथी हंसता है, तो नर्तक मुस्कुराता है। यदि साथी रुकता है, तो नर्तक करीब आता है।
- AI ने क्या सीखा: AI ने उन स्वाभाविक, आंतरिक गतिविधियों को लेना और बातचीत से मेल खाने के लिए उन्हें धीरे से मोड़ना सीखा। वह रुका नहीं; उसने बस अपनी गतिविधियों को दूसरे व्यक्ति के प्रति प्रतिक्रियाशील बनाया।
यह क्यों महत्वपूर्ण है
इससे पहले, डिजिटल अवतार उन अभिनेताओं की तरह थे जो केवल एक एकालाप (monologue) दे सकते थे। यदि आप उन्हें सुनने के लिए कहते, तो वे पुतले बन जाते थे।
UniLS पहला सिस्टम है जो एंड-टू-एंड (End-to-End) है। इसका मतलब है कि आप इसे बस दो ऑडियो ट्रैक देते हैं (व्यक्ति A बोल रहा है, व्यक्ति B बोल रहा है), और यह तुरंत दोनों लोगों के चेहरे बना देता है।
- व्यक्ति A सटीक लिप-सिंक के साथ बोलता है।
- व्यक्ति B स्वाभाविक सिर हिलाने, पलक झपकाने और भावों के साथ सुनता है।
परिणाम
शोधकर्ताओं ने अन्य तरीकों के मुकाबले इसका परीक्षण किया, और परिणाम जबरदस्त थे:
- बोलना: अवतार मौजूदा सर्वोत्तम प्रणालियों के समान ही अच्छी तरह से बोले।
- सुनना: अवतारों की स्वाभाविकता में 44% का सुधार हुआ। वे मूर्तियाँ बनकर नहीं रहे बल्कि वास्तविक लोगों की तरह बातचीत करने लगे।
मुख्य निष्कर्ष (The Bottom Line)
UniLS एक डिजिटल इंसान को "सामाजिक मस्तिष्क" देने जैसा है। यह समझता है कि बातचीत केवल बोलने के बारे में नहीं है; यह सुनने के मौन, सूक्ष्म नृत्य के बारे में भी है। अब, जब आप इन अवतारों से बात करते हैं, तो वे केवल आपको सुनते नहीं हैं; वे आपको देखते हैं, और वे एक वास्तविक इंसान की तरह प्रतिक्रिया देते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।