UniLS: End-to-End Audio-Driven Avatars for Unified Listening and Speaking
يُعد UniLS أول إطار عمل متكامل (end-to-end) يُنشئ تعبيرات موحدة للأفاتار أثناء التحدث والاستماع مدفوعة فقط بمسار صوتي مزدوج، متجاوزاً بذلك جمود نماذج المستمع السابقة من خلال نموذج تدريب مبتكر يتكون من مرحلتين يتعلم من خلالهما نموذج حركة داخلي قبل تعديله باستخدام إشارات الكلام.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك في حفلة عشاء صاخبة. لديك هدفان: تريد سرد قصة رائعة (التحدث)، ولكنك تريد أيضًا أن تُظهر لأصدقائك أنك تستمع إليهم عندما يتحدثون (الاستماع).
لفترة طويلة، استطاع علماء الكمبيوتر بناء شخصيات رقمية (أفاتار) بارعة في سرد القصص. ولكن عندما يتعلق الأمر بالاستماع، كانت هذه الشخصيات سيئة للغاية. كانت تجلس هناك كالتماثيل، تحدق بفراغ، وتطرف بأعينها مرة واحدة كل عشر دقائق، وتبدو مملة تمامًا. كانت "متصلبة".
تقدم هذه الورقة البحثية UniLS، وهو نظام جديد يعلم أخيرًا الشخصيات الرقمية كيف تكون محاورة جيدة — سواء كمتحدثين أو مستمعين.
إليك كيف فعلوا ذلك، مشروحًا ببساطة:
المشكلة: "المستمع المتصلب"
أدرك الباحثون أن تعليم الكمبيوتر التحدث أمر سهل لأن صوت الصوت يتحكم مباشرة في الفم. إذا قلت "مرحبًا"، تتحرك شفتاك. هذا رابط مباشر.
لكن الاستماع مختلف. عندما يتحدث شخص آخر، لا يكتفي وجهك بمجرد تقليد كلماته. أنت تهز رأسك، أو تطرف بعينيك، أو ترفع حاجبًا، أو تبتسم. هذه التفاعلات تأتي من داخلك، وليس فقط من صوت كلامهم.
عندما حاولت أنظمة الذكاء الاصطناعي السابقة تعلم ذلك عبر الاستماع إلى الصوت فقط، أصابها الارتباك. كانت تفكر: "إذا لم يصدر صوت مني، يجب ألا أفعل شيئًا". لذا، كانت الشخصية تتجمد.
الحل: درس رقص من خطوتين
لإصلاح ذلك، ابتكر الفريق عملية تدريب مكونة من خطوتين، تشبه تعليم راقص في مرحلتين مختلفتين.
الخطوة 1: "البروفة الصامتة" (تعلم الإيقاع الداخلي)
أولاً، علموا الذكاء الاصطناعي كيف يتحرك بدون أي صوت على الإطلاق.
- التشبيه: تخيل راقصًا يتدرب بمفرده في غرفة بدون موسيقى. هو لا يحاول مطابقة إيقاع ما، بل يتدرب فقط على كيفية التنفس، وكيفية نقل ثقل جسمه، وكيفية الرمش بشكل طبيعي، وكيفية هز رأسه أثناء التفكير.
- ما تعلمه الذكاء الاصطناعي: تعلم الذكاء الاصطناًعي "مكتبة حركية" من الحركات البشرية الطبيعية والعفوية. تعلم أن البشر يرمشون كثيرًا، ويميلون رؤوسهم، ويتحركون بحركات طفيفة حتى وهم لا يتحدثون. وهذا ما يسمى بـ "أولوية الحركة الداخلية" (Internal Motion Prior).
الخطوة 2: "الدويتو" (إضافة الموسيقى)
بمجرد أن عرف الذكاء الاصطناعي كيف يتحرك بشكل طبيعي بمفرده، أدخلوا الصوت.
- التشبيه: الآن، الراقص على المسرح مع شريك. الشريك يتحدث (الموسيقى). يستخدم الراقص مهارات "البروفة الصامتة" (الرمش والإيماء الطبيعي) ولكنه يعدلها بناءً على صوت الشريك. إذا ضحك الشريك، يبتسم الراقص. إذا توقف الشريك عن الكلام، يميل الراقص للأمام.
- ما تعلمه الذكاء الاصطناعي: تعلم الذكاء الاصطناعي أخذ تلك الحركات الطبيعية الداخلية و"دفعها" برفق لتتناسب مع المحادثة. لم يتوقف عن الحركة، بل جعل الحركة تتفاعل مع الشخص الآخر.
لماذا هذا مهم؟
قبل هذا، كانت الشخصيات الرقمية مثل الممثلين الذين يمكنهم فقط إلقاء مونولوج. إذا طلبت منهم الاستماع، تحولوا إلى تماثيل عرض أزياء.
UniLS هو أول نظام يعمل بنظام "من البداية إلى النهاية" (End-to-End). وهذا يعني أنك تعطي النظام مسارين صوتيين فقط (الشخص أ يتحدث، والشخص ب يتحدث)، ويقوم فورًا بإنشاء الوجوه لكلا الشخصين.
- الشخص (أ) يتحدث بتوافق مثالي بين حركة الشفاه والصوت.
- الشخص (ب) يستمع بإيماءات، ورمش، وتعبيرات وجه طبيعية.
النتائج
اختبر الباحثون هذا النظام مقابل الطرق الأخرى، وكانت النتائج هائلة:
- التحدث: تحدثت الشخصيات بنفس جودة أفضل الأنظمة الموجودة حاليًا.
- الاستماع: تحسنت جودة طبيعية الشخصيات بنسبة 44%. توقفوا عن كونهم تماثيل وبدأوا يبدون كبشر حقيقيين يجرون محادثة.
الخلاصة
UniLS يشبه منح الإنسان الرقمي "عقلاً اجتماعيًا". فهو يفهم أن المحادثة ليست مجرد كلام، بل هي أيضًا رقصة صامتة ودقيقة من الاستماع. الآن، عندما تتحدث إلى هذه الشخصيات، فهي لا تسمعك فحسب؛ بل تراك، وتتفاعل معك كما يفعل البشر الحقيقيون.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.