ExpGest: Expressive Speaker Generation Using Diffusion Model and Hybrid Audio-Text Guidance
يُعد ExpGest إطار عمل جديداً قائماً على الانتشار، يقوم بتوليد إيماءات جسدية كاملة تعبيرية وقابلة للتحكم من خلال الاستفادة من التوجيه المتزامن للصوت والنص، جنباً إلى جنب مع مصنف ضوضاء متخصص للمشاعر، للتغلب على قيود الطرق الحالية التي غالباً ما تنتج حركات صلبة تقتصر على الجزء العلوي من الجسم.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تقوم بإخراج فيلم، ولكن بدلاً من توظيف ممثل حقيقي، أنت تطلب من حاسوب أن ينشئ شخصية افتراضية يمكنها التحدث، والمشي، والتعبير عن المشاعر. المشكلة هي أن معظم برامج الحاسوب التي تفعل ذلك تشبه الدمى الآلية؛ فقد تحرك يديها عندما يرتفع صوت الكلام، لكنها تبدو متيبسة، ولا تفهم ما يقال حقاً، ولا يمكنها "تمثيل" مشهد ما حيث تمشي الشخصية في دائرة أثناء الحديث.
يقدم هذا البحث نظام ExpGest، وهو نظام جديد يعلم الحواسيب كيف تكون ممثلين أفضل بكثير. فكر في الأمر كترقية من لعبة تعمل بالزنبرك إلى ممثل محترف يتقمص الشخصية بعمق.
إليك كيف يعمل ذلك، مقسماً إلى مفاهيم بسيطة:
1. نهج "الدماغ المزدوج" (الصوت + النص)
معظم الأنظمة القديمة تستمع فقط إلى موسيقى الصوت (اللحن، طبقة الصوت، السرعة). إذا قلت "أنا غاضب!" بصوت هادئ ورتيب، فقد يكتفي الروبوت القديم بهز كتفيه لأن الصوت يبدو هادئاً.
يمتلك ExpGest دماغين يعملان معاً:
- الدماغ (أ) - الموسيقي: يستمع إلى صوت الكلام (هل هو عالٍ؟ هل هو سريع؟).
- الدماغ (ب) - القارئ: يقرأ الكلمات التي تُقال (هل الشخص يقول "أنا مستشيط غضباً" أم "أنا سعيد"؟).
من خلال الجمع بينهما، يفهم الحاسوب أنه حتى لو كان الصوت منخفضاً، فإن الكلمات قد تكون صارخة من الغضب. هذا يسمح للشخصية بالقيام بإيماءات صحيحة، مثل إغلاق قبضة اليد، حتى لو لم يكن الصوت صراخاً.
2. "فرشاة الرسم السحرية" (نموذج الانتشار - Diffusion Model)
كيف يحرك الحاسوب الشخصية فعلياً؟ إنه يستخدم ما يسمى بـ نموذج الانتشار.
تخيل أن لديك لوحة واضحة وجميلة لشخص يرقص. الآن، تخيل إضافة ضجيج (مثل تشويش التلفاز) ببطء إلى اللوحة حتى تصبح غير قابلة للتمييز تماماً وتتحول إلى ضجيج أبيض عشوائي.
- الطريقة القديمة: يحاول الحاسوب تخمين الخطوة التالية من الرقصة بناءً على كتاب قواعد جامد.
- طريقة ExpGest: يبدأ الحاسوب بلوحة فارغة مليئة بـ "تشويش التلفاز" (ضجيج عشوائي). ثم يقوم بعد ذلك بـ "إزالة الضجيج" ببطء، حيث يقشر طبقات التشويش طبقة تلو الأخرى، مسترشداً بتعليمات الصوت والنص الخاصة بك، حتى تظهر رقصة مثالية وانسيابية من وسط الفوضى. الأمر يشبه نحت تمثال من الضباب.
3. خدعة "الأصابع مقابل الذراع"
لاحظ الباحثون شيئاً مثيراً للاهتمام حول كيفية تحرك البشر:
- الأصابع تشبه الطيور الحساسة؛ فهي تتفاعل مع معنى الكلمات (مثل العد "واحد، اثنان، ثلاثة" بالأصابع).
- الأذرع والأرجل تشبه المراسي الثقيلة؛ فهي تتفاعل مع العاطفة وحجم الصوت (مثل التلويح بالأذرع بجنون عند الصراخ).
يقوم ExpGest بفصل هذه المهام. فهو يخبر الحاسوب: "استخدم الكلمات لتحريك الأصابع، ولكن استخدم نبرة الصوت لتحريك الأذرع". هذا يجعل الحركة تبدو طبيعية للغاية، بدلاً من روبوت يحرك جميع مفاصله في وقت واحد.
4. "مدرب العواطف" (مصنف الضجيج)
عادةً، إذا كنت تريد من الشخصية أن تكون "غاضبة"، فأنت فقط تخبر الحاسوب "اجعل العاطفة تساوي 1". هذا يشبه إعطاء روبوت زراً واحداً ليضغط عليه، وغالباً ما يؤدي ذلك إلى غضب مزيف ومتيبس.
يستخدم ExpGest خدعة ذكية تسمى مصنف عواطف الضجيج.
- تخيل أن الحاسوب يحاول رسم لوحة، لكنه عالق في غرفة ضبابية.
- "مدرب العواطف" هو دليل يقف خارج الضباب. في كل مرة يقوم فيها الحاسوب بحركة، يهمس المدرب: "أنت تصبح هادئاً جداً، انحنِ قليلاً باتجاه 'الغضب'!".
- يعدل الحاسوب "ضجيجه" (تخميناته العشوائية) ليتبع توجيهات المدرب. هذا يسمح للشخصية بالانتقال بسلاسة من السعادة إلى الحزن، أو من الهدوء إلى الغضب العارم، دون أن تبدو حركاتها مضطربة.
5. مزيج "المشي والتحدث"
أخيراً، معظم الأنظمة يمكنها فقط جعل الشخصية تقف في مكانها وتلوح بيديها. ExpGest هو الأول الذي يسمح للشخصية بـ التنقل (المشي، الجري، الجلوس) أثناء التحدث.
فكر في الأمر كأنه مشهد حيث تقوم الشخصية بالتردد ذهاباً وإياباً أثناء إلقاء خطاب. يمكن لـ ExpGest أخذ تعليمات نصية مثل "تمشي الشخصية في دائرة، ثم تجلس" ودمجها مع صوت الخطاب. إنه يخلق أداءً كاملاً للجسم حيث يحدث المشي والتحدث في نفس الوقت بشكل طبيعي.
الخلاصة
ExpGest يشبه إعطاء ممثل افتراضي نصاً، ومخرجاً، وفهماً كاملاً لعلم النفس البشري. بدلاً من مجرد التحرك على إيقاع الموسيقى، تفهم الشخصية الآن القصة، وتشعر بالعواطف، وتحرك جسدها بالكامل (من قدميها التي تمشي إلى أصابعها المعبرة) بطريقة تبدو بشرية حقاً.
النتيجة؟ متحدثون افتراضيون لا يبدون وكأنهم يتحدثون فحسب، بل يبدون وكأنهم يعيشون المحادثة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.