DuoGesture: Neuro-Inspired and Biomechanically Informed Dual-Stream Co-Speech Gesture Generation
تقدم هذه الورقة DuoGesture، وهو إطار عمل ثنائي المسار مستوحى من الأنظمة العصبية يعزز توليد إيماءات الكلام من خلال فصل الحركات الدلالية عن حركات الإيقاع، باستخدام بوابة عشوائية للتنسيق، وتكييف دلالي مرتكز على الحركة لتحقيق محاذاة معجمية أفضل، وأولوية قصورية لضمان اتساق إيقاعي منطقي من الناحية الميكانيكية الحيوية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تشاهد شخصاً يروي قصة. في بعض الأحيان، يستخدم يديه للحفاظ على إيقاع صوته، مثل قائد أوركسترا ينقر بعصاه على إيقاع أغنية. وفي أحيان أخرى، يستخدم يديه لرسم صورة في الهواء، ليوضح تماماً ما يعنيه بكلماته.
لفترة طويلة، عانت الحواسيب التي تحاول صنع صور رمزية رقمية (avatars) تفعل ذلك من صعوبات جمة. فقد حاولت دمج هذين النوعين المختلفين من حركات اليد في "حساء" واحد كبير وفوضوي. والنتي نتيجة ذلك؟ كانت أيدي الشخصيات الرمزية تتحرك إما بشكل آلي مفرط، أو تبدو مرتبكة بشأن ما يجب فعله، أو مجرد تهتز بعشوائية دون أن تبدو طبيعية.
تقدم هذه الورقة البحثية DuoGesture، وهي طريقة جديدة لتعليم الحواسيب كيفية تحريك أيديها أثناء التحدث. فكر في الأمر كأنك تمنح الحاسوب "موسيقِيَّين" منفصلين في عقله، يعملان معاً ولكن يعزف كل منهما على آلة مختلفة.
الموسيقيان (نهج المسارين)
بدلاً من عقل واحد يحاول القيام بكل شيء، يقوم DuoGesture بتقسيم المهمة إلى مسارين متميزين:
- مسار الإيقاع (الطبال): هذا الجزء يتولى التعامل مع الحركات الإيقاعية والنبضية التي تتوافق مع موسيقى الكلام (الخصائص الصوتية - prosody). إنه يشبه الطبال الذي يحافظ على الوقت. مهمته هي التأكد من أن الأيدي تتحرك بسلاسة وتزامن مع إيقاع الصوت، دون أن يتشتت انتباهه بالمعنى المحدد للكلمات.
- المسار الدلالي (الرسام): هذا الجزء يتولى التعامل مع الإيماءات ذات المعنى التي تتوافق مع الكلمات الفعلية (مثل الإشارة إلى شيء ما أو تشكيل دائرة بالأصابع). إنه يشبه رساماً يحاول توضيح قصة. هو يركز على المعنى المحدد للكلمات، حتى لو كانت تلك الكلمات نادرة أو غير مألوفة.
المايسترو (البوابة العشوائية)
كيف يعرف هذان الموسيقيان متى يعزفان ومتى يتوقفان؟ لديهما مايسترو يسمى عنق الزجاجة المعلوماتي المتغير الدلالي (S-VIB).
تخيل إشارة مرور عند تقاطع طرق:
- عندما يتحدث الشخص بإيقاع منتظم، تكون الإشارة خضراء للطبال (مسار الإيقاع). هنا يظل "الرسام" هادئاً.
- عندما يقول المتحدث كلمة تتطلب شكلاً معيناً لليد (مثل "كبير" أو "هنا")، تتحول الإشارة لتصبح خضراء للرسام (المسار الدلالي). هنا يتراجع "الطبال" جانباً.
تشير الورقة البحثية إلى أن إشارة المرور هذه ليست جامدة؛ بل هي "عشوائية" (احتمالية) نوعاً ما. وهذا أمر مهم لأنها تمنع النظام من الوقوع في حلقة مفرغة حيث يختار دائماً واحداً من الاثنين. إنها تسمح بمزيج طبيعي شبيه بالبشر حيث يمكن للمسارين أن يتداخلا أو يتبادلا الأدوار بسرعة، تماماً كما يفعل البشر في الواقع.
الأدوات الخاصة
أضاف المؤلفون ثلاثة "أدوات" خاصة لجعل هذا النظام يعمل بشكل أفضل من المحاولات السابقة:
- قاموس الحركة (MGSC): حاولت الحواسيب القديمة فهم الكلمات باستخدام قاموس قياسي (مثل BERT). لكن كلمة مثل "لاعب خفة" تعني شيئاً واحداً في القاموس، ولكنها تعني حركة محددة جداً في الحياة الواقعية. يستخدم DuoGesture "قاموس حركة" تم تدريبه على فيديوهات لأشخاص يتحركون. يساعد هذا الحاسوب على فهم أن كلمة "لاعب خفة" يجب أن تستدعي حركة يد معينة، حتى لو لم يكن الحاسوب قد رأى هذه الكمة بالتحديد من قبل.
- قاعدة السلاسة (IBP): أحياناً، يصبح "الطبال" (مسار الإيقاع) شديد الاضطراب، مما يجعل الأيدي تهتز بشكل غير طبيعي. أضاف المؤلفون "قاعدة سلاسة" تعتمد على التشريح البشري (كيفية ثقل عظام أذرعنا). هذا يعمل كممتص للصدمات، مما يضمن أن تكون الحركات الإيقاعية انسيابية وثقيلة، تماماً مثل ذراع الإنسان الحقيقي، دون جعل "الرسام" (المسار الدلالي) متصلباً.
- إشارة المرور (S-VIB): كما ذكرنا، هي التي تقرر أي مسار سيقود السيارة في كل ميلي ثانية.
النتائج
اختبر الباحثون هذا النظام على مجموعة بيانات تسمى BEAT2، والتي تحتوي على ساعات من أشخاص يتحدثون ويتحركون. وقارنوا DuoGesture بالعديد من النماذج الرائدة الأخرى.
- الدرجة: حقق DuoGesture أعلى درجة في "الواقعية" (مدى تشابه الحركة مع حركة الإنسان الحقيقي).
- الشعور: في اختبار شاهد فيه بشر حقيقيون الفيديوهات، قيموا DuoGesture على أنه أكثر طبيعية وتوافقاً مع الكلام مقارنة بالنماذج الأخرى.
- التوازن: بينما كانت بعض النماذج الأخرى أفضل في شيء واحد فقط (مثل كونها متنوعة جداً أو متوافقة تماماً مع الإيقاع)، وجد DuoGesture أفضل توازن. فهو لم يضحِّ بمعاني الكلمات من أجل ضبط الإيقاع، ولم يجعل الإيقال متقطعاً من أجل ضبط المعنى.
باخت-صار
إن DuoGesture يشبه مديراً ذكياً يعرف أن يدي المتحدث لهما وظيفتان: الحفاظ على الإيقاع ورواية القصة. وبدلاً من إجبار الأيدي على القيام بكلا الوظيفتين في وقت واحد باستخدام مجموعة واحدة من القواعد، فإنه يستعين بمتخصصين و"مايسترو" ذكي للتبديل بينهما. والنتيجة هي شخصية رمزية رقمية تتحرك بطريقة تبدو بشرية، إيقاعية، ومعبرة بشكل مدهش.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.