← أحدث الأبحاث
💻 computer science

EchoMask: Speech-Queried Attention-based Mask Modeling for Holistic Co-Speech Motion Generation

تقدم هذه الورقة البحثية إطار عمل EchoMask، وهو إطار عمل مبتكر يحسن توليد إيماءات الكلام الشاملة من خلال توظيف وحدة محاذاة الحركة والصوت وآلية انتباه مستعلم عنها عبر الكلام لحجب إطارات الحركة ذات الأهمية الدلالية بشكل انتقائي بناءً على سمات الكلام، مما يجعله يتفوق على الأساليب الحالية الرائدة.

المؤلفون الأصليون: Xiangyue Zhang, Jianfang Li, Jiaxu Zhang, Jianqiang Ren, Liefeng Bo, Zhigang Tu

نُشر 2026-08-18
📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة
CC BY 4.0

المؤلفون الأصليون: Xiangyue Zhang, Jianfang Li, Jiaxu Zhang, Jianqiang Ren, Liefeng Bo, Zhigang Tu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

في عالم الرؤية الحاسوبية، يحاول الباحثون باستمرار تعليم الآلات كيفية فهم وإعادة إنشاء الحركة البشرية. وهناك هدف تحدٍ بشكل خاص وهو توليد "حركة مصاحبة للكلام" (co-speech motion)، حيث تتحرك شخصية رقمية بجسدها ويديها ووجهها في تناغم تام مع الكلمات المنطوقة. لا يقتصر الأمر على جعل روبوت يلوح بيده فحسب؛ بل يتعلق بالتقاط الإيماءات الدقيقة وغير الواعية التي يقوم بها الناس أثناء التحدث، مثل شد اليد عند الغضب أو هز الكتف عند عدم التأكد. لسنوات طويلة، اعتمد العلماء على تقنية تعلم تسمى "النمذجة المقنعة" (masked modeling) لتعليم الكمبيوتر هذه المهارة. تخيل طالباً يحاول تعلم لغة من خلال قراءة نص تم تغطية بعض كلماته؛ يجب على الطالب تخمين الكلمات المفقودة بناءً على سياق الجمل المحيطة. وفي المجال الرقمي، يُعرض على الكمبيوتر فيديو لشخص يتحرك، ولكن يتم إخفاء أجزاء من الحركة. يتعين بعد ذلك على الآلة التنبؤ بكيفية ظهور تلك الأجزاء المخفية، مما يعلمها قواعد الحركة البشرية من خلال محاولة ملء الفراغات.

ومع ذلك، كانت هناك مشكلة كبيرة تعيق هذا النهج: فالكمبيوتر لا يعرف أي أجزاء من الحركة من المهم إخفاؤها. فالطرق الحالية غالباً ما تخفي الإطارات بشكل عشوائي، أو تخفي الأجزاء الأكثر صعوبة في التنبؤ بها، بافتراض أن الصعوبة تساوي الأهمية. وهذه استراتيجية معيبة. ففي الكلام البشري، غالباً ما تحدث الإيماءات الأكثر تعبيراً في لحظات محددة تتوافق مع إيقونة ومعنى الكلمات، وليس بالضرورة في اللحظات الصعبة رياضياً لإعادة بنائها. إذا أخفى الكمبيوتر الإطارات الخاطئة، فإنه يتعلم الدروس الخاطئة، مما يؤدي إلى إنتاج شخصيات رقمية تتحرك بتصلب أو تقوم بإيماءات في الوقت غير المناسب. وكان السؤال الجوهري الذي واجهه الباحثون هو ما إذا كان بإمكانهم استخدام الكلام نفسه كدليل لتحديد اللحظات التي تهم الحركة بدقة.

لقد عالج فريق من الباحثين هذا التحدي بإطار عمل جديد يسمى "إيكو ماسك" (EchoMask). فبدلاً من التخمين حول الإطارات التي يجب إخفاؤها، يستخدم نظامهم الصوت الخاص بالكلام لطرح سؤال مباشر: "أي أجزاء من هذه الحركة هي الأكثر ارتباطاً بما يقال؟". وللقيام بذلك، بنى الباحثون أولاً جسراً بين الصوت والحركة؛ حيث أنشأوا نظاماً يأخذ الصوت الخام وبيانات الحركة الخام ويقوم بإسقاطهما في مساحة ذهنية مشتركة حيث يمكن مقارنتهما مباشرة. في هذه المساحة، يتعلم الكمبيوتر مواءمة صوت الكلمة مع الإيماءة المرافقة لها، مما يخلق تمثيلاً موحداً حيث يُفهم فيه الصوت والجسد كحدث واحد منسق.

بمجرد إنشاء هذا التوافق، يستخدم النظام آلية تعمل مثل "بقعة الضوء" (spotlight). فهي تحلل العلاقة بين الكلام والحركة لتخصيص درجة أهمية لكل إطار من إطارات الفيديو. الإطارات التي تحمل معنى دلالياً قوياً — مثل حركة يد تؤكد على كلمة رئيسية — تحصل على درجة عالية. ثم يستخدم النظام هذه الدرجات لتقرير ما سيتم إخفاؤه أثناء التدريب. وبدلاً من إخفاء أجزاء عشوائية، يقوم النظام بإخفاء الإطارات الأكثر أهمية بشكل انتقائي، مما يجبر الكمبيوتر على تعلم كيفية إعادة بناء الإيماءات الأكثر أهمية بناءً على الكلام. وتتم صقل هذه العملية بمرور الوقت؛ حيث يبدأ النظام بإخفاء الإطارات بشكل فضفاض نوعاً ما ثم يصبح أكثر دقة تدريجياً، مما يضمن تعلمه التركيز على اللحظات الحرجة للتعبير.

إن نتائج هذا النهج مذهلة. فعند اختباره مقابل الأساليب الحالية، أنتج النظام الجديد حركات كانت أكثر واقعية وتزامناً بشكل كبير مع الصوت. وفي المق المقارنات البصرية، غالباً ما أنتجت النماذج السابقة إيماءات غريبة أو متصلبة، مثل الأيدي التي تتدلى بلا حراك أو تتحرك في اتجاهات تتعارض مع قصد المتحدث. في المقابل، أنتج النظام الجديد حركات سلسة ومعبرة تتناسب مع النبرة العاطفية للكلام. على سبيل المثال، عندما قال المتحدث كلمة "أبداً" (never)، وضع النظام كلتا يديه في إيماءة رصينة ومتعمدة بالقرب من الجذع، مما يعكس نبرة تأملية. وعندما نُطقت كلمة "طبل" (drum)، التقط النظام الطبيعة الإيقاعية للكلمة عبر أرجحة ذراع في قوس ديناميكي، وهو تفصيل فات النماذج الأخرى. كما برع النظام في تعبيرات الوجه، حيث التقط الحركات الدقيقة للشفاه والفك التي تتوافق مع أصوات معينة، متجنباً التعبيرات المتصلبة أو سيئة التوقيت الشائعة في المناهج الأخرى.

وبعيداً عن مجرد الظهور بمظهر أفضل، أظهر النظام فهماً أعمق للعلاقة بين الصوت والحركة. فقد أظهر تحليل خرائط الانتباه الداخلية للنظام أنه نجح في تحديد والتركيز على اللحظات الدقيقة التي يتوافق فيها الكلام والإيماء، مثل المقاطع الصوتية الطويلة في كلمة ما أو التأكيد الموضوع على اسم معين. ومن خلال إخفاء هذه الإطارات المحددة ذات القيمة العالية أثناء التدريب، أُجبر النموذج على تعلم المنطق الكامن وراء التواصل البشري بدلاً من مجرد حفظ الأنماط. وقد أكد الباحثون هذه النتائج من خلال اختبارات مكثفة، مظهرين أن طريقتهم تفوقت على أفضل التقنيات الموجودة في مقاييس الواقعية والتنوع والتوقيت. ويشير هذا العمل إلى أنه من خلال السماح للكلام نفسه بتوجيه عملية التعلم، يمكن للكمبيوترات أخيراً أن تتعلم التحرك بنفس الطلاقة الطبيعية والمعبرة التي يحاكيها البشر.

غارق في أبحاث مجالك؟

تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.

جرّب Digest →

أبحاث مشابهة

عرض الكل في هذا التصنيف 💻 cs →