Mitigating Error Accumulation in Co-Speech Motion Generation via Global Rotation Diffusion and Multi-Level Constraints

تخيل شخصية افتراضية تتحدث إليك. لكي تبدو المحادثة حقيقية، لا يمكن للشخصية أن تحرك فمها فحسب؛ بل يجب أن يشارك جسدها بأكمله. يجب أن تتحرك الأكتاف، وتومئ اليدان، ويتغير القوام ليتماشى مع إيقاع ونبرة الصوت. هذا هو هدف توليد حركة الكلام المصاحبة (co-speech motion generation): تعليم الحواسيب إنشاء حركات كاملة للجسم تتزامن بشكل طبيعي مع الكلمات المنطوقة. لسنوات، حاول الباحثون حل هذه المشكلة من خلال بناء هياكل عظمية رقمية، حيث يتم حساب حركة اليد عن طريق جمع دورات الكتف والمرفق والمعصم في سلسلة متصلة. وبينما يحاكي هذا النهج كيفية اتصال العظام ببعضها، إلا أنه يحمل عيباً خفياً. فتماماً كما يمكن لخطأ صغير في صف طويل من الأشخاص يتناقلون رسالة أن يؤدي إلى رسالة نهائية خاطئة تماماً، يمكن للأخطاء الصغيرة في حساب دوران الكتف أن تكبر وتكبر أثناء انتقالها عبر الذراع. وبحلول الوقت الذي يحسب فيه الكمبيوتر موضع أطراف الأصابع، قد يكون الخطأ كبيراً لدرجة تجعل اليد تبدو ملتوية أو مكسورة أو عائمة بطرق مستحيلة.

اقترح فريق من الباحثين في مجموعة علي بابا وجامعة نانيانغ التكنولوجية طريقة جديدة لحل هذه المشكلة، مبتعدين عن طريقة "رد الفعل المتسلسل" تماماً. فبدلاً من حساب كيفية دوران كل مفصل بالنسبة للمفصل الذي يسبقه، يقرر نظامهم الجديد، المسمى "GlobalDiff"، الاتجاه النهائي لكل مفصل في الغرفة في وقت واحد. فكر في الأمر كإخبار كل مفصل بالضبط إلى أين يشير في العالم، بدلاً من إخبار المرفق إلى أين يشير بالنسبة للكتف. هذا النهج يمنع تراكم الأخطاء الصغيرة، مما يضمن بقاء اليدين والقدمين مستقرتين ودقيقتين حتى أثناء المحادثات الطويلة والمعبرة. ومع ذلك، فإن منح كل مفصل حرية مطلقة يخلق خطراً جديداً: قد تلتوي أطراف الشخصية في أشكال لا يمكن لجسم بشري تحقيقها فيزيائياً. ولإصلاح ذلك، أضاف الباحثون مجموعة من القواعد غير المرئية التي تعمل كدليل، حيث تتحقق من أن العظام تحتفظ بالطول الصحيح، وأن الزوايا بين الأطراف منطقية، وأن الحركة تتدفق بسلاسة بمرور الوقت.

اختبر الباحثون هذا النظام الجديد على مجموعة كبيرة من المحادثات المسجلة التي تتضمن أكثر من 1700 تسلسل حواري. ووجدوا أنه من خلال التنبؤ بالاتجاه العالمي للمفاصل مباشرة، استطاع الكمبيوتر توليد حركات أكثر استقراراً من الطرق السابقة. وفي اختباراتهم، قلل النظام الجديد الأخطاء في الحركة النهائية بنسبة 46 بالمئة مقارنة بأفضل الأدوات الموجودة. وعندما نظروا عن كثب إلى النتائج، كان الفرق واضحاً؛ ففي الأنظمة القديمة، غالباً ما تبدو الأصابع وكأنها تنقلب للداخل أو تبتعد اليدان عن الجسم. أما مع الطريقة الجديدة، فقد ظلت اليدان في وضعيات طبيعية، وتطابقت الإيماءات مع صوت المتحدث بدقة شعرت بأنها بشرية. كما تعلم النظام التعامل مع مختلف المتحدثين، محافظاً على هذه الجودة العالية سواء كان الصوت لرجل أو امرأة، أو لمتحدث أصلي أو شخص بلكنة مختلفة.

ولضمان أن تكون الحركات ليست مستقرة فحسب بل ممكنة فيزيائياً أيضاً، قدم الفريق ثلاث طبقات من عمليات التحقق. أولاً، وضعوا علامات افتراضية حول كل مفصل للتأكد من أن الدوران دقيق، مما يمنع الأطراف من الالتواء بطرق غير طبيعية. ثانياً، قاموا بقياس الزوايا بين جميع العظام في الجسم لضمان بقاء الهيكل العظمي سليماً، مما يمنع الشخصية من ثني العمود الفقري أو الأطراف في اتجاهات مستحيلة. ثالثاً، قاموا بتحليل توقيت الحركة لضمان تدفق الإيماءات مع إيقاع الكلام، وتجنب الحركات المفاجئة أو المضطربة. وعندما أزالوا هذه الضوابط واحداً تلو الآخر، انخفضت جودة الحركة بشكل كبير، مما أثبت أن الطبقات الثلاث كانت ضرورية للوصول إلى نتيجة مقنعة.

توضح الدراسة أنه من الممكن توليد لغة جسد واقعية وطويلة الأمد للشخصيات الافتراضية دون تراكم الأخطاء الذي ظل يطارد هذا المجال لفترة طويلة. ومن خلال التعامل مع الجسم بأكمله كمجموعة من الأجزاء المستقلة التي يوجهها قواعد فيزيائية صارمة، أنشأ الباحثون نظاماً ينتج حركة سلسة، صحيحة تشريحياً، ومعبرة. يشير هذا العمل إلى أن مستقبل الصور الرمزية (avatars) الافتراضية قد لا يعتمد على سلاسل معقدة من الحسابات المعرضة للفشل، بل على فهم عالمي مباشر لكيفية تحرك كل جزء من أجزاء الجسم في الفضاء. والنتيجة هي حضور رقمي يمكنه التحدث والتحرك بطبيعية تقربنا من التفاعل السلس بين البشر والآلات.