LiveGesture Streamable Co-Speech Gesture Generation Model
تقدم الورقة البحثية LiveGesture، وهو أول إطار عمل قابل للبث بالكامل وبدون استباق (zero look-ahead) لتوليد إيماءات جسدية كاملة متنوعة ومتماسكة متزامنة مع الكلام في الوقت الفعلي، وذلك عبر الجمع بين مشفر كمي متجهي سببي ومحول تكراري هرمي تم تدريبه عبر التغطية الموجهة بعدم اليقين.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تتحدث مع صديق افتراضي عبر مكالمة فيديو. عادةً، عندما تتحدث، يكتفي "أفاتار" صديقك بتحريك فمه فقط. ولكن ماذا لو استطاع صديقك أيضاً أن يلوح بيده، أو يهز كتفيه، أو ينقر بقدمه، أو يشير بيديه بالتزامن تماماً مع كلماتك في الوقت الفعلي؟
هذه هي المشكلة التي يحلها LiveGesture.
المشكلة: تأخير "الانتظار والمراقبة"
معظم أنظمة الإيماءات الحالية تعمل مثل محرر الأفلام. لكي تقوم بعمل إيماءة ما، يجب أن ترى الجملة الكاملة التي ستنطق بها قبل أن تبدأ في تحريك يدي "الأفاتار". إنها تنظر إلى النص الكامل، وتخطط للرقصة بأكملها، ثم تقوم بتشغيلها.
- الجانب السلبي: هذا يخلق تأخيراً كبيراً (Latency). إذا كنت في محادثة مباشرة، فقد يبدأ "الأفاتار" في القيام بإيماءة لكلمة قلتها قبل خمس ثيوانٍ. هذا يجعله يبدو آلياً وغير طبيعي.
الحل: "عازف الجاز المرتجل"
LiveGesture مختلف. إنه يعمل مثل عازف الجاز الذي يعزف بمرافقة مغنٍ. بمجرد أن يلمس المغني نوتة موسيقية، يعزف العازف وتراً. هو لا ينتظر انتهاء الأغنية؛ بل يتفاعل فوراً مع ما يحدث الآن.
إليك كيف يعمل ذلك، مقسماً إلى أجزاء بسيطة:
1. "المترجم" (المُجزئ القابل للبث - Streamable Tokenizer)
تخيل أن جسدك مكون من آلات مختلفة: طقم طبول (الأرجل)، جيتار (الذراعين)، مغنٍ (الوجه)، وباص (الجذع).
الأنظمة القديمة حاولت تسجيل كل هذه الآلات في ملف صوتي واحد ضخم وفوضوي. أما LiveGesture فيعامل كل منها على حدة.
- السحر: يأخذ حركة جسدك المستمرة ويحولها إلى تدفق من قطع الليغو الرقمية (تسمى tokens).
- الحيلة: يقوم ببناء هذه القطع واحدة تلو الأخرى، بالنظر حصراً إلى الماضي والحاضر، دون التلصص أبداً على المستقبل. وهذا يسمح له بتوليد الحركة فوراً مع وصول الصوت.
2. "الخبراء المتخصصون" (Region-eXperts)
بدلاً من وجود عقل واحد ضخم يحاول معرفة كيفية تحريك يدٍ ويدٍ أخرى في نفس الوقت، يقوم LiveGesture بتوظيف أربعة خبراء متخصصين:
- خبير اليد: يعرف كيف تتحرك الأصابع بسرعة ودقة.
- خبير الجسم: يعرف كيف يتمايل ويغير وضعية وزنه.
- خبير الوجه: يتولى التعامل مع التعبيرات.
- خبير الأرجل: يدير المشي أو النقر بالقدمين.
كل خبير يستمع إلى الصوت ويتعلم الجزء الخاص به من الرقصة. خبير اليد لا يشغل باله بالأرجل؛ هو فقط يركز على جعل اليدين تبدوان طبيعيتين.
3. "المايسترو" (نموذج الدمج - Fusion Model)
إذا تركت الخبراء الأربعة يعزفون بمفردهم، فقد تحصل على فوضى عارمة حيث ترقص الأيدي على إيقاع مختلف عن الأقدام.
- المايسترو: يحتوي LiveGesture على وحدة "مايسترو" خاصة. تستمع إلى جميع الخبراء الأربعة وتتأكد من أنهم يعزفون نفس الأغنية.
- السحر: يضمن أنه عندما تؤكد على كلمة ما بحركة يدك، فإن جسدك يميل للأمام ووجهك يبتسم، كل ذلك في اللحظة ذاتها. إنه يخلق أداءً متناغماً للجسم كاملاً.
4. "البروفة مع الأخطاء" (التدريب القوي - Robust Training)
في الحياة الواقعية، قد تحدث أعطال في الاتصال بالإنترنت، أو ينقطع الصوت. إذا تم تدريب الذكاء الاصطناعي على بيانات مثالية فقط، فسوف ينهار عندما تسوء الأمور.
- التدريب: قام المطورون بتدريب LiveGesture عن طريق إخفاء أجزاء من البيانات عمداً وإضافة "ضجيج" (تشويش) أثناء التدريب.
- النتيجة: الأمر يشبه عازف موسيقى يتدرب بينما يقوم شخص ما بإطفاء الموسيقى بين الحين والآخر. بحلول الوقت الذي يبدأ فيه العرض الحقيقي، يكون الذكاء الاصطناعي بارعاً جداً في تخمين ما سيأتي بعد ذلك لدرجة أنه يمكنه مواصلة الرقص بسلاسة حتى لو تعثر الصوت.
لماذا يهم هذا؟
- تأخير صفري: يستجيب في أقل من 50 مللي ثانية. هذا أسرع من رمشة عين الإنسان.
- شعور طبيعي: لأنه لا ينتظر الجملة كاملة، تبدو الإيماءات عفوية وبشرية، وليست مسجلة مسبقاً.
- طول غير محدود: يمكنك التحدث لمدة 5 دقائق أو 5 ساعات؛ لن يتعب الذكاء الاصطناعي أو يرتبك أبداً لأنه يهتم فقط بـ اللحظة الحالية.
الخلاصة
LiveGesture هو أول نظام يسمح لـ "الأفاتار" الافتراضي بالرقص والإيماء في تزامن تام وفي الوقت الفعلي مع صوتك، دون الحاجة لمعرفة ما ستقوله تالياً. إنه يحول التفاعل الآلي البطيء إلى محادثة سلسة تشبه المحادثة البشرية، مما يجعل الشخصيات الافتراضية تبدو حية حقاً.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.