StreamTalk: Streaming Co-Speech Gesture Generation with Key-Pose Anchoring

تخيل أنك تحاول تعليم روبوت الرقص بينما يستمع إلى أغنية. يحتاج الروبوت إلى تحريك ذراعيه وجسده بتوقيت مثالي مع الموسيقى، ولكن هناك عقبة: الموسيقى تُبث حية، ثانية بثانية. لا يمكن للروبوت الانتظار حتى تنتهي الأغنية بأكملها ليبدأ في الحركة؛ بل يجب عليه مواكبة الإيقاع، مقطعاً تلو الآخر. هذا هو عالم توليد الإيماءات المصاحبة للكلام (co-speech gesture generation)، وهو مجال في علوم الكمبيوتر مخصص لجعل الشخصيات الرقمية تتحرك بشكل طبيعي أثناء حديثها. التحدي الجوهري هو البث المباشر (real-time streaming): يجب على النظام توليد الحركة فوراً، دون معرفة ما سيقوله الشخص أو يفعله لاحقاً.

لفترة طويلة، كانت هذه الأنظمة تعمل مثل متنزّه في رحلة سير على الأقد "مُغمض العينين" في الظلام. كانوا ينظرون إلى حيث كانوا قبل لحظات (الثواني القليلة الماضية من الحركة) ويخمنون أين سيذهبون بناءً على الصوت الحالي. المشكلة هي أن كل تخمين يحمل خطأً صغيراً وغير مرئي. إذا اتخذت ألف خطوة، فإن تلك الأخطاء الصغيرة تتراكم. يبدأ المتنزّه بالانحراف ببطء عن المسار، لينتهي به الأمر في مستنقع بدلاً من الطريق الممهد. في العالم الرقمي، يُسمى هذا الانجراف (drift): تبدأ حركات الروبوت في الظهور بشكل غريب، أو غير طبيعي، أو منفصل عن الواقع بعد دقيقة واحدة فقط. الورقة البحثية التي ستطالعها الآن تعالج هذه المشكلة تحديداً، وتتساءل: كيف نحافظ على بقاء الروبوت في المسار الصحيح عندما لا يرى إلا الأرض تحت قدميه مباشرة؟

---

المشكلة: الراقص المنحرف

لاحظ مؤلفو هذه الورقة، "ستريم توك" (StreamTalk)، أن الطرق الموجودة حالياً لجعل الروبوتات المتحدثة تتحرك هي طرق "مفتوحة الحلقة" (open-loop) بشكل أساسي. تخيل أنك تلعب لعبة "الهاتف المكسور" مع صديق، ولكن بدلاً من الهمس بجملة، أنت تهمس بحركات رقص. أنت تخبر صديقك بالحركة الأولى، فيقوم بها ثم يخبرك بالحركة التالية، وهكذا. إذا ارتكبت خطأً طفيفاً في الحركة الأولى، فسيقوم صديقك بنسخ ذلك الخطأ ويضيف إليه خطأه الصغير الخاص. وبحلول الوقت الذي تصل فيه إلى نهاية الأغنية، ستكون الرقصة مختلفة تماماً عما بدأتم به.

في عالم الذكاء الاصطعي، يتم توليد "مقاطع" الحركة هذه واحداً تلو الآخر. ينظر الذكاء الاصطناي إلى آخر بضع إطارات من المقطع السابق ويقول: "حسناً، بناءً على هذا، سأقوم بتوليد الـ 60 إطاراً التالية". يفعل ذلك مراراً وتكراراً. تشير الورقة إلى أنه على الرغم من أن الذكاء الاصطناعي الحديث بارع جداً في صنع مقاطع قصيرة ومقنعة، إلا أنه لا يملك وسيلة للتحقق مما إذا كان لا يزال على المسار الصحيح. الأمر يشبه قيادة سيارة بجهاز GPS معطل لا يظهر لك سوى الطريق الذي خلفك. قد تكون تنحرف ببطء نحو حقل، لكنك لن تدرك ذلك حتى تعثر في الطين. هذا "الانجراف" يجعل الحركة تبقة غير طبيعية، مثل طفو الذراعين بعيداً أو فقدان الجسد لإيقاعه، خاصة عبر فترات طويلة مثل دقيقة من المحادثة.

الحل: "مرساة الوجهة"

الفكرة الكبرى وراء "ستريم توك" هي التوقف عن جعل الذكاء الاصطناعي يخمن بشكل أعمى، وبدلاً من ذلك، إعطاؤه "مرساة وجهة" (destination anchor). أدرك المؤلفون أن المشكلة ليست في عدم قدرة الذكاء الاصطناعي على القيام بحركات جيدة؛ بل في أنه لا يعرف أين يجب أن يكون في نهاية المقطع.

لإصلاح ذلك، بنوا نظاماً يسمى StreamTalk يعمل كجهاز تغذية راجعة "مغلق الحلقة" (closed-loop). إليكم كيف يعمل، خطوة بخطوة:

1. المسودة الأولية: أولاً، يقوم الذكاء الاصطناعي بتوليد مقطع حركة "خشن" (coarse)، تماماً كما تفعل الطرق القديمة.
2. اختبار الواقع: قبل إرسال هذا المقطع إلى العالم، يتوقف النظام. ينظر إلى آخر وضعية (pose) في المقطع المُولد ويسأل مكتبة ضخمة من الوضعيات "الجيدة" (قاعدة بيانات لحركات بشرية حقيقية لهذا المتحدث تحديداً): "مهلاً، ما هي أكثر وضعية طبيعية تشبه هذه؟".
3. المرساة: يلتقط النظام تلك الوضعية الأكثر مطابقة من المكتبة. هذه هي مرساة الوجهة. إنها مثل المنارة للسفينة.
4. التنقيح: يأخذ الذكاء الاصطناعي بعد ذلك مسودته الخشنة ويقوم بتعديلها، مستخدماً تلك المرساة كدليل لضمان أن نهاية المقطع تهبط تماماً حيث يجب أن تكون. إنه مثل النحات الذي ينحت كتلة خشنة من الحجر ثم يستخدم قالباً دقيقاً لتنعيم التفاصيل النهائية.

تحدث هذه العملية في نهاية كل مقطع، مما يخلق "حلقة مغلقة" حيث يصحح النظام نفسه باستمرار، مما يمنع تلك الأخطاء الصغيرة من التراكم لتصبح كارثة.

تعليم الذكاء الاصطناعي التعلم من التلميحات

كان هناك جزء واحد صعب: كان على الذكاء الاصطناعي أن يتعلم كيفية قبول هذه "المراسي" في المقام الأول. إذا دربت طالباً على رؤية نموذج الإجابة كاملاً دائماً، فسيصاب بالذعر عندما تعطيه تلميحاً فقط. لذا، ابتكر المؤلفون تقنية تدريب تسمى قناع المرساة العشوائي (Stochastic Anchor Masking - SAM).

أثناء التدريب، كانوا يأخذون فيديو حركة مثالياً ويقومون بإخفاء (قناع) معظم الإطارات عشوائياً، تاركين فقط البداية وإطار "مرساة" واحد في النهاية. لقد أجبروا الذكاء الاصطناعي على استنتاج الأجزاء الوسطية المفقودة بناءً على هاتين النقطتين فقط. هذا علّم الذكاء الاصطناعي كيفية "ترميم" (inpaint) الحركة — أي ملء الفجوات باستخدام أدلة شحيحة فقط. بهذه الطريقة، عندما يعمل النظام الحقيقي ويستخدم "مرساة الوجهة" من قاعدة البيانات، يكون الذكاء الاصطناعي خبيراً بالفعل في استخدام تلك النقطة الواحدة لتوجيه الحركة بأكملها.

النتائج: رقص سلس في الوقت الفعلي

اختبر المؤلفون "ستريم توك" على مجموعة بيانات تسمى BEAT2، والتي تتميز ببيانات حركة ثلاثية الأبعاد عالية الجودة لـ 25 متحدثاً مختلفاً. وقارنوا طريقتهم بأفضل الأنظمة الموجودة.

• إيقاف الانجراف: أظهرت النتائج أنه بينما بدأت الطرق الأخرى تبدو غريبة وتنحرف عن الحركة الطبيعية بعد فترة، ظل "ستريم توك" مستقراً. قاست الورقة ذلك باستخدام مقيش يسمى مسافة فريدشيه للإيماءات (Fréchet Gesture Distance - FGD)، وحقق "ستريم توك" أفضل النتائج، مما يعني أن حركاته كانت الأقرب إحصائياً للحركة البشرية الحقيقية.
• السرعة في الوقت الفعلي: هناك قلق كبير بشأن سرعة الذكاء الاصطناعي المعقد. أظهر المؤلفون أن "ستريم توك" يعمل بسرعة 76 إطاراً في الثانية (FPS) على بطاقة رسومات عالية الأداء (NVIDIA V100). هذا سريع بما يكفي للتطبيقات التي تعمل في الوقت الفعلي، مما يعني أن الروبوت يمكنه الرقص والتحدث دون أي تأخير.
• مرساة واحدة تكفي: اختبرت الورقة ما إذا كان استخدام المزيد من "المراسي" (المناير) سيساعد. ومن المثير للدهشة، وجدوا أن استخدام مرساة واحدة فقط في نهاية المقطع كان هو النقطة المثالية. استخدام المزيد من المراسي جعل الحركة مهتزة وأسوأ. اتضح أن الذكاء الاصطناعي يحتاج فقط إلى اتجاه واضح ليهدف إليه، وليس شبكة من التصحيحات.

لماذا يهم هذا؟

إن "ستريم توك" ليس مجرد تعديل بسيط؛ بل هو يغير الطريقة الأساسية التي نفكر بها في بث الحركة. بدلاً من ترك الأخطاء تتراكم في حلقة مفتوحة، فإنه يقدم "تحققاً دورياً" يعيد الحركة إلى الواقع. توضح الورقة أنه من خلال الجمع بين نظام استرجاع ذكي (لإيجاد المرساة المناسبة) وطريقة تدريب متخصصة (للتعلم من التلميحات الشحيحة)، يمكننا إنشاء شخصيات رقمية يمكنها التحدث والتحرك بشكل طبيعي لدقائق طويلة دون أن تفقد توازنها.

يخلص المؤلفون إلى أن هذا النهج يحل بفعالية مشكلة الانجراف التوزيعي طويلة الأمد في توليد الإيماءات المتدفقة، مما يمهد الطريق لمقدمين افتراضيين، وشخصيات تمثيل عن بُعد، وشخصيات ألعاب تفاعلية أكثر واقعية يمكنها مواكبتنا، خطوة بخطوة، دون أن تضل طريقها أبداً.