GestureLSM: Latent Shortcut based Co-Speech Gesture Generation with Spatial-Temporal Modeling

في لحظات الصمت التي تتخلل المحادثات، عندما تبدو الكلمات وحدها غير كافية، يتحدث الجسد البشري لغته الخاصة. فرفع الكتفين، أو حركة اليد، أو تغيير الوضعية، غالبًا ما يحمل ثقلاً يوازي ما تنطق به الجملة. هذه الحركات ليست عشوائية؛ بل هي نسيج محبوك بإحكام من التوقيت والتنسيق، حيث تتحرك الأيدي والأذرع والجذع في إيقاع موحد لإيصال العاطفة والمعنى. لعقود من الزمن، حاول العلماء والمهندسون تعليم الحواسيب كيفية محاكاة هذا الحوار الصامت، آملين في منح الشخصيات الرقمية (الآفاتار) ذات الانسيابية الطبيعية الموجودة لدى البشر الحقيقيين. لقد كان التحدي دائمًا مزدوجًا: ابتكار حركات تبدو بشرية حقًا، والقيام بذلك بسرعة كافية لتحدث في الوقت الفعلي. غالبًا ما كانت المحاولات السابقة تتعامل مع الجسد كمجموعة من الأجزاء المنفصلة، فتحرك الأذرع دون مراعاة للأرجل، أو الأيدي دون اعتبار للوجه، مما أدى إلى إيماءات بدت مفككة وآلية. علاوة على على ذلك، فإن الرياضيات المعقدة المطلوبة لتوليد هذه الحركات كانت تستغرق عادةً وقتًا طويلاً يجعلها غير مفيدة للتفاعلات المباشرة، مما ترك فجوة بين ما يمكن للتكنولوجيا فعله وما يحتاجه البشر.

لقد نجح فريق من الباحثين الآن في جسر هذه الفجوة من خلال نظام جديد يسمى GestureLSM، المصمم لتوليد إيماءات كاملة للجسم من الكلام والنصوص المكتوبة بجودة عالية وسرعة في الوقت الفعلي. يكمن جوهر ابتكارهم في كيفية رؤيتهم للجسد البشري؛ فبدلاً من التعامل مع الجسد ككتلة واحدة صماء أو كمجموعة من الأطراف المعزولة، يقوم النظام بنمذجة التفاعلات بين المناطق المختلفة بشكل صريح، مثل العلاقة بين اليدين والجذع. ومن خلال تعليم الكمبيوتر أن الإيماءة هي حوار بين أجزاء الجسم، ينتج النظام حركات متماسكة وطبيعية. فعندما يقول شخص ما "أنا أتفق تمامًا"، يدرك النظام أن الأصابع قد تشير، أو الأذرع قد تمتد، أو الجذع قد ينحني قليًا، وكل ذلك يعمل معًا لتعزيز الرسالة. يتجنب هذا النهج الحركات غير المنسقة والمربكة التي عانت منها الطرق السابقة، حيث كانت أجزاء الجسم تبدو وكأنها تتحرك بشكل مستقل عن بعضها البعض.

ولتحقيق هذا المستوى من التنسيق، بنى الباحثون نموذجًا يولي اهتمامًا لنوعين متميزين من العلاقات. أولاً، ينظر إلى الجسم ككل في لحظة زمنية واحدة، لضمان أن وضعية اليد اليسرى منطقية بالنسبة لليد اليمنى والرأس. ثم، ينظر إلى كيفية تحرك الجسم بمرور الوقت، متتبعًا تدفق الحركة من ثانية إلى أخرى. هذا التركيز المزدوج يسمح للنظام بتعلم كل من التوازن الهيكلي للوضعية والتقدم الديناميكي للإيماءة. والنتيجة هي أداء رقمي يلتقط الفروق الدقيقة للتعبير البشري، من الميل الطفيف إلى الحركة الواسعة والمؤكدة، وكل ذلك متزامن تمامًا مع الكلمات المنطوقة.

كانت السرعة هي العقبة الرئيسية الأخرى التي تعين على الفريق تجاوزها. تعتمد العديد من الأنظمة الحالية على طرق تتطلب عشرات الحسابات المتكررة لصقل حركة واحدة، وهي عملية بطيئة جدًا للاستخدام في العالم الحقيقي. يستخدم النظام الجديد نهجًا رياضيًا مختلفًا ينمذج سرعة واتجاه الحركة مباشرة، مما يسمح له بالوصول إلى النتيجة النهائية في خطوات أقل بكثير. ومع ذلك، وجد الباحثون أن هذا الأسلوب الأسرع، رغم كونه واعدًا من الناحية النظرية، كان ينتج أحيانًا نتائج أقل جودة أو يستغرق وقتًا طويلاً جدًا. ولحل هذه المشكلة، قدموا تقنية تسمح للنموذج بتعلم "طرق مختصرة" من خلال عملية توليد الحركة. فبدلاً من اتخاذ كل خطوة صغيرة على طول مسار طويل، يتعلم النظام التنبؤ بوجهة الحركة بشكل أكثر مباشرة، مع الحفاظ على سلاسة ودقة الرحلة. كما قاموا بتعديل طريقة تعلم النظام بمرور الوقت، من خلال تركيز انتباهه على اللحظات التي كان من المرجح أن يرتكب فيها أخطاء، مما أدى إلى تحسين جودة المخرجات بشكل أكبر.

تم اختبار فعالية هذا النهج الجديد مقابل مجموعة واسعة من الأساليب الحالية باستخدام مجموعة بيانات كبيرة من الإيماءات البشرية المسجلة. وأظهرت النتائج أن النظام الجديد أنتج إيماءات أكثر واقعية وتزامنًا مع الكلام بشكل ملحوظ مقارنة بأي طريقة سابقة. ومن حيث السرعة، يمكن للنظام توليد إيماءات جملة كاملة في أقل من ثانية، وهو تحسن كبير مقارنة بالثواني أو حتى الدقائق التي تتطلبها التقنيات الأخرى. هذه السرعة كافية لدعم التطبيقات في الوقت الفعلي، مثل الشخصيات الرقمية التفاعلية أو المساعدين الافتراضيين الذين يمكنهم الاستجابة للمستخدمين فورًا. كما أجرى الباحثون دراسة مع مشاركين بشريين، الذين قيموا باستمرار إيماءات النظام الجديد بأنها أكثر طبيعية وسلاسة وتوقيتًا من تلك التي تنتجها التقنيات الرائدة الأخرى.

إن آثار هذا العمل تمتد إلى ما هو أبعد من مجرد جعل الشخصيات الرقمية تبدو أفضل. فمن خلال تمكين الحواسيب من توليد إيماءات عالية الجودة وفي الوقت الفعلي، تفتح هذه التكنولوجيا الباب أمام تفاعلات أكثر انغماسًا وجذبًا في البيئات الافتراضية. وسواء كان ذلك للترفيه أو التعليم أو التواصل، فإن امتلاك شخصية رقمية يمكنها التحرك بنفس النعمة الطبيعية التي يمتلكها البشر يغير طريقة تجربتنا للمساحات الرقمية. وقد أظهر الباحثون هذه الإمكانية باستخدام نظامهم لتوليد وضعيات جسم ثلاثية الأبعاد ثم إسقاطها على فيديو ثنائي الأبعاد، مما خلق شخصيات متحركة يمكن تخصيصها لقصص أو تطبيقات معينة. إن هذه القدرة على تحويل الكلام إلى حركة انسيابية ومعبرة في الوقت الفعلي تمثل خطوة مهمة للأمام في مجال التفاعل بين الإنسان والحاسوب، مما يقربنا من مستقبل يمكن فيه للكائنات الرقمية أن تتواصل معنا ليس فقط من خلال الكلمات، ولكن من خلال اللغة الكاملة والطبيعية للجسد.