GestureFM : Compact Latent Flow Matching for Low-Latency Co-Speech Body-Motion Generation
يُعد GestureFM إطار عمل متراص لنمذجة مطابقة التدفق الكامن (latent Flow Matching)، يتيح توليد حركة جسدية مصاحبة للكلام بجودة عالية وزمن انتقال منخفض عبر ضغط وضعيات SMPly-X إلى فضاء كامن واستخدام مُنعم خفيف الوزن لمعالجة الانقطاعات عند حدود الأجزاء، محققاً جودة حركة تنافسية مع أدنى حد من زمن انتقال الجزء الأول.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تتحدث إلى صديق، وبينما تتكلم، تتحرك يداك وذراعاك وجسدك بشكل طبيعي مع كلماتك. يُسمى هذا "إيماءة مصاحبة للكلام" (co-speech gesture)، وهو جزء كبير من كيفية تواصل البشر. الآن، تخيل شخصية في لعبة فيديو أو مساعدًا افتراضيًا يريد القيام بالأمر نفسه. التحدي هو أن الكمبيوتر يحتاج إلى الاستماع إلى صوتك، وفهم ما تقوله، وتحريك جسد الشخصية فورًا ليتناسب معه. لكن المشكلة تكمن في أنه إذا انتظر الكمبيوتر حتى تنهي جملتك بالكامل قبل أن يبدأ في التحرك، فستبدو الشخصية كأنها روبوت يتأخر دائمًا عن الواقع بخطوة. لكي تبدو واقعية، يجب أن تبدأ الشخصية في التحرك بينما لا تزال تتحدث. هذا هو عالم "التوليد المتدفق بإنتاجية منخفضة" (low-latency streaming generation) — جعل الإنسان الرقمي يتحرك في الوقت الفعلي دون تأخير.
للقيام بذلك، يستخدم العلماء حيلًا رياضية خاصة. إحدى هذه الحيل تسمى "المشفر التلقائي المتغير" (Variational Autoencoder - VAE)، وهو يشبه تطبيق ضغط فائق الكفاءة؛ حيث يأخذ حركة جسد ثلاثية الأبعاد معقدة وضخمة ويضغطها في رمز بسيط وصغير (فضاء كامن - latent space) يسهل على الكمبيوتر التعامل معه. حيلة أخرى هي "مطابقة التدفق" (Flow Matching)، وهي تشبه رسم خط مستقيم وسلس من خربشة عشوائية إلى صورة مثالية. فبدلاً من تخمين الصورة خطوة بخوة مثل فنان مشوش، تتعلم "مطابقة التدفق" المسار الدقيق الذي يجب اتخاذه، مما يسمي للكمبيوتر رسم الصورة النهائية بسرعة كبيرة. السؤال الكبير الذي يحاول الباحثون حله هو: هل يمكننا دمج هذه الأدوات لجعل الإنسان الافتراضي يتحرك بسرعة وسلاسة فائقتين بحيث يشعر المرء بأنه موجود حقًا، حتى بينما لا نزال نتحدث؟
هنا يأتي دور GestureFM، وهي دراسة جديدة تحاول الإجابة على ذلك بالضبط. قام الباحثون، جي ليو، وتيانميي صن، وزيان ليو، ببناء نظام مصمم لتوليد حركات الجسم من الكلام مع تأخير يكاد يكون معدومًا. وقد أطلقوا على نظامهم اسم "GestureFM" لأنه يستخدم سحر "مطابقة التدفق" داخل فضاء "كامن" مضغوط.
إليك كيف يعمل نظامهم، باستخدام تشبيه بسيط: تخيل أنك تحاول وصف رقصة لصديق عبر مكالمة هاتفية، ولكن لا يمكنك إرسال سوى مقاطع صوتية قصة مدتها ثانية واحدة في كل مرة. يجب على صديقك أن يبدأ الرقص فورًا بناءً على ما سمعه حتى الآن. GestureFM هو هذا "الصديق" المتميز للغاية في هذا الأمر. أولاً، يستخدم "Gesture VAE" لترجمة الحركات المعقدة المكونة من 168 بُعدًا لجسم الإنسان (مثل جميع زوايا مفاصلك) إلى رمز صغير مكون من 44 رمزًا (token). هذا يشبه تحويل فيلم طويل إلى ملاحظات رسم سريعة. بعد ذلك، يقوم "محول مطابقة التدفق المشروط صوتيًا" (audio-conditioned Flow Matching Transformer) بالاستماع إلى صوتك (تحديدًا أنماط الصوت التي تسمى ميزات Log-Mel) ويستخدم تلك الملاحظات المرسومة لرسم الثانية التالية من الحركة.
الجزء الأكثر إثارة في اكتشافهم هو مدى سرعة وكفاءة هذا النظام. وجد الفريق أنه يمكنهم توليد الجزء الأول من الحركة في 22 ميلي ثانية فقط. ولو وضعت ذلك في الاعتبار، فهذا يعادل 0.022 من سرعة الوقت الفعلي. وهذا يعني أن الكمبيوتر يعمل بسرعة أكبر بنحو 45 مرة من الحياة الواقعية، مما يترك مجالًا واسعًا لحدوث الحركة فور تحدثك.
اختبروا أيضًا عدد "الخطوات" التي يحتاجها الكمبيوتر لرسم الحركة. في العديد من أنظمة الذكاء الاصطناعي، تعني الخطوات الأكثر عادةً صورة أفضل ولكن سرعة أبطأ. ومع ذلك، وجد GestureFM شيئًا مفاجئًا: لم تكن الخطوات الإضافية تجعل الحركة تبدو أفضل بكثير. سواء اتخذوا خطوتين أو 32 خطوة، ظلت جودة الحركة (التي تُقاس بدرجة تسمى مسافة جيشت الحركة - Fréchet Gesture Distance أو FGD) ثابتة تقريبًا. وبسبب ذلك، هم يوصون باستخدام خطوتين فقط (K=2) للحصول على أسرع سرعة ممكنة دون فقدان أي جودة.
لكن حدث خلل صغير واحد. نظرًا لأن النظام يولد الحركة في كتل مدتها ثانية واحدة، فإن الانتقال بين كتلة وأخرى قد يبدو متقطعًا أحيانًا، مثل فيديو يتعثر لثانية. ولإصلاح ذلك، أضافوا "منعمًا محليًا مكونًا من 7 إطارات" (7-frame local smoother). فكر في هذا كأنه محرر صغير يمزج بلطف نهاية ثانية من الحركة مع بداية الثانية التالية. لقد قلل هذا الإصلاح البسيط من "قفزة السرعة" (التعثر المفاجئ) بنسبة 85%، مما جعل الحركة أكثر سلاسة دون التأثير على توقيت الرقص مع الموسيقى.
اختبر الباحثون أيضًا بعض الأفكار الأخرى لمعرفة ما إذا كان بإمكانهم جعل الأمر أفضل، لكنهم استبعدوا بعضها. على سبيل المثال، حاولوا منح النظام "ذاكرة" من خلال تمرير نهاية كتلة الحركة السابقة إلى الكتلة التالية. لسوء الحظ، جعل هذا جودة الحركة أسوأ بكثير (قفزت درجة FGD من 0.253 إلى 1.740). لقد أدركوا أن هذا بسبب تدريب النظام على بيانات حركة حقيقية ومثالية، ولكن عندما حاول استخدام "ذاكرته" الخاصة أثناء الاختبار، ارتبك بسبب أخطائه الخاصة. لذا، قرروا أنه من الأفضل حاليًا إبقاء كل كتلة مستقلة واستخدام حيلة التنعيم فقط لإصلاح الحواف.
في النهاية، يظهر GestureFM أنه يمكنك إنشاء حركات جسد عالية الجودة ومنخفضة التأخير للبشر الافتراضيين دون الحاجة لانتظار انتهاء الجملة بأكملها. من خلال ضغط البيانات، واستخدام مطابقة التدفق، وإضافة مرشح تنعيم بسيط، حققوا نظامًا يتميز بالسرعة الفائقة (تأخير 22 مللي ثانية) والدقة العالية، حيث يتوافق تمامًا مع إيقاع الكلام. إنها خطوة كبيرة نحو صنع بشر رقميين لا يتحدثون فحسب، بل يتحركون معنا حقًا في الوقت الفعلي.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.