InteractGesture: Progressive Chunk Guidance for Continuous Streaming Co-Speech Gesture Control
تقدم الورقة البحثية InteractGesture، وهي طريقة مستقلة عن النموذج وتعمل في وقت الاستنتاج، تستخدم التوجيه التدريجي للقطع (Progressive Chunk Guidance) لتمكين توليد إيماءات مصاحبة للكلام دقيقة ومتحكم بها مكانياً في سيناريوهات البث المستمر، وذلك عبر نشر تدرجات التحكم عبر حدود القطع لمعالجة عدم الاتساق عند الحدود.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل بشراً رقمياً يتحدث إليك، تتحرك شفتاه بتناغم تام مع كلماته، وتومئ يداه بشكل طبيعي للتأكيد على نقطة ما. لسنوات، علّم العلماء الحواسيب كيفية إنشاء هذه الحركات من خلال الاستماع إلى الصوت، مما أدى إلى إنتاج شخصيات يمكنها التحدث والتحرك بواقعية مذهلة. ومع ذلك، ظل هناك قصور كبير مستمراً: فبينما يعرف الكمبيوتر كيفية جعل الشخصية تلوح بيدها أو تهز كتفيها، فإنه لا يستطيع إخباره بالضبط أين يجب أن تستقر تلك اليد في الفضاء. إذا أراد رسام رسوم متحركة أن تلمس معصم الشخصية اليمنى جسماً معيناً على طاولة، أو أن يرسم المرفق مساراً دقيقاً لتجنب عائق ما، فإن التكنولوجيا الحالية لم تكن لتلبي ذلك الطلب. كانت الحركات تُنتج ككتلة واحدة، مما يترك الموقع المحدد لأجزاء الجسم المختلفة للصدفة بدلاً من الأمر المباشر. وقد كانت هذه الفجوة بين الحركة الطبيعية المدفوعة بالكلام والتحكم المكاني الدقيق عقبة رئيسية أمام إنشاء وكلاء افتراضيين تفاعليين حقاً.
لقد نجح نهج جديد، قدمه باحثون من شركة "ميتا" وجامعة "نورث كارولاينا في شارلوت"، في سد هذه الفجوة من خلال طريقة تسمى "InteractGesture". يسمح هذا النظام للكمبيوتر بإنشاء إيماءات الشخصية بناءً على الكلام، مع الامتثال في الوقت نفسه لتعليمات صارمة حول أين يجب أن تذهب مفاصل معينة، مثل المعاصم أو المرافق. لقد عامل الباحثون مولد حركة الكمبيوتر كـ "صندوق أسود" يمكن توجيهه بلطف. وبدلاً من إعادة تدريب النظام بأكته أو تغيير "عقله" الداخلي، قاموا بتعديل تنبؤات الكمبيوتر في الوقت الفعلي. وبينما كان النظام يخطط للحركة، قام الباحثون بفك تشفير تلك الخطط إلى هيكل عظمي ثلاثي الأبعاد، وتحققوا مما إذا كانت الأيدي في المكان الصحيح، وإذا لم تكن كذلك، فقد دفعوا الخطة مرة أخرى نحو الموقع المنشود قبل اعتمادها نهائياً. وتحدث هذه العملية بسرعة كبيرة لدرجة أن الكمبيوتر يتعلم كيف يوازن بين الإيقاع الطبيعي للكلام والمتطلبات الصارمة للتعليمات المكانية للمستخدم.
يصبح التحدي أصعب بكثير عندما يكون الكلام مستمراً، مثل محادثة طويلة، بدلاً من مقطع قصير. عادة ما تعالج الحواسيب الأصوات الطويلة في أجزاء صغيرة متداخلة، أو "قطع". في الماضي، بمجرد توليد جزء ما، كان يتم تثبيته في مكانه. فإذا أراد مستخدم أن تصل يد الشخصية إلى هدف ما في الجزء التالي، لم يكن بإمكان الكمبيوتر العودة وتعديل حركة الجزء السابق لجعل الانتقال سلساً. وكان هذا يؤدي غالباً إلى قفزات مفاجئة وغير طبيعية حيث تندفع اليد فجأة لتستقر في مكانها. حدد الباحثون أن هذا التثبيت الصارم للحركات الماضية كان السبب الرئيسي لهذه الأخطاء. ولحل هذه المشكلة، طوروا استراتيجية تسمى "Progressive Chunk Guidance" (توجيه القطع التدريجي). فبدلاً من تجميد الماضي، تبقي هذه الطريقة نافذة صغيرة من الحركات الأخيرة قابلة للتعديل. ومع وصول صوت جديد، يقوم النظام باستمرار بتحديث سياق الجزء السابق، مما يسمح للتعليمات المستقبلية بدفع الحركات الماضية بلطف نحو محاذاة أكثر سلاسة. إنه يشبه إلى حد كبير تحرير فيلم أثناء تصويره، حيث يمكن للمخرج تعديل خطوة الممثل السابقة لضمان أن الخطوة التالية ستكون مثالية، دون الحاجة للانتظار حتى ينتهي الفيلم بأكمله.
تم اختبار نتائج هذا النهج على مجموعة كبيرة من البيانات المسجلة للكلام والحركة البشرية. وقارن الفريق طريقتهم الجديدة بالتقنيات القديمة، بما في ذلك نهج شائع يحاول فرض وضعية المفاصل بعد توليد الحركة بالفعل، ونهج آخر يحاول التحكم في كل جزء بشكل مستقل. غالباً ما أنتجت الأساليب القديمة حركات تبدو متيبسة أو غير طبيعية، أو فشلت في الوصول إلى المواضع المستهدفة بدقة، حيث كانت تخطئ الهدف بنحو عشرين سنتيمتراً في بعض الحالات. وفي المقابل، حققت الطريقة الجديدة متوسط خطأ قدره ستة سنتيمترات فقط مع الحفاظ على الجودة الانسيابية والطبيعية لإيماءات الكلام الأصلية. نجح النظام في توجيه أيدي الشخصية إلى نقاط محددة، ورسم مسارات معقدة للأذرع، وحتى توجيه الشخصية للإشارة إلى اتجاه معين، كل ذلك مع الحفاظ على تزامن توقيت الحركات مع الصوت تماماً.
يبرهن هذا العمل على أنه من الممكن الحصول على كل من التدفق الطبيعي للرسوم المتحركة المدفوعة بالكلام والتحكم الدقيق الذي يمتلكه رسام الرسوم المتحركة البشري. ومن خلال السماح للكمبيوتر بتنقيح خططه الخاصة أثناء توليدها، ومن خلال إبقاء الماضي القريب مرناً بما يكفي لاستيعاب التعليمات المستقبلية، نجح الباحثون في إنشاء نظام يحترم الأوامر المكانية للمستخدم دون التضحية بالجودة الواقعية للحركة. وتشير النتائج إلى أن البشر الرقميين يمكنهم قريباً أن يُداروا بنفس مستوى التفصيل الذي يُدار به الممثل الحقيقي، والقدرة على التفاعل مع الأشياء الافتراضية والتنقل في البيئات المعقدة بمستوى من الدقة كان بعيد المنال في السابق. وقد أتاح الباحثون أدواتهم للآخرين لاستخدامها، مما يفتح الباب أمام مساعدين وشخصيات افتراضية أكثر تفاعلية واستجابة في المستقبل.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.