HolisticSemGes: Semantic Grounding of Holistic Co-Speech Gesture Generation with Contrastive Flow-Matching
يقدم HolisticSemGes نموذج مطابقة تدفق تبايني يولد إيماءات مصاحبة للكلام شاملة ومرتكزة دلالياً من خلال الاستفادة من أزواج الصوت والنص غير المتطابقة كعينات سلبية للتغلب على أوجه القصور في الأساليب الحالية في إنتاج حركات متفرقة ومتسقة عبر الوسائط.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تشاهد صديقاً يروي قصة. هو لا يستخدم الكلمات فحسب، بل تتحرك يداه في رقصات، وترتفع حواجبه، ويقوم جسده بأكمله بتمثيل معنى ما يقوله. إذا قال: "أنا ضخم جداً!" وبقيت ذراعاه متصلبتين بجانبه، فستبدو القصة خاطئة. وإذا قال: "أنا صغير"، لكنه بدأ يقفز للأعلى والأسفل، فسيكون الأمر مربكاً.
لفترة طويلة، كانت الحواسيب التي تحاول توليد هذه الإيماءات تشبه طالباً حفظ إيقاع الأغنية فقط ولكنه نسي كلماتها. كان بإمكانها جعل اليد تتحرك مع إيقاع الصوت، لكن الحركة لم تكن تتطابق فعلياً مع معنى الكلمات.
تقدم هذه الورقة نظاماً جديداً يسمى HolisticSemGes (والذي يبدو اسماً فخماً، ولكن دعنا نسميه "راوي القصة بكامل جسده"). وإليك كيف يعمل هذا النظام، مشروحاً ببساة:
1. المشكلة: "روبوت الإيقاع" مقابل "الإنسان ذو المعنى"
كانت نماذج الذكاء الاصطناعي السابقة تشبه روبوت الإيقاع. إذا شغلت أغنية سريعة، يلوح الروبوت بيديه بسرعة. إذا شغلت أغنية حزينة، يلوح ببطء. لكنه لم يكن يفهم ما يقال.
- إذا قلت: "أنا غاضب"، قد يلوح الروبوت بيده فقط لأن الصوت كان عالياً، وليس لأنه فهم مفهوم الغضب.
- كما أنه كان يعامل أجزاء الجسم بشكل منفصل. فقد يجعل اليد تتحرك بشكل مثالي، لكنه يترك الوجه جامداً، مثل دمية بخيوط منفصلة.
2. الحل: "راوي القصة بكامل جسده"
بنى المؤلفون نظاماً يعامل الجسد كوحدة واحدة متصلة، والأهم من ذلك، يعلّم الذكاء الاصطناعي فهم المعنى الكامن وراء الكلمات. وقد فعلوا ذلك من خلال حيلتين رئيسيتين:
الحيلة (أ): "العناق الجماعي" (التوافق الدلالي)
تخيل أن لديك ثلاثة أصدقاء: الصوت (نبرة الصوت)، النص (الكلمات)، والحركة (الجسد).
- الطرق القديمة حاولت جعل "الصوت" يعانق "اليد"، و"الكلمات" تعانق "الوجه" بشكل منفصل. أدى هذا إلى الارتباك.
- يقوم نظام HolisticSemGes بوضع الثلاثة جميعاً في "عناق جماعي". إنه يجبر الذكاء الاصطناعي على تعلم أن صوت الكلام، ومعنى الكلمات، وحركة الجسد بأكمله يجب أن تكون جميعاً في نفس "الغرفة الدلالية".
- التشبيه: فكر في الأمر كأنه ثلاثي راقص. بدلاً من أن يتبع الراقص الموسيقى فحسب، فإن الثلاثة جميعاً ينظرون إلى نفس السيناريو. إذا قال السيناريو "اقفز"، فإن الموسيقى، والراقص، والجمهور يفهمون القفزة معاً.
الحيلة (ب): "التدريب على الطريق الخاطئ" (مطابقة التدفق التبايني)
هذا هو الجزء الأكثر ذكاءً. كيف تعلم طفلاً ما لا يجب فعله؟ تريه الإجابة الخاطئة.
- الذكاء الاصطناعي القديم: كان يرى فقط الأمثلة حيث تتطابق الإيماءة مع الكلام. تعلم أن يكون "آمناً" وعاماً، منتجاً حركات متوسطة ومملة.
- الذكاء الاصطناعي الجديد: قدم الباحثون للذكاء الاصطناعي اختبار "الطريق الخاطئ". لقد أخذوا جملة مثل "أنا أحب البيتزا" وربطوها بفيديو لشخص يقول "أنا أكره البروكلي".
- قيل للذكاء الاصطناعي: "هذه هي الطريقة الصحيحة للتحرك لقول 'أنا أحب البيتزا'. وهذه الطريقة الخاطئة (فيديو البروكلي) هي ما يجب عليك تجنبه".
- التشبيه: تخيل تعليم شخص ما القيادة. بدلاً من إظهار المسار الصحيح له فحسب، تظهر له أيضاً حافة المنحدر وتقول له: "ابقَ في المنتصف، ولكن بالتأكيد لا تذهب إلى هناك". هذا يشحذ قدرة الذكاء الاصطناعي على البقاء في المسار الصحيح وتجنب الحركات العامة "الآمنة".
3. النتيجة: إنسان حقيقي، وليس روبوتاً
عندما اختبروا هذا النظام الجديد، كانت النتائج مبهرة:
- توقيت أفضل: كانت الإيماءات تصيب النغمات الصحيحة، تماماً مثل الإنسان الحقيقي.
- معنى أفضل: إذا قال الشخص "أنا ضخم"، فإن الذكاء الاصطناعي يفتح ذراعيه على وسعهما بالفعل. إذا قال "أنا صغير"، فإنه ينكمش. إنه يفهم القصة، وليس مجرد الضجيج.
- كامل الجسد: تتحرك الأيدي والوجه والجذع معاً بطريقة منسقة، بدلاً من أن يتحرك جزء واحد بينما تظل الأجزاء الأخرى جامدة.
باختصار
فكر في HolisticSemGes كفرق بين المترونوم (الذي يحافظ على الوقت فقط) وبين الممثل المتمكن (الذي يفهم السيناريو ويشعر بالعاطفة). من خلال تعليم الكمبيوتر التعرف على ما لا ينبغي أن تبدو عليه الإيماءة (عن طريق إظهار أمثلة غير متطابقة له)، تعلم إنشاء إيماءات ليست إيقاعية فحسب، بل ذات معنى حقاً وتشبه البشر.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.