Speech-Gesture GAN: Gesture Generation for Robots and Embodied Agents
تقترح هذه المقالة إطار عمل Speech-Gesture-GAN الذي يستخدم شبكة خصومية توليدية شرطية لتوليد تسلسلات إيماءات واقعية مصاحبة للكلام للوكلاء المجسدين، وذلك من خلال تعلم العلاقات بين نص الكلام، والميزات الصوتية، وزوايا المفاصل من مجموعة بيانات عامة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تعلم روبوتًا كيف يجري محادثة مع إنسان. يمكنك برمجة الروبوت ليتحدث، ولكن إذا وقف هناك كتمثال أثناء الكلام، فستبدو المحادثة غريبة وآلية. أما البشر، من ناحية أخرى، فيحركون أيديهم باستمرار، ويهزون أكتافهم، ويشيرون بأصابعهم أثناء التحدث. تُسمى هذه الحركات "إيماءات"، وهي تساعدنا على التعبير عن المشاعر، وتأكيد النقاط، وجعل كلماتنا تبدو أكثر طبيعية.
يقدم هذا العمل "عقلاً" جديداً للروبوتات (والشخصيات الافتراضية) يتعلم كيفية تحريك يديه بالتزامن مع ما يقوله. إليك كيف فعلوا ذلك، مشروحاً ببساطة:
المشكلة: "الوادي غير المريح" في الكلام
عندما يتحدث الروبوت دون أن يتحرك، يبدو غريباً. وإذا حرك يديه بشكل عشوائي، يبدو مثل شخصية في لعبة فيديو تعاني من خلل تقني. الهدف هو مواءمة حركات يد الروبوت مع معنى الكلمات (مثل رفع إصبعين عند قول "اثنان") ومع إيقاع الصوت (مثل حركة سريعة لليد عند قول كلمة قصيرة وحادة).
الحل: لعبة "التقليد" (الشبكة التنافسية التوليدية - GAN)
طوّر الباحثون نظاماً يعتمد على مفهوم يُسمى الشبكة التنافسية التوليدية (GAN). تخيل هذا كأنه لعبة بين طالبين:
- المزور (المولد - The Generator): هذا الجزء من الذكاء الاصطناعي يحاول توليد حركات يد مزيفة بناءً على ما يقوله الروبوت. إنه يريد خداع المعلم بجعل هذه الحركات تبدو وكأنها حركات بشرية حقيقية.
- المحقق (المميز - The Discriminator): هذا الجزء من الذكاء الاصطناعي يفحص الحركات ويحاول معرفة: "هل هذه إيماءة بشرية حقيقية، أم أن الروبوت اخترعها للتو؟"
يلعبان هذه اللعبة مراراً وتكراراً. يصبح المزور أفضل في إنتاج حركات واقعية، ويصبح المحقق أفضل في كشف التزييف. وفي النهاية، يصبح المزور ماهراً جداً لدرجة أن الحركات تصبح غير قابلة للتمييز عن حركات الإنسان الحقيقي.
السر: الاستماع والقراءة
معظم الروبوتات السابقة كانت تستمع فقط إلى صوت الكلام أو تقرأ فقط النص. لكن الروبوت في هذا العمل يفعل كليهما، تماماً مثل الموسيقي الذي يقرأ النوتة الموسيقية وفي الوقت نفسه يستمع إلى عصا المايسترو.
- الصوت (Audio): يسمع الروبوت منحنى طبقة الصوت والإيقاع ليعرف متى يتحرك.
- المعنى (Text): يقرأ الرماز الكلمات ليعرف ماذا يحرك (على سبيل المثال، عندما تكون الكلمة هي "كبير"، قد تتباعد اليدان بعيداً).
من خلال الجمع بين هذين الجانبين، يمكن للروبوت توليد إيماءات تناسب كلاً من إيقاع الكلام ومعنى القصة الفعلي.
معسكر التدريب
لتعليم هذا الروبوت، استخدم الباحثون مجموعة بيانات خاصة تسمى مجموعة بيانات ترينيتي (Trinity Dataset). تخيل ممثلاً محترفاً يقف في غرفة مليئة بـ 20 كاميرا عالية السرعة. تحدث لساعات عن الأفلام والهوايات والحياة اليومية بينما كان يحرك يديه بشكل طبيعي. سجلت الكاميرات كل زاوية لمفاصل جسده.
- قام الباحثون بتغذية هذه البيانات في الذكاء الاصطناه الخاص بهم.
- قاموا بإزالة الأرجل والأصابع (بما أن العديد من الروبوتات، مثل روبوتات NAO أو Pepper الشهيرة، لا تمتلك أصابع معقدة أو أرجل يمكن تحريكها بنفس الطريقة).
- ركزوا على العمود الفقري، والرقبة، والأكتاف، والذراعين.
هل نجح الأمر؟
اختبر الباحثون الروبوت بطريقتين:
- الاختبار الرياضي (الموضوعي): قاموا بقياس سلاسة وسرعة يدي الروبوت مقارنة بالممثل البشري الحقيقي. كانت حركات الروبوت أقرب بكثير إلى حركات الإنسان الحقيقي مقارنة بالروبوتات الأخرى التي تمت مقارنتها بها.
- الاختبار البشري (الذاتي): عرضوا فيديوهات للروبوت المتحرك على بشر حقيقيين وسألوهم: "هل يبدو هذا طبيعياً؟ هل يتناسب مع الكلام؟"
- النتيجة: لم يستطع الناس التمييز بينهما! إحصائياً، كانت إيماءات الروبوت طبيعية، ومنضبطة زمنياً، وذات معنى تماماً مثل إيماءات الممثل البشري الحقيقي.
الخلاصة
يثبت هذا العمل أنه باستخدام لعبة "المزور مقابل المحقق" وتعليم الروبوت الاستماع إلى كل من صوت الكلام ومعناه، يمكننا جعل الروبوتات لا تتحدث فحسب، بل تتواصل بالفعل من خلال لغة الجسد البشرية. إنها خطوة كبيرة نحو جعل أصدقائنا الرقميين والروبوتيين يبدون أقل شبهاً بالآلات وأكثر شبهاً بشركاء محادثة طبيعيين.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.