DyaDiT: A Multi-Modal Diffusion Transformer for Socially Favorable Dyadic Gesture Generation
يُعد DyaDiT نموذج محول انتشار متعدد الوسائط يقوم بتوليد إيماءات ثنائية واعية بالسياق ومقبولة اجتماعياً من خلال الاستفادة من الديناميكيات الصوتية المتبادلة ورموز السياق الاجتماعي الاختيارية ليتفوق على الأساليب الحالية في كل من المقاييس الموضوعية وتفضيلات المستخدمين.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك في حفلة. أنت تتحدث مع صديق، أو غريب، أو ربما شريك حياتك. وبينما تتحدث، تتحرك يداك، تميل للأمام، وتتراجع للخلف، وتتفاعل مع ما يقوله الشخص الآخر. هذه ليست حركات عشوائية؛ بل هي رقصة معقدة تجمع بين من أنت، ومع من تتحدث، وما الذي يُقال.
لفترة طويلة، استطاعت الحواسيب جعل الشخصيات الرقمية تتحدث، لكن أيديها كانت متصلبة، آلية، أو ببساطة لا تتناسب مع الحالة المزاجية. إذا طلبت من حاسوب أن يجعل شخصية تتحدث إلى غريب، فقد يجعلها تتصرف وكأنها تتحدث إلى أعز أصدقائها. وهذا يبدو "غير طبيعي" بالنسبة لنا نحن البشر.
إليك DyaDiT. فكر فيه كأنه مصمم رقصات رقمي فائق الذكاء، لا يكتفي بمراقبة الموسيقى (الصوت) فحسب، بل يقرأ الغرفة أيضاً (السياق الاجتماعي) ويعرف شخصية الراقص.
إليك كيف يعمل، مقسماً إلى مفاهيم بسيطة:
1. المشكلة: "الوحش ذو الرأسين"
معظم البرامج الحاسوبية القديمة لتوليد الإيماءات تشبه شخصاً يحاول الاستماع إلى شخصين يتحدثان في آن واحد بينما يرتدي سماعات عازلة للضوضاء تسمح له بسماع صوت واحد فقط. إنه يرتبك.
- المشكلة: في المحادثة الحقيقية، يقاطع الناس بعضهم البعض، ويتحدثون في نفس الوقت، ويتفاعلون فوراً. النماذج القديمة كانت تدمج الصوتين معاً في كتلة مشوشة، فلم يكن الحاسوب يعرف من يقول ماذا.
- حل DyaDiT (تقنية ORCA): ابتكر الباحثون أداة تسمى ORCA (الانتباه المتقاطع المتعامد). تخيل ORCA كأنه خلاط صوت سحري. إنه يأخذ الصوتين ويفصلهما بدقة، مثل مهندس الصوت الذي يعزل صوت "الباص" عن "الطبول". إنه يخبر الحاسوب: "هذا الجزء هو ما يقوله الشخص (أ)، وهذا الجزء هو كيفية تفاعل الشخص (ب)". هذا الوضوح يسمح للشخصية الرقمية بالتفاعل بشكل طبيعي، حتى عندما يقاطع الأشخاص بعضهم البعض.
2. السياق الاجتماعي: "رمز العلاقة"
تخيل أنك تروي نكتة.
- إذا كنت مع صديقك المقرب، فقد تضرب ركبته وتضحك بصوت عالٍ.
- إذا كنت مع مديرك، فقد تكتفي بضحكة مهذبة وهزة يد صغيرة.
- إذا كنت مع غريب، فقد تبقي يديك في جيوبك.
الحواسيب القديمة لم تكن تعرف الفرق. كانت تولد فقط حركات يد "عامة".
- حل DyaDiT: يمتلك DyaDiT نظام تحديد مواقع اجتماعي (GPS). قبل أن يبدأ في تحريك الشخصية، تخبره: "مهلاً، هذان الشخصان مرتبطان"، أو "هذان الشخصان غريبان عن بعضهما". كما أنه يعرف شخصية كل منهما (على سبيل المثال: هل الشخص خجول؟ أم أنه مفعم بالحيوية؟).
- النتيجة: يولد الحاسوب إيماءات تناسب العلاقة. نسخة "الشريك العاطفي" ستكون أكثر حميمية، بينما نسخة "الغريب" ستكون أكثر تحفظاً.
3. قاموس الحركة: "مكتبة الأنماط"
فكر في حركة الإنسان كأنها لغة. الجميع يتحدث الإنجليزية، لكن البعض يتحدث بلكنة بريطانية، والبعض بلكنة جنوبية، والبعض بإيقاع سريع من نيويورك.
- حل DyaDiT: بنى الباحثون قاموس حركة. هذا يشبه مكتبة لـ "لهجات الإيماءات". وهي تحتوي على آلاف الأنماط الحركية الصغيرة التي تم تعلمها مسبقاً (مثل هز الكتف السريع، أو التلويح البطيء، أو الإشارة التأكيدية).
- كيف يساعد ذلك: عندما يحتاج الحاسوب لتوليد حركة، فإنه لا يخمن فحسب. بل يختار "اللكنة" المناسبة من القاموس بناءً على الشخصية والموقف. هذا يجعل الحركة تبدو فريدة وبشرية، بدلاً من كونها آلية ومتكررة.
4. المحرك السحري: "محول الانتشار" (Diffusion Transformer)
ربما سمعت عن الذكاء الاصطناعي الذي يولد الصور عن طريق البدء بضجيج عشوائي ثم تنظيفه ببطء حتى تظهر صورة (مثل ظهور الصورة في غرفة التحميض المظلمة).
- حل DyaDiT: يقوم DyaDiT بنفس الشيء تماماً، ولكن مع الحركة. يبدأ بمجموعة فوضوية من الوضعيات العشوائية ثم يقوم بـ "إزالة الضجيج" منها تدريجياً، إطاراً تلو الآخر، حتى تظهر "رقصة محادثة" سلسة وطبيعية. ولأن هذا النظام يستخدم طريقة "الانتشار" (Diffusion)، فإن الحركات تكون انسيابية ومتنوعة للغاية، مما يتجنب الشعور بـ "التكرار الممل" الموجود في الذكاء الاصطناعي القديم.
الصورة الكبيرة: لماذا يهم هذا؟
اختبر الباحثون DyaDiT مقابل طرق أخرى وحتى مقابل تسجيلات بشرية حقيقية.
- الاختبار: عرضوا فيديوهات على الناس وسألوا: "أي فيديو يبدو أكثر واقعية؟" و "أي فيديو يناسب العلاقة بشكل أفضل؟"
- النتيجة: فضل الناس DyaDiT بشكل ساحق. في الواقع، في بعض الحالات، أحب الناس الإيماءات المولدة بواسطة الذكاء الاصطناعي أكثر من البشر الحقيقيين! لماذا؟ لأن الذكاء الاصطناعي كان بارعاً جداً في تنعيم الفواصل المحرجة وجعل الإشارات الاجتماعية متسقة تماماً.
ملخص التشبيه
إذا كان الذكاء الاصطناعي القديم للإيماءات يشبه دمية بخيوط لا تتحرك إلا عندما تسحب مقبض "الكلام"، فإن DyaDiT يشبه الممثل المتمكن.
- إنه يستمع إلى النص (الصوت).
- يعرف من هو شريكه في المشهد (العلاقة).
- يعرف خلفية شخصيته (الشخصية).
- ويستخدم خلاط صوت سحري (ORCA) ليتأكد من سماع الممثل الآخر بوضوح، حتى لو كان يصرخ.
النتيجة هي إنسان رقمي لا يتحدث فحسب، بل يتواصل. إنه يجعلنا نشعر وكأننا نتحدث مع شخص آخر، وليس مجرد آلة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.