Talking Together: Synthesizing Co-Located 3D Conversations from Audio
تقدم هذه الورقة نظاماً جديداً ثنائي المسار يقوم بتخليق رسوم متحركة لوجه ثلاثي الأبعاد واقعية ومدركة مكانياً لمشاركين متواجدين في نفس الموقع من خلال صوت مختلط، وذلك عبر نمذجة علاقاتهما المكانية الديناميكية ونظراتهما المتبادلة، مدعوماً بمجموعة بيانات واسعة النطاق تضم أكثر من مليوني زوج حواري.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول إعادة تجسيد محادثة حقيقية بين صديقين، لكن ليس لديك سوى تسجيل صوتي لأصواتهما ممزوجة في ملف صوتي واحد. معظم التقنيات الحالية تشبه مكالمة فيديو سيئة: فهي تولد "رؤوساً متحدثة" منفصلة تطفو في فراغ، تنظر للأمام مباشرة، وتتجاهل بعضها البعض تماماً. قد يكونون يتحدثون، لكنهم لا "يتفاعلون".
تقدم هذه الورقة البحثية نظاماً جديداً يسمى "التحدث معاً" (Talking Together) ليحل هذه المشكلة. يأخذ النظام ذلك التسجيل الصوتي الواحد والممزوج، ويولد مشهداً ثلاثي الأبعاد كاملاً وواقعياً حيث يقف شخصان وجهاً لودجه، ينظران إلى بعضهما البعض، ويومئان برأسيهما، ويتفاعلان بشكل طبيعي.
إليك كيف فعلوا ذلك، مقسماً إلى مفاهيم بسيطة:
١. مطبخ "المسارين"
تخيل النظام كمطبخ يعمل فيه طباخان جنباً إلى جنب.
- المشكلة: عادةً، إذا أعطيت طباخاً وعاءً من الحساء الممزوج (الصوت)، فلن يستطيع التمييز أي المكونات تنتمي لأي طبق.
- الحل: يستخدم هذا النظام بنية المسار المزدوج (Dual-Stream Architecture). تخيل طباخين (واحد للشخص أ، وآخر للشخص ب) يعملان في نفس المطبخ. لديهما نظام "تواصل متبادل" خاص. بينما يقوم الطباخ (أ) بالطبخ، يمكنه إلقاء نظرة على ما يفعله الطباخ (ب) ليرى ما إذا كان يحتاج للتوقف، أو الإيماء برأسه، أو إظهار المفاجأة. هذا يسمح للنظام بمعرفة من يتحدث ومن يستمع، حتى عندما يتحدث كلاهما في وقت واحد.
٢. شارات "تقمص الأدوار"
لمساعدة الطباخين على معرفة من يفعل ماذا، يمنح النظام شارات رقمية.
- المتحدث مقابل المستمع: يقوم النظام بتحليل الصوت لتخمين من يتحدث ومن يستمع. ثم يمنح "المتحدث" شارة تقول: "أنت تتحدث، حرك شفتيك!" ويمنح "المستمع" شارة تقول: "أنت تستمع، أومئ برأسك وحافظ على التواصل البصري!".
- السحر: حتى لو كان الصوت فوضوياً أو إذا تحدث الشخصان في آن واحد، فإن هذه الشارات تساعد النظام على جعل حركات الشخصيتين متميزة وواقعية.
٣. مدرب "التواصل البصري"
أحد أصعب أجزاء المحادثة الحقيقية هو النظر إلى الشخص الآخر. الطرق القديمة كانت تجعل الشخصيات تحدق بفراغ نحو الكاميرا.
- الإصلاح: أضاف الباحثون "خسارة تواصل بصري" (Eye Gaze Loss) خاصة. فكر في الأمر كمدرب صارم يقف فوق الرسوم المتحركة، يتحقق من كل إطار. إذا لم يكن الشخصيات ينظرون إلى بعضهم البعض عندما ينبغي لهم ذلك، يعطي المدرب "عقوبة". هذا يجبر الذكاء الاصطناوي على تعلم فن التواصل البصري المتبادل والنظرات الجانبية الطبيعية، مما يجعل المحادثة تبدو حية.
٤. مخرج "النص إلى المشهد"
في الماضي، لم يكن بإمكانك إخبار الكمبيوتر أين يجب أن يقف الأشخاص؛ فقد كانوا يظهرون في أما-كن عشوائية.
- الابتكار: يتيح لك هذا النظام كتابة تعليمات بسيطة، مثل "إنهما يتجادلان عبر طاولة" أو "إنهما يتحدثان بهمس حميمي".
- كيف يعمل: يستخدم النظام نموذج لغة كبيراً (مثل مساعد ذكي) لترجمة نصك إلى إحداثيات ثلاثية الأبعاد. إنه يعمل كمدير يخبر الممثلين: "حسناً، أنت تقف هنا، وأنت تقف هناك"، قبل أن يبدأ التحريك حتى.
٥. "حمية البيانات"
نماذج الذكاء الاصطناوي تشبه الرياضيين؛ فهي تحتاج لتناول الكثير من البيانات لتصبح قوية. المشكلة كانت عدم وجود فيديوهات عالية الجودة لشخصين يتحدثان في نفس الغرفة.
- المأدبة: وضع الفريق نظاماً غذائياً ضخماً للذكاء الاصطناوي الخاص بهم:
- بوفيه "الواقع الحر": قاموا بجمع أكثر من مليوني مقطع فيديو لأشخاص حقيقيين يتحدثون في الواقع لتعلم كيف يتفاعل البشر فعلياً.
- المكمل "المعقم": كما أنشأوا مجموعة بيانات اصطناعية عن طريق أخذ فيديوهات نظيفة وعالية الجودة لأشخاص منفردين ودمجها معاً بشكل اصطناعي. هذا علم الذكاء الاصطناوي مزامنة الشفاه المثالية (مطابقة حركات الفم مع الكلمات) دون الضجيج والضبابية الموجودة في فيديوهات العالم الحقيقي.
- النتيجة: من خلال التدريب على كليهما، تعلم الذكاء الاصطناوي أن يكون ذكياً اجتماعياً (من فيديوهات الواقع) ودقيقاً تقنياً (من الفيديوهات النظيفة).
الخلاصة
النتيجة هي نظام لا يجعل شخصين يتحدثان فحسب، بل يجعلهما يتجاذبان أطراف الحديث. إنه يلتقط "رقصة" المحادثة الحقيقية: إمالات الرأس، التواصل البصري، المساحة المشتركة، والتفاعل مع ما يقوله الطرف الآخر. إنه ينقلنا من شعور "مكالمة الفيديو" إلى شعور "الاجتماع الواقعي"، وكل ذلك يتم توليده من ملف صوتي واحد.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.