UniSwap: Streaming Audio-Visual Identity Swapping for Talking Videos

تخيل أنك تشاهد فيلماً، لكن الممثل على الشاشة يبدأ فجأة بالتحدث بصوت مختلف ويبدو كشخص مختلف تماماً، ومع ذلك فهو يقول الكلمات نفسها تماماً وتحرك شفتيه بتوقيت مثالي. هذا هو حلم "تبديل الهوية" في الفيديوهات الناطقة. لفترة طويلة، كانت الحواسيب بارعة في القيام بجزء واحد فقط من هذه الخدعة: إما تغيير وجه الشخص مع الحفاظ على صوته الأصلي، أو تغيير الصوت مع الحفاظ على الوجه الأصلي. لكن محاولة القيام بكليهما في وقت واحد كانت تشبه محاولة التلاعب بكرتين مختلفتين أثناء ركوب دراجة أحادية العجلة؛ حيث كانت النتائج غالباً غير متزامنة، مع حركة شفاه لا تتوافق مع الكلمات أو أصوات تبدو آلية. تغوص هذه الورقة البحثية في عالم الذكاء الاصطناعي التوليدي، وتحديداً في كيفية تعليم الحواسيب كيفية تبديل مظهر الشخص وصوته في آن واحد، وفي الوقت الفعلي، دون أن يتعثر الفيديو أو يتأخر الصوت عن الصورة.

لقد بنى الباحثون وراء هذا المشروع، "UniSwap"، نظاماً جديداً يعمل مثل محرك الدمى الماهر، الذي يحرك الخيوط لكل من الجانبين المرئي والصوتي في اللحظة ذاتها. فبدلاً من استخدام أداتين منفصلتين—واحدة للوجه وأخرى للصوت—أنشأوا "عقلاً" واحداً يفهم كيف يتحرك وجه الشخص وكيف يبدو صوته كتجربة واحدة متصلة. فكر في الأمر كأنه مترجم ثنائي اللغة لا يترجم الكلمات فحسب، بل يلتقط أيضاً لهجة المتحدث وتعبيراته الوجهية فورياً.

تقدم الورقة البحثية طريقة ذكية لتعليم هذا النظام. وبما أنه من المستحيل تقريباً العثور على فيديوهات من الحياة الواقعية لنفس الشخص وهو يتحدث بنفس السطور بينما يبدو ويصوت كشخصين مختلفين، فقد ابتكر الفريق لعبة "التبديل وإعادة البناء". إنهم يأخذون فيديو حقيقياً، ويجردون وجه الشخص وصوته رقمياً لإنشاء نسخة "شبحية"، ثم يطلبون من الذكاء الاصطناعي إعادة بناء الفيديو الأصلي باستخدام وجه وصوت جديدين كدليل. الأمر يشبه إعطاء طباخ لوحة بيضاء ووصفة، ثم الطلب منه إعادة ابتكار طبق معين بدقة. ومن خلال التدريب على الملايين من عمليات "إعادة البناء" هذه، يتعلم الذكاء الاصطناعي كيفية تبديل الهويات مع الحفاظ على الحركات الأصلية والخلفية سليمة.

ما يجعل هذا الأمر مميزاً حقاً هو أنه يعمل مثل البث المباشر بدلاً من كونه فيلماً مسجلاً مسبقاً وبطيئاً. فمعظم مولدات الفيديو يجب أن تشاهد المقطع بأكمله قبل أن تتمكن من بدء رسم الإطار الأول، وهو أمر بطيء جداً للاستخدام التفاعلي. ومع ذلك، يقوم "UniSwap" بتوليد الفيديو في كتل صغيرة، مثل حزام ناقل، مما يسمح له بإنتاج حوالي 13.6 إطاراً في الثانية باستخدام شريحة كمبيوتر قوية (NVIDIA H100). ورغم أن هذا ليس سريعاً بما يكفي للتفاعل الفوري في الوقت الفعلي بعد، إلا أنه يمثل قفزة هائلة، حيث يسمح للنظام بتوليد فيديوهات طويلة—تصل إلى ساعة واحدة—دون أن تبتعد ملامح وجه الشخص أو صوته عن بعضهما أو تصبح مشوهة بمرور الوقت. وقد وجد المؤلفون أنه باستخدام "خدعة ذاكرة" خاصة تسمى "Feature-RoPE Decomposition"، يمكن للذكاء الاصطناعي تذكر الهوية الأصلية حتى بعد توليد آلاف الإطارات، مما يضمن بقاء الشخصية ثابتة من الثانية الأولى وحتى الأخيرة.

باختاً، يشير "UniSwap" إلى أنه يمكننا أخيراً الحصول على نظام موحد يبدل المظهر والصوت في الفيديوهات الناطقة بتزامن واستقرار عاليين. وبينما لا يزال الإصدار الحالي ليس سريعاً بما يكفي للمحادثة المباشرة في الوقت الفعلي (فهو أبطأ قليلاً من سرعة تشغيل الفيديو القياسي)، إلا أنه يثبت أن نموذجاً واحداً يمكنه التعامل مع كلتا المهمتين معاً بشكل أفضل من محاولة دمج نظامين منفصلين. وتظهر النتائج أن حركات الشفاه تظل متزامنة تماماً مع الصوت الجديد، وأن هوية الشخص تظل ثابتة حتى في المقاطع الطويلة، مما يقدم خطوة واعدة نحو صور رمزية رقمية أكثر طبيعية وتفاعلية.