Native Audio-Visual Alignment for Generation
تُعد NAVA إطار عمل مبتكر لتوليد الصوت والفيديو معاً، حيث توظف استراتيجية محاذاة صوتية-بصرية أصلية ضمن بنية MMDiT تعتمد على مبدأ "المحاذاة ثم الدمج" لتحقيق تزامن فائق، وجودة فيديو عالية، وتحكم في طابع الصوت الكلامي، وذلك باستخدام 6.3 مليار معلمة فقط.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تريد إنشاء مشهد سينمائي حيث تقوم شخصية بركوب دراجة أثناء التحدث. تحتاج إلى حدوث شيئين معاً بشكل مثالي: فيديو حركة الدراجة وصوت الرياح وصوت الشخص.
لفترة طويلة، حاولت الحواسيب صنع هذين الشيئين بشكل منفصل ثم لصقهما معاً في النهاية. هذا يشبه وجود فنان يرسم الدراجة وفنان آخر تماماً يسجل الصوت، ثم محاولة مطابقتهم لاحقاً. غالباً ما كان الصوت يكون غير متزامن قليلاً مع حركات الشفاه، أو لا يبدو وكأنه ينتمي إلى ذلك المشهد تحديداً.
حاولت طرق أحدث أخرى وضع الفنان، والمؤدي الصوتي، والمخرج جميعاً في غرفة صغيرة واحدة للعمل على كل شيء في وقت واحد. وبينما يساعد هذا في جعلهم يتواصلون، إلا أنه يصبح فوضوياً. فـ "المخرج" (التعليمات النصية) ينتهي به الأمر مرتبكاً مع "مهندس الصوت" (توقيت الضجيج)، مما يجعل من الصعب التحكم في التفاصيل المحددة مثل من يتحدث أو كيف يبدو صوتهم.
إليك NAVA: نهج "غرفة البروفات"
يقدم البحث NAVA (المحاذاة الأصلية للصوت والمرئيات)، والذي يغير سير العمل. بدلاً من العمل بشكل منفصل أو خلط كل شيء في وعاء واحد كبير، يستخدم NAVA عملية من خطوتين ذكية تسمى "المحاذاة ثم الدمج" (Align-then-Fuse).
فكر في الأمر كبروفة مسرحية:
- البروفة (المحاذاة): أولاً، يلتقي الممثلون (الصوت) وطاقم العمل (الفيديو) في "غرفة بروفات" مخصصة. هنا، يتدربون معاً دون أن يعطيهم المخرج سطوراً جديدة. يتعلمون بالضبط كيف تتطابق دقة الخطوة مع رؤية القدم وهي تضرب الأرض، أو كيف تتطابق نقرة الجيتار مع حركة اليد. إنهم يبنون اتصالاً طبيعياً وأصلياً بين الصوت والرؤية.
- الأداء (الدمج): بمجرد أن يعرفوا كيف يتحركون ويتحدثون معاً، يتدخل المخرج (المطالبة النصية). لا يحتاج المخرج لتعليمهم كيفية التزامن بعد الآن؛ هو فقط يخبرهم بما يجب فعله. "الآن، يجب على الشخصية قول هذا السطر بصوت غاضب". ولأن الممثلين وطاقم العمل يعرفون بالفعل كيفية التزامن، يمكنهم التكيف فوراً مع التعليمات الجديدة دون فقدان توقيتهم.
السر الخفي: "الجرس الصوتي في السياق" (Timbre-in-Context)
يمتلك NAV أيضاً حيلة خاصة للتعامل مع المتحدثين المتعددين. تخيل نصاً حيث تتحدث أم وطفلها. أنت لا تريد لصوت الأم أن يبدو مثل صوت الطفل.
الطرق القديمة قد تستخدم "مفتاح تبديل صوت" منفصلاً يغير صوت المشهد بأكمله. لكن NAV أذكى من ذلك. فهو يعامل أسلوب الصوت (الجرس الصوتي) كجزء من النص نفسه. فهو يربط "وسم صوت" محدد بكلمات الأم ووسماً مختلفاً بكلمات الطفل. عندما يقوم الكمبيوتر بتوليد المشهد، فإنه يعرف بالضبط أي صوت ينتمي لأي جملة، تماماً مثل مخرج يقرأ نصاً به ملاحظات حول من يتحدث.
ما وجده البحث
اختبر الباحثون NAV مقابل نماذج رائدة أخرى باستخدام معيار يسمى Verse-Bench (اختبار مدى تطابق الصوت والفيديو) و Seed-TTS (اختبار التحكم في الصوت).
- تزامن أفضل: كان NAV الأفضل في التأكد من أن الصوت يحدث في اللحظة الدقيقة التي يقع فيها الحدث المرئي (مثل إغلاق الباب أو حركة الشفاه).
- جودة عالية: بدا الفيديو رائعاً والصوت واضحاً وواقعياً.
- الكفاءة: رغم صغر حجمه مقارنة بالعديد من المنافسين (باستخدام 6.3 مليار "خلية عصبية" أو بارامتر فقط)، إلا أنه تفوق على نماذج أكبر بكثير.
- التحكم: يمكنه التبديل بين المتحدثين المختلفين في نفس المشهد بسلاسة، مع الحفاظ على تميز الأصوات ودقتها.
باخت ثصار
يحل NAV مشكلة صنع الصوت والفيديو من خلال منحهم مساحة مخصصة لتعلم كيفية التحرك معاً قبل أن يحاولوا اتباع تعليمات معقدة. إنه يشبه تعليم ثنائي من الراقصين إتقان خطواتهم قبل أن يخبرهم مصمم الرقصات بأي أغنية سيرقصون عليها. النتيجة هي مشهد سينمائي يبدو فيه الصوت والصورة وكأنهما ولدا معاً، وليس مجرد ملتصقين ببعضهما.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.