SALSA-V: Shortcut-Augmented Long-form Synchronized Audio from Videos
يُعد SALSA-V نموذجاً متعدد الوسائط لتوليد الصوت من الفيديو يستفيد من هدف الانتشار المقنع وخسارة الاختصار المبتكرة لتخليق صوت عالي الدقة ومتزامن للغاية لمقاطع فيديو طويلة صامتة في ثماني خطوات فقط، متفوقاً بشكل كبير على الأساليب الحالية الرائدة في كل من المحاذاة والكفاءة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل عالماً تعود فيه كل الأفلام الصامتة التي شاهدتها يوماً ما لتنبض بالحياة مع موسيقى تصويرية خاصة بها، ليس مجرد مقطوعة بيانو عامة، بل صوت "الخبطة" المحددة لصندوق يسقط، أو "قرقرة" الحصى تحت الإطارات، أو "حفيف" الأوراق في نسيم هادئ. هذا هو حلم "توليد الفيديو إلى صوت"، وهو مجال في علوم الحاسوب تحاول فيه الآلات أن "تسمع" ما تراه. لفترة طويلة، كانت الحواسيب سيئة جداً في هذا الأمر؛ كان بإمكانها تخمين الجو العام، لكنها كانت تفتقر إلى الدقة في التوقيت، مما يجعل الأصوات تبدو وكأنها وصلت متأخرة عن موعد الحفلة. التحدي الجوهري مزدوج: يحتاج الحاسوب إلى فهم "ماذا" يحدث (الفهم الدلالي) و"متى" يحدث بالضبط (المحاذاة الزمنية). إذا اصطدمت كرة بجدار، يجب أن يحدث الصوت في تلك الملي ثانية بدقة، وإلا ستصاب عقولنا بالارتباك. حتى الآن، كان صنع هذه الأصوات يستغرق وقتاً طويلاً، مثل انتظار فرن بطيء ليخبز كعكة، وكانت النتائج غالباً ما تنهار إذا حاولت صنع فيلم طويل بدلاً من مقطع قصير.
إليك SALSA-V، الساحر الرقمي الجديد الذي يهدف إلى حل هذه المشكلات. فكر فيه كفنان "فولي" (Foley artist) محترف (وهو الشخص الذي يصنع المؤثرات الصوتية للأفلام) مُنح قوة خارقة: القدرة على العمل بسرعة فائقة وعدم فقدان الإيقاع أبداً. لقد بنى الباحثون وراء SALSA-V نموذجاً يمكنه أخذ فيديو صامت وتوليد صوت عالي الجودة ومتزامن تماماً في لمح البصر. وعلى عكس الطرق السابقة التي عانت مع الفيديوهات الطويلة أو تطلبت ساعات من الانتظار، يمكن لـ SALSA-V إنشاء دقائق من الصوت في ثوانٍ، ويمكنه أيضاً "الاستماع" إلى عينة صوتية توفرها له ليحاكي أسلوبها، تماماً مثل الحرباء الموسيقية.
إليك كيف يعمل هذا الساحر الجديد وما اكتشفه:
سحر "الاختصار"
تعمل معظم نماذج الذكاء الاصطناعي التي تنشئ الأصوات مثل النحات الذي ينحت من كتلة حجرية، خطوة بخطوة، يزيل الضجيج حتى يظهر الصوت. عادةً ما يستغرق هذا عشرات الخطوات، وهو أمر بطيء. أما SALSA-V، فقد تعلم "اختصاراً". تخيل أنك تحاول المشي من منزلك إلى الحديقة؛ النموذج العادي يتخذ خطوات صغيرة وحذرة، ويفحص الأرض كل بوصة. أما SALSA-V فقد تعلم كيف ينظر للأمام ويخطو خطوات واسعة وواثقة. من خلال تدريب النموذج على فهم أن خطوة واحدة كبيرة هي بمثد خطوتين صغيرتين مدمجتين، علم الباحثون النموذج كيفية تخطي الأجزاء المملة. والنتيجة؟ يمكن لـ SALSA-V توليد صوت عالي الجودة في ثماني خطوات أخذ عينات فقط. هذا سريع بما يكفي ليشعر المرء أنه في الوقت الفعلي تقريباً، محولاً عملية كانت تستغرق دقائق إلى شيء يحدث بشكل فوري تقريباً.
اللغز المقنع
للتعامل مع الفيديوهات الطويلة دون أن يتحول الصوت إلى كتلة مشوشة، يستخدم SALSA-V خدعة ذكية تسمى "مطابقة التدفق المقنع" (masked flow matching). تخيل أنك تقوم بحل لغز كلمات متقاطعة، ولكن بدلاً من البدء من الصفر، تُعطى بضع كلمات مملوءة بالفعل، وعليك تخمين الباقي. يفعل SALSA-V ذلك مع الصوت. أثناء تدريبه، يُعرض على النموذج فيديو ومقطع صوتي، لكن جزءاً عشوائياً من الصوت يكون مخفياً (مقنعاً). يتعين على النموذج معرفة ما يجب أن يكون عليه الصوت المفقود بناءً على الفيديو والأجزاء التي لا يزال بإمكانه سماعها. هذا يعلم النموذج أن يكون مرناً. وهذا يعني أنه يمكنك إعطاء النموذج فيديو قصيراً وقطعة من الصوت، ويمكنه "توسيع الرسم الخارجي" للصوت، وتمديده بسلاسة ليتناسب مع فيديو أطول، أو ملء الفجوات لإنشاء مشهد صوتي مستمر.
قسم الإيقاع
الجزء الأكثر أهمية في تحويل الفيديو إلى صوت هو التوقيت. إذا نبح كلب في الفيديو، يجب أن تحدث النبحة تماماً عندما يفتح الكلب فمه. كانت النماذج السابقة غالباً ما تخطئ في التوقيت قليلاً، مما يشعرنا بعدم الطبيعية. حل SALSA-V هذه المشكلة عبر تدريب "مدرب مزامنة" خاص. هذا المدرب هو ذكاء اصطناعي منفصل يتعلم التعرف على اللحظة الدقيقة لحدوث حدث ما في الفيديو ومطابقتها مع الصوت. وجد الباحثون أنه لجعل هذا المدرب جيداً حقاً، كان عليهم توخي الحذر في كيفية تدريبه؛ فاستخدام الكثير من الأمثلة في وقت واحد جعل النموذج في الواقع أسوأ في رصد الاختلافات الدقيقة بين الأصوات المتشابهة. ومن خلال ضبط ذلك بعناية، حقق SALSA-V مستوى من المزامنة اعتبره البشر متفوقاً على النماذج الرائدة الأخرى. وفي اختبار استماع، فضل الناس توقيت وجودة SALSA-V على النماذج الأخرى المتطورة.
تحدي المدى الطويل
تتفوق العديد من نماذج الذكاء الاصطناعي في المقاطع القصيرة (حوالي 10 ثوانٍ) ولكنها تنهار عندما يُطلب منها صنع فيديو مدته 30 ثانية أو أكثر. فهي إما تنفد ذاكرتها أو يبدأ الصوت في الانحراف. يعالج SALSA-V هذا باستخدام نهج "تدريجي". فبدلاً من محاولة تخمين الصوت لمقطع دقيقة كاملة دفعة واحدة، يقوم بتوليد الصوت في قطع صغيرة، مستخدماً نهاية القطعة السابقة كدليل للقطعة التالية. هذا يسمح له بالحفاظ على الإيقونة والأسلوب لفترات أطول بكثير. وعند اختباره على فيديوهات مدتها 30 ثانية، حافظ SALSA-V على جودته العالية ومزامنته، بينما بدأت النماذج الأخرى في فقدان مسارها.
ما لا يستطيع فعله (بعد)
يتحلى المؤلفون بالأمانة بشأن الحدود. نظرًا لأن النموذج يبني الصوت عن طريق توسيع القطعة السابقة، فإذا حدث قطع مفاجئ في الفيديو إلى مشهد مختلف تماماً (مثل الانتقال من مكتبة هادئة إلى موقع بناء صاخب)، فقد يحاول النموذج نقل أصوات المكتبة الهادئة إلى موقع البناء ما لم يتدخل المستخدم. إنه يعمل بشكل أفضل في المشاهد المستمرة دون تغييرات مفاجئة.
الخلاصة
يشير SALSA-V إلى أنه يمكننا الحصول على كل ما نريد؛ صوت عالي الدقة ومتزامن تماماً يتم توليده في ثوانٍ بدلاً من دقائق. هو لا يصنع الأصوات فحسب، بل يجعلها "تبدو" صحيحة، مطابِقاً الإيقاع البصري بدقة عجزت عنها النماذج السابقة. ومن خلال الجمع بين طريقة تدريب "الاختصار" وطريقة ذكية للتعامل مع التسلسلات الطويلة، يمهد هذا النموذج الطريق لتصميم صوتي قريب من الوقت الفعلي، مما قد يغير طريقة إنتاجنا للمحتوى للأفلام، والألعاب، وحتى لقطات الأرشيف الصامتة. ورغم أنه ليس حلاً مثالياً لكل سيناريوهات الفيديو، إلا أنه يمثل قفزة نوعية كبيرة نحو جعل الآلات قادرة حقاً على "سماع" ما تراه.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.