Training-Free Multimodal Guidance for Video to Audio Generation

ملخص تقني: التوجيه متعدد الوسائط الخالي من التدريب لتوليد الفيديو إلى الصوت

بيان المشكلة
يهدف توليد "الفيديو إلى الصوت" (V2A) إلى تخليق صوت واقعي ومتوافق دلاليًا من فيديوهات صامتة، وهي مهمة بالغة الأهمية لتطبيقات مثل تحرير الفيديو، وتصميم المؤثرات الصوتية (Foley)، والوسائط المساعدة. وبينما حققت الأساليب الحديثة القائمة على الانتشار (diffusion) نتائج مثيرة للإعجاب، إلا أنها تواجه قيودًا كبيرة. تتطلب الطرق الحالية عادةً تدريبًا مشتركًا مكلفًا لنماذج الفيديو والصوت على مجموعات بيانات ضخمة مقترنة، والتي يصعب جمعها وغالبًا ما تحتوي على أزواج غير ذات معنى تتطلب معالجة مسبقة دقيقة. بدلاً من ذلك، تعتمد الأساليب الخالية من التدريب مثل Seeing&Hearing على تشابه جيب التمام الزوجي (pairwise cosine similarities) (مثل ImageBind) لمواءمة الوسائط المتعددة. ومع ذلك، قد تفشل المواءمة الزوجية في التقاط التماسك متعدد الوسائط العالمي، مما يؤدي إلى إشارات توجيه تفتقر إلى الاتساق الهندسي وتنتج توليدًا صوتيًا غير متوافق دلاليًا أو مشوبًا بالضجيج.

المنهجية: التوجيه بالانتشار متعدد الوسائط (MDG)
يقترح المؤلفون آلية مبتكرة خالية من التدريب تسمى "التوجيه بالانتشار متعدد الوسائط" (MDG) لتوجيه نماذج انتشار الصوت المدربة مسبقًا دون إعادة تدريب النموذج الأساسي أو المشفرات. يكمن الابتكار الجوهري في الاستفية من الحجم الهندسي الذي تشغله تضمينات الوسائط المتعددة بدلاً من الاعتماد على التشابه الزوجي.

1. المواءمة الهندسية عبر الحجم:
   بدلاً من مواءمة تضمينات الفيديو والصوت والنص ($e_v, e_a, e_p$) عبر تشابه جيب التمام الزوجي، تقوم الطريقة بخرائط هذه التضمينات إلى مساحة كامنة مشتركة باستخدام مشفرات (GRAM). حيث يتم بناء مصفوفة $Z = [e_v, e_a, e_p]$ وحساب مصفوفة جرام $K = Z^\top Z$. ويُعرف الحجم $V$ لمتوازي السحب عالي الأبعاد الذي تشغله هذه التضمينات بالمعادلة $V = \sqrt{\det K}$.

• الحدس: عندما تشير الوسائط الثلاثة إلى نفس المحتوى الدلالي، فإن تضميناتها تشكل تكوينًا منخفض الحجم. وعلى العكس من ذلك، تؤدي الثلاثيات غير المتطابقة إلى حجم أكبر.

2. إشارة التوجيه الخالية من التدريب:
   تعمل تقنية MDG كإشارة تحكم "plug-and-play" أثناء عملية أخذ العينات (denoising) لنموذج الانتشار الكامن (مثل AudioLDM).

• في كل خطوة إزالة ضجيج $t$، يتنبأ النموذج بـ $\tilde{z}_0$ (الكمون الصوتي النظيف).
• يتم استخراج التضمين الصوتي $e_a$ من هذا الكمون.
• يتم حساب الحجم $V$ باستخدام تضمين الفيديو الثابت $e_v$، وتضمين النص $e_p$، والتضمين الصوتي الحالي $e_a$.
• يتم تحديث الكمون لتقليل هذا الحجم: $z_t \leftarrow z_t - \eta \nabla_{z_t} V$.
• تعمل هذه العملية التكرارية على توجيه توليد الصوت نحو تمثيل متوافق بشكل مشترك مع المدخلات المرئية والنصية، مما يفرض اتساقًا ثلاثي الوسائط.

3. الكفاءة:
   لا تتطلب هذه الطريقة أي بيانات تدريب مقترنة، ولا تدريبًا مشتركًا، ولا تعديلًا على هيكل الانتشار الأساسي. كما أن العبء الحسابي ضئيل، حيث لا يضيف سوى $O(D)$ للتضمينات و $O(1)$ لحساب الحجم $3 \times 3$ لكل خطوة.

المساهمات الرئيسية

• استراتيجية أخذ عينات مبتكرة: تقديم استراتيجية أخذ عينات خالية من التدريب تستخدم التوجيه الكامن متعدد الوسائط، والتي لا تتطلب بيانات تدريب مقترنة واسعة النطاق، ولا تدريبًا مشتركًا، ولا تعديلًا على الهيكل الأساسي.
• هدف ثلاثي الوسائط قائم على الحجم: اقتراح آلية توجيه مشتركة لتوليد V2A توجه نماذج الانتشار المدربة مسبقًا باستخدام هدف مواءمة قائم على الحجم عبر الفيديو والصوت والنص، متجاوزةً المواءمة الزوجية.
• تحسين الأداء: إثبات أن الاستدلال الموجه بالحجم يتفوق على الموائمات السابقة القائمة على جيب التمام (مثل ImageBind) من خلال تعزيز التماسك الأقوى متعدد الوسائط وتقليل الانحراف الدلالي.

النتائج التجريبية
تم تقييم الطريقة على مجموعتي بيانات VGGSound (داخل النطاق) و AudioCaps (خارج النطاق)، ومقارنتها بالنماذج المرجعية بما في ذلك SpecVQGAN و Diff-Foley وإطار العمل Seeing&Hearing الخالي من التدريب.

• الجودة الإدراكية والاتساق: في VGGSound، حققت MDG مسافة فريه (Fréchet Audio Distance - FAD) بلغت 6.04، متفوقة بشكل ملحوظ على Seeing&Hearing (7.80) و SpecVQGAN (7.74). كما أظهرت تماسكًا صوتيًا-بصريًا فائقًا بمسافة فريه للسمع والبصر (FAVD) بلغت 2.60، ودرجة مقياس تقييم التزامن الصوتي البصري (PEAVS) بلغت 3.40.
• التعميم: في مجموعة بيانات AudioCaps الصعبة (حيث قد لا تكون مصادر الصوت مرئية)، استمرت MDG في التفوق على Seeing&Hearing عبر جميع المقاييس تقريبًا، مما أظهر قوة في مواجهة تغير النطاقات.
• الاتساق الدلالي: أكد تحليل مقياس الحجم وتشابه جيب التمام عبر الوسائط أن MDG تولد صوتًا أكثر توافقًا دلاليًا مع الفيديو المصدر والتعليقات التوضيحية مقارنة بالطرق القائمة على الأزواج. وأظهر التحليل النوعي (المخططات الطيفية) أن MDG تنتج صوتًا مهيكلًا ومناسبًا للسياق، بينما تنهار النماذج المرجعية غالبًا إلى ضجيج عريض النطاق.

الأهمية
تزعم الورقة أن MDG توفر حلاً خفيف الوزن وفعالًا لتوليد V2A يتغلب على القيود الحسابية والبيانات المرتبطة بالتدريب المشترك، ويعالج عدم الاتساق الهندسي للمواءمة الزوجية. ومن خلال فرض بنية هندسية موحدة عبر الوسائط أثناء الاستدلال، تثبت الطريقة أن توليد صوت عالي الجودة ومتسق دلاليًا يمكن تحقيقه دون تعديل بنية التوليد الأساسية أو الحاجة إلى مجموعات بيانات مقترنة باهظة الثمن. وهذا يؤكد فائدة القيود الهندسية القائمة على الحجم كإشارة تحكم قوية لنماذج الانتشار متعددة الوسائط.