FoleyDirector: Fine-Grained Temporal Steering for Video-to-Audio Generation via Structured Scripts
تقدم هذه الورقة البحثية FoleyDirector، وهو إطار عمل يستفيد من النصوص الزمنية المهيكلة ووحدة دمج زمني مبتكرة لتحقيق تحكم زمني دقيق وناعم في توليد الفيديو إلى الصوت القائم على نماذج المحولات الانتشارية (DiT)، مما يعالج بفعالية التحديات في سيناريوهات الأحداث المتعددة وتوليد الأصوات خارج الشاشة مع الحفاظ على دقة صوتية عالية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تشاهد فيلماً صامتاً. في الأيام الخوالي، كان فنان "فولي" (Foley artist) بشري يجلس في الاستوديو، يشاهد الشاشة، ويقوم يدوياً بإنشاء الأصوات: مثل قرمشة الكرفس لتمثيل خطوات الأقدام، أو هز صفيحة معدنية لتمثيل الرعد، أو الضغط على بوق عند ظهور سيارة.
الآن، تخيل أن لديك روبوتاً يمكنه القيام بذلك تلقائياً. لكن المشكلة هي أن معظم الروبوتات الحالية تتسم ببعض الخرق. إذا قلت له: "اجعل السيارة تطلق بوقاً"، فقد يستمر في إطلاق البوق طوال الـ 10 ثوانٍ من الفيديو، أو قد يفشل تماماً في ذلك إذا كانت السيارة مختبئة خلف شجرة. إنهم يجدون صعوبة في قول: "أطلق البوق بين الثانية 5 و6 فقط، وكن صامتاً بخلاف ذلك".
FoleyDirector هو بمثابة إعطائك نصاً دقيقاً وعصا قائد أوركسترا. إنه نظام ذكاء اصطناعي جديد يتيح لك التحكم بدقة في متى وماذا يحدث من أصوات في الفيديو، حتى لو لم يكن الصوت مرئياً على الشاشة.
إليك كيف يعمل، مقسماً بتبسيط عبر التشبيهات:
1. المشكلة: الروبوت "المضبب"
الذكاء الاصطنا لذا تحويل الفيديو إلى صوت حالياً يشبه موسيقياً يسمع أغنية لكنه لا يستطيع قراءة النوتة الموسيقية. هو يعرف الجو العام (مثل: "إنه شارع مزدحم")، لكنه لا يستطيع أن يخبرك بالضبط متى انطلقت صافرة الإنذار أو متى نبح الكلب. إذا كان المؤشر البصري ضعيفاً (مثل جسم صغير أو شيء خارج الشاشة)، يرتبك الروبوت، فإما يظل صامتاً أو يصدر ضوضاء عشوائية.
2. الحل: "النص المهيكل" (STS)
أدرك المؤلفون أنه بدلاً من إعطاء الروبوت وصفاً غامضاً مثل "شارع مزدحم"، يجب أن نعطيه نصاً دقيقاً دقيقة بدقيقة، تماماً كما يعطي مخرج المسرح نصاً للممثلين.
- التشبيه: تخيل أنك تخرج مسرحية. بدلاً من قول: "اصنع ضجيجاً أثناء المسرحية"، تسلم مسؤول الصوت نصاً يقول:
- 0:00–0:05: صمت.
- 0:05–0:06: بوق سيارة (عالي).
- 0:06–0:10: صمت.
- 0:10–0:12: مواء قطة.
- كيف يستخدم الذكاء الاصطائي هذا: يقوم FoleyDirector بتقسيم الفيديو إلى قطع صغيرة مدة كل منها ثانية واحدة. لكل قطعة، ينشئ "نصاً" محدداً يصف بالضبط ما يجب أن يحدث. هذا يعطي الذكاء الاصطناعي خارطة طريق، بحيث يعرف بالضبط متى يبدأ ومتى يتوقف عن إصدار الضجيج.
3. الغراء السحري: "الدمج الموجه بالنص"
الآن، لدى الذكاء الاصطناعي الفيديو، والوصف النصي العام، وهذا النص التفصيلي الجديد. ولكن كيف تمزج بينهم دون أن يصاب الذكاء الاصطناعي بصداع؟
- التشبيه: فكر في الذكاء الاصطناعي كطاهٍ. الفيديو هو المكون الرئيسي (اللحم). النص هو التوابل. إذا ألقيت التوابل فوقها فحسب، فقد لا تختلط جيداً.
- الابتكار: يستخدم FoleyDirector "وحدة دمج" خاصة (وعاء خلط ذكي) تدمج النص داخل عملية الطهي. إنه يستخدم تقنية تسمى Interleaved RoPE، وهي تشبه السحاب (السوستة)، حيث تقوم بسحب "تعليمات النص" ودمجها مباشرة في "الجدول الزمني للفيديو" بحيث تظلان متطابقتين تماماً. الذكاء الاصطناعي لا يسمع النص فحسب؛ بل "يشعر" بتوقيت النص أثناء إنشاء الصوت.
4. التعامل مع الأصوات "غير المرئية": خدعة "الإطار المزدوج" (Bi-Frame)
أحياناً، تريد صوتاً ليس موجوداً على الشاشة. ربما شخص يتحدث، لكنك تريد سماع نباح كلب في مكان بعيد (خارج الشاشة). أو ربما تريد شخصية تضحك، بينما الفيديو يظهرها وهي تبكي (حالة واقعية مغايرة).
- التشبيه: تخيل مسرحاً به ممثلان.
- الممثل (أ) (داخل الإطار): يتبع الفيديو تماماً. إذا أظهر الفيديو كلباً، فإن الممثل (أ) ينبح.
- الممثل (ب) (خارج الإطار): يتجاهل الفيديو ويستمع فقط لنصك. إذا قال نصك "نباح كلب خارج الشاشة"، فإن الممثل (ب) ينبح، حتى لو كان الفيديو يظهر قطة.
- الابتكار: يقوم FoleyDirector بتشغيل هذين "الممثلين" بالتوازي. فهو يسمح للفيديو بتوجيه الأصوات المرئية، لكنه يسمح لنصك بتوجيه الأصوات غير المرئية. ثم يقوم بخياطتهما معاً بسلاسة. هذا يسمح بسرد قصص معقدة، مثل فيلم رعب حيث تسمع وحشاً يقترب رغم أنك لا تستطيع رؤيته بعد.
5. النتيجة: أنت تصبح المخرج
قبل هذا، كان الذكភាព الاصطناعي مثل محطة راديو تبث ما تشاء. مع FoleyDirector، أنت هو المخرج.
- يمكنك أن تقول للذكاء الاصطناعي: "صمت لأول 3 ثوانٍ، ثم بوق قطار، ثم صمت مرة أخرى".
- يمكنك أن تقول له: "الفيديو يظهر نمراً، لكنني أريده أن يموء مثل القطة".
لماذا هذا مهم؟
هذا ليس مجرد صنع تأثيرات صوتية رائعة. إنه يتعلق بـ التحكم.
- لصناع الأفلام: يمكنك إصلاح الصوت السيئ في مرحلة ما بعد الإنتاج دون الحاجة لإعادة تسجيل كل شيء.
- للقصاصين: يمكنك إنشاء تجارب غامرة حيث يقود الصوت العاطة، وليس فقط المرئيات.
- لإمكانية الوصول: يمكنه المساعدة في إنشاء أوصاف صوتية دقيقة للأشخاص الذين يعانون من ضعف البصر، من خلال وصف ما يحدث في المشهد بالضبط مع توقيت دقيق.
باخت Kurz، يأخذ FoleyDirector "الصندوق الأسود" لتوليد الصوت بالذكاء الاصطناعي ويفتحه، ويسلمك جهاز التحكم عن بعد لتتمكن من قيادة سيمفونية الصوت تماماً كما تريدها أن تعزف.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.