← أحدث الأبحاث
💻 computer science

Dialogue-Aware Video-to-Music Generation Using Public Domain Film Collections

لمعالجة تحديات القابلية لإعادة الإنتاج وحقوق الطبع والنشر في توليد الموسيقى من الفيديو، تقدم هذه الورقة مجموعة بيانات "مكتبة الموسيقى التصويرية للشاشة المفتوحة" (OSSL-v2) القابلة لإعادة الإنتاج والمكونة من أفلام من الملكية العامة، وتقترح نموذجاً مدركاً للحوار يعزز توليد الموساقى من خلال تعديل الانتباه المتقاطع للفيديو مع الكلام الظاهر على الشاشة.

المؤلفون الأصليون: Haven Kim, Zachary Novack, Julian McAuley, Hao-Wen Dong

نُشر 2026-08-13
📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة
CC BY 4.0

المؤلفون الأصليون: Haven Kim, Zachary Novack, Julian McAuley, Hao-Wen Dong

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تشاهد فيلماً. ترى بطلاً يركض وسط عاصفة، وفجأة، يدوي صوت الرعد بينما تتصاعد موسيقى أوركسترالية درامية. هذه الموسيقى ليست مجرد ضجيج في الخلفية؛ بل هي الغراء العاطفي الذي يربط المشهد معاً، ويخبرك بما يجب أن تشعر به. لفترة طويلة، حاول العلماء تعليم الحواسيب أن تكون هي "الملحن" للفيديوهات، بحيث تبتكر تلقائياً موسيقى تناسب الحالة المزاجية لما يحدث على الشاشة. يُسمى هذا المجال "توليد الموسيقى من الفيديو". ولكن هناك مشكلة كبيرة: لتعليم الحاسوب هذه المهارة، تحتاج إلى آلاف الأمثلة من الأفلام وموسيقاها التصويرية المثالية. لقد استخدم معظم الباحثين قوائم من الروابط لمقاطع فيديو على الإنترنت للعثور على هذه الأمثلة. والمشكلة هي أن روابط الإنترنت تشبه القلاع الرملية؛ حيث يأتي المد، فتُحذف مقاطع الفيديو أو تُغلق. وهذا يعني أن "الكتب المدرسية" التي تتعلم منها الحواسيب تختفي باستمرار، مما يجعل من المستح المستحيل التحقق مما إذا كان حاسوب ما أذكى حقاً من غيره. ولحل هذه المشكلة، نحتاج إلى مكتبة من الأفلام لا يمكن أن تتلاشى، وطريقة لتعليم الحاسوب ليس فقط كيف تبدو الشخصيات، بل أيضاً ماذا يقولون.

هنا يأتي دور الباحثين من جامعة كاليفورنيا في سان دييغو وجامعة ميشيغان، الذين بنوا مكتبة جديدة كلياً وغير قابلة للزعزعة تسمى OSSL-v2. فكر في هذا كأنه سينما ضخمة ومستقلة بذاتها لا يمكن لأحد إغلاقها. فبدلاً من الإشارة إلى روابط على الإنترنت قد تتعطل وتختفي، قاموا بتحميل 1,886 فيلماً تنتمي للملكية العامة (بمعنى أن أي شخص يمكنه استخدامها) وقطّعوها إلى 34,343 مقطعاً صغيراً. وهذا يبلغ في مجموعه حوالي 246.4 ساعة من الفيديو والموسيقى، مخزنة بأمان في مكان واحد. ولأنها مستضافة ذاتياً، فلن تختفي، وهي توفر لكل باحث مجموعة بيانات متطابقة وعادلة لتدريب نماذج الذكاء الاصطناعي الخاصة به.

لكن الفريق لم يكتفِ ببناء مكتبة فحسب؛ بل أدركوا أن الحواسيب تفتقد إلى دليل حاسم. ففي الأفلام، غالباً ما تتغير الموسيقى في اللحظة التي يبدأ فيها الشخص بالتحدث. إذا كان شخص ما يصرخ، فقد تصبح الموسيقى أخف أو تتوقف لتسمح لصوته بأن يُسمع. لاحظ الباحثون أنه في مكتبتهم الجديدة، يوجد ارتباط طفيف ولكنه حقيقي بين مدى علو صوت الحوار ومدى علو الموسيقى. وللاستفادة من ذلك، ابتكروا نظاماً "واعياً بالحوار". تخيل أن الحاسوب هو قائد أوركسترا. في السابق، كان القائد ينظر فقط إلى وجوه الممثلين وحركاتهم ليقرر متى يسرع أو يبطئ الأوركسترا. أما الآن، فقد حصل القائد على نظارات جديدة تسم تسمح له بسماع أصوات الممثلين في الوقت الفعلي. يأخذ النظام صوت الحوار ويستخدمه لدفع عملية توليد الموسيقى بلطف إطاراً تلو الآخر، مما يضمن أن "تتنفس" الموسيقى وتتوقف تماماً كما يفعل الممثلون.

وعندما اختبروا هذا النهج الجديد على مكتبتهم الضخمة، كانت النتائج واعدة. لقد قارنوا نماذجهم "الواعية بالحوار" بأفضل الأنظمة الموجودة حالياً. لم تكن الطريقة الجديدة تجعل الموسيقى تبدو "أفضل" بالمعنى العام (مثل جعلها أكثر تعقيداً أو تنوعاً)، لكنها جعلت الموسيقى تتناسب مع الفيديو بشكل وثيق للغاية. وتحديداً، أصبحت الموسيقى التصويرية المولدة أكثر إخلاصاً لمشاهد الأفلام الأصلية، خاصة عندما يتعين على الحاسوب التعامل مع اللحظات الصعبة حيث يتداخل الحوار مع الموسيقى. وجد الباحثون أن هذا التحسن ظل قائماً حتى عندما اختبروا النماذج على أفلام تجارية لم يروها من قبل، مما يشير إلى أن الاستماع إلى الحوار يساعد الذكاء الاصطناعي على فهم إيقاع المشهد بشكل أفضل من مجرد مشاهدته.

كما استبعدت الورقة البحثية بعناية بعض الحيل المحتملة. فقد تساءلوا عما إذا كان الحاسوب يعتمد فقط على "تسرب" بقايا الموسيقى إلى مسار الحوار (بما أن فصل الصوت ليس مثالياً). وللتحقق من ذلك، قاموا بتشغيل مرشح خاص للعثور على المقاطع التي يكون فيها الحوار خالياً تماماً تقريباً من أي ضجيج موسيقي. وحتى مع هذه المقاطع "النظيفة"، ظل النظام الواعي بالحوار يؤدي بشكل أفضل. وهذا يشير إلى أن التحسن يأتي حقاً من فهم الكلام، وليس من سماع الموسيقى بالصدفة. وبينما لا يعد النظام بديلاً كاملاً للملحنين البشر بعد، إلا أن الدراسة تشير إلى أن إضافة صوت الشخصيات هي وسيلة قوية لمساعدة الحواسيب على كتابة موسيقى تشعر بأنها متصلة حقاً بالقصة.

غارق في أبحاث مجالك؟

تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.

جرّب Digest →

أبحاث مشابهة

عرض الكل في هذا التصنيف 💻 cs →